Цитата Сообщение от weiv Посмотреть сообщение
Насколько я понимаю, энтропия сообщения определяется зависимостями символов сообщения.
Вроде нет. Она определяется вероятностью повторов.

Цитата Сообщение от weiv Посмотреть сообщение
Чем более глубоко и разнообразно вычисляются зависимости символов друг от друга
Не знаю как с зависимостью, но количество повторов в данных, вроде бы, вычисляется однозначно.

Цитата Сообщение от weiv Посмотреть сообщение
Добавьте эти символы к входному алфавиту, рассчитывайте энтропию с учетом этих символов и - вуаля, можно вычислить энтропию для словарных методов сжатия.
Это и есть перебор: добавили словарь одного размера, посчитали энтропию, добавили второй, опять посчитали и т.д. пока не нашли идеальный размер словаря для конкретных данных.

Цитата Сообщение от HardWareMan Посмотреть сообщение
Вы слышали про вавилонскую библиотеку?
А как это относится к данной теме?