Способ, не связывающий количество информации с содержанием сообщения, называется алфавитным подходом.
Алфавит - множество используемых в языке символов.
Например:
Двоичный алфавит определяется следующим множеством символов {0,1}.
Русский алфавит определяется множеством все русских букв.
Отметим, что поскольку в тексте могут встречаться знаки препинания, пробел, цифры, скобки, то их тоже можно включить в алфавит.
Мощность алфавита - полное число символов алфавита.
Будем обозначать мощность алфавита буквой M.
Например, мощность алфавита из русских букв и дополнительных символов равна 54.
Рассмотрим следующую задачу: к вам поступает последовательно, по одному символу определенного алфавита (допустим бумажная лента, выползающая из телеграфного аппарата). Предположим, что каждый появляющийся на ленте символ с одинаковой вероятностью может быть любым символом алфавита. В каждой очередной позиции текста может появиться любой из M символов. Каждый символ несёт I бит информации; число I можно определить из уравнения: 2I = M.
Для двоичного алфавита: M=2, I=1 бит
Для русского алфавита: M=54, I=5,755 бит
Пример.
В книге 10 страниц. Пусть страница содержит 20 строк. В каждой строке – 30 символов. Значит, в книге всего 10*20*30=6000 символов. Вычислим объем информации, который равен произведению числа символов на информационный вес одного символа
Для двоичного алфавита: I1=1 бит, объем информации в книге равен 6000 бит
Для русского алфавита: I1=5,755 бит, объем информации в книге равен 34530 бит
Из примера видно, что при алфавитном подходе к измерению информации количество информации от содержания не зависит. Количество информации зависит от объёма текста (то есть от числа символов в тексте) и от мощности алфавита.
Нельзя сравнивать информационные объёмы текстов, написанных на разных языках, только по объёму. У них отличаются информационные веса одного символа так как мощности алфавитов разных языков – различные.
Итог
Количество информации, содержащееся в символьном сообщении, равно N*I, где N – число символов в тексте сообщения а I – информационный вес символа, который находится из уравнения 2I=M, где M – мощность используемого алфавита.