Алфавитный подход к измерению информации

Как мы помним, информация для человека – это набор сигналов, которые человек получает из различных источников. Человек, каким-то образом их воспринимает и интерпретирует, придёт им какое-то значение. Однако разные люди могут интерпретировать сигналы по-разному. Так одно и то же сообщение, то есть один и тот же набор сигналов, может нести разным людям совершенно разную информацию. Как же тогда можно измерить информацию?

Всего существует два подхода к измерению информации. Первый подход – содержательный. Как ясно из названия, он оценивает содержание информации. А как же можно оценить содержание информации? Универсально оценить содержание любой информацию позволяют её свойства: объективность, достоверность полнота, актуальность, полезность и понятность. Однако, часть свойств информации субъективна, то есть для разных людей информация может быть по-разному полезна, понятна или актуальна. Потому измерение информации с помощью этого подхода часто тоже субъективно. Для того, чтобы объективно измерить информацию нельзя опираться на её содержание.

Измерить информацию независимо от её содержания позволяет алфавитный подход.  Рассмотрим его подробнее. Прежде чем что-нибудь выразить количественно, необходимо установить, для этого единицу измерения. Так расстояние измеряется в метрах, а время в секундах. А в чём же измеряется информация? В алфавитном подходе считается, что каждый символ алфавита, который использован для записи информации, имеет некоторый информационный вес. Это означает, что он несёт некоторое количество информации. Все символы одного и того же алфавита имеют одинаковый информационный вес. Информационный вес каждого из символов алфавита зависит от мощности этого алфавита. Минимальная единица измерения информации – это информационный вес одного символа двоичного алфавита. Эта величина получила название один бит.  Слово бит на английском языке (Bit) произошло как результат сокращения словосочетания «Binary digit», что в переводе на русский язык, означает «двоичный символ».

Почему же именно один бит был принят в качестве минимальной единицы измерения информации? Как мы помним из прошлого урока, любую информацию можно записать в виде её двоичного кода, то есть представить её как совокупность двоичных символов. В то же время меньшей информационной единицы, чем один бит просто не существует. Наверняка у вас возник вопрос, почему? Вспомним, чем является любой алфавит. Любой алфавит – это знаковая система. А какая знаковая система минимальна? Сколько символов она содержит? 2. Так как 1 символ, вне знаковой системы не может нести информацию. То есть двоичный алфавит – это минимальная знаковая система.

Раньше мы узнали, что алфавит любого языка, естественного или формального можно заменить двоичным алфавитом. Для этого всем символам алфавита можно присвоить уникальные двоичные коды одинаковой разрядности. Причём минимальная разрядность двоичного кода, необходимая, для кодирования одного символа алфавита, зависит от мощности кодируемого алфавита. Запишем выражение для этой зависимости. Мощность алфавита обозначим латинской буквой «М», а минимальную необходимую разрядность двоичного кода – буквой «i». Тогда N = 2ⁱ, или перемноженной последовательности из i двоек. При этом, если мощность алфавита нельзя получить простым перемножением двоек, то она увеличивается до числа, которое можно получить таким образом. Это делается потому, что иначе двоичный код с меньшей разрядностью не сможет уникальным образом закодировать все символы алфавита.

Информационным весом символа называется, количество информации, которое он несёт в рамках своего алфавита. Она равна минимальной разрядности двоичного кода, необходимой для равномерного кодирования алфавита этого символа. Информационный вес символа, как и любая информация измеряется в битах.

Задача: алфавит русского языка содержит:

·     тридцать три буквы,

·     десять арабских цифр,

·     одиннадцать знаков препинания,

·     и пробел.

Вычислить информационный вес одного символа из алфавита русского языка.

В начале нужно найти мощность русскоязычного алфавита N. Для этого посчитаем общее число всех символов: букв – 33, количество цифр – 10, количество знаков препинания – 11 и добавим ещё 1, то есть пробел. N = 33 + 10 + 11+ 1 = 55. Общая мощность русского алфавита равна 55 символам. Теперь найдём, какая разрядность двоичного кода потребуется, чтобы закодировать 1 символ алфавита мощностью 55 символов. Информационный вес символа будет равен этой разрядности. То есть N = 55 = 2ⁱ. Число 55 мы не можем получить простым перемножением двоек. Поэтому увеличим число до 64-х. Для того, чтобы получить 64, нужно перемножить 6 двоек или 2⁶. i = 6. Мы можем дать ответ: информационный вес одного символа русского алфавита – 6 бит.

Таким образом мы научились измерять информацию, которую несёт 1 символ алфавита. Однако в действительности информация передаётся целыми сообщениями, которые складываются из множества символов. Как же измерить такую информацию? Размер информации, которую несёт сообщение, называется его информационным объёмом. Он складывается из информационных весов всех символов, из которых состоит сообщение. Его можно рассчитать следующим образом… Обозначим информационный объём сообщения латинской буквой «I», а латинской буквой «k» - количество символов в сообщении. Так

 I = k × i

 То есть информационный объём равен произведению информационного веса одного символа и количества символов в сообщении.