Отсутствующая структура. Введение в семиологию - стр. 28

Иными словами, информация – это число равновероятных возможностей, ее тем больше, чем шире круг, в котором осуществляется выбор. В самом деле, если в игре задействованы не два, восемь или шестьдесят четыре варианта, а п миллиардов равновероятных событий, то выражение

I = lg_>210_>9n

составит неизмеримо большую величину. И тот, кто, имея дело с таким источником, при получении сообщения осуществляет выбор одной из n миллиардов возможностей, получает огромное множество битов информации. Ясно, однако, что полученная информация представляет собой известное обеднение того несметного количества возможностей выбора, которым характеризовался источник до того, как выбор осуществился и сформировалось сообщение.

В теории информации, стало быть, берется в расчет равновероятность на уровне источника, и эту статистическую величину называют заимствованным из термодинамики термином энтропия[22]. И действительно, энтропия некоторой системы – это состояние равновероятности, к которому стремятся ее элементы. Иначе говоря, энтропия связывается с неупорядоченностью, если под порядком понимать совокупность вероятностей, организующихся в систему таким образом, что ее поведение делается предсказуемым. В кинетической теории газа описывается такая ситуация: предполагается, впрочем, чисто гипотетически, что между двумя заполненными газом и сообщающимися емкостями наличествует некое устройство, называемое демоном Максвелла, которое пропускает более быстрые молекулы газа и задерживает более медленные. Таким образом, в систему вводится некоторая упорядоченность, позволяющая сделать прогнозы относительно распределения температур. Однако в действительности демона Максвелла не существует, и молекулы газа, беспорядочно сталкиваясь, выравнивают скорости, создавая некую усредненную ситуацию, тяготеющую к статистической равновероятности. Так система оказывается высокоэнтропийной, а движение отдельной молекулы газа непредсказуемым.

Высокая энтропийность системы, которую представляют собой буквы на клавиатуре пишущей машинки, обеспечивает возможность получения очень большого количества информации. Пример описан Гильбо: машинописная страница вмещает 25 строк по 60 знаков в каждой, на клавиатуре 42 клавиши, и каждая из них позволяет напечатать две буквы, таким образом, с добавлением пробела, который тоже знак, общее количество возможных символов составит 85. Если, умножив 25 на 60, мы получаем 1500 позиций, то спрашивается, какое количество возможных комбинаций существует в этом случае для каждого из 85 знаков клавиатуры?