Трудно найти понятия более общие для всех наук (не только естественных) и, вместе с тем, иногда носящих оттенок загадочности, чем энтропия и информация. Отчасти это связано с самими названиями. Если бы не звучное название “энтропия” осталась бы с момента первого рождения всего лишь “интегралом Клазиуса”, вряд ли она бы не рождалась вновь и вновь в разных областях науки под одним именем. Кроме того, ее первооткрыватель Клазиус, первым же положил начало применению введенного им для, казалось, бы узкоспециальных термодинамических целей понятия к глобальным космологическим проблемам (тепловая смерть Вселенной). С тех пор энтропия многократно фигурировала в оставшихся навсегда знаменитыми спорах. В настоящее время универсальный характер этого понятия общепризнан и она плодотворно используется во многих областях.

Термин “информация” замечателен тем, что, существующему с давних пор бытовому понятию, К.Шенноном был придан математически точный смысл. Неопределенно-бытовой смысл этого термина уже научного. Это приводило и приводит ко многим недоразумениям и спекуляциям. Интересно и то, что К.Шеннон как создатель теории информации – по существу, раздела математики , был не чистым математиком, а инженером-теоретиком. Поэтому его работы написаны языком ясным для понимания инженеров, естественников и даже сведущих в математике гуманитариев. Профессиональные математики проявили активность в этой области позднее, но их капитальный подход не востребован пока в приложениях, за исключением, возможно, работ А.Н. Колмогорова.

Базисным понятием всей теории информации является понятие энтропии. Энтропия – мера неопределенности некоторой ситуации. Можно также назвать ее мерой рассеяния и в этом смысле она подобна дисперсии. Но если дисперсия является адекватной мерой рассеяния лишь для специальных распределений вероятностей случайных величин (а именно – для двухмоментных распределений, в частности, для гауссова распределения), то энтропия не зависит от типа распределения. С другой стороны, энтропия вводится так, чтобы обладать, кроме универсальности и другими желательными свойствами. Так, если некий опыт имеет n равновероятных исходов, а другой опыт m равновероятных исходов, то составной опыт имеет nm таких исходов. Если мы вводим меру неопределенности f , то естественно потребовать, чтобы она была такова, чтобы во-первых, неопределенность росла с ростом числа возможных исходов, а во-вторых, неопределенность составного опыта была равна просто сумме неопределенности отдельных опытов, иначе говоря, мера неопределенности была аддитивной: f(nm)=f(n)+f(m). Именно такая удобная мера неопределенности была введена К. Шенноном:

H(X)= —P (Xi) log P (Xi),

где Х – дискретная случайная величина с диапазоном изменчивости N, P(Xi) – вероятность i – го уровня X.

В дальнейшем мы будем рассматривать Х как некоторую физическую величину, меняющуюся во времени или пространстве. Временной или пространственный ряд Xj (j – индекс временной или пространственной координаты r) будем называть, как это принято в ряде естественных наук, “вариацией”. В самой теории информации такое пространственно-временное упорядочение совершенно не обязательно, но, во-первых, анализ именно таких вариаций составляет суть всех естественных наук, во-вторых, это с первых шагов позволяет лучше ощутить смысл новых понятий. Заметим также, что если даже пространственная или временная упорядоченность величины Х в явном виде отсутствует, она неизбежно существует неявно. Например, положим, что j – номер различимой частицы, а Хj – ее импульс. Х – неупорядоченная случайная величина (ее номер j присваивается произвольно), но все эти частицы неизбежно разнесены в пространстве (раз мы можем их различить) и, при необходимости, мы можем их соединить некоторой (ломаной) осью и восстановить упорядоченность. Но для понимания проще представлять Х как сигнал, который может быть записан самописцем, как рельеф местности вдоль некоторого профиля, как пространственное распределение плотности энергии поля и т.п.

Таким образом, чтобы рассчитать H(X), берется запись вариации Xj , разность между максимальным и минимальными значениями Хj разбивается на N квантов (обычно равных разрешающей способности прибора) и подсчитывается число mi заполнения каждого i -го уровня (число благоприятных случаев). Общее число случаев M – это число пространственных или временных ячеек, опять-таки обычно определяемых разрешением прибора. В результате мы получаем распределение вероятностей P(Xi)=mi/M, которое подставляем в формулу H(x).

Это интересно:

Физиологическая роль азота, круговорот азота в атмосфере
Азот – биоэлемент, структурная единица органических соединений, участвует в построении организмов и обеспечении их жизнедеятельности. Входит в состав важнейших биополимеров: белков, нуклеиновых кислот (ДНК, РНК); некоторых витаминов и г ...

Фотосинтез.
Общая характеристика фотосинтеза. Жизнь на нашей планете обеспечивается энергией фотонов, содержащейся в солнечном излучении. Эта энергия (кванты солнечного света - физическая форма энергии) поглощается фотоавтотрофными организмами - в п ...

Биология культивирования грибов рода Pleurotus
Особое внимание среди всех культивируемых грибов привлекает вешенка обыкновенная, или устричная. Ее можно выращивать на соломе, ветках, полусгнивших стволах деревьев, пнях, растительных остатках, отходах древесины. Технология выращивания ...