В теории информации в формуле для энтропии обычно используют двоичные логарифмы, тогда (энтропия и информация) измеряется в битах. Это удобно тем, что выбор между двумя равновероятными уровнями Xi (как в двоичном) сигнале характеризуется неопределенностью 1 бит. В популярной литературе иногда пользуются десятичными логарифмами и единицей энтропии является дит. В физике удобнее пользоваться натуральными логарифмами и единицей энтропии является нат (поскольку в дальнейшем наш подход существенно физический, мы также используем натуральные логарифмы). Выбор основания – лишь вопрос масштаба, в любом случае энтропия безразмерна. Возможная величина энтропии заключена в пределах:

0<= H(X)<= logN.

Это интересно:

Строение клетки
Клетка любого одноклеточного и многоклеточного организма состоит из двух важнейших, неразрывно связанных между собой частей: цитоплазмы и ядра, которые представляют элементарную целостную живую систему. С формой, размерами и функциями кл ...

Классификация грибов. Особенности строения грибной клетки
Грибы — обширная группа организмов, насчитывающая около 100 тыс. видов. Они занимают особое положение в системе органического мира, представляя, по-видимому, особое царство, наряду с царствами животных и растений. Они лишены хлорофилла и ...

Рациональная и реальная картина мира
Основываясь на научном восприятии мира, многие убеждены, что окружающий мир подвластен рациональному анализу. Для них все явления имеют логическое объяснение, а еще не решенные проблемы решит наука, и то, что сегодня кажется чудом, завтра ...