В теории информации в формуле для энтропии обычно используют двоичные логарифмы, тогда (энтропия и информация) измеряется в битах. Это удобно тем, что выбор между двумя равновероятными уровнями Xi (как в двоичном) сигнале характеризуется неопределенностью 1 бит. В популярной литературе иногда пользуются десятичными логарифмами и единицей энтропии является дит. В физике удобнее пользоваться натуральными логарифмами и единицей энтропии является нат (поскольку в дальнейшем наш подход существенно физический, мы также используем натуральные логарифмы). Выбор основания – лишь вопрос масштаба, в любом случае энтропия безразмерна. Возможная величина энтропии заключена в пределах:

0<= H(X)<= logN.

Это интересно:

Различная температура тела у гомойотермных животных. Температурные отношения в теле
Как упоминалось ранее, гомойотермные животные, несмотря на изменяющиеся температурные условия окружающей среды, поддерживают постоянной температуру внутри организма - в ядре тела. К ядру тела относятся все жизненно важные органы, в особен ...

Додарвинистские представления об эволюции. Представления древности
В трудах древних материалистов Месопотамии, Индии, Египта, Китая, Греции прослеживаются представления о эволюции - развития живой природы. Уже в начале 1 тысячелетия до н. э. появились философские школы в Индии, культивировавшие идеи разв ...

Азовское и Черное моря как среда обитания кефалевых. Исторический аспект проблемы
Вопрос о продуктивности моря и проблемы, связанные с ним, всегда, во все времена волновали людей. Но особо остро он стал перед человечеством с развитием цивилизации. Интенсивный вылов рыбы, в том числе из семейства кефалевые и падение пр ...