В теории информации в формуле для энтропии обычно используют двоичные логарифмы, тогда (энтропия и информация) измеряется в битах. Это удобно тем, что выбор между двумя равновероятными уровнями Xi (как в двоичном) сигнале характеризуется неопределенностью 1 бит. В популярной литературе иногда пользуются десятичными логарифмами и единицей энтропии является дит. В физике удобнее пользоваться натуральными логарифмами и единицей энтропии является нат (поскольку в дальнейшем наш подход существенно физический, мы также используем натуральные логарифмы). Выбор основания – лишь вопрос масштаба, в любом случае энтропия безразмерна. Возможная величина энтропии заключена в пределах:

0<= H(X)<= logN.

Это интересно:

Актуальность и область применения универсальных законов бедствий и катастроф
В последние годы вопрос о развитии научных институтов прогнозирования и мониторинга решается на государственном уровне. В высокоразвитых странах, таких как США, правительство выделяет огромные средства на исследования в этой области. Прич ...

Анализ и интерпретация результатов исследования.
Люди, обладающие какой-то определённой группой крови, распределены по земному шару неравномерно: где-то преобладает одна группа крови, где-то – другая. Так, выяснилось, что среди одиннадцатиклассников нашей школы преоблададают ученики со ...

Исторический очерк. Происхождение медицинских знаний
Со времен Древнего Рима умершим от отравления считался всякий, чье тело имело синевато-черный оттенок или было покрыто пятнами. Иногда считалось достаточным и того, что оно "плохо" пахло. Верили, что отравленное сердце не горит. ...