В теории информации в формуле для энтропии обычно используют двоичные логарифмы, тогда (энтропия и информация) измеряется в битах. Это удобно тем, что выбор между двумя равновероятными уровнями Xi (как в двоичном) сигнале характеризуется неопределенностью 1 бит. В популярной литературе иногда пользуются десятичными логарифмами и единицей энтропии является дит. В физике удобнее пользоваться натуральными логарифмами и единицей энтропии является нат (поскольку в дальнейшем наш подход существенно физический, мы также используем натуральные логарифмы). Выбор основания – лишь вопрос масштаба, в любом случае энтропия безразмерна. Возможная величина энтропии заключена в пределах:

0<= H(X)<= logN.

Это интересно:

Изучение клетки
История изучения клетки. Огромное большинство клеток имеет микроскопически малые размеры и не может быть рассмотрено невооруженным глазом. Увидеть клетку и начать ее изучение оказалось возможным лишь тогда, когда был изобретен микроскоп. ...

Законы распределения вероятностей
Чтобы описать практически все природные явления, как правило, используются функции распределения. Функция распределения это такая функция, которая оперирует числовыми значениями вероятностей. Функции распределения делятся на гауссовые и н ...

Исследования Грегори Менделя
Основные законы наследуемости были описаны более века назад чешским монахом Грегором Менделем (1822-1884), преподававшим физику и естественную историю в средней школе г. Брюнна (г. Брно). Мендель занимался селекционированием гороха, и им ...