В теории информации в формуле для энтропии обычно используют двоичные логарифмы, тогда (энтропия и информация) измеряется в битах. Это удобно тем, что выбор между двумя равновероятными уровнями Xi (как в двоичном) сигнале характеризуется неопределенностью 1 бит. В популярной литературе иногда пользуются десятичными логарифмами и единицей энтропии является дит. В физике удобнее пользоваться натуральными логарифмами и единицей энтропии является нат (поскольку в дальнейшем наш подход существенно физический, мы также используем натуральные логарифмы). Выбор основания – лишь вопрос масштаба, в любом случае энтропия безразмерна. Возможная величина энтропии заключена в пределах:

0<= H(X)<= logN.

Это интересно:

Период раннего детства
Период раннего детства длится от 1 года до 4 лет. В конце второго года жизни заканчивается прорезывание зубов. После 2 лет абсолютные и относительные величины годичных приростов размеров тела быстро уменьшаются. ...

Поведение и психика. Потребности. Поведение и психика
Нормальная жизнедеятельность организма возможна лишь при поддержании относительно постоянного состава внутренней среды. Организм непрерывно регулирует недостаток или избыток питательных веществ, минеральных солей и других соединений. Нужд ...

Понятие «наука» (сущность, содержание, функции, цели, задачи, критерии выделения)
Наука – исторически сложившаяся форма человеческой деятельности направленная на познание и преобладание эффективной деятельности Наука – это рациональный способ познания мира основанный на эмпирической проверки и математических наук. Су ...