В теории информации в формуле для энтропии обычно используют двоичные логарифмы, тогда (энтропия и информация) измеряется в битах. Это удобно тем, что выбор между двумя равновероятными уровнями Xi (как в двоичном) сигнале характеризуется неопределенностью 1 бит. В популярной литературе иногда пользуются десятичными логарифмами и единицей энтропии является дит. В физике удобнее пользоваться натуральными логарифмами и единицей энтропии является нат (поскольку в дальнейшем наш подход существенно физический, мы также используем натуральные логарифмы). Выбор основания – лишь вопрос масштаба, в любом случае энтропия безразмерна. Возможная величина энтропии заключена в пределах:

0<= H(X)<= logN.

Это интересно:

Закономерности и тенденции развития современного естествознания
Естествознание объединяет науки о природе, то есть об органическом и неорганическом мире, существующем во Вселенной. Под наукой понимают систему знаний о закономерностях развития природы, общества и мышления, а также отдельную отрасль так ...

Существование биосферы на Земле
Современная геохронологическая шкала характеризуется наличием архея – дожизненной эры и протерозоя – времени первичной жизни однозначно свидетельствует, что жизнь (биосфера) на нашей планете появилась в протерозое. Под биосферой, согласно ...

Критический период чувствительности к закрытию век
При закрытии век одного глаза у взрослых кошек или обезьян не наблюдается каких-либо последствий. Например, у взрослого животного, даже если глаз остается закрытым на протяжении более года, клетки в коре по прежнему получают нормальное уп ...