В теории информации в формуле для энтропии обычно используют двоичные логарифмы, тогда (энтропия и информация) измеряется в битах. Это удобно тем, что выбор между двумя равновероятными уровнями Xi (как в двоичном) сигнале характеризуется неопределенностью 1 бит. В популярной литературе иногда пользуются десятичными логарифмами и единицей энтропии является дит. В физике удобнее пользоваться натуральными логарифмами и единицей энтропии является нат (поскольку в дальнейшем наш подход существенно физический, мы также используем натуральные логарифмы). Выбор основания – лишь вопрос масштаба, в любом случае энтропия безразмерна. Возможная величина энтропии заключена в пределах:

0<= H(X)<= logN.

Это интересно:

Физико-географические особенности Азовского моря
Безмолвное море, лазурное море, Стою очарован над бездной твоей, Ты живо; ты дышишь; смятенной любовью, Тревожною думой наполнено ты. Безмолвное море, лазурное море, Открой мне глубокую тайну свою. В.Жуковский Участок земли, на кот ...

Факторы, влияющие на индивидуальное развитие
Факторы, влияющие на индивидуальное развитие (онтогенез), подразделяются на наследственные и средовые (влияние внешней среды). Степень наследственного (генетического) влияния неодинакова на разных этапах роста и развития. Воздействие нас ...

Методы научного познания
В основе методов научного познания лежит единство его эмпирической и теоретической сторон. Они взаимосвязаны и обусловливают друг друга. Их разрыв, или преимущественное развитие одной за счет другой, закрывает путь к правильному познанию ...