В теории информации в формуле для энтропии обычно используют двоичные логарифмы, тогда (энтропия и информация) измеряется в битах. Это удобно тем, что выбор между двумя равновероятными уровнями Xi (как в двоичном) сигнале характеризуется неопределенностью 1 бит. В популярной литературе иногда пользуются десятичными логарифмами и единицей энтропии является дит. В физике удобнее пользоваться натуральными логарифмами и единицей энтропии является нат (поскольку в дальнейшем наш подход существенно физический, мы также используем натуральные логарифмы). Выбор основания – лишь вопрос масштаба, в любом случае энтропия безразмерна. Возможная величина энтропии заключена в пределах:

0<= H(X)<= logN.

Это интересно:

Животные яды
Символом доброго дела, здоровья и врачевания является змея, обвивающая чашу и склонившая над ней свою голову. Использование змеиного яда и самой змеи одна из наиболее древних методик. Существуют различные легенды, согласно которым змеи со ...

Прострел раскрытый, или сон-трава
Это красивоцветущее растение встречается у нас по сухим сосновым лесам, на открытых солнечных местах. Крупные фиолетовые цветки этого растения напоминают по форме колокольчики. Вначале цветки поникшие, потом прямостоячие. Пока цветок не в ...

Вернадский о переходе биосферы в ноосферу: прогноз и реальность
Процессы подготавливающиеся много миллиардов лет, не могут быть приходящими, не могут остановиться. Отсюда следует, что биосфера неизбежно перейдет в ноосферу, то есть в жизни народов, ее населяющих, произойдут события, нужные для этого, ...