В теории информации в формуле для энтропии обычно используют двоичные логарифмы, тогда (энтропия и информация) измеряется в битах. Это удобно тем, что выбор между двумя равновероятными уровнями Xi (как в двоичном) сигнале характеризуется неопределенностью 1 бит. В популярной литературе иногда пользуются десятичными логарифмами и единицей энтропии является дит. В физике удобнее пользоваться натуральными логарифмами и единицей энтропии является нат (поскольку в дальнейшем наш подход существенно физический, мы также используем натуральные логарифмы). Выбор основания – лишь вопрос масштаба, в любом случае энтропия безразмерна. Возможная величина энтропии заключена в пределах:

0<= H(X)<= logN.

Это интересно:

Вывод.
В каждом человеке I группы крови генетически заложены сила, закаленность, самостоятельность, отвага, интуиция, неистощимый оптимизм. Люди с этой группой крови настойчиво идут вперед, рискуют. «Бороться, искать, найти и не сдаваться» – эт ...

Исследование взаимосвязи группы крови и характера человека. Процедура исследования.
В соответствии с целями и задачами нашей работы была разработана следующая процедура исследования. Первый этап включил в себя диагностическое исследование с использованием соответствующих методик. Были проведены: 1. Тест на определение ...

Карты зрительных полей в латеральном коленчатом теле
Важной топографической особенностью является высокая упорядоченность в организации рецептивных полей в пределах каждого слоя ЛКТ. Соседние регионы сетчатки образуют связи с соседними клетками ЛКТ, так что рецептивные поля близрасположенны ...