Собственная информация

Перейти к навигацииПерейти к поиску
Собственная информация дискретных равномерных распределений с двумя, тремя и десятью состояниями. Единица измерения «нат» — горизонтальная зелёная линия, риски слева — логарифмы натуральных чисел.

Собственная информация — статистическая функция дискретной случайной величины.

Собственная информация сама является случайной величиной, которую следует отличать от её среднего значения — информационной энтропии.

Для случайной величины , имеющей конечное число значений:

собственная информация определяется как

Единицы измерения информации зависят от основания логарифма. В случае логарифма с основанием 2 единицей измерения является бит, если используется натуральный логарифм — то нат, если десятичный — то хартли.

Основание
логарифма
Единица
измерения
Количество информации
о падении монеты «орлом» вверх
2бит бит
eнат ната
10хартли хартли

Собственную информацию можно понимать как «меру неожиданности» события — чем меньше вероятность события, тем больше информации оно содержит.

Свойства собственной информации

  1. Неотрицательность: . при , т. е. предопределённый факт никакой информации не несёт.
  2. Монотонность: , если .
  3. Аддитивность: для независимых справедливо .

См. также

Литература