Энтропийная скорость

Теория информации
Энтропия Дифференциальная энтропия Условная энтропия Совместная энтропия Взаимная информация Условная взаимная информация Относительная энтропия Энтропийная скорость
Свойство асимптотической равнораспределенности Теория частотных искажений
Теорема Шеннона об источнике шифрования Пропускная способность Теоремы Шеннона для канала с шумами Теорема Шеннона — Хартли

В математической теории вероятности энтропийная скорость случайного процесса является, неформально говоря, временно́й плотностью средней информации в стохастическом процессе. Для стохастических процессов со счётным индексом энтропийная скорость ${\displaystyle H(X)}$ является пределом совместной энтропии^[англ.] ${\displaystyle n}$ членов процесса ${\displaystyle X_{k}}$, поделённым на ${\displaystyle n}$, при стремлении ${\displaystyle n}$ к бесконечности:

${\displaystyle H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})}$

если предел существует. Альтернативно, связанной величиной является:

${\displaystyle H'(X)=\lim _{n\to \infty }H(X_{n}|X_{n-1},X_{n-2},\dots X_{1})}$

Для сильно стационарных стохастических процессов ${\displaystyle H(X)=H'(X)}$. Энтропийную скорость можно рассматривать как общее свойство стохастических источников, то есть свойство асимптотической равнораспределенности^[англ.]. Энтропийная скорость можно использовать для оценки сложности стохастических процессов. Он используется в различных приложениях от описания сложности языков, слепого разделения сигналов до оптимизации преобразователей и алгоритмов сжатия данных. Например, критерий максимальной энтропийной скорость может быть использован для отбора признаков в машинном обучении^[1].

Поскольку стохастический процесс, определяемый цепью Маркова, которая неприводима, непериодична и положительно рекурренктна, имеет стационарное распределение, энтропийная скорость независим от начального распределения.

Например, для такой цепи Маркова ${\displaystyle Y_{k}}$, определённом на счётном числе состояний, заданных матрицей переходов ${\displaystyle P_{ij}}$, ${\displaystyle H(Y)}$, задаётся выражением:

${\displaystyle \displaystyle H(Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}}$,

где ${\displaystyle \mu _{i}}$ является асимптотическим распределением^[англ.] цепи.

Простое следствие этого определение заключается в том, что независимый одинаково распределённый случайный процесс имеет энтропийную скорость, равную энтропии любого индивидуального члена процесса.

• Марковский источник информации
• свойство асимптотической равнораспределенности^[англ.]