Перекрёстная энтропия

В теории информации перекрёстная энтропия между двумя распределениями вероятностей измеряет среднее число бит, необходимых для опознания события из набора возможностей, если используемая схема кодирования базируется на заданном распределении вероятностей ${\displaystyle q}$, вместо «истинного» распределения ${\displaystyle p}$.

Перекрестная энтропия для двух распределений ${\displaystyle p}$ и ${\displaystyle q}$ над одним и тем же вероятностным пространством определяется следующим образом:

${\displaystyle \mathrm {H} (p,q){\stackrel {\mathrm {df} }{\;=\;}}\mathrm {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q)}$,

где ${\displaystyle H(p)}$ — энтропия ${\displaystyle p}$, и ${\displaystyle D_{\mathrm {KL} }(p||q)}$ — расстояние Кульбака—Лейблера от ${\displaystyle p}$ до ${\displaystyle q}$ (также известная как относительная энтропия).

Для дискретного ${\displaystyle p}$ и ${\displaystyle q}$ это означает

${\displaystyle \mathrm {H} (p,q)=-\sum _{x}p(x)\,\log q(x).}$

Ситуация для непрерывного распределения аналогична:

${\displaystyle \mathrm {H} (p,q)=-\int \limits _{X}p(x)\,\log q(x)\,dx.}$

Нужно учесть, что, несмотря на формальную аналогию функционалов для непрерывного и дискретного случаев, они обладают разными свойствами и имеют разный смысл. Непрерывный случай имеет ту же специфику, что и понятие дифференциальной энтропии.

NB: Запись ${\displaystyle \mathrm {H} (p,q)}$ иногда используется как для перекрёстной энтропии, так и для совместной энтропии ${\displaystyle p}$ и ${\displaystyle q}$.

Минимизация перекрёстной энтропии часто используется в оптимизации и для оценки вероятностей редких событий.

• Информационная энтропия