Дивергенция Йенсена — Шеннона

Дивергенция Йенсена — Шеннона^[1] — это метод измерения похожести двух распределений вероятностей. Она известна также как информационный радиус^[2] или полное отклонение от среднего^[3]. Дивергенция базируется на дивергенции Кульбака — Лейблера с некоторыми существенными (и полезными) отличиями, среди которых, что она симметрична и всегда имеет конечное значение. Квадратный корень из дивергенции Йенсена — Шеннона является метрикой, которая часто упоминается как расстояние Йенсена — Шеннона^[4][5][6].

Рассмотрим множество ${\displaystyle M_{+}^{1}(A)}$ распределений вероятности, где A — это множество, снабжённое некоторой сигма-алгеброй измеримых подмножеств. В частности, мы можем взять в качестве A конечное или счётное множество, в котором все подмножества измеримы.

Дивергенция Йенсена — Шеннона (англ. Jensen–Shannon divergence, JSD) ${\displaystyle M_{+}^{1}(A)\times M_{+}^{1}(A)\rightarrow [0,\infty {})}$ — это симметризованная и сглаженная версия дивергенции Кульбака — Лейблера ${\displaystyle D(P\parallel Q)}$. Она определяется как

${\displaystyle {\rm {JSD}}(P\parallel Q)={\frac {1}{2}}D(P\parallel M)+{\frac {1}{2}}D(Q\parallel M)}$,

где ${\displaystyle M={\frac {1}{2}}(P+Q)}$

Недавно было предложено обобщение дивергенции Йенсена — Шеннона, в котором вместо арифметического среднего используется абстрактное среднее (наподобие геометрического или гармонического среднего)^[7]. Геометрическая дивергенция Йенсена — Шеннона (англ. G-Jensen–Shannon divergence) даёт явную a формулу дивергенции между двумя гауссовыми распределениями путём применения геометрического среднего.

Более общее определение, позволяющее сравнить более двух распределений вероятности (См):

${\displaystyle {\rm {JSD}}_{\pi _{1},\ldots ,\pi _{n}}(P_{1},P_{2},\ldots ,P_{n})=H\left(\sum _{i=1}^{n}\pi _{i}P_{i}\right)-\sum _{i=1}^{n}\pi _{i}H(P_{i})}$,

где ${\displaystyle \pi _{1},\ldots ,\pi _{n}}$ являются весами, выбранными для распределений вероятности ${\displaystyle P_{1},P_{2},\ldots ,P_{n}}$, а ${\displaystyle H(P)}$ является энтропией Шеннона для распределения ${\displaystyle P}$. Для случая двух распределений

${\displaystyle P_{1}=P,P_{2}=Q,\pi _{1}=\pi _{2}={\frac {1}{2}}.\ }$

Дивергенция Йенсена — Шеннона ограничена 1 для двух распределений вероятности, если (в дивергенции Кульбака — Лейблера) используется логарифм по основанию 2^[8]

${\displaystyle 0\leqslant {\rm {JSD}}(P\parallel Q)\leqslant 1}$

С такой нормализацией дивергенция Йенсена — Шеннона является нижней границей полного расстояния вариации^[англ.] между P и Q:

${\displaystyle {\rm {JSD}}(P\parallel Q)\leqslant {\frac {1}{2}}\|P-Q\|_{1}={\frac {1}{2}}\sum _{\omega \in \Omega }|P(\omega )-Q(\omega )|.}$

Для натурального логарифма, который обычно используется в статистической термодинамике, верхняя граница равна ln(2):

${\displaystyle 0\leqslant {\rm {JSD}}(P\parallel Q)\leqslant \ln(2)}$

Дивергенция Йенсена — Шеннона ограничена величиной ${\displaystyle \log _{2}(n)}$ для более двух распределений вероятности, если используется логарифм по основанию 2^[8]

${\displaystyle 0\leqslant {\rm {JSD}}_{\pi _{1},\ldots ,\pi _{n}}(P_{1},P_{2},\ldots ,P_{n})\leqslant \log _{2}(n)}$

Дивергенция Йенсена — Шеннона является взаимной информацией между случайной переменной ${\displaystyle X}$, ассоциированной со смесью распределений^[англ.] между ${\displaystyle P}$ и ${\displaystyle Q}$ и двоичной индикаторной переменной ${\displaystyle Z}$, которая используется для переключения между ${\displaystyle P}$ и ${\displaystyle Q}$ для получения смеси. Пусть ${\displaystyle X}$ будет некоторой функцией на множестве событий, которая хорошо различает события, и выберем значение ${\displaystyle X}$ согласно ${\displaystyle P}$, если ${\displaystyle Z=0}$, и согласно ${\displaystyle Q}$, если ${\displaystyle Z=1}$, где ${\displaystyle Z}$ равновероятно. То есть мы выбираем ${\displaystyle X}$ согласно мере ${\displaystyle M=(P+Q)/2}$, и его распределение является смесью распределений. Мы вычисляем

${\displaystyle {\begin{aligned}I(X;Z)&=H(X)-H(X|Z)\\&=-\sum M\log M+{\frac {1}{2}}\left[\sum P\log P+\sum Q\log Q\right]\\&=-\sum {\frac {P}{2}}\log M-\sum {\frac {Q}{2}}\log M+{\frac {1}{2}}\left[\sum P\log P+\sum Q\log Q\right]\\&={\frac {1}{2}}\sum P\left(\log P-\log M\right)+{\frac {1}{2}}\sum Q\left(\log Q-\log M\right)\\&={\rm {JSD}}(P\parallel Q)\end{aligned}}}$

Из результатов выше следует, что дивергенция Йенсена — Шеннона ограничена 0 и 1, поскольку взаимная информация неотрицательна и ограничена величиной ${\displaystyle H(Z)=1}$. Дивергенция Йенсена — Шеннона не всегда ограничена 0 и 1 — здесь верхняя граница 1 возникает из-за того, что мы рассматриваем конкретный случай двоичной переменной ${\displaystyle Z}$.

Можно применить тот же принцип для совместного распределения и произведения этих двух крайних распределений (по аналогии с дивергенцией Кульбака — Лейблера и взаимной информацией) и измерить, насколько достоверно можно решить, что результат получен от совместного распределения или от произведения распределений при предположении, что имеются только эти две возможности^[9].

Обобщение распределений вероятности на матрицы плотности позволяет определить квантовую дивергенцию Йенсена — Шеннона (англ. quantum Jensen–Shannon divergence, QJSD)^[10][11]. Она определяется для множества матриц плотности ${\displaystyle (\rho _{1},\ldots ,\rho _{n})}$ и распределений вероятности ${\displaystyle \pi =(\pi _{1},\ldots ,\pi _{n})}$ как

${\displaystyle {\rm {QJSD}}(\rho _{1},\ldots ,\rho _{n})=S\left(\sum _{i=1}^{n}\pi _{i}\rho _{i}\right)-\sum _{i=1}^{n}\pi _{i}S(\rho _{i})}$

где ${\displaystyle S(\rho )}$ является энтропией фон Неймана^[англ.] плотности ${\displaystyle \rho }$. Эта величина вводится в теории квантовой информации, где называется информацией Холево — она даёт верхнюю границу для количества классической информации, закодированной квантовыми состояниями ${\displaystyle (\rho _{1},\ldots ,\rho _{n})}$ при априорных распределениях ${\displaystyle \pi }$ (см. статью «Теорема Холево»)^[12]. Квантовая Дивергенция Йенсена — Шеннона для ${\displaystyle \pi =\left({\frac {1}{2}},{\frac {1}{2}}\right)}$ и двух матриц плотности является ограниченной всюду заданной симметричной функцией и равна нулю, только если две матрицы плотности совпадают. Она равна квадрату метрики чистых состояний^[13] и недавно было показано, что это метрическое свойство выполняется и для смешанных состояний^[14][15]. Метрика Бюреса^[англ.] тесно связана с квантовой дивергенцией Йенсена — Шеннона и является квантовым аналогом информационной метрики Фишера.

Нильсен ввёл косую K-дивергенцию^[16]: ${\displaystyle K_{\alpha }(p||q)=\mathrm {KL} (p||(1-\alpha )p+\alpha q)=\int p(x)\log {\frac {p(x)}{(1-\alpha )p(x)+\alpha q(x)}}\mathrm {d} x.}$ Отсюда получаем однопараметрическое семейство дивергенций Йенсена — Шеннона, называемое ${\displaystyle \alpha }$-дивергенциями Йенсена — Шеннона:

${\displaystyle \mathrm {JS} _{\alpha }(p,q)={\frac {1}{2}}\left(K_{\alpha }(p||q)+K_{\alpha }(q||p)\right)=\mathrm {JS} _{\alpha }(q,p),}$

которое включает дивергенцию Йенсена — Шеннона (для ${\displaystyle \alpha ={\frac {1}{2}}}$) и половину дивергенции Джеффриса (для ${\displaystyle \alpha =1}$).

Дивергенция Йенсена — Шеннона применяется в биоинформатике и сравнении геномов^{[англ.][17][18]}, при сравнении поверхностей белков^[19], в общественных науках^[20], при количественных исследованиях в истории^[21], экспериментах с огнём^[22] и машинном обучении ^[23].

• Frank Nielsen (2010). "A family of statistical symmetric divergences based on Jensen's inequality". arXiv:1009.4004 [cs.CV].

• Ruby gem for calculating JS divergence
• Python code for calculating JS divergence
• THOTH: a python package for the efficient estimation of information-theoretic quantities from empirical data
• statcomp R library for calculating complexity measures including Jensen-Shannon Divergence