Информационная метрика Фишера

Информационная метрика Фишера в информационной геометрии^[англ.] — это особая риманова метрика, которая может быть определена на гладком статистическом многообразии^[англ.], то есть на гладком многообразии, точки которого являются вероятностными мерами из общего вероятностного пространства. Ее можно использовать для расчета информационной разницы между измерениями.

Метрика интересна в нескольких отношениях. По теореме Ченцова, информационная метрика Фишера на статистических моделях является единственной (с точностью до масштабирования) римановой метрикой, инвариантной при достаточной статистике.^[1][2]

Также ее можно рассматривать как инфинитезимальную форму, а точнее, гессиан относительной энтропии (то есть расстояния Кульбака — Лейблера).

С другой стороны, ее можно понимать как метрику, индуцированную евклидовой метрикой плоского пространства, после соответствующей замены переменной. При расширении на комплексное проективное гильбертово пространство^[англ.] она становится метрикой Фубини — Штуди, а в терминах смешанных состояний это квантовая метрика Буреса^[англ.].

В качестве просто матрицы она известна как информационная матрица Фишера^[англ.]. В качестве метода измерения, где метрика используется для оценки скрытых параметров с точки зрения наблюдаемых случайных величин, она известна как наблюдаемая информация^[англ.].

Пусть задано статистическое многообразие с координатами ${\displaystyle \theta =(\theta _{1},\theta _{2},\ldots ,\theta _{n})}$. Через ${\displaystyle p(x,\theta )}$ обозначим распределение вероятностей как функцию от ${\displaystyle \theta }$. Здесь ${\displaystyle x}$ принадлежит пространству ${\displaystyle R}$ значений дискретной или непрерывной случайной величины ${\displaystyle X}$. Вероятность нормирована равенством ${\displaystyle \int _{X}p(x,\theta )\,dx=1}$.

Тогда информационная метрика Фишера определяется как

${\displaystyle g_{jk}(\theta )=\int _{X}{\frac {\partial \log p(x,\theta )}{\partial \theta _{j}}}{\frac {\partial \log p(x,\theta )}{\partial \theta _{k}}}p(x,\theta )\,dx}$.

Интегрирование выполняется по всем значениям ${\displaystyle x}$ из ${\displaystyle X}$. Переменная ${\displaystyle \theta }$ становится координатой на римановом многообразии. Метки ${\displaystyle j}$ и ${\displaystyle k}$ указывают на локальные оси координат на многообразии.

Когда вероятность выводится из меры Гиббса, как это было бы для любого марковского процесса, то ${\displaystyle \theta }$ также можно понимать как множитель Лагранжа. Множители Лагранжа обеспечивают ограничения, такие как постоянство ожидаемого значения^[англ.] некоторой величины. Если существует ${\displaystyle n}$ ограничений, обеспечивающих постоянство ${\displaystyle n}$ различных ожидаемых значений, то размерность многообразия на ${\displaystyle n}$ измерений меньше исходного пространства. В этом случае метрика может быть явно получена из статистической суммы.

Через замену ${\displaystyle i(x,\theta )=-\log {}p(x,\theta )}$ из теории информации получается эквивалентная форма приведенного выше определения:

${\displaystyle g_{jk}(\theta )=\int _{X}{\frac {\partial ^{2}i(x,\theta )}{\partial \theta _{j}\,\partial \theta _{k}}}p(x,\theta )\,dx=\mathrm {E} \left[{\frac {\partial ^{2}i(x,\theta )}{\partial \theta _{j}\,\partial \theta _{k}}}\right]}$.

Для доказательства эквивалентности определений выше следует заметить, что

${\displaystyle \mathrm {E} \left[{\frac {\partial \log {}p(x,\theta )}{\partial \theta _{j}}}\right]=0}$,

и применить дифференцирование ${\displaystyle {\frac {\partial }{\partial \theta _{k}}}}$ к обеим частям.

Метрика может быть определена иначе: как вторая производная относительной энтропии, или расстояния Кульбака — Лейблера.^[3] Для этого необходимо рассмотреть два распределения вероятностей ${\displaystyle P(\theta )}$ и ${\displaystyle P(\theta _{0})}$, инфинитезимально близких друг к другу, так что

${\displaystyle P(\theta )=P(\theta _{0})+\sum _{j}\Delta \theta ^{j}\left.{\frac {\partial P}{\partial \theta ^{j}}}\right|_{\theta _{0}}}$,

где ${\displaystyle \Delta \theta ^{j}}$ — инфинитезимально малое изменение ${\displaystyle \theta }$ в направлении ${\displaystyle j}$. Тогда поскольку расстояние Кульбака — Лейблера ${\displaystyle D_{\mathrm {KL} }[P(\theta _{0})\|P(\theta )]}$ принимает минимальное абсолютное значение 0 при ${\displaystyle P(\theta )=P(\theta _{0})}$, то можно разложить до второго порядка по ${\displaystyle \theta =\theta _{0}}$ следующую форму:

${\displaystyle f_{\theta _{0}}(\theta ):=D_{\mathrm {KL} }[P(\theta _{0})\|P(\theta )]={\frac {1}{2}}\sum _{jk}\Delta \theta ^{j}\Delta \theta ^{k}g_{jk}(\theta _{0})+\mathrm {O} (\Delta \theta ^{3})}$.

Симметричная матрица ${\displaystyle g_{jk}}$ положительно (полу)определена и является гессианом функции ${\displaystyle f_{\theta _{0}}(\theta )}$ в точке экстремума ${\displaystyle \theta _{0}}$. Неформально это можно описать так: расстояние между двумя инфинитезимально близкими точками на статистическом дифференциальном многообразии и есть информационная разница между ними.

Действие кривой на римановом многообразии задается формулой:

${\displaystyle A={\frac {1}{2}}\int _{a}^{b}{\frac {\partial \theta ^{j}}{\partial t}}g_{jk}(\theta ){\frac {\partial \theta ^{k}}{\partial t}}dt}$.

Параметр пути здесь — время ${\displaystyle t}$. Это действие можно понимать как изменение свободной энтропии системы при ее перемещении от времени ${\displaystyle a}$ к времени ${\displaystyle b}$.^[4] А именно, изменение свободной энтропии выражается через действие формулой:

${\displaystyle \Delta S=(b-a)A\,}$.

Метрика Фишера также связывает действие и длину кривой с дивергенцией Йенсена — Шеннона.^[4] В частности,

${\displaystyle (b-a)\int _{a}^{b}{\frac {\partial \theta ^{j}}{\partial t}}g_{jk}{\frac {\partial \theta ^{k}}{\partial t}}\,dt=8\int _{a}^{b}dJSD}$,

где под ${\textstyle dJSD}$ понимается инфинитезимальное изменение дивергенции Йенсена — Шеннона на выбранном пути. Аналогично для длины кривой выполняется

${\displaystyle \int _{a}^{b}{\sqrt {{\frac {\partial \theta ^{j}}{\partial t}}g_{jk}{\frac {\partial \theta ^{k}}{\partial t}}}}\,dt={\sqrt {8}}\int _{a}^{b}{\sqrt {dJSD}}}$.

То есть квадратный корень из дивергенции Йенсена — Шеннона — это просто метрика Фишера, деленная на квадратный корень из 8.

Для дискретного вероятностного пространства, то есть вероятностного пространства на конечном наборе объектов, метрику Фишера можно понимать просто как евклидову метрику, ограниченную областью единичной сферы, в которой все координаты неотрицательны. Чтобы показать эту связь, нужно сделать соответствующую замену переменной.^[5]

Рассмотрим плоское евклидово пространство размерности N+1, заданное точками ${\displaystyle y=(y_{0},\cdots ,y_{n})}$. Метрика для евклидова пространства задается выражением

${\displaystyle h=\sum _{i=0}^{N}dy_{i}\;dy_{i}}$,

где ${\displaystyle \textstyle dy_{i}}$ — это ковариантные векторы. Они являются базисными векторами для кокасательного пространства. Приняв ${\displaystyle \textstyle {\frac {\partial }{\partial y_{j}}}}$ за базисные векторы для касательного пространства, так что

${\displaystyle dy_{j}\left({\frac {\partial }{\partial y_{k}}}\right)=\delta _{jk}}$,

можем записать евклидову метрику как

${\displaystyle h_{jk}^{\mathrm {flat} }=h\left({\frac {\partial }{\partial y_{j}}},{\frac {\partial }{\partial y_{k}}}\right)=\delta _{jk}}$.

Верхний индекс "${\displaystyle \mathrm {flat} }$" означает, что в координатной форме эта метрика относится к координате ${\displaystyle y}$ плоского пространства.

N-мерную единичную сферу в (N+1)-мерном евклидовом пространстве можно задать как

${\displaystyle \sum _{i=0}^{N}y_{i}^{2}=1}$.

Такое вложение индуцирует метрику на сфере. Метрика наследуется непосредственно от евклидовой метрики на объемлющем пространстве. Она принимает точно такую же форму, что и выше, с тем лишь ограничением, что координаты лежат на поверхности сферы. Это можно сделать, например, с помощью техники множителей Лагранжа.

Рассмотрим теперь замену переменной ${\displaystyle p_{i}=y_{i}^{2}}$. Уравнение сферы превращается в условие нормирования вероятности:

${\displaystyle \sum _{i}p_{i}=1}$.

При этом метрика принимает вид

${\displaystyle {\begin{aligned}h&=\sum _{i}dy_{i}\;dy_{i}=\sum _{i}d{\sqrt {p_{i}}}\;d{\sqrt {p_{i}}}\\&={\frac {1}{4}}\sum _{i}{\frac {dp_{i}\;dp_{i}}{p_{i}}}={\frac {1}{4}}\sum _{i}p_{i}\;d(\log p_{i})\;d(\log p_{i}).\end{aligned}}}$

Можно заметить, что последний результат — это одна четвертая информационной метрики Фишера. Наконец, вспомним, что вероятности являются параметрическими функциями переменных многообразия ${\displaystyle \theta }$, то есть ${\displaystyle p_{i}=p_{i}(\theta )}$. Таким образом, сказанное выше индуцирует метрику на многообразии параметров:

${\displaystyle {\begin{aligned}h&={\frac {1}{4}}\sum _{i}p_{i}(\theta )\;d(\log p_{i}(\theta ))\;d(\log p_{i}(\theta ))\\&={\frac {1}{4}}\sum _{jk}\sum _{i}p_{i}(\theta )\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{j}}}{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{k}}}d\theta _{j}d\theta _{k}.\end{aligned}}}$

Или, в координатной форме, информационная метрика Фишера:

${\displaystyle {\begin{aligned}g_{jk}(\theta )=4h_{jk}^{\mathrm {fisher} }&=4h\left({\frac {\partial }{\partial \theta _{j}}},{\frac {\partial }{\partial \theta _{k}}}\right)\\&=\sum _{i}p_{i}(\theta )\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{j}}}\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{k}}}\\&=\mathrm {E} \left[{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{j}}}\;{\frac {\partial \log p_{i}(\theta )}{\partial \theta _{k}}}\right],\end{aligned}}}$

где, как и раньше,

${\displaystyle d\theta _{j}\left({\frac {\partial }{\partial \theta _{k}}}\right)=\delta _{jk}.}$

Верхний индекс "${\displaystyle \mathrm {fisher} }$" означает, что выражение применяется к координатам ${\displaystyle \theta }$, тогда как некоординатная форма та же, что и у евклидовой метрики (в плоском пространстве). То есть информационная метрика Фишера на статистическом многообразии — это просто учетверенная евклидова метрика, ограниченная неотрицательной по всем координатам областью сферы, после соответствующей замены переменной.

Если же случайная величина ${\displaystyle p}$ не дискретна, а непрерывна, рассуждение остается в силе. Это можно показать двумя разными способами.

Первый — аккуратно повторить все вышеперечисленные шаги в бесконечномерном пространстве, стараясь правильно определить пределы и т. д., чтобы быть уверенными, что все преобразования четко определены, сходятся и т. д.

Другой способ, как отмечено М. Л. Громовым^[5], — применить теоретико-категориальный подход, то есть отметить, что описанные выше манипуляции остаются в силе в категории вероятностей. Здесь следует отметить, что такая категория обладала бы свойством Радона — Никодима^[англ.], то есть в этой категории справедлива теорема Радона — Никодима. В том числе это верно для гильбертовых пространств. Они интегрируемы с квадратом, и в описанных выше преобразованиях этого достаточно, чтобы безопасно заменить суммирование по квадратам на интеграл квадрата.

Вышеупомянутый вывод метрики Фишера из евклидовой метрики можно распространить и на комплексные проективные гильбертовы пространства^[англ.]. В этом случае получается метрика Фубини — Штуди.^[6] Это вполне закономерно, поскольку метрика Фубини — Штуди позволяет измерять информацию в квантовой механике. Метрика Буреса^[англ.], также известная как метрика Хельстрома, идентична метрике Фубини — Штуди, хотя последняя обычно записывается в терминах чистых состояний, как показано ниже, тогда как метрика Буреса записывается для смешанных состояний. Установив фазу комплексной координаты равной нулю, можно получить ровно одну четвертую метрики информации Фишера точно так же, как указано выше.

Вывод начинается с того же приема — построения амплитуды вероятности, записанной в полярных координатах:

${\displaystyle \psi (x,\theta )={\sqrt {p(x,\theta )}}\;e^{i\alpha (x,\theta )}}$.

Здесь ${\displaystyle \psi (x,\theta )}$ — комплекснозначная амплитуда вероятности, ${\displaystyle p(x,\theta )}$ и ${\displaystyle \alpha (x,\theta )}$ строго действительны. Предыдущие расчеты получены подстановкой ${\displaystyle \alpha (x,\theta )=0}$. Стандартное условие, что вероятности лежат внутри симплекса, то есть

${\displaystyle \int _{X}p(x,\theta )\,dx=1}$,

эквивалентно выражается нормированием квадрата амплитуды:

${\displaystyle \int _{X}\vert \psi (x,\theta )\vert ^{2}\,dx=1}$.

Когда ${\displaystyle \psi (x,\theta )}$ действительно, это условие задаёт поверхность сферы.

Метрика Фубини — Штуди, записанная в инфинитезимальной форме с использованием квантово-механических обозначений бра и кет, имеет вид:

${\displaystyle ds^{2}={\frac {\langle \delta \psi \mid \delta \psi \rangle }{\langle \psi \mid \psi \rangle }}-{\frac {\langle \delta \psi \mid \psi \rangle \;\langle \psi \mid \delta \psi \rangle }{{\langle \psi \mid \psi \rangle }^{2}}}.}$

В этих обозначениях ${\displaystyle \langle x\mid \psi \rangle =\psi (x,\theta )}$ и интеграл по всему измеримому пространству ${\displaystyle X}$ записывается так:

${\displaystyle \langle \phi \mid \psi \rangle =\int _{X}\phi ^{*}(x,\theta )\psi (x,\theta )\,dx.}$

Выражение ${\displaystyle \vert \delta \psi \rangle }$ можно понимать как инфинитезимальную вариацию. Эквивалентно его можно понимать как ковариантный вектор в кокасательном пространстве. Используя инфинитезимальную нотацию, можно представить вышеупомянутую полярную форму вероятности так:

${\displaystyle \delta \psi =\left({\frac {\delta p}{2p}}+i\delta \alpha \right)\psi }$.

Подстановка этого результата в метрику Фубини — Штуди дает:

${\displaystyle {\begin{aligned}ds^{2}={}&{\frac {1}{4}}\int _{X}(\delta \log p)^{2}\;p\,dx\\[8pt]{}&+\int _{X}(\delta \alpha )^{2}\;p\,dx-\left(\int _{X}\delta \alpha \;p\,dx\right)^{2}\\[8pt]&{}-{\frac {i}{2}}\int _{X}(\delta \log p\delta \alpha -\delta \alpha \delta \log p)\;p\,dx.\end{aligned}}}$

При подстановке ${\displaystyle \delta \alpha =0}$ в выражении выше становится ясно, что первый член является одной четвертой информационной метрики Фишера. Полную запись вышеизложенного можно сделать немного яснее, изменив обозначения на стандартную риманову геометрию, чтобы метрика стала симметричной 2-формой, действующей на касательное пространство. Смена обозначений заключается в простой замене: ${\displaystyle \delta \to d}$ и ${\displaystyle ds^{2}\to h}$ — и в замечании, что интегралы — это просто математические ожидания:

${\displaystyle {\begin{aligned}h={}&{\frac {1}{4}}\mathrm {E} \left[(d\log p)^{2}\right]+\mathrm {E} \left[(d\alpha )^{2}\right]-\left(\mathrm {E} \left[d\alpha \right]\right)^{2}\\[8pt]{}&-{\frac {i}{2}}\mathrm {E} \left[d\log p\wedge d\alpha \right].\end{aligned}}}$

Мнимый член — это симплектическая форма и фаза Берри, или геометрическая фаза. В индексной записи метрика записывается так:

${\displaystyle {\begin{aligned}h_{jk}={}&h\left({\frac {\partial }{\partial \theta _{j}}},{\frac {\partial }{\partial \theta _{k}}}\right)\\[8pt]={}&{\frac {1}{4}}\mathrm {E} \left[{\frac {\partial \log p}{\partial \theta _{j}}}{\frac {\partial \log p}{\partial \theta _{k}}}\right]\\[8pt]{}&+\mathrm {E} \left[{\frac {\partial \alpha }{\partial \theta _{j}}}{\frac {\partial \alpha }{\partial \theta _{k}}}\right]-\mathrm {E} \left[{\frac {\partial \alpha }{\partial \theta _{j}}}\right]\mathrm {E} \left[{\frac {\partial \alpha }{\partial \theta _{k}}}\right]\\[8pt]&{}-{\frac {i}{2}}\mathrm {E} \left[{\frac {\partial \log p}{\partial \theta _{j}}}{\frac {\partial \alpha }{\partial \theta _{k}}}-{\frac {\partial \alpha }{\partial \theta _{j}}}{\frac {\partial \log p}{\partial \theta _{k}}}\right].\end{aligned}}}$

Опять же, можно легко заметить, что первый член — это одна четвертая от информационной метрики Фишера при ${\displaystyle \alpha =0}$. Эквивалентно метрику Фубини — Штуди можно понимать как метрику комплексного проективного гильбертова пространства, индуцированную комплексным расширением плоской евклидовой метрики. Разница между этой метрикой и метрикой Буреса заключается в том, что последняя записывается в терминах смешанных состояний.

Несколько более формальное, абстрактное определение информационной метрике Фишера можно дать следующим образом.^[7]

Пусть ${\displaystyle X}$ — ориентируемое многообразие и ${\displaystyle (X,\Sigma ,\mu )}$ — мера на ${\displaystyle X}$. Равнозначно, пусть ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ — вероятностное пространство на ${\displaystyle \Omega =X}$ с сигма-алгеброй ${\displaystyle {\mathcal {F}}=\Sigma }$ и вероятностью ${\displaystyle P=\mu }$.

Статистическое многообразие^[англ.] ${\displaystyle S(X)}$ пространства ${\displaystyle X}$ определяется как пространство всех мер ${\displaystyle \mu }$ на ${\displaystyle X}$ (с зафиксированной сигма-алгеброй ${\displaystyle \Sigma }$). Следует заметить, что это пространство бесконечномерно и обычно считается пространством Фреше. Точки ${\displaystyle S(X)}$ являются мерами.

Выберем точку ${\displaystyle \mu \in S(X)}$ и рассмотрим касательное пространство ${\displaystyle T_{\mu }S}$. Тогда информационная метрика Фишера — это внутреннее произведение в касательном пространстве.

Злоупотребляя обозначениями^[англ.], это можно записать так:

${\displaystyle g(\sigma _{1},\sigma _{2})=\int _{X}{\frac {d\sigma _{1}}{d\mu }}{\frac {d\sigma _{2}}{d\mu }}d\mu }$.

Здесь ${\displaystyle \sigma _{1}}$ и ${\displaystyle \sigma _{2}}$ — векторы в касательном пространстве: ${\displaystyle \sigma _{1},\sigma _{2}\in T_{\mu }S}$. Злоупотребление обозначениями состоит в том, что касательные векторы записаны, как если бы они были производными, и в добавлении постороннего знака дифференциала ${\displaystyle d}$ при написании интеграла: интегрирование должно выполняться с использованием меры ${\displaystyle \mu }$ по всему пространству ${\displaystyle X}$. На самом деле, такое злоупотребление обозначениями считается совершенно нормальным в теории меры. Это стандартное обозначение для производной Радона — Никодима.

Чтобы интеграл был корректно определен, пространство ${\displaystyle S(X)}$ должно обладать свойством Радона — Никодима^[англ.]. Точнее, касательное пространство сужается до векторов, которые интегрируются с квадратом. Следует отметить, что гильбертовы пространства обладают этим свойством.

Можно показать в несколько этапов, что это определение метрики эквивалентно предыдущему. Сначала следует выбрать подмногообразие в ${\displaystyle S(X)}$ из только тех мер ${\displaystyle \mu }$, которые параметризованы некоторым гладко изменяющимся параметром ${\displaystyle \theta }$. Тогда если ${\displaystyle \theta }$ конечномерен, то и подмногообразие также конечномерно. Аналогично касательное пространство имеет ту же размерность, что и ${\displaystyle \theta }$.

Выражаясь еще менее строго, стоит отметить, что экспоненциальное отображение ставит в соответствие векторам в касательном пространстве точки в нижележащем многообразии. Таким образом, если ${\displaystyle \sigma \in T_{\mu }S}$ — вектор в касательном пространстве, то ${\displaystyle p=\exp(\sigma )}$ — соответствующая вероятность, связанная с точкой ${\displaystyle p\in S(X)}$ (после параллельного перенесения экспоненциального отображения на ${\displaystyle \mu }$). Обратно, для заданной точки ${\displaystyle p\in S(X)}$ логарифм определяет точку в касательном пространстве (грубо говоря, опять же нужно перенести из начала в точку ${\displaystyle \mu }$). Таким образом, в более простом определении, данном ранее, возникают логарифмы.

• Неравенство Крамера — Рао
• Информация Фишера

• Feng, Edward H.; Crooks, Gavin E. (2009). "Far-from-equilibrium measurements of thermodynamic length". Physical Review E (англ.). 79 (1 Pt 1): 012104. arXiv:0807.0621. Bibcode:2009PhRvE..79a2104F. doi:10.1103/PhysRevE.79.012104. PMID 19257090.
• Shun'ichi Amari (1985) Differential-geometrical methods in statistics, Lecture Notes in Statistics, Springer-Verlag, Berlin.
• Shun'ichi Amari, Hiroshi Nagaoka (2000) Methods of information geometry, Translations of mathematical monographs; v. 191, American Mathematical Society.
• Paolo Gibilisco, Eva Riccomagno, Maria Piera Rogantin and Henry P. Wynn, (2009) Algebraic and Geometric Methods in Statistics, Cambridge U. Press, Cambridge.