Принцип максимума энтропии

Принцип максимума энтропии утверждает, что наиболее характерными распределениями вероятностей состояний неопределенной среды являются такие распределения, которые максимизируют выбранную меру неопределенности при заданной информации о «поведении» среды. Впервые подобный подход использовал Д. Гиббс для нахождения экстремальных функций распределений физических ансамблей частиц. Впоследствии Э. Джейнсом был предложен формализм восстановления неизвестных законов распределения случайных величин при наличии ограничений из условий максимума энтропии Шеннона.

Рассмотрим дискретную случайную величину ${\displaystyle X}$, которая может принимать значения ${\displaystyle x_{1},...,x_{n}}$ с вероятностями ${\displaystyle p_{1},...,p_{n}}$. Значения вероятностей неизвестны. Зато известно математическое ожидание некоторой функции данной случайной величины: ${\displaystyle M[f(x)]=\sum \limits _{i=1}^{n}{f({x_{i}}){p_{i}}}}$. Основываясь на этой информации, каково математическое ожидание функции ${\displaystyle g(x)}$?

На первый взгляд, задача кажется неразрешимой, поскольку предварительно необходимо знать вероятностное распределение ${\displaystyle X}$, а исходной информации недостаточно, чтобы найти все значения вероятностей ${\displaystyle p_{i}}$. Уравнение матожидания функции ${\displaystyle f(x)}$ вместе с уравнением нормировки ${\displaystyle \sum \limits _{i=1}^{n}{p_{i}}=1}$ дают всего два уравнения из ${\displaystyle n}$ необходимых для составления системы уравнений.

Эта задача определения вероятностного распределения в случаях, когда мало или совсем нет информации о случайной величине, стара как сама теория вероятностей. Лапласовский принцип недостаточного основания был попыткой предложить такой критерий выбора: он заключается в том, что два события считаются равновероятными, если нет оснований считать иначе.

Связь статистики с аксиоматической теорией вероятности имеет 2 различных подхода^[1]. Частотный (frequentist) подход рассматривает вероятность как предел частоты, вероятность — это то что описывает свойства бесконечно больших ансамблей бинарных событий. Байесов подход обобщает фреквентистский подход тем, что постулирует новый смысл вероятности как количественной характеристики какого-либо бинарного эксперимента. Это даёт те же результаты при описании ансамблей, что и фреквентистский подход, но позволяет давать количественные оценки для бинарных экспериментов, исход которых заранее неизвестен, и улучшать оценки по мере поступления новой информации об исходах; всё это при фреквентистском понимании не имеет смысла.

Лаплас, например, считал, что в мире вообще нет ничего случайного, и если есть информация о причинах событий, то следствия (сами события) могут быть предсказаны со стопроцентной точностью (лапласовский детерминизм). Этот подход к вероятности развивали независимо физик Д.Гиббс (в статистической механике Гиббса) и математик К.Шеннон (при разработке теории информации). Оба они получили величину, выражающую собой меру неопределенности об исходах какого-либо события (или, по-другому, меру неопределенности вероятностного распределения), которая была названа энтропией и вычислялась по похожим формулам. Далее на это сходство обратил внимание физик Э. Т. Джейнс в двух статьях 1957 года^[1][2].

Строго говоря, Гиббс не был первопроходцем в разработке понятия физической энтропии. Само понятие энтропии предложил физик Р.Клаузиус, а затем его развивал физик Л.Больцман, причём каждый из них получил свою функцию энтропии. Клаузиус работал с термодинамическими понятиями, Больцман же разрабатывал молекулярную физику и статистическую механику.

Точно так же Шеннон основывался в своей работе на результатах Г.Найквиста и Р.Хартли, заложивших основы теории информации.

Предположим, что событие ${\displaystyle A}$ может произойти, а может и не произойти в ходе случайного эксперимента. Если событие ${\displaystyle A}$ не произошло, будем считать, что произошло противоположное событие ${\displaystyle {\overline {A}}}$. Таким образом, события ${\displaystyle A}$ и ${\displaystyle {\overline {A}}}$ образуют полную группу событий, что означает, что это несовместные события, а их вероятности в сумме равны единице: ${\displaystyle P(A)+P({\overline {A}})=1}$.

Если о событии ${\displaystyle A}$ не известно вообще ничего, то, согласно субъективному подходу к вероятности, нужно принять, что события ${\displaystyle A}$ и ${\displaystyle {\overline {A}}}$ равновероятны: ${\displaystyle P(A)=P({\overline {A}})=0,5}$.

По мере обретения некоторой информации, одна вероятность начнет перевешивать другую, а неопределенность начнет уменьшаться. В конце концов, при получении полной информации окажется, что ${\displaystyle P(A)=1}$, ${\displaystyle P({\overline {A}})=0}$ (или наоборот: ${\displaystyle P(A)=0}$, ${\displaystyle P({\overline {A}})=1}$). Неопределенность при этом упадет до нуля.

Хорошо бы придумать такую функцию этих вероятностей, которая бы достигала максимума при полной неопределенности и обращалась в ноль при полной определённости. И чем больше одна вероятность перевешивает другую, чем больше между ними «асимметрия», тем меньшее значение принимает данная функция.

Эту функцию (функционал) назовем энтропией распределения или неопределенностью распределения. Строго говоря, энтропия — лишь мера неопределенности, а не сама неопределенность. Но здесь все как в случае с вероятностями: вероятность — это одновременно и возможность события, и мера этой возможности. В принципе, правильно говорить и так, и эдак.

В качестве такой функции можно рассмотреть, например, произведение вероятностей событий ${\displaystyle A}$ и ${\displaystyle {\overline {A}}}$. Обозначим ${\displaystyle P(A)=p}$, ${\displaystyle P({\overline {A}})=1-p}$ и рассмотрим функцию ${\displaystyle H(p)=p(1-p)}$. Поскольку ${\displaystyle H(p)}$ — это перевернутая парабола, проходящая через начало координат и точку ${\displaystyle (1;0)}$, то своего максимума она достигает при ${\displaystyle p=0,5}$.

Далее, по мере увеличения «асимметрии» вероятностей, ${\displaystyle H(p)}$ постепенно уменьшается, пока окончательно не превращается в ноль при ${\displaystyle p=1}$ или при ${\displaystyle p=0}$.

В силу симметрии ${\displaystyle H(p=0,4)=H(p=0,6)=0,24}$, потому что всё равно, какое именно из двух событий обладает вероятностью ${\displaystyle 0,4}$, а какое — вероятностью ${\displaystyle 0,6}$.

С другой стороны, ${\displaystyle H(p=0,3)<H(p=0,6)}$ (0,21<0,24), потому что в этом втором случае вероятности более «асимметричны», чем в первом случае.

Функция ${\displaystyle H_{1}(p)=CH(p)=Cp(1-p)}$, где ${\displaystyle C>0}$ — какой-то коэффициент, тоже справляется с наложенными на неё «обязанностями»: достигает максимума в ${\displaystyle p=0,5}$ и минимума (нуля) в ${\displaystyle p=1}$ и ${\displaystyle p=0}$. Это значит, что искомый функционал может быть определён с точностью до некоторого коэффициента.

Пусть теперь полную группу событий образуют три события. Можно и в этом случае рассматривать в качестве энтропии произведение их вероятностей ${\displaystyle H_{1}(p,q)=pq(1-p-q)}$ и даже можно доказать, что максимума это произведение достигает, когда все вероятности равны между собой: ${\displaystyle p=q=1-p-q=1/3}$.

Здесь, правда, возникает одна неприятность. Максимум энтропии для трех событий равен ${\displaystyle {\frac {1}{3}}{\frac {1}{3}}{\frac {1}{3}}={\frac {1}{27}}}$ — это меньше, чем максимум энтропии для двух событий, который равен ${\displaystyle {\frac {1}{2}}{\frac {1}{2}}={\frac {1}{4}}}$. А хотелось бы, чтоб было наоборот: чем больше событий, тем больше неопределенность.

Другая, более серьёзная неприятность заключается в том, что если вероятность хотя бы одного события равна нулю, то и всё произведение вероятностей автоматически становится равным нулю. То есть неопределенность исчезает, становится равной нулю согласно такому функционалу, хотя на самом деле это не так. Неопределенность должна исчезать, когда все вероятности, кроме одной, равны нулю, а эта единственная вероятность равна единице. Тем не менее, для двух исходов таким функционалом вполне можно пользоваться. Но для двух исходов и не нужно никаких функционалов: если известно матожидание распределения некоторой случайной величины ${\displaystyle X}$, то уравнение матожидания вместе с условием нормировки как раз дают систему из двух уравнений, из которой однозначно находятся ${\displaystyle p_{1}}$ и ${\displaystyle p_{2}}$. Если же о распределении не известно вообще ничего, то вероятности приравниваются друг к другу, а это можно сделать без всяких функционалов.

Клод Шеннон наложил на искомую функцию ${\displaystyle H(p_{1},...,p_{n})}$ три условия^[3]:

1. ${\displaystyle H(p_{1},...,p_{n})}$ должна быть непрерывной функцией от переменных ${\displaystyle p_{i}}$;
2. если все вероятности ${\displaystyle p_{i}}$ равны, то функция ${\displaystyle A(n)=H({\frac {1}{n}},...,{\frac {1}{n}})\ }$ является монотонно возрастающей функцией от ${\displaystyle n}$. Иными словами, ${\displaystyle H\underbrace {({\frac {1}{n}},...,{\frac {1}{n}})} _{n}<H\underbrace {({\frac {1}{n+1}},...,{\frac {1}{n+1}})} _{n+1}}$;
3. Закон композиции. Вместо того, чтобы задавать вероятности событий непосредственно, можно сгруппировать первые ${\displaystyle k}$ из них вместе, как одно событие с соответствующей вероятностью ${\displaystyle \omega _{1}=p_{1}+...+p_{k}}$. Оставшиеся — как второе событие с вероятностью ${\displaystyle \omega _{2}=p_{k+1}+...+p_{n}}$. Тогда функция ${\displaystyle H}$ должна подчиняться условию ${\displaystyle H({p_{1}},...,{p_{n}})=H({\omega _{1}},{\omega _{2}})+{\omega _{1}}H\left({{\frac {p_{1}}{\omega _{1}}},...,{\frac {p_{k}}{\omega _{1}}}}\right)+{\omega _{2}}H\left({{\frac {p_{k+1}}{\omega _{2}}},...,{\frac {p_{n}}{\omega _{2}}}}\right)}$;

Закон композиции требует особого рассмотрения, поскольку именно на его основе далее формируется вид функции ${\displaystyle H}$. Идея заключается в следующем.

Случайный эксперимент разбивается на два последовательных этапа. На первом этапе с вероятностями ${\displaystyle \omega _{1}}$ и ${\displaystyle \omega _{2}}$ выбирается первая (до ${\displaystyle k}$) либо вторая (после ${\displaystyle k}$) часть исходов. На втором этапе выбирается сам исход из выбранной части исходов. При этом исход из выбранной части выбирается уже с условными вероятностями ${\displaystyle {\frac {p_{1}}{\omega _{1}}},...,{\frac {p_{k}}{\omega _{1}}}}$, то есть при условии, что данная часть (в данном случае, первая часть) выбрана. Сам Шеннон говорит, что если выбор распадается на два этапа, первоначальная энтропия должна быть взвешенной суммой индивидуальных энтропий, то есть условных энтропий.

Общий смысл таков, что если случайный выбор на первом этапе сделан, то вероятности ${\displaystyle \omega _{1}}$ и ${\displaystyle \omega _{2}}$ принимают значения ${\displaystyle 0}$ или ${\displaystyle 1}$, и дальнейшая неопределенность равна только одной из условных энтропий.

В качестве примера рассмотрим два графа:

На левом графе есть три исхода с вероятностями ${\displaystyle p_{1}=1/2}$, ${\displaystyle p_{2}=1/3}$, ${\displaystyle p_{3}=1/6}$, образующих полную группу событий (то есть ${\displaystyle p_{1}+p_{2}+p_{3}=1}$). На правом графе мы сначала выбираем между двумя возможностями, каждую с вероятностью ${\displaystyle 1/2}$. Если выбрана вторая возможность, тогда делается ещё один выбор с вероятностями ${\displaystyle 2/3}$ и ${\displaystyle 1/3}$. Энтропии на обоих графах должны получиться одинаковыми, поскольку в конечном счете получаются те же самые исходы с теми же вероятностями. По закону композиции запишем ${\displaystyle H({\frac {1}{2}},{\frac {1}{3}},{\frac {1}{6}})=H({\frac {1}{2}},{\frac {1}{2}})+{\frac {1}{2}}H\left(1\right)+{\frac {1}{2}}H\left({{\frac {1}{3}},{\frac {2}{3}}}\right)=H({\frac {1}{2}},{\frac {1}{2}})+{\frac {1}{2}}H\left({{\frac {1}{3}},{\frac {2}{3}}}\right)}$.

Здесь ${\displaystyle H(1)=0}$, поскольку полная группа событий, состоящая всего из одного события, наступающего со стопроцентной вероятностью, порождает нулевую неопределенность. При этом, по словам самого Шеннона, коэффициент ${\displaystyle 1/2}$ появляется потому, что второй выбор появляется только половину всех раз.

В законе композиции первый этап может состоять не из двух возможностей, а из большего числа возможностей с соответствующими вероятностями ${\displaystyle \omega _{1}}$, ${\displaystyle \omega _{2}}$, ${\displaystyle \omega _{3}}$, …

Закон композиции является своеобразным обобщением аддитивного свойства энтропии, хотя и не следует непосредственно из этого свойства. Действительно, пусть некий эксперимент состоит из шести равновероятных исходов. Пусть эти исходы поделены на три равные части: на первом этапе выбирается одна из трех частей, на втором этапе выбирается исход внутри соответствующей части. Тогда можно записать ${\displaystyle H({\frac {1}{6}},{\frac {1}{6}},{\frac {1}{6}},{\frac {1}{6}},{\frac {1}{6}},{\frac {1}{6}})=H({\frac {1}{3}},{\frac {1}{3}},{\frac {1}{3}})+{\frac {1}{3}}H\left({{\frac {1}{2}},{\frac {1}{2}}}\right)+{\frac {1}{3}}H\left({{\frac {1}{2}},{\frac {1}{2}}}\right)+{\frac {1}{3}}H\left({{\frac {1}{2}},{\frac {1}{2}}}\right)}$.

Полученное равенство можно переписать так:

${\displaystyle A(6)=A(3)+{\frac {1}{3}}A\left(2\right)+{\frac {1}{3}}A\left(2\right)+{\frac {1}{3}}A\left(2\right)=A(3)+A\left(2\right)}$.

В общем случае ${\displaystyle A(mn)=A(m)+A\left(n\right)}$.

Но этот же результат можно получить из других соображений.

Предположим, есть случайный эксперимент с ${\displaystyle m}$ равновероятными исходами и другой случайный эксперимент с ${\displaystyle n}$ равновероятными исходами. Пусть эти два случайных эксперимента никак не связаны друг с другом. Но в любом случае их можно рассматривать как один объединённый эксперимент, в котором отдельный исход заключается в том, что произошел ${\displaystyle i}$-й исход первого эксперимента и ${\displaystyle j}$-й исход второго эксперимента. В таком объединённом эксперименте есть уже ${\displaystyle mn}$ равновероятных исходов. Поскольку неопределенность двух экспериментов не должна меняться в зависимости от подобной смены точки зрения, то ${\displaystyle A(mn)=A(m)+A\left(n\right)}$.

Как следствие этого результата, ${\displaystyle A(m^{s})=sA(m)}$, где ${\displaystyle s}$ — неотрицательное целое. Если ${\displaystyle s=0}$, то последнее равенство принимает вид ${\displaystyle A(1)=0}$, оставаясь верным равенством.

Закон композиции позволяет выразить энтропию вероятностного распределения, в котором все вероятности — рациональные числа, как взвешенную сумму функций ${\displaystyle A}$. Действительно, пусть есть полная группа событий из ${\displaystyle n}$ несовместных событий с вероятностями ${\displaystyle p_{1}=n_{1}/n}$, ${\displaystyle p_{2}=n_{2}/n}$, …, ${\displaystyle p_{n}=n_{n}/n}$, где ${\displaystyle n_{i}}$, ${\displaystyle n}$, — натуральные, ${\displaystyle n_{1}+...+n_{n}=n}$. Тогда можно записать

${\displaystyle A(n)=H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})+\sum \limits _{i=1}^{n}{{\frac {n_{i}}{n}}A({n_{i}})}}$ .

Из этого уравнения уже можно выразить ${\displaystyle H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})}$.

Не известно точно, откуда Шеннон взял свой закон композиции. Возможно, он хотел, чтобы его энтропия получилась похожей на энтропию Хартли, и он придумал такое условие (закон композиции), из которого энтропия Шеннона получалась бы однозначным образом.

Теорема:

Доказательство.

Доказательство сводится к выяснению вида функции ${\displaystyle A}$.

Для любого натурального ${\displaystyle t}$ и любого, сколь угодно большого натурального ${\displaystyle n}$ можно найти такое натуральное ${\displaystyle m>1}$ и неотрицательное целое ${\displaystyle s}$, что ${\displaystyle {m^{s}}\leq {t^{n}}\leq {m^{s+1}}}$. Потенцируя обе части неравенства и деля на ${\displaystyle n\ln m}$, получим ${\displaystyle {\frac {s}{n}}\leq {\frac {\ln t}{\ln m}}\leq {\frac {s+1}{n}}}$, откуда ${\displaystyle \left|{{\frac {s}{n}}-{{\log }_{m}}t}\right|\leq {\frac {1}{n}}}$. Поскольку основание натурального логарифма больше единицы, то знак неравенств не меняется.

С другой стороны, исходя из монотонности ${\displaystyle A(n)}$, можно записать ${\displaystyle A({m^{s}})\leq A({t^{n}})\leq A({m^{s+1})}}$ , ${\displaystyle sA({m})\leq nA({t})\leq (s+1)A({m)}}$, откуда аналогично ${\displaystyle {\frac {s}{n}}\leq {\frac {A(t)}{A(m)}}\leq {\frac {s+1}{n}}}$, ${\displaystyle \left|{{\frac {s}{n}}-{\frac {A(t)}{A(m)}}}\right|\leq {\frac {1}{n}}}$. Тогда можно записать ${\displaystyle \left|{{\frac {A(t)}{A(m)}}-{{\log }_{m}}t}\right|\leq {\frac {2}{n}}}$. Переходя к пределу по ${\displaystyle n}$ при ${\displaystyle n\to \infty }$, получим ${\displaystyle {\frac {A(t)}{A(m)}}={\log _{m}}t}$ . Отсюда ${\displaystyle A(t)=K{\log _{m}}t}$, где ${\displaystyle K}$ — произвольная положительная константа, ${\displaystyle m}$ — произвольное натуральное основание логарифма (больше единицы). Произвольность константы ${\displaystyle K}$ связана не только с тем, что она сокращается в числителе и знаменателе, но также и с тем, что основание логарифма выбирается произвольно. Можно перейти к натуральному логарифму, и получится ${\displaystyle A(t)=K{\log _{m}}t=K{\frac {\ln t}{\ln m}}=K'\ln t}$. Это говорит о том, что основание логарифма не обязательно должно быть натуральным числом. Далее, используя представление функции ${\displaystyle H}$ через функцию ${\displaystyle A}$, можно записать ${\displaystyle H({\frac {n_{1}}{n}},...,{\frac {n_{n}}{n}})=A(n)-\sum \limits _{i=1}^{n}{{\frac {n_{i}}{n}}A({n_{i}})}=K\log n-\sum \limits _{i=1}^{n}{{\frac {n_{i}}{n}}K\log {n_{i}}}=-\sum \limits _{i=1}^{n}{{\frac {n_{i}}{n}}K\log {\frac {n_{i}}{n}}}=-K\sum \limits _{i=1}^{n}{{p_{i}}\log {p_{i}}}}$Поскольку любое действительное число можно сколь угодно точно аппроксимировать рациональным числом, а сама функция ${\displaystyle H}$ непрерывна (то есть при небольшом изменении аргумента меняется незначительно), то Шеннон предложил использовать эту формулу и для вероятностей, заданных действительными числами.

Теорема доказана.

Если вероятность ${\displaystyle p}$ равна нулю, то нужно рассматривать предел произведения ${\displaystyle p\log p}$ при ${\displaystyle p}$, стремящемся к нулю:

${\displaystyle \lim _{p\to 0+}p\ln p=\lim _{p\to 0+}{\frac {\ln p}{\frac {1}{p}}}=\lim _{p\to 0+}{\frac {\left({\ln p}\right)'}{\left({\frac {1}{p}}\right)'}}=\lim _{p\to 0+}{\frac {1/p}{-1/{p^{2}}}}=-\lim _{p\to 0+}p=0}$

Можно доказать^[4], что энтропия Шеннона принимает максимальное значение на равномерном распределении. Чтобы доказать это, найдем условный максимум энтропии Шеннона ${\displaystyle H({p_{1}},...,{p_{n}})=-\sum \limits _{i=1}^{n}{{p_{i}}\ln {p_{i}}}}$ при условии нормировки ${\displaystyle \sum \limits _{i=1}^{n}{p_{i}}=1}$ .

Чтобы сделать это, воспользуемся методом множителей Лагранжа для поиска условных экстремумов. Этот метод вкратце заключается в следующем.

Предположим, что требуется найти локальный экстремум непрерывной функции ${\displaystyle f(x_{1},...,x_{n})}$ ${\displaystyle n}$ переменных, имеющей частные производные по всем переменным, при условии, что ${\displaystyle \varphi _{1}(x_{1},...,x_{n})=0}$,…,${\displaystyle \varphi _{k}(x_{1},...,x_{n})=0}$, где ${\displaystyle \varphi _{1}}$,…, ${\displaystyle \varphi _{k}}$ — непрерывные функции, имеющие частные производные по всем переменным, ${\displaystyle k<n}$. Тогда составляется функция Лагранжа вида ${\displaystyle L({x_{1}},...,{x_{n}})=f({x_{1}},...,{x_{n}})+\sum \limits _{i=1}^{k}{{\lambda _{i}}{\varphi _{i}}({x_{1}},...,{x_{n}})}}$, где числа ${\displaystyle \lambda _{i}}$ называются множителями Лагранжа.

Необходимым условием существования условного экстремума ${\displaystyle f}$ в некоторой точке является равенство нулю либо несуществование всех частных производных её функции Лагранжа в этой точке. Поэтому составляется и решается система из ${\displaystyle n}$ частных производных функции Лагранжа, приравненных к нулю, а также из ${\displaystyle k}$ условий, наложенных на экстремум. Решением системы (если оно существует) является координата экстремума, а также значения множителей Лагранжа.

В случае энтропии Шеннона функция Лагранжа имеет вид: ${\displaystyle L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+\lambda \left({\sum \limits _{i=1}^{n}{p_{i}}-1}\right)}$.

Запишем систему уравнений с необходимым условием существования экстремума:

${\displaystyle \left\{{\begin{array}{l}{\frac {\partial L({p_{1}},...,{p_{n}})}{\partial {p_{1}}}}=0\\...\\{\frac {\partial L({p_{1}},...,{p_{n}})}{\partial {p_{n}}}}=0\\\sum \limits _{i=1}^{n}{p_{i}}=1\end{array}}\right.}$ Решая её, получим: ${\displaystyle \left\{{\begin{array}{l}-(\ln {p_{1}}+1)+\lambda =0\\...\\-(\ln {p_{n}}+1)+\lambda =0\end{array}}\right.}$

Поскольку все уравнения одинаковы, то ${\displaystyle {p_{1}}={p_{2}}=...={p_{n}}=1/n}$, ${\displaystyle \lambda =1+\ln {\frac {1}{n}}}$.

Итак, точка, в которой может существовать экстремум, единственная. Учитывая, что функция ${\displaystyle H}$ непрерывная и неотрицательно определённая, принимающая минимальное значение ноль (в случае, когда одна из вероятностей равна единице, а все остальные — нулю), то найденный экстремум является точкой глобального условного максимума, а сам максимум равен ${\displaystyle H({\frac {1}{n}},...,{\frac {1}{n}})=-\sum \limits _{i=1}^{n}{{\frac {1}{n}}\ln {\frac {1}{n}}}=\ln n}$.

Можно также доказать, что в наборе вероятностей ${\displaystyle p_{1},...,p_{n}}$ для ${\displaystyle n}$ несовместных элементарных исходов всякое изменение двух вероятностей в сторону их выравнивания (без изменения числа самих исходов) увеличивает энтропию распределения.

Доказать это просто. Поскольку изменяются только две вероятности, например, ${\displaystyle p_{1}}$ и ${\displaystyle p_{2}}$, то остальные вероятности остаются неизменными. Поэтому слагаемые, входящие в формулу энтропии, связанные с остальными вероятностями, останутся неизменными и на приращение энтропии не повлияют. В то же время сумма ${\displaystyle p_{1}+p_{2}}$ тоже останется неизменной (по той же причине). Поэтому доказательство достаточно провести всего для двух несовместных исходов, образующих полную группу событий — тогда утверждение можно считать доказанным и для произвольного ${\displaystyle n}$ числа исходов.

Обозначим ${\displaystyle p_{1}=p}$, ${\displaystyle p_{2}=1-p}$ и рассмотрим функцию ${\displaystyle H(p,1-p)=-p\ln p-(1-p)\ln(1-p)}$.

Её график зависимости от ${\displaystyle p}$ очень похож на перевернутую параболу, проходящую через начало координат. Максимум достигается в точке ${\displaystyle p=1-p=0,5}$. Кроме того, эта функция зеркально симметрична относительно линии ${\displaystyle p=0,5}$. Это следует из того, что ${\displaystyle H(p,1-p)=H(1-p,p)}$. Поэтому, исходя из графика, любое изменение вероятностей в сторону выравнивания приводит к увеличению энтропии.

Шеннон первоначально записал^[3] следующую формулу для энтропии непрерывного распределения, которая известна также как дифференциальная энтропия:

${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\log f(x)dx}}$.

Здесь ${\displaystyle f(x)}$ — неизвестная функция распределения плотности вероятностей случайной величины ${\displaystyle X}$. (Если ${\displaystyle f(x)=0}$, то подынтегральная функция заменяется своим пределом в этой точке ${\displaystyle x}$.) Однако, в отличие от шенноновской формулы энтропии дискретного распределения, данная формула не является результатом какого-либо вывода (Шеннон просто заменил знак суммы знаком интеграла). И, строго говоря, она не может быть выведена последовательным переходом от дискретной формулы энтропии к непрерывной посредством вычисления предела интегральных частичных сумм интеграла Римана^[5] (получится бесконечная величина). Тем не менее, дифференциальная энтропия имеет смысл средней неопределенности выбора случайной величины с произвольным законом распределения за вычетом неопределенности случайной величины, равномерно распределенной в единичном интервале.

Кроме дифференциальной энтропии, известны также англ. Kullback–Leibler divergence и англ. Principle_of_maximum_entropy#Continuous_case. Но далее для объяснения принципа максимальной энтропии будет использована именно дифференциальная энтропия.

Можно доказать, что дифференциальная энтропия принимает максимальное значение на равномерном распределении. Чтобы доказать это, найдем условный максимум дифференциальной энтропии ${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\ln f(x)dx}}$ при условии, что ${\displaystyle \int \limits _{-\infty }^{\infty }{f(x)dx}=1}$.

В этих условиях нужно найти такую функцию ${\displaystyle f(x)}$, чтобы интеграл дифференциальной энтропии принял максимальное значение. В этом случае сам вид функции ${\displaystyle f(x)}$ становится некой переменной величиной, поэтому необходимо использовать вариационное исчисление^[3], основной задачей которого является поиск функции, на которой заданный функционал достигает экстремальных значений.

Метод вариации напоминает метод Лагранжа и вкратце заключается в следующем. Пусть задан функционал ${\displaystyle J=\int \limits _{a}^{b}{F(x,f(x),f'(x))dx}}$ с подынтегральной функцией ${\displaystyle F(x,f(x),f'(x))}$, обладающей непрерывными первыми частными производными, называемой функцией Лагранжа. Если этот функционал достигает экстремума на некоторой функции ${\displaystyle f(x)}$, то для неё должно выполняться дифференциальное уравнение в частных производных ${\displaystyle {\frac {\partial F}{\partial f}}={\frac {d}{dx}}{\frac {\partial F}{\partial {f'}}}}$, называемое уравнением Эйлера-Лагранжа. Другими словами, данное уравнение является необходимым условием существования экстремума функционала ${\displaystyle J}$ на функции ${\displaystyle f(x)}$. Если на функцию ${\displaystyle f(x)}$ накладывается дополнительное условие вида ${\displaystyle \int \limits _{a}^{b}{\varphi (f(x))dx}=c}$, то искомый экстремум называется условным, а функция Лагранжа принимает вид ${\displaystyle L=F+\lambda \varphi }$, и дифференциальное уравнение нужно решать уже для этой новой функции. Найденная функция ${\displaystyle f(x)}$ будет зависеть не только от ${\displaystyle x}$, но и от параметра ${\displaystyle \lambda }$. Тогда нужно подставить ${\displaystyle f(x)}$ в интеграл условия и найти ${\displaystyle \lambda }$.

В случае дифференциальной энтропии функция Лагранжа принимает вид ${\displaystyle L=-f(x)\ln f(x)+\lambda f(x)}$. Тогда ${\displaystyle \left\{{\begin{array}{l}{\frac {\partial L}{\partial f}}=-\ln f-1+\lambda \\{\frac {\partial L}{\partial f'}}=0\\{\frac {d}{dx}}{\frac {\partial L}{\partial f'}}=0\end{array}}\right.}$, откуда уравнение Эйлера-Лагранжа принимает вид ${\displaystyle {\frac {\partial L}{\partial f}}=-\ln f-1+\lambda =0}$.

Решением этого уравнения является функция ${\displaystyle f(x)={e^{\lambda -1}}}$, то есть константа от ${\displaystyle x}$. Подставляем её в условие и получаем ${\displaystyle \int \limits _{-\infty }^{\infty }{{e^{\lambda -1}}dx}=1}$.

Такое уравнение не имеет решений. Случайная величина не может быть распределена равномерно на всей области действительных чисел. Пусть все возможные значения ${\displaystyle X}$ лежат на некотором отрезке ${\displaystyle [a;b]}$. Тогда ${\displaystyle \int \limits _{a}^{b}{{e^{\lambda -1}}dx}=1}$, откуда ${\displaystyle \lambda =1-\ln(b-a)}$, ${\displaystyle f(x)={e^{\lambda -1}}={\frac {1}{b-a}}}$. Для всех остальных ${\displaystyle x}$ верно ${\displaystyle f(x)=0}$.

Сам по себе найденный функционал (энтропия Шеннона в дискретной либо дифференциальной форме) пока что ещё ничего не даёт. Поскольку ничего не известно об исходах случайного эксперимента, принцип максимума энтропии предписывает назначить всем исходам равные вероятности. Если же речь идет о непрерывной случайной величине, то предполагается, что она распределена равномерно. Но для того, чтобы провести подобное назначение, никакого функционала не требуется. Функционал позволяет лишь количественно сравнивать неопределенности различных распределений.

Смысл принципа максимальной энтропии начинает проявляться тогда, когда на вероятностное распределение наложены какие-либо ограничения. Принцип максимума энтропии в этом случае заключается в том, чтобы найти максимум энтропии при наложенных ограничениях. Полученное таким образом распределение называется экстремальным.

Найдём максимум энтропии в случаях, когда на распределение случайной величины наложены какие-либо ограничения, например, известны какие-либо её моменты. При использовании метода множителей Лагранжа и метода вариационного исчисления будет показано, что:

• если известно матожидание или второй начальный момент, или и то, и другое дискретной случайной величины, то её экстремальное распределение является одной из разновидностей дискретного распределения Гиббса
• если известно матожидание непрерывной случайной величины, то её экстремальное распределение является непрерывным распределением Гиббса
• если известны матожидание и дисперсия непрерывной случайной величины, то её экстремальное распределение является нормальным распределением с этими параметрами. Если матожидание не известно, оно назначается равным нулю.

В этом случае принцип максимума энтропии предписывает считать, что случайная величина распределена равномерно. Уже было показано ранее, что энтропия Шеннона в любой (дискретной либо непрерывной) форме принимает максимально возможное значение на таком распределении.

Предположим, что известно только матожидание дискретного распределения вероятностей некоторой случайной величины ${\displaystyle X}$: ${\displaystyle M[X]=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}=m}$. Каково в этом случае само распределение? На распределение накладываются дополнительные ограничения:

• ${\displaystyle \forall i:0\leq {p_{i}}\leq 1}$
• ${\displaystyle \sum \limits _{i=1}^{n}{p_{i}}=1}$

Согласно принципу максимальной энтропии нужно максимизировать при этих условиях функцию ${\displaystyle H({p_{1}},...,{p_{n}})=-\sum \limits _{i=1}^{n}{{p_{i}}\ln {p_{i}}}}$

Составим функцию Лагранжа и найдем точки возможного экстремума:

${\displaystyle L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+{\lambda _{1}}\left({\sum \limits _{i=1}^{n}{p_{i}}-1}\right)+{\lambda _{2}}\left({\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}-m}\right)}$

Система из частных производных и наложенных условий имеет вид:

${\displaystyle \left\{{\begin{array}{l}{\frac {\partial L({p_{1}},...,{p_{n}})}{\partial {p_{1}}}}=-(\ln {p_{1}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{1}}=0\\...\\{\frac {\partial L({p_{1}},...,{p_{n}})}{\partial {p_{n}}}}=-(\ln {p_{n}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{n}}=0\\m=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}\\\sum \limits _{i=1}^{n}{p_{i}}=1\end{array}}\right.}$

Вычитая из первого уравнения ${\displaystyle i}$-е, получим ${\displaystyle {p_{i}}={p_{1}}{e^{{\lambda _{2}}({x_{i}}-{x_{1}})}}}$.

Объединяя полученное уравнение в систему с условием нормировки и решая её, получим:

${\displaystyle \left\{{\begin{array}{l}{p_{i}}={p_{1}}{e^{{\lambda _{2}}({x_{i}}-{x_{1}})}}\\1=\sum \limits _{k=1}^{n}{p_{k}}=\sum \limits _{k=1}^{n}{{p_{1}}{e^{{\lambda _{2}}({x_{k}}-{x_{1}})}}}={p_{1}}{e^{-{\lambda _{2}}{x_{1}}}}\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}\end{array}}\right.}$, откуда ${\displaystyle {p_{i}}={\frac {e^{{\lambda _{2}}{x_{i}}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}}}}$.

Теперь из ${\displaystyle i}$-го уравнения ${\displaystyle {p_{i}}={e^{{\lambda _{2}}{x_{i}}+{\lambda _{1}}-1}}={e^{{\lambda _{1}}-1}}{e^{{\lambda _{2}}{x_{i}}}}}$следует ${\displaystyle \sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}={e^{1-{\lambda _{1}}}}}$.

Наконец, исходя из уравнения для матожидания, можно записать ${\displaystyle m=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}=\sum \limits _{i=1}^{n}{\left({{x_{i}}{\frac {e^{{\lambda _{2}}{x_{i}}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}}}}\right)}={\frac {\sum \limits _{k=1}^{n}{{x_{k}}{e^{{\lambda _{2}}{x_{k}}}}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}}}}$, откуда следует ${\displaystyle \sum \limits _{k=1}^{n}{({x_{k}}-m){e^{{\lambda _{2}}{x_{k}}}}}=0}$.

Окончательно исходная система может быть представлена в виде:

${\displaystyle \left\{{\begin{array}{l}{p_{i}}={\frac {e^{{\lambda _{2}}{x_{i}}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}}},i\in \{1,...,n\}\\\sum \limits _{k=1}^{n}{({x_{k}}-m){e^{{\lambda _{2}}{x_{k}}}}}=0\\{e^{1-{\lambda _{1}}}}=\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}}}\end{array}}\right.}$

Достаточно легко доказать, что решение второго уравнения системы относительно ${\displaystyle \lambda _{2}}$ всегда существует и единственно, пусть и не всегда представимо в виде явной функции аргумента ${\displaystyle m}$. При желании (хотя и не обязательно) можно из третьего уравнения выразить ${\displaystyle \lambda _{1}}$ через ${\displaystyle \lambda _{2}}$. Но, самое главное, при подстановке ${\displaystyle \lambda _{2}}$ в первое уравнение, получится дискретное вероятностное распределение с матожиданием ${\displaystyle m}$.

Поскольку найденное решение единственно, то найденная точка скорее всего является экстремумом энтропии, причем, этот экстремум — глобальный условный максимум.

Найденное вероятностное распределение ${\displaystyle p_{i}}$ называется англ. Boltzmann_distribution, которое также известно как распределение Гиббса.

Предположим, что известен только второй начальный момент ${\displaystyle {\delta ^{2}}}$ дискретного распределения вероятностей некоторой случайной величины ${\displaystyle X}$: ${\displaystyle {\delta ^{2}}=\sum \limits _{i=1}^{n}{{x_{i}}^{2}{p_{i}}}}$. Каково в этом случае само распределение?

Этот случай ничем не отличается от предыдущего, за исключением того, что величины ${\displaystyle x_{i}}$ нужно заменить величинами ${\displaystyle x_{i}^{2}}$, ${\displaystyle m}$ нужно заменить на ${\displaystyle {\delta ^{2}}}$. Окончательно распределение будет иметь вид ${\displaystyle \left\{{\begin{array}{l}P(X={x_{i}})={p_{i}}={\frac {e^{{\lambda _{2}}{x_{i}}^{2}}}{\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}^{2}}}}},i\in \{1,...,n\}\\\sum \limits _{k=1}^{n}{({x_{k}}^{2}-{\delta ^{2}}){e^{{\lambda _{2}}{x_{k}}^{2}}}}=0\\{e^{1-{\lambda _{1}}}}=\sum \limits _{k=1}^{n}{e^{{\lambda _{2}}{x_{k}}^{2}}}\end{array}}\right.}$

Легко видеть в этом случае, что, если ${\displaystyle x_{i}=-x_{j}}$, то ${\displaystyle P(X=x_{i})=P(X=x_{j})}$.

Функция Лагранжа в этом случае имеет вид ${\displaystyle L({p_{1}},...,{p_{n}})=H({p_{1}},...,{p_{n}})+{\lambda _{1}}\left({\sum \limits _{i=1}^{n}{p_{i}}-1}\right)+{\lambda _{2}}\left({\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}-m}\right)+{\lambda _{3}}\left({\sum \limits _{i=1}^{n}{{x_{i}}^{2}{p_{i}}}-{\delta ^{2}}}\right)}$

Система уравнений, являющаяся необходимым условием существования экстремума, имеет вид:

${\displaystyle \left\{{\begin{array}{l}-(\ln {p_{1}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{1}}+{\lambda _{3}}{x_{1}}^{2}=0\\...\\-(\ln {p_{n}}+1)+{\lambda _{1}}+{\lambda _{2}}{x_{n}}+{\lambda _{3}}{x_{n}}^{2}=0\\1=\sum \limits _{i=1}^{n}{p_{i}}\\m=\sum \limits _{i=1}^{n}{{x_{i}}{p_{i}}}\\{\delta ^{2}}=\sum \limits _{i=1}^{n}{{x_{i}}^{2}{p_{i}}}\end{array}}\right.}$. Её можно привести к виду ${\displaystyle \left\{{\begin{array}{l}{p_{i}}={\frac {e^{{x_{i}}({\lambda _{3}}{x_{i}}+{\lambda _{2}})}}{\sum \limits _{k=1}^{n}{e^{{x_{k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})}}}}\\\sum \limits _{k=1}^{n}{({x_{k}}-m){e^{{x_{k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})}}}=0\\\sum \limits _{k=1}^{n}{({x_{k}}^{2}-{\delta ^{2}}){e^{{x_{k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})}}}=0\\{e^{1-{\lambda _{1}}}}=\sum \limits _{k=1}^{n}{e^{{x_{k}}({\lambda _{3}}{x_{k}}+{\lambda _{2}})}}\end{array}}\right.}$

Задача доказательства существования и единственности решения в данном случае гораздо более сложная. Тем более, задача нахождения параметров ${\displaystyle \lambda _{1}}$ и ${\displaystyle \lambda _{2}}$ из второго и третьего уравнений системы. Однако, если доказательство возможно, тогда экстремальное распределение с заданными параметрами будет иметь как раз найденный вид.

Предположим, что известно только матожидание непрерывного распределения вероятностей некоторой случайной величины ${\displaystyle X}$: ${\displaystyle M[X]=\int \limits _{-\infty }^{\infty }{xf(x)dx}=m}$. Какова в этом случае функция ${\displaystyle f(x)}$ распределения плотности вероятностей?

На распределение накладываются дополнительные ограничения:

• ${\displaystyle \forall x:f(x)\geq 0}$
• ${\displaystyle \int \limits _{-\infty }^{\infty }{f(x)dx}=1}$

Согласно принципу максимальной энтропии нужно максимизировать при этих условиях функцию ${\displaystyle H(X)=-\int \limits _{-\infty }^{\infty }{f(x)\ln f(x)dx}}$

Составим функцию Лагранжа и найдем ${\displaystyle f(x)}$, для которой возможен экстремум ${\displaystyle H}$: ${\displaystyle L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}xf(x)}$

Уравнение Эйлера-Лагранжа в данном случае имеет вид ${\displaystyle {\frac {\partial L}{\partial f}}=-\ln f-1+{\lambda _{1}}+{\lambda _{2}}x=0}$.

Его решением является функция ${\displaystyle f(x)={e^{{\lambda _{2}}x+{\lambda _{1}}-1}}}$, то есть экспонента.

Площадь под графиком такой функции может быть конечной только в том случае, если к бесконечности устремить не более одного предела интегрирования. Поэтому будем считать, что случайная величина ${\displaystyle X}$ может принимать значения только на некоторой конечной или полубесконечной области ${\displaystyle G}$, не обязательно односвязной. Во всех остальных точках функцию ${\displaystyle f(x)}$ будем считать равной нулю.

Чтобы найти значения коэффициентов ${\displaystyle \lambda _{1}}$ и ${\displaystyle \lambda _{2}}$, нужно составить систему уравнений из наложенных на распределение условий и решить её. Система имеет вид:

${\displaystyle \left\{{\begin{array}{l}\int \limits _{-\infty }^{\infty }{xf(x)dx}=\int \limits _{G}{x{e^{{\lambda _{2}}x+{\lambda _{1}}-1}}dx}=m\\\int \limits _{-\infty }^{\infty }{f(x)dx}=\int \limits _{G}{{e^{{\lambda _{2}}x+{\lambda _{1}}-1}}dx}=1\end{array}}\right.}$ и может быть приведена к виду ${\displaystyle \left\{{\begin{array}{l}m={\frac {\int \limits _{G}{x{e^{{\lambda _{2}}x}}dx}}{\int \limits _{G}{{e^{{\lambda _{2}}x}}dx}}}\\{e^{1-{\lambda _{1}}}}=\int \limits _{G}{{e^{{\lambda _{2}}x}}dx}\end{array}}\right.}$.

Здесь все интегралы — «берущиеся», поэтому можно однозначно выразить ${\displaystyle \lambda _{2}}$ через ${\displaystyle m}$ — стоит лишь более конкретно задать область ${\displaystyle G}$. При этом найденное решение единственно.

Поскольку коэффициент ${\displaystyle \lambda _{1}}$ однозначно выражается через ${\displaystyle \lambda _{2}}$, то и он единственнен. В силу единственности найденного решения функция ${\displaystyle f(x)}$ доставляет максимум функционалу ${\displaystyle H}$. Функция ${\displaystyle f(x)}$ при этом имеет вид ${\displaystyle f(x)={\frac {e^{{\lambda _{2}}x}}{\int \limits _{G}{{e^{{\lambda _{2}}t}}dt}}}}$.

Найденное распределение называется распределением Больцмана (или Гиббса) непрерывной случайной величины.

Предположим, что известен только второй начальный момент ${\displaystyle {\delta ^{2}}}$ распределения вероятностей некоторой непрерывной случайной величины ${\displaystyle X}$: ${\displaystyle {\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f(x)dx}}$. Каково в этом случае само распределение?

Функция Лагранжа в этом случае имеет вид ${\displaystyle L=-f(x)\ln f(x)+{\lambda _{1}}f(x)+{\lambda _{2}}{x^{2}}f(x)}$.

Уравнение Эйлера-Лагранжа имеет вид ${\displaystyle {\frac {\partial L}{\partial f}}=-\ln f-1+{\lambda _{1}}+{\lambda _{2}}{x^{2}}=0}$.

Его решением является функция ${\displaystyle f(x)={e^{{\lambda _{2}}{x^{2}}+{\lambda _{1}}-1}}}$.

Площадь под графиком ${\displaystyle f(x)}$ может быть конечной только в случае ${\displaystyle \lambda _{2}<0}$. Если ${\displaystyle \lambda _{2}=0}$, то получается равномерное распределение, которое уже было рассмотрено ранее.

Чтобы найти значения коэффициентов ${\displaystyle \lambda _{1}}$ и ${\displaystyle \lambda _{2}}$, нужно составить систему уравнений из наложенных на распределение условий и решить её:

${\displaystyle \left\{{\begin{array}{l}{\delta ^{2}}=\int \limits _{-\infty }^{\infty }{{x^{2}}f(x)dx}=\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{2}}{x^{2}}+{\lambda _{1}}-1}}dx}\\1=\int \limits _{-\infty }^{\infty }{f(x)dx}=\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}+{\lambda _{1}}-1}}dx}\end{array}}\right.}$

Поскольку здесь присутствует определённый интеграл Эйлера-Пуассона, то систему можно записать в виде:

${\displaystyle \left\{{\begin{array}{l}{\delta ^{2}}={\frac {\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{2}}{x^{2}}}}dx}}{\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}}}\\\int \limits _{-\infty }^{\infty }{{x^{2}}{e^{{\lambda _{2}}{x^{2}}}}dx}=-{\frac {1}{2{\lambda _{2}}}}\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}\\{e^{1-{\lambda _{1}}}}=\int \limits _{-\infty }^{\infty }{{e^{{\lambda _{2}}{x^{2}}}}dx}={\sqrt {-{\frac {\pi }{\lambda _{2}}}}}\end{array}}\right.}$, откуда окончательно ${\displaystyle \left\{{\begin{array}{l}f(x)={e^{{\lambda _{1}}-1}}{e^{{\lambda _{2}}{x^{2}}}}={\frac {1}{\delta {\sqrt {2\pi }}}}{e^{-{\frac {1}{2}}{{\left({\frac {x}{\delta }}\right)}^{2}}}}\\{\delta ^{2}}=-{\frac {1}{2{\lambda _{2}}}}\\{e^{1-{\lambda _{1}}}}={\sqrt {-{\frac {\pi }{\lambda _{2}}}}}\end{array}}\right.}$