Функция правдоподобия

Фу́нкция правдоподо́бия в математической статистике — это совместное распределение выборки из параметрического распределения, рассматриваемое как функция параметра. При этом используется совместная функция плотности (в случае выборки из непрерывного распределения) либо совместная вероятность (в случае выборки из дискретного распределения), вычисленные для данных выборочных значений.

Понятия вероятности и правдоподобия тесно связаны. Сравните два предложения:

• «Какова вероятность выпадения 12 очков в каждом из ста бросков двух костей?»
• «Насколько правдоподобно, что кости не шулерские, если из ста бросков в каждом выпало 12 очков?»

Если распределение вероятности зависит от параметра ${\displaystyle \theta }$, то, с одной стороны, можно рассматривать условную вероятность событий ${\displaystyle x}$ при заданном параметре ${\displaystyle \theta }$, а с другой стороны — вероятность заданного события ${\displaystyle X}$ при различных значениях параметра ${\displaystyle \theta }$. Первый случай соответствует функции, зависящей от события ${\displaystyle x}$: ${\displaystyle P(x)=P(x\mid \theta )}$, а второй — функции, зависящей от параметра ${\displaystyle \theta }$ при фиксированном событии ${\displaystyle X}$: ${\displaystyle L(\theta )=L(\theta \mid x=X)}$. Последнее выражение и есть функция правдоподобия и показывает, насколько правдоподобно выбранное значение параметра ${\displaystyle \theta }$ при известном событии ${\displaystyle X}$.

Неформально: если вероятность позволяет нам предсказывать неизвестные результаты, основанные на известных параметрах, то правдоподобие позволяет нам оценивать неизвестные параметры, основанные на известных результатах.

${\displaystyle L(\theta \mid x)=p_{\theta }(x)=P_{\theta }(X=x)}$,

Важно понимать, что по абсолютному значению правдоподобия нельзя делать никаких вероятностных суждений. Правдоподобие позволяет сравнить несколько вероятностных распределений с разными параметрами и оценить в контексте какого из них наблюдаемые события наиболее вероятны.

Пусть дано параметрическое семейство распределений вероятности ${\displaystyle \{\mathbb {P} _{\theta }\}_{\theta \in \Theta }}$, и дана выборка ${\displaystyle X_{1},\ldots ,X_{n}\sim \mathbb {P} _{\theta }}$ для некоторого ${\displaystyle \theta \in \Theta }$. Предположим, что совместное распределение этой выборки задаётся функцией ${\displaystyle f_{\mathbf {X} }(\mathbf {x} \mid \theta ),\;\mathbf {x} \in \mathbb {R} ^{n}}$, где ${\displaystyle f_{\mathbf {X} }}$ является либо плотностью вероятности, либо функцией вероятности случайного вектора ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }}$.

Для фиксированной реализации выборки ${\displaystyle \mathbf {X} =\mathbf {x} }$ функция ${\displaystyle f_{\mathbf {X} }(\theta \mid \mathbf {x} )\colon \Theta \to \mathbb {R} }$ называется функцией правдоподобия^[1].

Во многих приложениях необходимо найти максимум функции правдоподобия, что связано с вычислением производной. Логарифм — монотонно возрастающая функция, поэтому логарифм от функции достигнет максимума в той же точке, что и сама функция. С другой стороны, логарифм произведения является суммой, что упрощает дифференцирование. Поэтому для практических вычислений предпочитают использовать логарифм функции правдоподобия.

• Функция ${\displaystyle L(\theta \mid \mathbf {x} )=\ln f_{\mathbf {X} }(\theta \mid \mathbf {x} )}$, называется логарифми́ческой фу́нкцией правдоподо́бия^[1].
• Если выборка независима, то

${\displaystyle f_{\mathbf {X} }(\mathbf {x} \mid \theta )=\prod \limits _{i=1}^{n}f_{X_{i}}(x_{i}\mid \theta )}$,

где ${\displaystyle f_{X_{i}}(\cdot \mid \theta )}$ — плотность или функция вероятности распределения ${\displaystyle \mathbb {P} _{\theta }}$. Логарифмическая функция правдоподобия в этом случае имеет вид

${\displaystyle L(\theta \mid \mathbf {x} )=\sum \limits _{i=1}^{n}\ln f_{X_{i}}(x_{i}\mid \theta )}$.

Пусть ${\displaystyle p_{O}}$ — вероятность выпадения орла при подбрасывании монеты. Данную величину можно считать параметром, принимающим значения от 0 до 1. Пусть событие ${\displaystyle OO}$ есть выпадение двух орлов при двух последовательных бросках монеты. При предположении, что результаты обоих бросков являются независимыми одинаково распределёнными случайными величинами, вероятность события ${\displaystyle OO}$ будет равна ${\displaystyle p_{O}^{2}}$. Соответственно, при ${\displaystyle p_{O}=0{,}5}$

${\displaystyle P(OO\mid p_{O}=0{,}5)=0{,}25.}$

Таким образом, функция правдоподобия при значении параметра ${\displaystyle p_{O}=0{,}5}$ и при условии наступления события ${\displaystyle OO}$ равна 0,25, что математически можно записать как

${\displaystyle L(p_{O}=0{,}5\mid OO)=0{,}25.}$

Этот факт не тождественен утверждению «вероятность того, что ${\displaystyle p_{O}=0{,}5}$ при условии наступления события ${\displaystyle OO}$ равна 0,25» вследствие теоремы Байеса.

Приведённая в данном примере функция правдоподобия является квадратичной, поэтому интеграл от этой функции по всей области значений параметра ${\displaystyle p_{O}}$ будет равен 1/3. Этот факт иллюстрирует ещё одно отличие функции правдоподобия от обычной плотности вероятности, интеграл от которой должен быть равен единице.

Впервые правдоподобие было упомянуто в книге Торвальда Тиле, опубликованной в 1889 году^[2].

Полное описание идеи правдоподобия впервые было дано Рональдом Фишером в 1922 году в работе «Математические основы теоретической статистики»^[3]. В этой работе Фишер также использует термин метод максимального правдоподобия. Фишер возражает против использования обратной вероятности как основы статистических заключений и предлагает вместо неё использовать функцию правдоподобия.

• Метод максимального правдоподобия

• Боровков, А. А. Математическая статистика: Учебник. — 4-е изд., стер.. — СПб.: Лань, 2010. — 704 с. — (Учебники для вузов. Специальная литература). — ISBN 978-5-8114-1013-2.