Коэффициент Байеса

Коэффицие́нт Ба́йеса — байесовская альтернатива проверке статистических гипотез^[1][2]. Байесовское сравнение моделей — метод выбора моделей на основе коэффициентов Байеса. Обсуждаемые модели являются статистическими моделями^[3]. Целью коэффициента Байеса является количественное выражение поддержки модели по сравнению с другой моделью, независимо от того, верны модели или нет^[4]. Техническое определение понятия «поддержка» в контексте байесовского вывода дано ниже.

Коэффициент Байеса является отношением правдоподобия для предельного правдоподобия двух гипотез, обычно нулевой гипотезы и альтернативной^[5].

Апостериорная вероятность ${\displaystyle \Pr(M|D)}$ модели M, задаваемой данными D, определяется теоремой Байеса:

${\displaystyle \Pr(M|D)={\frac {\Pr(D|M)\Pr(M)}{\Pr(D)}}.}$

Ключевой зависящий от данных член ${\displaystyle \Pr(D|M)}$ является правдоподобием модели M с учётом данных D и он представляет вероятность того, что некоторые данные получены в предположении принятия модели M. Правильное вычисление этого члена является ключом байесовского сравнения моделей.

Если дана задача выбора модели, в которой мы должны выбрать между двумя моделями на основе наблюдаемых данных D, относительная правдоподобность двух различных моделей M₁ и M₂, параметризованных векторами параметров ${\displaystyle \theta _{1}}$ и ${\displaystyle \theta _{2}}$, определяется коэффициентом Байеса K, определяемым как

${\displaystyle K={\frac {\Pr(D|M_{1})}{\Pr(D|M_{2})}}={\frac {\int \Pr(\theta _{1}|M_{1})\Pr(D|\theta _{1},M_{1})\,d\theta _{1}}{\int \Pr(\theta _{2}|M_{2})\Pr(D|\theta _{2},M_{2})\,d\theta _{2}}}={\frac {\Pr(M_{1}|D)}{\Pr(M_{2}|D)}}{\frac {\Pr(M_{2})}{\Pr(M_{1})}}.}$

Если две модели априори одинаково вероятны, так что ${\displaystyle \Pr(M_{1})=\Pr(M_{2}),}$ коэффициент Байеса равен отношению апостериорных вероятностей моделей M₁ и M₂. Если вместо интеграла коэффициента Байеса используется правдоподобие, соответствующее максимальной оценке правдоподобия параметра для каждой статистической модели, то тест становится классическим тестом отношения правдоподобия. В отличие от теста отношения правдоподобия, байесовское сравнение моделей не зависит от какого-либо конкретного набора параметров, так как оно вычисляется в результате интегрирования по всем параметрам в каждой модели (с учётом априорных вероятностей). Однако преимущество использования коэффициентов Байеса заключается в том, что они автоматически и вполне естественным образом включают штраф за избыточное включение структуры модели^[6]. Это ограждает от переобучения. В случае моделей, у которых явный вид функции правдоподобия неизвестен или её вычисление слишком затратно, для байесовского выбора модели могут быть использованы приближённые байесовские вычисления^{[англ.] [7]}, хотя следует принять во внимание, что приближённая байесовская оценка коэффициентов Байеса часто смещена^[8].

Другие подходы:

• трактовать модель сравнения как задачу принятия решений, вычисляя ожидаемое значение или цену каждого выбора модели;
• использовать принцип сообщений минимальной длины (англ. minimum message length, MML).

Значение K > 1 означает, что гипотеза M₁ сильнее поддерживается данными, чем гипотеза M₂. Заметим, что классическая проверка статистических гипотез принимает по умолчанию одну гипотезу (или модель) («нулевая гипотеза»), и рассматривает только свидетельства против неё. Гарольд Джеффрис приводит таблицу для интерпретации полученного значения K^[9]:

Второй столбец даёт соответствующие веса поддержки в единицах децихартли^[англ.] (известных также как децибаны^[англ.]), биты добавлены в третьем столбце для ясности. Согласно И. Дж. Гуду, люди в повседневной жизни едва могут разумно оценить разницу в степени доверия гипотезе, соответствующую изменению веса на 1 децибан или 1/3 бита (например, отношение исходов 4:5 в 9 испытаниях с двумя возможными исходами)^[10].

Альтернативную широко цитируемую таблицу предложили Касс и Рафтери (1995)^[6]:

Использование коэффициентов Байеса или классической проверки статистических гипотез происходит в контексте вывода, а не принятия решений в условиях неопределённости. То есть мы только хотим найти, какая гипотеза верна, а не принимаем действительное решение на основе этой информации. Частотная статистика делает строгое различие между этими двумя подходами, поскольку классические методы проверки гипотез не когерентны в байесовском смысле. Байесовские процедуры, включая коэффициенты Байеса, когерентны, так что нет необходимости делать это различие. Вывод тогда просто рассматривается как частный случай принятия решения в условиях неопределённости, в котором конечным действием является возврат значения. Для принятия решений статистики, использующие байесовский подход, могут использовать коэффициент Байеса вместе с априорным распределением и функцией потерь. В контексте вывода функция потерь примет вид правила подсчёта результата^[англ.]. Использование логарифмического правила подсчёта^[англ.], например, приводит к ожидаемой полезности, принимающей форму расхождение Кульбака — Лейблера.

Предположим, что у нас есть случайная величина, которая принимает значение либо успех, либо неудача. Мы хотим сравнить модель M₁, где вероятность успеха равна q = ½, и другую модель M₂, в которой значение q неизвестно, и мы принимаем в качестве априорного распределения для q однородное распределение на [0,1]. Мы делаем 200 испытаний и получаем 115 успехов и 85 неудач. Правдоподобие может быть вычислено согласно биномиальному распределению:

${\displaystyle {{200 \choose 115}q^{115}(1-q)^{85}}.}$

Тогда мы имеем для гипотезы M₁

${\displaystyle P(X=115\mid M_{1})={200 \choose 115}\left({1 \over 2}\right)^{200}=0,005956...,\,}$

тогда как для M₂

${\displaystyle P(X=115\mid M_{2})=\int _{0}^{1}{200 \choose 115}q^{115}(1-q)^{85}dq={200 \choose 115}\times \int _{0}^{1}q^{115}(1-q)^{85}dq={200 \choose 115}\times }$ ${\displaystyle \mathrm {B} (116,86)}$ ${\displaystyle ={200 \choose 115}\times }$ ${\displaystyle \Gamma (116)\times \Gamma (86) \over \Gamma (116+86)}$ ${\displaystyle ={\frac {200!}{{115!}\times {85!}}}\times {\frac {{115!}\times {85!}}{201!}}={1 \over 201}=0,004975....}$

Отношение этих величин составляет 1,197…, следовательно, различие «едва заслуживает внимания», хотя выбор склоняется слегка в сторону M₁.

Проверка этих статистических гипотез на основе частотного вывода^[англ.] M₁ (рассматривается здесь как нулевая гипотеза) даст совершенно другой результат. Такая проверка утверждает, что гипотеза M₁ должна быть отброшена на уровне значимости 5 %, поскольку вероятность получения 115 или более успехов из выборки в 200 элементов при q = ½ равна 0,0200, а двухсторонний критерий^[англ.] получения экстремума в 115 или более даёт 0,0400. Заметим, что 115 отличается от 100 более чем на два стандартных отклонения. Таким образом, в то время как проверка статистической гипотезы на основе частотного вывода даёт статистическую значимость на уровне 5 %, коэффициент Байеса вряд ли примет это как экстремальный результат. Заметим, однако, что неоднородное априорное распределение (например, такое, которое отражает ожидание, что числа успешных и неуспешных исходов будут одного порядка величины) может привести к коэффициенту Байеса, который больше согласуется с проверкой на основе частотного вывода.

В классическом тесте отношения правдоподобия была бы найдена оценка максимального правдоподобия для q, равная 115⁄200 = 0,575, откуда

${\displaystyle \textstyle P(X=115\mid M_{2})={{200 \choose 115}q^{115}(1-q)^{85}}=0,056991}$

(вместо усреднения по всем возможным q). Это даёт отношение правдоподобия 0,1045 и указывает на гипотезу M₂.

M₂ является более сложной моделью, чем M₁, поскольку имеет свободный параметр, который позволяет описывать данные более согласованно. Способность коэффициентов Байеса учитывать это является причиной, почему байесовский вывод выдвигается как теоретическое обоснование и обобщение бритвы Оккама, в котором уменьшаются ошибки первого рода^[11].

С другой стороны, современный метод относительного правдоподобия принимает во внимание число свободных параметров моделей, в отличие от классического отношения правдоподобия. Метод относительного правдоподобия можно применить следующим образом. Модель M₁ имеет 0 параметров, а потому её значение информационного критерия Акаике (AIC) равно 2 · 0 − 2 ln 0,005956 ≈ 10,2467. Модель M₂ имеет 1 параметр, а потому её значение AIC равно 2 · 1 − 2 ln 0,056991 ≈ 7,7297. Следовательно, M₁ с меньшей вероятностью минимизирует потерю информации, чем M₂, примерно в exp((7,7297 − 10,2467)/2) ≈ 0,284 раза. Таким образом, M₂ слегка предпочтительнее, но M₁ отбрасывать нельзя.

• Коэффициент Байеса был применён для упорядочения динамической экспрессии генов вместо q-значения^[12].

• Информационный критерий Акаике
• Приближенные байесовские вычисления^[англ.]
• Байесовский информационный критерий
• Информационный критерий суммы квадратов отклонений от среднего^[англ.]
• Парадокс Линдли
• Сообщение минимальной длины
• Выбор модели

Статистические показатели

• Отношение шансов
• Относительный риск

• BayesFactor —an R package for computing Bayes factors in common research designs
• Bayes Factor Calculators —web-based version of much of the BayesFactor package