Парадокс Линдли

Парадокс Линдли — это контринтуитивная ситуация в статистике, при которой байесовский и частотный^[англ.] подходы к задаче проверки гипотез дают различные результаты при определённых выборах априорного распределения. Проблема разногласия между двумя подходами обсуждалась в книге Гарольда Джеффриса 1939 года^[1]. Проблема стала известна как парадокс Линдли после того, как Деннис Линдли высказал несогласие с парадоксом в статье 1957^[2].

Хотя ситуация описывается как парадокс, различие байесовского и частотного подходов можно объяснить как использования их для ответа на фундаментально различные вопросы, а не действительного разногласия между двумя методами.

Как бы то ни было, для большого класса априорные разности между частотным и байесовским подходами вызваны сохранением уровня значимости. Как Линдли понял: «теория не может обосновать практику сохранения уровня значимости» и даже «некоторые вычисления, сделанные профессором Пирсоном в обсуждении этой статьи подчёркивают, насколько уровень значимости может меняться с изменением размера выборки, если потери и априорные вероятности остаются неизменными»^[2]. Фактически, если критичное значение растёт с ростом размера выборки достаточно быстро, рассогласование между частотным и байесовским подходами становится ничтожным^[3][4].

Рассмотрим результат ${\displaystyle x}$ некоторого эксперимента с двумя возможными объяснениями, гипотезами ${\displaystyle H_{0}}$ и ${\displaystyle H_{1}}$, и некоторым априорным распределением ${\displaystyle \pi }$, представляющим неопределённость, какая гипотеза более точна перед рассмотрением ${\displaystyle x}$.

Парадокс Линдли обнаруживается в случае:

1. Результат ${\displaystyle x}$ оказывается «значимым» для частотного теста гипотезы ${\displaystyle H_{0}}$, показывающим значимое свидетельство к отбрасыванию гипотезы ${\displaystyle H_{0}}$, скажем, на уровне 5 %.
2. Апостериорная вероятность гипотезы ${\displaystyle H_{0}}$, задаваемая результатом ${\displaystyle x}$ высока, что убедительно свидетельствует о том, что гипотеза ${\displaystyle H_{0}}$ больше согласуется с ${\displaystyle x}$, чем гипотеза ${\displaystyle H_{1}}$.

Эти результаты могут случиться в одно и то же время, если ${\displaystyle H_{0}}$ очень специфично, ${\displaystyle H_{1}}$ более размыто, а априорное распределение не даёт предпочтения ни одному из них, как показано ниже.

Мы можем проиллюстрировать парадокс Линдли численным примером. Представим себе город, в котором родились 49581 мальчиков и 48870 девочек за определённый период времени. Наблюдаемая доля ${\displaystyle x}$ мальчиков составляет 49581/98451 ≈ 0,5036. Мы предполагаем, что число рождений мальчиков является биномиальной переменной с параметром ${\displaystyle \theta }$. Мы хотим проверить, равно ли ${\displaystyle \theta }$ 0,5 или другому значению. То есть наша нулевая гипотеза гласит: ${\displaystyle H_{0}:\theta =0,5}$, а альтернативной гипотезой будет ${\displaystyle H_{1}:\theta \neq 0,5}$.

Частотный подход проверки ${\displaystyle H_{0}}$ заключается в вычислении p-значения, вероятности наблюдения доли мальчиков не менее ${\displaystyle x}$ в предположении, что гипотеза ${\displaystyle H_{0}}$ верна. Поскольку число рождений большое, мы можем использовать нормальную аппроксимацию для доли рождения мальчиков ${\displaystyle X\sim N(\mu ,\sigma ^{2})}$, с ${\displaystyle \mu =np=n\theta =98451\times 0,5=49225,5}$ и ${\displaystyle \sigma ^{2}=n\theta (1-\theta )=98451\times 0,5\times 0,5=24612,75}$ для вычисления

${\displaystyle {\begin{aligned}P(X\geq x\mid \mu =49225,5)=\int _{x=49581}^{98451}{\frac {1}{\sqrt {2\pi \sigma ^{2}}}}e^{-({\frac {u-\mu }{\sigma }})^{2}/2}du\\=\int _{x=49581}^{98451}{\frac {1}{\sqrt {2\pi (24612,75)}}}e^{-{\frac {(u-49225,5)^{2}}{24612,75}}/2}du\approx 0,0117.\end{aligned}}}$

Мы также будем удивлены, если рассмотрим рождение 48870 девочек, то есть ${\displaystyle x\approx 0,4964}$, так что частотный тест обычно осуществаляет двухстороннюю проверку, для которой p-значение было бы ${\displaystyle p\approx 2\times 0,0117=0,0235}$. В обоих случаях p-значение меньше уровня значимости ${\displaystyle \alpha }$ в 5%, так что частотный подход отвергает гипотезу ${\displaystyle H_{0}}$ как несогласующуюся с наблюдаемыми данными.

Предполагая, что нет причин для предпочтения одной гипотезы другой, байесовский подход заключается в назначении априорных вероятностей ${\displaystyle \pi (H_{0})=\pi (H_{1})=0,5}$, однородного распределения для ${\displaystyle \theta }$ для гипотезы ${\displaystyle H_{1}}$ и, затем, вычисления апостериорной вероятности для ${\displaystyle H_{0}}$ с помощью теоремы Байеса,

${\displaystyle P(H_{0}\mid k)={\frac {P(k\mid H_{0})\pi (H_{0})}{P(k\mid H_{0})\pi (H_{0})+P(k\mid H_{1})\pi (H_{1})}}.}$

После наблюдения рождения ${\displaystyle k=49581}$ мальчиков из ${\displaystyle n=98451}$ новорождённых мы можем вычислить апостериорную вероятность каждой гипотезы с помощью функции распределения масс для биномиальной переменной,

${\displaystyle {\begin{aligned}P(k\mid H_{0})&={n \choose k}(0,5)^{k}(1-0,5)^{n-k}\approx 1,95\times 10^{-4}\\P(k\mid H_{1})&=\int _{0}^{1}{n \choose k}\theta ^{k}(1-\theta )^{n-k}d\theta ={n \choose k}\mathrm {\mathrm {B} } (k+1,n-k+1)=1/(n+1)\approx 1,02\times 10^{-5}\end{aligned}}}$

где ${\displaystyle \mathrm {\mathrm {B} } (a,b)}$ является бета-функцией.

Из этих значений мы находим апостериорную вероятность ${\displaystyle P(H_{0}\mid k)\approx 0,95}$, которая строго предпочитает ${\displaystyle H_{0}}$ перед ${\displaystyle H_{1}}$.

Два подхода, частотный и байесовский, оказываются в конфликте, а это и есть «парадокс».

Однако, по меньшей мере, в примере Линдли, если мы возьмём последовательность уровней значимости ${\displaystyle \alpha _{n}}$, таких, что ${\displaystyle \alpha _{n}=n^{-k}}$ с ${\displaystyle k>{\tfrac {1}{2}}}$, то апостериорная вероятность нулевой гипотезы стремится к 0, что согласуется с отказом от нулевой гипотезы^[3]. В нашем числовом примере, если принять ${\displaystyle k>{\tfrac {1}{2}}}$, в результате получим уровень значимости 0,00318, так что частотный подход не будет отбрасывать нулевую гипотезу, которая в общих чертах согласуется с байесовским подходом.

Если используется информативное априорное распределение и проверка гипотезы, более похожей на гипотезу в частотном подходе, парадокс исчезает.

Например, если мы вычисляем апостериорное распределение ${\displaystyle P(\theta \mid x,n)}$, используя однородное априорное распределение с ${\displaystyle \theta }$ (то есть ${\displaystyle \pi (\theta \in [0,1])=1}$), мы получим

${\displaystyle P(\theta \mid k,n)=\mathrm {\mathrm {B} } (k+1,n-k+1).}$

Если мы используем это для проверки вероятности, что новорождённый более вероятно будет мальчиком, чем девочкой, то есть ${\displaystyle P(\theta >0,5\mid k,n)}$, мы получим:

${\displaystyle \int _{0,5}^{1}\mathrm {\mathrm {B} } (49582,48871)\approx 0,983.}$

Другими словами, очень похоже, что пропорция рождения мальчиков выше 0,5.

Ни один из анализов не даёт оценку величины эффекта^[англ.] прямо, но оба могут быть использованы для определения, например, является ли доля рождений мальчиков выше некоторого определённого порога.

Явное расхождение между двумя подходами вызвано комбинацией факторов. Во-первых, частотный подход проверяет ${\displaystyle H_{0}}$ выше без учёта ${\displaystyle H_{1}}$. Байесовский подход вычисляет ${\displaystyle H_{0}}$ как альтернативу к ${\displaystyle H_{1}}$ и находит, что первая гипотеза больше согласуется с наблюдениями. Это потому, что последняя гипотеза существенно более размыта, так как значение ${\displaystyle \theta }$ может быть любым в интервале ${\displaystyle [0,1]}$, что приводит к очень низкой апостериорной вероятности. Чтобы понять, почему, полезно рассмотреть две гипотезы как генераторы наблюдений:

• В гипотезе ${\displaystyle H_{0}}$ мы выбираем ${\displaystyle \theta \approx 0,500}$ и задаём вопрос, насколько правдоподобно видеть 49581 мальчика при 98451 новорождённом.
• В гипотезе ${\displaystyle H_{1}}$ мы выбираем ${\displaystyle \theta }$ случайно между 0 и 1 и задаём тот же вопрос.

Большинство возможных значений для ${\displaystyle \theta }$ при гипотезе ${\displaystyle H_{1}}$ очень плохо поддерживаются наблюдениями. По существу, явное несогласие между методами вообще не является несогласием, а являются двумя различными утверждениями относительно данных:

• Частотный подход находит, что ${\displaystyle H_{0}}$ плохо объясняется наблюдениями.
• Байесовский подход находит, что гипотеза ${\displaystyle H_{0}}$ существенно лучше объясняется наблюдениями, чем гипотеза ${\displaystyle H_{1}}$.

Отношение пола новорождённых в 50/50 (мальчиков/девочек) согласно частотному тесту неправдоподобно. Всё же отношение 50/50 является лучшим приближением, чем большинство, но не все другие отношения. Гипотеза ${\displaystyle \theta \approx 0,504}$ подходила бы наблюдениям много лучше, чем все другие отношения, включая ${\displaystyle \theta \approx 0,500}$.

Например^[5], из этого выбора гипотезы и априорной вероятности следует утверждение: «Если ${\displaystyle \theta }$ > 0,49 и ${\displaystyle \theta }$ < 0,51, то априорная вероятность ${\displaystyle \theta }$ быть ровно 0,5 равна 0,50/0,51 ${\displaystyle \approx }$ 98 %». Если дано такое сильное предпочтение для ${\displaystyle \theta =0,5}$, легко видеть, что байесовский подход высказывается в пользу ${\displaystyle H_{0}}$, учитывая, что ${\displaystyle x\approx 0,5036}$, даже когда наблюдаемое значение ${\displaystyle x}$ лежит в ${\displaystyle 2,28\sigma }$ от 0,5. Отклонение более ${\displaystyle 2\sigma }$ от ${\displaystyle H_{0}}$ считается значимым в частотном подходе, но значимость отклоняется априорной вероятностью в байесовском подходе.

Если смотреть в другую сторону, мы можем видеть, что априорное распределение существенно плоским с дельта-функцией в точке ${\displaystyle \theta =0,5}$. Ясно, что является сомнительным. Фактически, если вы попробуете нарисовать вещественные числа как непрерывные, будет логично предположить, что невозможно для заданного параметра ${\displaystyle P(\theta =0,5)=0}$.

Более реалистичное распределение для ${\displaystyle \theta }$ на альтернативной гипотезе даёт менее удивительные результаты для апостериорной вероятности гипотезы ${\displaystyle H_{0}}$. Например, если мы заменим ${\displaystyle H_{1}}$ на ${\displaystyle H_{2}:\theta =x}$, то есть оценку максимального правдоподобия для ${\displaystyle \theta }$, апостериорная вероятность гипотезы ${\displaystyle H_{0}}$ будет только 0,07 по сравнению с 0,93 для гипотезы ${\displaystyle H_{2}}$ (конечно, нельзя использовать в действительности оценку максимального правдоподобия как часть априорного распределения).

Парадокс продолжает активно обсуждаться^[3][6][7].

• Коэффициент Байеса