t-критерий Уэлча

t-критерий Уэлча — тест, основанный на распределении Стьюдента и предназначенный для проверки статистической гипотезы о равенстве математических ожиданий случайных величин, имеющих необязательно равные известные дисперсии. Является модификацией t-критерия Стьюдента. Назван в честь британского статистика Бернарда Льюиса Уэлча.

Для применения двухвыборочного t-критерия Стьюдента необходимо, чтобы истинные дисперсии были равны. В случае t-критерия Уэлча истинные дисперсии уже могут быть не равны, но предпосылка о нормальном распределении средних сохраняется.

Пусть даны две независимые выборки нормально распределённых случайных величин:

${\displaystyle X_{1},...,X_{n_{x}}\sim {\mathcal {N}}(\mu _{x},\sigma _{x}^{2})}$

${\displaystyle Y_{1},...,Y_{n_{y}}\sim {\mathcal {N}}(\mu _{y},\sigma _{y}^{2})}$

Проверяем следующую нулевую гипотезу о равенстве математический ожиданий:

${\displaystyle H_{0}:\mu _{x}=\mu _{y}}$

Пусть нулевая гипотеза верна. Тогда ${\displaystyle E({\overline {X}}-{\overline {Y}})=0}$ и ${\displaystyle Var({\overline {X}}-{\overline {Y}})={\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}$. Пусть ${\displaystyle {\hat {\sigma }}_{x}^{2}=\sum _{i=1}^{n_{x}}{\dfrac {(X_{i}-{\overline {X}})^{2}}{n_{x}-1}}}$ и ${\displaystyle {\hat {\sigma }}_{y}^{2}=\sum _{i=1}^{n_{y}}{\dfrac {(Y_{i}-{\overline {Y}})^{2}}{n_{y}-1}}}$ — несмещенные оценки дисперсий ${\displaystyle \sigma _{x}^{2}}$ и ${\displaystyle \sigma _{y}^{2}}$ соответственно. Рассчитаем следующую статистику:

${\displaystyle t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\widehat {Var}}({\bar {X}}-{\bar {Y}})}}}={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\widehat {Var}}({\bar {X}})+{\widehat {Var}}({\bar {Y}})}}}={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}}$

Сделаем следующее преобразование:

${\displaystyle t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}}}\cdot {\dfrac {\sqrt {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}}$

Распределение первой статистики является стандартным нормальным распределением:

${\displaystyle {\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}}}\sim {\mathcal {N}}(0,1)}$

Рассмотрим вторую статистику и для дальнейших вычислений назовем её ${\displaystyle S}$:

${\displaystyle S={\dfrac {{\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}}{{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}$

Статистика ${\displaystyle S}$ напоминает случайную величину с распределением хи-квадрат, поделенную на степень свободы, но таковой не является. Пусть ${\displaystyle Z\sim \chi _{d}^{2}}$ является случайной величиной с распределением хи-квадрат с ${\displaystyle d}$ степенями свободы. Тогда ${\displaystyle {\dfrac {Z}{d}}\geqslant 0}$, равно как и ${\displaystyle S\geqslant 0}$. Теперь заметим, что ${\displaystyle E(S)=1}$ (так как мы используем несмещенные оценки дисперсий), а ${\displaystyle E\left({\dfrac {Z}{d}}\right)={\dfrac {E(Z)}{d}}={\dfrac {d}{d}}=1}$.

Раз мы хотим, чтобы ${\displaystyle S}$ была максимально похожа на ${\displaystyle {\dfrac {Z}{d}}\sim {\dfrac {\chi _{d}^{2}}{d}}}$, то приравняем дисперсии данных случайных величин:

${\displaystyle Var(S)=Var\left({\dfrac {Z}{d}}\right)={\dfrac {2}{d}}}$

Рассчитаем дисперсию случайной величины ${\displaystyle S}$:

${\displaystyle Var(S)={\dfrac {1}{\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}}\left({\dfrac {1}{n_{x}^{2}}}Var({\hat {\sigma }}_{x}^{2})+{\dfrac {1}{n_{y}^{2}}}Var({\hat {\sigma }}_{y}^{2})\right)={\dfrac {1}{\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}}\left({\dfrac {2(\sigma _{x}^{2})^{2}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {2(\sigma _{y}^{2})^{2}}{n_{y}^{2}(n_{y}-1)}}\right)={\dfrac {2}{d}}}$

Отсюда:

${\displaystyle d={\dfrac {\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}{{\dfrac {\sigma _{x}^{4}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {\sigma _{y}^{4}}{n_{y}^{2}(n_{y}-1)}}}}}$

В конечном итоге имеем при справедливости нулевой гипотезы:

${\displaystyle t{\stackrel {approx.}{\sim }}t_{d}}$,

где ${\displaystyle d}$ находится как:

${\displaystyle d={\dfrac {\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}{{\dfrac {\sigma _{x}^{4}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {\sigma _{y}^{4}}{n_{y}^{2}(n_{y}-1)}}}}}$

При достаточно больших объёмах выборок мы можем воспользоваться нормальной аппроксимацией:

${\displaystyle t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}{\xrightarrow[{n_{x},n_{y}\rightarrow \infty }]{}}{\mathcal {N}}(0,1)}$

Пусть даны две независимые выборки нормально распределённых случайных величин:

${\displaystyle X_{1},...,X_{n_{x}}\sim {\mathcal {N}}(\mu _{x},\sigma _{x}^{2})}$

${\displaystyle Y_{1},...,Y_{n_{y}}\sim {\mathcal {N}}(\mu _{y},\sigma _{y}^{2})}$

При нулевой гипотезе ${\displaystyle H_{0}:\mu _{x}=\mu _{y}}$ мы рассчитываем следующую статистику:

${\displaystyle t={\dfrac {{\bar {X}}-{\bar {Y}}}{\sqrt {{\dfrac {{\hat {\sigma }}_{x}^{2}}{n_{x}}}+{\dfrac {{\hat {\sigma }}_{y}^{2}}{n_{y}}}}}}}$

Пусть альтернативная гипотеза ${\displaystyle H_{1}:\mu _{x}\neq \mu _{y}}$.

При справедливости нулевой гипотезы распределение ${\displaystyle t}$ будет приблизительно являться распределением Стьюдента с ${\displaystyle d}$ степенями свободы:

${\displaystyle t{\stackrel {approx.}{\sim }}t_{d}}$,

где ${\displaystyle d}$ находится как:

${\displaystyle d={\dfrac {\left({\dfrac {\sigma _{x}^{2}}{n_{x}}}+{\dfrac {\sigma _{y}^{2}}{n_{y}}}\right)^{2}}{{\dfrac {\sigma _{x}^{4}}{n_{x}^{2}(n_{x}-1)}}+{\dfrac {\sigma _{y}^{4}}{n_{y}^{2}(n_{y}-1)}}}}}$

Следовательно, при превышении значения наблюдаемой статистики по абсолютной величине критического значения данного распределения (при заданном уровне значимости) нулевая гипотеза отвергается.

В следующих примерах будем сравнивать t-критерий Стьюдента и t-критерий Уэлча. Выборки сгенерированы модулем numpy.random для языка программирования Python.

Для всех трех примеров математические ожидания будут равны ${\displaystyle \mu _{x}=20}$ и ${\displaystyle \mu _{y}=22}$ соответственно.

В первом примере истинные дисперсии равны (${\displaystyle \sigma _{x}^{2}=\sigma _{y}^{2}=4}$) и объёмы выборок равны (${\displaystyle n_{x}=n_{y}=15}$). Обозначим за ${\displaystyle S_{X}}$ и ${\displaystyle S_{Y}}$ как соответствующие случайные выборки:

${\displaystyle {\begin{aligned}S_{X}&=\{19.17,21.41,23.83,15.72,21.44,20.93,21.53,21.76,21.62,18.11,19.74,18.74,17.12,21.30,21.97\}\\S_{Y}&=\{19.71,22.77,22.85,26.21,21.60,21.50,25.43,21.45,24.69,22.69,20.21,26.24,21.43,22.49,20.76\}\end{aligned}}}$

Во втором примере истинные дисперсии неравны (${\displaystyle \sigma _{x}^{2}=16}$, ${\displaystyle \sigma _{y}^{2}=1}$) и неравные объёмы у выборок (${\displaystyle n_{x}=10}$,${\displaystyle n_{y}=20}$). У меньшей выборки большая дисперсия:

${\displaystyle {\begin{aligned}S_{X}&=\{18.33,22.82,27.66,11.43,22.88,21.87,23.07,23.53,23.24,16.21\}\\S_{Y}&=\{21.87,21.37,20.56,22.65,22.98,20.86,22.39,22.43,24.11,21.80,21.75,23.71,21.73,23.35,22.34,21.10,24.12,21.71,22.24,21.38\}\end{aligned}}}$

В третьем примере истинные дисперсии неравны (${\displaystyle \sigma _{x}^{2}=1}$, ${\displaystyle \sigma _{y}^{2}=16}$) и неравные объёмы у выборок (${\displaystyle n_{x}=10}$,${\displaystyle n_{y}=20}$). У большей выборки большая дисперсия:

${\displaystyle {\begin{aligned}S_{X}&=\{19.58,20.71,21.92,17.86,20.72,20.47,20.77,20.88,20.81,19.05\}\\S_{Y}&=\{21.48,19.48,16.25,24.61,25.94,17.42,23.55,23.71,30.43,21.21,21.01,28.86,20.91,27.39,23.37,18.42,30.47,20.86,22.97,19.52\}\end{aligned}}}$

	Выборка ${\displaystyle S_{X}}$			Выборка ${\displaystyle S_{Y}}$			t-критерий Стьюдента				t-критерий Уэлча
Пример	${\displaystyle n_{x}}$	${\displaystyle {\overline {X}}}$	${\displaystyle {\hat {\sigma }}_{x}^{2}}$	${\displaystyle n_{y}}$	${\displaystyle {\overline {Y}}}$	${\displaystyle {\hat {\sigma }}_{y}^{2}}$	${\displaystyle t}$	${\displaystyle d}$	${\displaystyle p}$-value	${\displaystyle p_{\mathrm {sim} }}$-value	${\displaystyle t}$	${\displaystyle d}$	${\displaystyle p}$-value	${\displaystyle p_{\mathrm {sim} }}$-value
1	15	20.29	4.61	15	22.67	4.35	-3.07	28	0.005	0.005	−3.07	28.0	0.005	0.004
2	10	21.10	21.01	20	22.22	1.04	−1.06	28	0.299	0.465	−0.76	9.57	0.464	0.459
3	10	20.27	1.31	20	22.89	16.69	−1.97	28	0.059	0.015	−2.66	23.28	0.014	0.018

Для равных дисперсий и равных объёмов выборок t-критерий Стьюдента и t-критерий Уэлча выдали примерно одинаковый результат (пример 1). Для неравных дисперсий t-критерий Уэлча точнее оценивает истинное распределение статистики, чем t-критерий Стьюдента (${\displaystyle p}$-value для t-критерия Уэлча ближе к моделированной ${\displaystyle p_{\mathrm {sim} }}$-value, чем для t-критерия Стьюдента).

Если неизвестно, равны ли дисперсии двух генеральных совокупностей, крайне не рекомендуется проводить пре-тесты для определения равенства дисперсий, а лучше сразу использовать t-критерий Уэлча.^[1]

B. L. Welch The Generalization of `Student’s' Problem when Several Different Population Variances are Involved // Vol. 34, No. 1/2 (Jan., 1947), pp. 28-35