Тест множителей Лагранжа

Тест множителей Лагранжа (англ. Lagrange multiplier test, Score test) — статистический тест, используемый для проверки ограничений на параметры статистических моделей, оцененных на основе выборочных данных. Является одним из трёх базовых тестов проверки ограничений наряду с тестом отношения правдоподобия и тестом Вальда. Тест является асимптотическим, то есть для достоверности выводов требуется достаточно большой объем выборки.

Пусть имеется эконометрическая модель с вектором параметров b. Необходимо проверить по выборочным данным гипотезу ${\displaystyle H_{0}:~g(b)=0}$, где g — совокупность (вектор) некоторых функций параметров. Идея теста основана на применении известного метода множителей Лагранжа для оценки параметров ограниченной (короткой) модели, исходя из модели без ограничений (длинной модели). Пусть логарифмическая функция правдоподобия для длинной модели равна ${\displaystyle l(b)}$. Для оценки короткой модели необходимо построить функцию Лагранжа

${\displaystyle F(b,\lambda )=l(b)-\lambda ^{T}g(b)}$

Тогда условия максимума будут иметь вид:

${\displaystyle {\frac {\partial F(b,\lambda )}{\partial b}}={\frac {\partial l(b)}{\partial b}}-G(b)\lambda =0~,~~g(b)=0~,~G(b)={\frac {\partial g(b)}{\partial b}}}$

Тест основан на том, что если ограничения выполняются, то множители Лагранжа должны быть равны нулю. Поскольку вместо истинных значений параметров будут использоваться оцененные, то множители Лагранжа должны быть просто максимально близки к нулю, а именно — можно показать, что оценки множителей Лагранжа имеют нормальное распределение с нулевым математическим ожиданием и ковариационной матрицей ${\displaystyle (GV_{\hat {b}}G^{T})^{-1}}$, зависящей от ковариационной матрицы оценок параметров длинной модели. Тогда статистика теста

${\displaystyle LM=\lambda ^{T}GV_{\hat {b}}G^{T}\lambda }$

будет иметь распределение Хи-квадрат, с q степенями свободы, где q — количество ограничений.

При проверке линейных ограничений для линейной модели регрессии LM-статистика будет равна

Можно показать, что для классической линейной модели LM-статистика равна

${\displaystyle LM={\frac {ESS_{S}-ESS_{L}}{ESS_{S}/n}}}$

В частности при проверке значимости регрессии в целом (то есть при проверке гипотезы о равенстве нулю всех коэффициентов при факторах, кроме константы) ${\displaystyle ESS_{S}=TSS}$ — общей сумме квадратов (дисперсия зависимой переменной умноженной на n). Следовательно,

${\displaystyle LM={\frac {TSS-ESS}{TSS/n}}=n(1-ESS/TSS)=nR^{2}}$,

где ${\displaystyle R^{2}}$ — коэффициент детерминации.

Доказано, что тест Вальда (W), тест отношения правдоподобия (LR) и тест множителей Лагранжа (LM) — асимптотически эквивалентные тесты (LM=LR=W). Тем не менее, для конечных выборок значения статистик не совпадают. Для линейных ограничений доказано неравенство ${\displaystyle LM\leqslant LR\leqslant W}$. Тем самым тест множителей Лагранжа будет чаще других тестов принимать нулевую гипотезу об ограничениях (реже других будет отвергать её). В случае нелинейных ограничений первая часть неравенства выполняется, а вторая — вообще говоря, нет.

Вместо LM-теста можно использовать асимптотический F-тест, статистика которого связана с LM-статистикой следующим образом:

${\displaystyle F={\frac {LM}{n-LM}}{\frac {n-k}{q}}~{\xrightarrow {d}}~F(q,n-k)}$,

где k-количество параметров модели.

Во многих случаях на малых выборках такой тест даже предпочтительней исходного LM-теста.

• Тест Вальда
• Тест отношения правдоподобия
• F-тест

• Магнус Я. Р., Катышев П. К., Пересецкий А. А. Эконометрика. — М.: Дело, 2004. — 576 с.
• William H. Greene. Econometric analysis. — New York: Pearson Education, Inc., 2003. — 1026 с.