Информационный критерий

Информационный критерий — применяемая в эконометрике (статистике) мера относительного качества эконометрических (статистических) моделей, учитывающая степень «подгонки» модели под данные с корректировкой (штрафом) на используемое количество оцениваемых параметров. То есть критерии основаны на неком компромиссе между точностью и сложностью модели. Критерии различаются тем, как они обеспечивают этот баланс.

Информационный характер критериев связан с концепцией информационной энтропии и расстоянием Кульбака-Лейблера, на основе которой был разработан исторически первый критерий — критерий Акаике (AIC), предложенный в 1974 году Хироцугу Акаике^[1].

Информационные критерии используются исключительно для сравнения моделей между собой, без содержательной интерпретации значений этих критериев. Они не позволяют тестировать модели в смысле проверки статистических гипотез. Обычно чем меньше значения критериев, тем выше относительное качество модели.

Предложен Хиротугу Акаике в 1971 году, описан и исследован им же в 1973, 1974, 1983 годах. Первоначально аббревиатура AIC, предложенная автором, расшифровывалась как «an information criterion» («некий информационный критерий»), однако последующие авторы называли его Akaike information criterion. Исходная расчетная формула критерия имеет вид:

${\displaystyle AIC=2k-2l}$

где ${\displaystyle l}$ — значение логарифмической функции правдоподобия построенной модели, ${\displaystyle k}$ — количество использованных (оцененных) параметров.

Многие современные авторы, а также во многих эконометрических программных продуктах (например в EViews) применяется несколько иная формула, предполагающая деление на объем выборки ${\displaystyle n}$, по которой строилась модель:

${\displaystyle AIC=2k/n-2l/n}$

Данный подход позволяет сравнивать модели, оцененные по выборках разного объема.

Чем меньше значение критерия, тем лучше модель. Многие другие критерии являются модификациями AIC.

Байесовский информационный критерий (Bayesian information criterion — BIC) предложен Шварцем в 1978 году, поэтому часто он называется также критерием Шварца (Schwarz criterion — SC). Он разработан исходя из байесовского подхода и является наиболее часто используемой модификацией AIC:

${\displaystyle BIC=SC=k\ln n-2l}$

Как видно из формулы, данный критерий налагает больший штраф на увеличение количества параметров по сравнению с AIC, так как ${\displaystyle \ln n}$ больше 2 уже при количестве 8 наблюдений

Состоятельный критерий Акаике (Consistent AIC — CAIC) предложенный в 1987 году Боздоганом:

${\displaystyle CAIC=(1+\ln n)k-2l}$

Данный критерий асимптотически эквивалентен ${\displaystyle BIC}$. Тот же автор в 1994 году предложил модификации, увеличивающие коэффициент при количестве параметров (вместо 2 — 3 или 4 для ${\displaystyle AIC_{3}}$ и ${\displaystyle AIC_{4}}$).

Скорректированный критерий Акаике (Corrected AIC-${\displaystyle AIC_{c}}$), который рекомендуется применять на малых выборках (предложен в 1978 году Sugiura):

${\displaystyle AIC_{c}=AIC+{\frac {2k(k+1)}{n-k-1}}}$

Критерий Ханнана-Куинна (Hannan-Quinn, HQ) предложен авторами в 1979 году

${\displaystyle HQ=2k\ln \ln n/n-2l/n}$

Данный критерий, наряду с AIC и BIC выдается в результатах оценки моделей с дискретными и ограниченными зависимыми переменными в EViews.

Имеются также модификации AIC, использующие более сложные штрафные функции, зависящие от фишеровской информации и других характеристик.

В частном случае классической нормальной линейной регрессии логарифмическая функция правдоподобия равна

${\displaystyle l=-n/2(1+\ln 2\pi +\ln {\hat {\sigma }}^{2})}$

где ${\displaystyle {\hat {\sigma }}^{2}}$ — состоятельная оценка (метода максимального правдоподобия) дисперсии случайной ошибки модели, равная отношению суммы квадратов остатков к объему выборки.

Подставив значение логарифмической функции правдоподобия в формулу AIC (с делением на объем выборки), а также не учитывая постоянные слагаемые 1 и ${\displaystyle \ln 2\pi }$ (так как при сравнении моделей они не влияют на результат) получим следующую формулу:

${\displaystyle AIC=2k/n+\ln {\hat {\sigma }}^{2}}$

Применение разных критериев может привести к выбору разных моделей. Во многих работах эти критерии сравниваются, однако нет окончательного вывода о предпочтительности того или иного критерия. Поэтому программные продукты обычно приводят как минимум два критерия (AIC, BIC), для некоторых моделей также и третий (HQ). Известно, что для авторегрессионных моделей критерий AIC переоценивает порядок модели, то есть оценка порядка модели на основе этого критерия несостоятельна. Состоятельным критерием выбора порядка авторегрессионной модели является BIC.

• Grasa, Antonio Aznar (1989) Econometric Model Selection: A New Approach, Kluwer.
• Greene, William H. (1997) Econometric Analysis, 3rd edition, Prentice-Hall.