Информационный критерий Акаике

Информационный критерий Акаике (AIC) — критерий, применяющийся исключительно для выбора из нескольких статистических моделей. Разработан в 1971 как «an information criterion» («(некий) информационный критерий») Хироцугу Акаике и предложен им в статье 1974 года^[1].

Предпосылкой к созданию критерия послужила задача оценки качества предсказаний модели на тестовой выборке при известном качестве на обучающей выборке при условии, что модель мы настраивали по методу максимального правдоподобия. То есть стояла задача оценки переобучения модели. Акаике, используя теорию информации (в том числе расстояние Кульбака — Лейблера), смог для ряда частных случаев получить искомую оценку.

В общем случае AIC:

${\displaystyle {\mathit {AIC}}=2k-2\ln(L)}$,

где ${\displaystyle k}$ — число параметров в статистической модели, ${\displaystyle L}$ — максимизированное значение функции правдоподобия модели.

Далее будем полагать, что ошибки модели нормально и независимо распределены. Пусть ${\displaystyle n}$ — число наблюдений, а остаточная сумма квадратов^[англ.]

${\displaystyle {\mathit {RSS}}=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}.}$

Далее мы предполагаем, что дисперсия ошибок модели неизвестна, но одинакова для всех них. Следовательно:

${\displaystyle {\mathit {AIC}}=2k+n[\ln(2\pi {\mathit {RSS}}/n)+1]\,.}$

В случае сравнения моделей на выборках одинаковой длины, выражение можно упростить, выкидывая члены зависящие только от ${\displaystyle n}$:

${\displaystyle {\mathit {AIC}}=2k+n[\ln({\mathit {RSS}})]\,.}$

Таким образом, критерий не только вознаграждает за качество приближения, но и штрафует за использование излишнего количества параметров модели. Считается, что наилучшей будет модель с наименьшим значением критерия AIC. Критерий Шварца (SIC) штрафует свободные параметры в большей мере.

Стоит отметить, что абсолютное значение AIC не имеет смысла — он указывает только на относительный порядок сравниваемых моделей.

Часто необходимо выбирать между моделями, для которых считается, что их ошибки нормально распределены. Это приводит к критерию ${\displaystyle \chi ^{2}}$.

Для таких случаев можно приспособить AIC. В рамках статьи назовем его ${\displaystyle AIC_{\chi ^{2}}}$. От непосредственно AIC он будет отличаться на аддитивную константу (функцию лишь данных, но не модели), которой можно пренебречь ввиду относительного характера критерия.

Для приближения ${\displaystyle \chi ^{2}}$ функция правдоподобия определяется следующим образом:

${\displaystyle L=\prod _{i=1}^{n}\left({\frac {1}{2\pi \sigma _{i}^{2}}}\right)^{1/2}\exp \left(-\sum _{i=1}^{n}{\frac {(y_{i}-f(\mathbf {x} ))^{2}}{2\sigma _{i}^{2}}}\right)}$

${\displaystyle \therefore \ln L=\ln \left(\prod _{i=1}^{n}\left({\frac {1}{2\pi \sigma _{i}^{2}}}\right)^{1/2}\right)-{\frac {1}{2}}\sum _{i=1}^{n}{\frac {(y_{i}-f(\mathbf {x} ))^{2}}{\sigma _{i}^{2}}}}$

${\displaystyle \therefore \ln L=C-\chi ^{2}/2}$,

где ${\displaystyle C}$ — независимая от модели константа, которую можно исключить в случае сравнения моделей на одних и тех же данных.

Таким образом:${\displaystyle AIC=2k-2\ln(L)=2k-2(C-\chi ^{2}/2)=2k-2C+\chi ^{2}}$. Исключая константу:

${\displaystyle AIC_{\chi ^{2}}=\chi ^{2}+2k.}$

Эта форма критерия часто удобна, если мы уже вычислили ${\displaystyle \chi ^{2}}$ как статистику качества приближения. В случае обучения моделей на данных с одинаковым количеством точек, нужно брать модель с наименьшим значением ${\displaystyle AIC_{\chi ^{2}}}$.

Аналогично, если имеется вычисленная статистика ${\displaystyle R^{2}}$ («Объясненная дисперсия»), можно записать:

${\displaystyle AIC_{R^{2}}=n\ln {\frac {1-R^{2}}{n}}+2k.\ }$

• Байесовский информационный критерий (BIC; он же Критерий Шварца, SIC)
• Критерий Акаике на Machinelearning.ru

• Akaike, H. A new look at the statistical model identification. — IEEE Transactions on Automatic Control. — 1974. — Т. 19. — С. 716. — 723 с.
• Liddle A. R. Information criteria for astrophysical model selection (недоступная ссылка). — Advances in Neural Information Processing Systems. — Astronomy Centre, University of Sussex, 2008.
• Burnham K. P., Anderson D.R. Model selection and multimodel inference: a practical information-theoretic approach. — 2-е изд. — Springer, 2002. — 488 с. — ISBN ISBN 0-387-95364-7.
• McQuarrie A. D. R., Tsai C. L. Regression and time series model selection. — World Scientific, 1998. — 455 с. — ISBN ISBN 981-02-3242-X.
• Бидюк П. И., Зворыгина Т. Ф. Структурный анализ методик построения регрессионных моделей по временным рядам наблюдений.