Авторегрессионная модель

Авторегрессионная (AR-) модель (англ. autoregressive model) — модель временных рядов, в которой значения временного ряда в данный момент линейно зависят от предыдущих значений этого же ряда. Авторегрессионный процесс порядка p (AR(p)-процесс) определяется следующим образом

${\displaystyle X_{t}=c+\sum _{i=1}^{p}a_{i}X_{t-i}+\varepsilon _{t},}$

где ${\displaystyle a_{1},\ldots ,a_{p}}$ — параметры модели (коэффициенты авторегрессии), ${\displaystyle c}$ — постоянная (часто для упрощения предполагается равной нулю), а ${\displaystyle \varepsilon _{t}}$ — белый шум.

Простейшим примером является авторегрессионный процесс первого порядка AR(1)-процесс:

${\displaystyle X_{t}=c+rX_{t-1}+\varepsilon _{t}}$

Для данного процесса коэффициент авторегрессии совпадает с коэффициентом автокорреляции первого порядка.

Другой простой процесс — процесс Юла — AR(2)-процесс:

${\displaystyle X_{t}=c+a_{1}X_{t-1}+a_{2}X_{t-2}+\varepsilon _{t}}$

Если ввести лаговый оператор ${\displaystyle L:Lx_{t}=x_{t-1}}$, то авторегрессионную модель можно представить следующим образом

${\displaystyle X_{t}=c+\sum _{i=1}^{p}a_{i}L^{i}X_{t}+\varepsilon _{t},}$

или

${\displaystyle a(L)X_{t}=(1-\sum _{i=1}^{p}a_{i}L^{i})X_{t}=c+\varepsilon _{t}}$

Стационарность авторегрессионного процесса зависит от корней характеристического полинома ${\displaystyle a(z)=1-\sum _{i=1}^{n}a_{i}z^{i}}$. Для того чтобы процесс был стационарным^[1], достаточно, чтобы все корни характеристического полинома лежали вне единичного круга в комплексной плоскости ${\displaystyle |z|>1}$.

В частности, для AR(1)-процесса ${\displaystyle a(z)=1-rz}$, следовательно корень этого полинома ${\displaystyle z=1/r}$, поэтому условие стационарности можно записать в виде ${\displaystyle |r|<1}$, то есть коэффициент авторегрессии (он же в данном случае коэффициент автокорреляции) должен быть строго меньше 1 по модулю.

Для AR(2)-процесса можно показать, что условия стационарности имеют вид: ${\displaystyle |a_{2}|<1,a_{2}\pm a_{1}<1}$.

Стационарные AR-процессы допускают разложение Вольда — представление в виде бесконечного MA-процесса:

${\displaystyle X_{t}=a^{-1}(L)c+a^{-1}(L)\varepsilon _{t}={\frac {c}{1-\sum _{i=1}^{p}a_{i}}}+\sum _{j=0}^{\infty }b_{j}\varepsilon _{t-j}}$

Первое слагаемое представляет собой математическое ожидание AR-процесса. Если c=0, то математическое ожидание процесса также равно нулю.

Можно показать, что автоковариационная и автокорреляционная функции AR(p)-процесса удовлетворяют рекуррентным соотношениям:

${\displaystyle \gamma (k)=\sum _{j=1}^{p}a_{j}\gamma (k-j)~~~~~r(k)=\sum _{j=1}^{p}a_{j}r(k-j)}$

В простейшем случае AR(1)-процесса, математическое ожидание равно ${\displaystyle \mu =c/(1-r)}$, дисперсия ${\displaystyle \gamma (0)=\sigma _{\varepsilon }^{2}/(1-r^{2})}$, а автокорреляции ${\displaystyle r(k)=r\cdot r(k-1)~\Rightarrow ~r(k)=r^{k}}$.

В общем случае выражение для математического ожидания через параметры модели было указано выше, однако, выражение для дисперсии временного ряда — существенно усложняется. Можно показать, что дисперсия ряда ${\displaystyle \gamma (0)}$ и вектор автоковариаций ${\displaystyle \gamma }$ выражаются через параметры следующим образом:

${\displaystyle \gamma (0)=(1+a^{T}(C-aa^{T})^{-1}a)\sigma _{\varepsilon }^{2}}$, ${\displaystyle \gamma =\sigma _{\varepsilon }^{2}(C-aa^{T})^{-1}a}$

где ${\displaystyle a}$-вектор параметров, ${\displaystyle C}$-матрица порядка ${\displaystyle p}$, элементы которой определяются следующим образом. Диагональные элементы равны ${\displaystyle c_{ii}=1-a_{2i}}$. Элементы выше диагонали равны ${\displaystyle -a_{2i+j-1}}$, а элементы ниже диагонали равны ${\displaystyle -(a_{j}+a_{2i-j})}$. Здесь подразумевается, что если индекс превышает порядок модели ${\displaystyle p}$, то соответствующая величина приравнивается к нулю.

В частности, для AR(1)-процесса матрица ${\displaystyle C}$ равна просто единице, следовательно, ${\displaystyle \gamma (0)=(1+{\frac {a^{2}}{1-a^{2}}})\sigma _{\varepsilon }^{2}}$, что соответствует вышеуказанной формуле.

Для ${\displaystyle AR(2)}$-процесса матрица ${\displaystyle C}$ — второго порядка определяется следующим образом: первая строка равна (${\displaystyle 1-a_{2}}$;0), вторая — (${\displaystyle -a_{1}}$;1). Применив вышеуказанную формулу можно получить следующее выражение для дисперсии данного процесса:

${\displaystyle \gamma (0)={\frac {(1-a_{2})\sigma _{\varepsilon }^{2}}{(1+a_{2})((1-a_{2})^{2}-a_{1}^{2})}}}$

На практике формулы для дисперсии процесса, выраженной через параметры модели обычно не применяются, а используется следующее выражение через ковариации:

${\displaystyle \gamma (0)=\sigma _{\varepsilon }^{2}+\sum _{k=1}^{p}a_{k}\gamma (k)}$

Автокорреляционная функция авторегрессионого процесса экспоненциально затухает с возможной осцилляцией (осцилляции зависят от наличия комплексных корней у характеристического полинома). При этом частная автокорреляционная функция при k>p равна нулю. Это свойство используется для идентификации порядка AR-модели по выборочной частной автокорреляционной функции временного ряда.

Для AR(1)-процесса автокорреляционная функция — экспоненциально затухающая функция (без осцилляций), если выполнено условие стационарности. Частная автокорреляционная функция первого порядка равна r, а для более высоких порядков равна 0.

Учитывая чётность автокорреляционной функции и используя рекуррентное соотношение для первых p автокорреляций, получаем систему уравнений Юла — Уокера^[2]:

${\displaystyle 1\leqslant k\leqslant p~,~\sum _{j=1}^{p}a_{j}r(|k-j|)=r(k)}$

или в матричной форме

${\displaystyle Ra=r~,~\Rightarrow a=R^{-1}r~,~~R={\begin{pmatrix}1&r_{1}&r_{2}&...&r_{p-1}\\r_{1}&1&r_{1}&...&r_{p-2}\\r_{2}&r_{1}&1&...&r_{p-3}\\...\\r_{p-1}&r_{p-2}&r_{p-3}&...&1\\\end{pmatrix}}}$

Если использовать вместо истинных автокорреляций (неизвестных) выборочные автокорреляции, получим оценки неизвестных коэффициентов авторегрессии. Можно показать, что этот метод оценки эквивалентен обычному методу наименьших квадратов (МНК). Если случайные ошибки модели имеют нормальное распределение, то данный метод также эквивалентен условному методу максимального правдоподобия. Для получения более точных оценок в последнем случае можно использовать полный метод максимального правдоподобия, в котором используется информация о распределении первых членов ряда. Например, в случае AR(1)-процесса распределение первого члена принимается равным безусловному распределению временного ряда (нормальное распределение с математическим ожиданием и безусловной дисперсией ряда).

С помощью AR-моделей можно моделировать сезонность. Такие модели обозначают SAR (Seasonal AR). Например, при наличии квартальных данных и предположении о квартальной сезонности можно построить следующую модель SAR(4):

${\displaystyle y_{t}=a_{4}y_{t-4}+\varepsilon _{t}}$

Фактически это обычная AR-модель с ограничением на параметры модели (равенство нулю параметров при лагах менее 4). На практике сезонность может сочетаться с обычной авторегрессией, например:

${\displaystyle y_{t}=a_{1}y_{t-1}+a_{4}y_{t-4}+\varepsilon _{t}}$

В некоторых случаях оказываются полезными сезонные модели, у которых случайная ошибка подчиняется некоторому AR-процессу:

${\displaystyle y_{t}=a_{4}y_{t-4}+\varepsilon _{t}~,~\varepsilon _{t}=a_{1}\varepsilon _{t-1}+u_{t}}$

Нетрудно увидеть, что такую модель в операторной форме можно записать как:

${\displaystyle (1-a_{1}L)(1-a_{4}L^{4})y_{t}=u_{t}}$

Такую модель обозначают ${\displaystyle AR(1)\times SAR(4)}$.

• Модель авторегрессии и распределённого лага
• Модель авторегрессии — скользящего среднего
• Модель скользящего среднего
• Векторная авторегрессия
• Лаговый оператор