Рекурсивный МНК

Перейти к навигации Перейти к поиску

Рекурсивный или рекуррентный метод наименьших квадратов (МНК) (англ. Recursive Least Squares) — применяемая в эконометрике итеративная процедура оценки параметров регрессионной модели. Данный метод применяется при мультиколлинеарности факторов (в этом случае матрица $X^{T}X$ близка к вырожденной и при её обращении могут возникнуть большие вычислительные неточности). Также получающиеся в результате применения рекурсивного МНК (рекурсивные остатки) используются при тестировании стабильности параметров модели.

Описание метода

В данном методе вместо обращения плохо обусловленной матрицы $X^{T}X$ производится расчет матрицы $W_{t}$ согласно следующей рекуррентной формуле:

$W_{t}=W_{t-1}-{\frac {W_{t-1}x_{t}x_{t}^{T}W_{t-1}}{1+x_{t}^{T}W_{t-1}x_{t}}}~,~~t=k+1,...,n$

То есть на каждом шаге вместо обращения производится деление на число. Для «запуска» процедуры нужно задать начальное значение матрицы.

Параметры модели оцениваются согласно следующему рекуррентному соотношению:

${\hat {b}}_{t}={\hat {b}}_{t-1}+(y_{t}-x_{t}^{T}{\hat {b}}_{t-1})W_{t}x_{t}$

Выражение в скобках представляет собой ошибку прогноза на один период. Известно, что дисперсия ошибки такого прогноза будет равна $\sigma ^{2}(1+x_{t}^{T}W_{t-1}x_{t})$ , где $\sigma ^{2}$ — дисперсия случайных ошибок модели (предполагается классическая регрессионная модель). Для выравнивания дисперсии дисперсий ошибок прогнозов ошибки прогноза делят на квадратный корень из $1+x_{t}^{T}W_{t-1}x_{t}$ . Полученные величины и называют обычно рекурсивными остатками:

$w_{t}={\frac {y_{t}-x_{t}^{T}{\hat {b}}_{t-1}}{\sqrt {1+x_{t}^{T}W_{t-1}x_{t}}}}$

Если регрессионная модель правильная (то есть соответствует моделируемой зависимости) и выполняются классические предположения, то полученные рекурсивные остатки являются независимыми случайными величинами с нулевым математическим ожиданием и постоянной дисперсией — $iid(0,\sigma ^{2})$ . Это позволяет использовать их для тестирования стабильности параметров модели.

См. также

Похожие исследовательские статьи

Метод наименьших квадратов (МНК) — математический метод, применяемый для решения различных задач, основанный на минимизации суммы квадратов отклонений некоторых функций от искомых переменных. Он может использоваться для «решения» переопределенных систем уравнений, для поиска решения в случае обычных нелинейных систем уравнений, для аппроксимации точечных значений некоторой функции. МНК является одним из базовых методов регрессионного анализа для оценки неизвестных параметров регрессионных моделей по выборочным данным.

Ме́тод максима́льного правдоподо́бия или метод наибольшего правдоподобия в математической статистике — это метод оценивания неизвестного параметра путём максимизации функции правдоподобия. Основан на предположении о том, что вся информация о статистической выборке содержится в функции правдоподобия. Метод максимального правдоподобия был проанализирован, рекомендован и значительно популяризирован Р. Фишером между 1912 и 1922 годами.

Регрессио́нный анализ — набор статистических методов исследования влияния одной или нескольких независимых переменных $\text{[math]}$ на зависимую переменную $\text{[math]}$ . Независимые переменные иначе называют регрессорами или предикторами, а зависимые переменные — критериальными или регрессантами. Терминология зависимых и независимых переменных отражает лишь математическую зависимость переменных, а не причинно-следственные отношения. Наиболее распространённый вид регрессионного анализа — линейная регрессия, когда находят линейную функцию, которая, согласно определённым математическим критериям, наиболее соответствует данным. Например, в методе наименьших квадратов вычисляется прямая, сумма квадратов между которой и данными минимальна.

F-тест или критерий Фишера — статистический критерий, тестовая статистика которого при выполнении нулевой гипотезы имеет распределение Фишера (F-распределение).

<span class="mw-page-title-main">Гетероскедастичность</span>

Гетероскедасти́чность — понятие, используемое в прикладной статистике, означающее неоднородность наблюдений, выражающуюся в неодинаковой (непостоянной) дисперсии случайной ошибки регрессионной (эконометрической) модели. Гетероскедастичность противоположна гомоскедастичности, означающей однородность наблюдений, то есть постоянство дисперсии случайных ошибок модели.

Мультиколлинеарность (multicollinearity) — в эконометрике — наличие линейной зависимости между объясняющими переменными (факторами) регрессионной модели. При этом различают полную коллинеарность, которая означает наличие функциональной (тождественной) линейной зависимости и частичную или просто мультиколлинеарность — наличие сильной корреляции между факторами.

Коэффициент детерминации — это доля дисперсии зависимой переменной, объясняемая рассматриваемой моделью зависимости, то есть объясняющими переменными. Более точно — это единица минус доля необъяснённой дисперсии в дисперсии зависимой переменной. Его рассматривают как универсальную меру зависимости одной случайной величины от множества других. В частном случае линейной зависимости $\text{[math]}$ является квадратом так называемого множественного коэффициента корреляции между зависимой переменной и объясняющими переменными. В частности, для модели парной линейной регрессии коэффициент детерминации равен квадрату обычного коэффициента корреляции между y и x.

Авторегрессионная условная гетероскедастичность — применяемая в эконометрике модель для анализа временных рядов, у которых условная дисперсия ряда зависит от прошлых значений ряда, прошлых значений этих дисперсий и иных факторов. Данные модели предназначены для «объяснения» кластеризации волатильности на финансовых рынках, когда периоды высокой волатильности длятся некоторое время, сменяясь затем периодами низкой волатильности, причём среднюю волатильность можно считать относительно стабильной.

Тест Ва́льда — статистический тест, используемый для проверки ограничений на параметры статистических моделей, оценённых на основе выборочных данных. Является одним из трёх базовых тестов проверки ограничений наряду с тестом отношения правдоподобия и тестом множителей Лагранжа. Тест является асимптотическим, то есть для достоверности выводов требуется достаточно большой объём выборки.

Обобщённый метод наименьших квадратов — метод оценки параметров регрессионных моделей, являющийся обобщением классического метода наименьших квадратов. Обобщённый метод наименьших квадратов сводится к минимизации «обобщённой суммы квадратов» остатков регрессии — $\text{[math]}$ , где $\text{[math]}$ — вектор остатков, $\text{[math]}$ — симметрическая положительно определенная весовая матрица. Обычный МНК является частным случаем обобщённого, когда весовая матрица пропорциональна единичной.

Стандартные ошибки в форме Уайта или состоятельные при гетероскедастичности стандартные ошибки — применяемая в эконометрике оценка ковариационной матрицы МНК-оценок параметров линейной модели регрессии, которая состоятельна при гетероскедастичности случайных ошибок модели, альтернативная стандартной (классической) оценке, которая в данном случае является несостоятельной.

Стандартные ошибки в форме Ньюи-Уеста или состоятельные при гетероскедастичности и автокорреляции стандартные ошибки — применяемая в эконометрике оценка ковариационной матрицы МНК-оценок параметров линейной модели регрессии, альтернативная стандартной (классической) оценке, которая состоятельна при гетероскедастичности и автокорреляции случайных ошибок модели.

Тест Уайта — универсальная процедура тестирования гетероскедастичности случайных ошибок линейной регрессионной модели, не налагающая особых ограничений на структуру гетероскедастичности, предложенная Уайтом в 1980 г. Тест является асимптотическим.

Тест Бройша — Пагана или Бреуша — Пагана — один из статистических тестов для проверки наличия гетероскедастичности случайных ошибок регрессионной модели. Применяется, если есть основания полагать, что дисперсия случайных ошибок может зависеть от некоторой совокупности переменных. При этом в данном тесте проверяется линейная зависимость дисперсии случайных ошибок от некоторого набора переменных.

Метод инструментальных переменных — метод оценки параметров регрессионных моделей, основанный на использовании дополнительных, не участвующих в модели, так называемых инструментальных переменных. Метод применяется в случае, когда факторы регрессионной модели не удовлетворяют условию экзогенности, то есть являются зависимыми со случайными ошибками. В этом случае, оценки метода наименьших квадратов являются смещенными и несостоятельными.

Двухшаговый метод наименьших квадратов — метод оценки параметров эконометрических моделей, в частности систем одновременных уравнений, состоящий из двух этапов (шагов), на каждом из которых применяется метод наименьших квадратов.

Вне́шне несвя́занные уравне́ния — система эконометрических уравнений, каждое из которых является самостоятельным уравнением со своей зависимой и объясняющими экзогенными переменными. Модель предложена Зельнером в 1968 году. Важной особенностью данных уравнений является то, что несмотря на кажущуюся несвязанность уравнений их случайные ошибки предполагаются коррелированными между собой.

Тест Парка - статистический тест, используемый для проверки гетероскедастичности случайных ошибок регрессионной (эконометрической) модели.

В статистике регрессия Деминга, названная именем У. К. Деминга, — это вид регрессии с ошибками в переменных, которая пытается найти прямую наилучшего сглаживания для двумерного набора данных. Регрессия отличается от простой линейной регрессии в том, что она принимает во внимание ошибки в наблюдении как по оси x, так и по оси y. Регрессия является частным случаем метода наименьших полных квадратов, которая рассматривает любое число показателей и имеет более сложную структуру ошибок.

Эта страница основана на статье Википедии.
Текст доступен на условиях лицензии CC BY-SA 4.0; могут применяться дополнительные условия.
Изображения, видео и звуки доступны по их собственным лицензиям.