Нелинейная регрессия

Нелинейная регрессия — это вид регрессионного анализа, в котором экспериментальные данные моделируются функцией, являющейся нелинейной комбинацией параметров модели и зависящей от одной и более независимых переменных. Данные аппроксимируются методом последовательных приближений.

Данные состоят из свободных от ошибок независимых переменных x и связанных наблюдаемых зависимых переменных (откликов) y. Каждая переменная y моделируется как случайная величина со средним значением, задаваемым нелинейной функцией f(x,β). Методическая погрешность может присутствовать, но её обработка выходит за границы регрессионного анализа. Если независимые переменные не свободны от ошибок, модель становится моделью с ошибками в переменных^[англ.] и также выходит за рамки рассмотрения.

Например, модель Михаэлиса — Ментен для ферментативной кинетики

${\displaystyle v={\frac {V_{\max }\ [{\mbox{S}}]}{K_{m}+[{\mbox{S}}]}}}$

можно записать как

${\displaystyle f(x,{\boldsymbol {\beta }})={\frac {\beta _{1}x}{\beta _{2}+x}}}$

где ${\displaystyle \beta _{1}}$ — параметр ${\displaystyle V_{\max }}$, ${\displaystyle \beta _{2}}$ — параметр ${\displaystyle K_{m}}$, а [S] — независимая переменная (x). Эта функция нелинейна, поскольку не может быть выражена в виде линейной комбинации ${\displaystyle \beta _{1}}$ и ${\displaystyle \beta _{2}}$.

Другими примерами нелинейных функций служат показательные функции, логарифмические функции, тригонометрические функции, степенные функции, гауссова функция и кривые Лоренца. Регрессионный анализ с такими функциями, как показательная или логарифмическая, иногда может быть сведён к линейному случаю и может быть применена стандартная линейная регрессия, но применять её следует осторожно. Подробнее в разделе «Линеаризация» ниже.

В общем случае представления в замкнутом виде (как в случае линейной регрессии) может и не быть. Обычно для определения наилучших оценок параметров используются оптимизационные алгоритмы. В отличие от линейной регрессии может оказаться несколько локальных минимумов оптимизируемой функции и глобальный минимум даже может дать смещённую оценку. На практике используются оценочные значения^[англ.] параметров совместно с оптимизационным алгоритмом в попытке найти глобальный минимум суммы квадратов.

Подробнее о нелинейном моделировании см. «Метод наименьших квадратов» и «Нелинейный метод наименьших квадратов^[англ.]».

Предположение, лежащее в основе этой процедуры, заключается в возможности аппроксимации модели линейной функцией.

${\displaystyle f(x_{i},{\boldsymbol {\beta }})\approx f^{0}+\sum _{j}J_{ij}\beta _{j}}$

где ${\displaystyle J_{ij}={\frac {\partial f(x_{i},{\boldsymbol {\beta }})}{\partial \beta _{j}}}}$. Это следует из того, что оценка по методу наименьших квадратов задаётся формулой

${\displaystyle {\hat {\boldsymbol {\beta }}}\approx \mathbf {(J^{T}J)^{-1}J^{T}y} .}$

Статистика нелинейной регрессии вычисляется и используется как статистика линейной регрессии, но вместо X в формулах используется J. Линейная аппроксимация вносит смещение в статистику, поэтому следует более осторожно интерпретировать статистики, полученные из нелинейной модели.

Лучшей аппроксимирующей кривой часто предполагается та, что минимизирует сумму квадратов невязок^[англ.]. Это подход (обычного) метода наименьших квадратов (МНК). Однако, в случае, когда зависимая переменная не имеет постоянной дисперсии, можно минимизировать сумму взвешенных квадратов. Каждый вес, в идеальном случае, должен быть равен обратной величине от дисперсии наблюдений, однако веса могут пересчитываться в итеративном алгоритме взвешенных наименьших квадратов на каждой итерации.

Некоторые задачи нелинейной регрессии могут быть сведены к линейным путём подходящего преобразования формулировки модели.

Например, рассмотрим задачу нелинейной регрессии

${\displaystyle y=ae^{bx}U\,\!}$

с параметрами a и b и с мультипликативным множителем ошибки U. Если взять логарифм от обеих частей, мы получим

${\displaystyle \ln {(y)}=\ln {(a)}+bx+u,\,\!}$

где u = ln(U). Из этого можно получить оценку неизвестных параметров с помощью линейной регрессии ln(y) от x и вычисления не потребуют итеративной оптимизации. Однако использование нелинейного преобразования требует осторожности. Влияние значений данных изменится, меняется структура ошибок модели и интерпретация любых полученных результатов, что может привести к нежелательным результатам. С другой стороны, в зависимости от наибольшего источника ошибки, нелинейное преобразование может распределять ошибки в виде распределения Гаусса, так что при применении нелинейного преобразования необходимо учитывать модель.

Например, для уравнения Михаэлиса — Ментен широко используется линейное представление Лайнуивер-Берка^[англ.]

${\displaystyle {\frac {1}{v}}={\frac {1}{V_{\max }}}+{\frac {K_{m}}{V_{\max }[S]}}}$.

Тем не менее, из-за сильной чувствительности к ошибкам данных, а также вследствие сильного смещения, это не рекомендуется.

Для распределений ошибок, принадлежащих семейству экспоненциальных распределений, может быть использована связывающая функция для преобразования параметров под обобщённую линейную модель.

Независимая переменная (скажем, X) может быть разбита на классы или сегменты и может быть осуществлена линейная регрессия посегментно. Сегментированная регрессия с анализом достоверности может дать результат, в котором зависимая переменная или отклик (скажем, Y) ведёт себя различно в различных сегментах^[1] .

График справа показывает, что засолённость почвы^[англ.] (X) начально не оказывает никакого влияния на урожайность (Y) горчицы, пока не будет достигнуто критического или порогового значения, после которого сказывается отрицательное влияние на урожайность^[2]

Правило Тициуса — Боде в виде математической формулы представляет собой одномерное уравнение нелинейной регресии, связывающее порядковые номера планет солнечной системы, считая от Солнца, с приближёнными значениями больших полуосей их орбит. Точность вполне удовлетворительная не для астрономических целей.

• Нелинейный метод наименьших квадратов^[англ.]
• Приближение с помощью кривых
• Обобщённая линейная модель
• Локальная регрессия^[англ.]

• R. M. Bethea, B. S. Duran, T. L. Boullion. Statistical Methods for Engineers and Scientists. — New York: Marcel Dekker, 1985. — ISBN 0-8247-7227-X.
• N. Meade, T. Islam. Prediction Intervals for Growth Curve Forecasts // Journal of Forecasting. — 1995. — Т. 14, вып. 5. — С. 413—430. — doi:10.1002/for.3980140502.
• K. Schittkowski. Data Fitting in Dynamical Systems. — Boston: Kluwer, 2002. — ISBN 1402010796.
• G. A. F. Seber, C. J. Wild. Nonlinear Regression. — New York: John Wiley and Sons, 1989. — ISBN 0471617601.