Многомерное нормальное распределение

Многоме́рное норма́льное распределе́ние (или многоме́рное га́уссовское распределе́ние) в теории вероятностей — это обобщение одномерного нормального распределения. Случайный вектор, имеющий многомерное нормальное распределение, называется гауссовским вектором^[1].

Случайный вектор ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }:\Omega \to \mathbb {R} ^{n}}$ имеет многомерное нормальное распределение, если выполняется одно из следующих эквивалентных условий:

• Произвольная линейная комбинация компонентов вектора ${\displaystyle \sum \limits _{i=1}^{n}a_{i}X_{i}}$ имеет нормальное распределение или является константой (это утверждение работает только если математическое ожидание равно 0).
• Существуют вектор независимых стандартных нормальных случайных величин ${\displaystyle \mathbf {Z} =(Z_{1},\ldots ,Z_{m})^{\top }}$, вещественный вектор ${\displaystyle \mathbf {\mu } =(\mu _{1},\ldots ,\mu _{n})^{\top }}$ и матрица ${\displaystyle \mathbf {A} }$ размерности ${\displaystyle n\times m}$, такие что:

${\displaystyle \mathbf {X} =\mathbf {A} \mathbf {Z} +\mathbf {\mu } }$.

• Существуют вектор ${\displaystyle \mathbf {\mu } \in \mathbb {R} ^{n}}$ и неотрицательно определённая симметричная матрица ${\displaystyle \mathbf {\Sigma } }$ размерности ${\displaystyle n\times n}$, такие что характеристическая функция вектора ${\displaystyle \mathbf {X} }$ имеет вид:

${\displaystyle \phi _{\mathbf {X} }(\mathbf {u} )=e^{i\mathbf {\mu } ^{\top }\mathbf {u} -{\frac {1}{2}}\mathbf {u} ^{\top }\Sigma \mathbf {u} },\;\mathbf {u} \in \mathbb {R} ^{n}}$.

• Если рассматривать только распределения с невырожденной ковариационной матрицей, то эквивалентным будет также следующее определение:

Существует вектор ${\displaystyle \mathbf {\mu } \in \mathbb {R} ^{n}}$ и положительно определённая симметричная матрица ${\displaystyle \mathbf {\Sigma } }$ размерности ${\displaystyle n\times n}$, такие что плотность вероятности вектора ${\displaystyle \mathbf {X} }$ имеет вид^[2]::

${\displaystyle f_{\mathbf {X} }(\mathbf {x} )={\frac {1}{(2\pi )^{n/2}\vert \Sigma \vert ^{1/2}}}e^{-{\frac {1}{2}}(\mathbf {x} -\mathbf {\mu } )^{\top }\Sigma ^{-1}(\mathbf {x} -\mathbf {\mu } )},\;\mathbf {x} \in \mathbb {R} ^{n}}$,

где ${\displaystyle \vert \Sigma \vert }$ — определитель матрицы ${\displaystyle \Sigma }$, а ${\displaystyle \Sigma ^{-1}}$ — матрица обратная к ${\displaystyle \Sigma }$

• Вектор ${\displaystyle \mathbf {\mu } }$ является вектором средних значений ${\displaystyle \mathbf {X} }$, а ${\displaystyle \Sigma }$ — его ковариационная матрица.
• В случае ${\displaystyle n=1}$, многомерное нормальное распределение сводится к обычному нормальному распределению.
• Если случайный вектор ${\displaystyle \mathbf {X} }$ имеет многомерное нормальное распределение, то пишут ${\displaystyle \mathbf {X} \sim {\mathcal {N}}(\mathbf {\mu } ,\Sigma )}$.

Частным случаем многомерного нормального распределения является двумерное нормальное распределение. В этом случае имеем две случайные величины ${\displaystyle X_{1},X_{2}}$ с математическими ожиданиями ${\displaystyle \mu _{1},\mu _{2}}$, дисперсиями ${\displaystyle \sigma _{1}^{2},\sigma _{2}^{2}}$ и ковариацией ${\displaystyle \sigma _{12}}$. В этом случае ковариационная матрица имеет размер 2, её определитель равен

${\displaystyle \mathrm {det} \Sigma =\sigma _{1}^{2}\sigma _{2}^{2}-\sigma _{12}^{2}=\sigma _{1}^{2}\sigma _{2}^{2}(1-\rho ^{2}),}$

где ${\displaystyle \rho ={\frac {\sigma _{12}}{\sigma _{1}\sigma _{2}}}}$ — коэффициент корреляции случайных величин.

Тогда плотность двумерного невырожденного (коэффициент корреляции по модулю не равен единице) нормального распределения можно записать в виде:

${\displaystyle f(x_{1},x_{2})={\frac {1}{2\pi \sigma _{1}\sigma _{2}{\sqrt {1-\rho ^{2}}}}}\exp \left\{-{\frac {1}{2(1-\rho ^{2})}}\left[{\frac {(x_{1}-\mu _{1})^{2}}{\sigma _{1}^{2}}}-\rho {\frac {2(x_{1}-\mu _{1})(x_{2}-\mu _{2})}{\sigma _{1}\sigma _{2}}}+{\frac {(x_{2}-\mu _{2})^{2}}{\sigma _{2}^{2}}}\right]\right\}}$.

В том случае, если ${\displaystyle X\sim {\mathcal {N}}(\mu _{1},\sigma _{1}^{2}),Y\sim {\mathcal {N}}(\mu _{2},\sigma _{2}^{2}),cov(X,Y)=\sigma _{12}}$ (то есть ${\displaystyle X,Y}$ являются зависимыми), их сумма все еще распределена нормально, но в дисперсии появляется дополнительное слагаемое ${\displaystyle 2\sigma _{12}}$: ${\displaystyle X+Y\sim {\mathcal {N}}(\mu _{1}+\mu _{2},\sigma _{1}^{2}+\sigma _{2}^{2}+2\sigma _{12})}$.

• Если вектор ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }}$ имеет многомерное нормальное распределение, то его компоненты ${\displaystyle X_{i},i=1,\ldots ,n,}$ имеют одномерное нормальное распределение. Обратное верно при независимости компонент^[3].
• Если случайные величины ${\displaystyle X_{1},\ldots ,X_{n}}$ имеют одномерное нормальное распределение и совместно независимы, то случайный вектор ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }}$ имеет многомерное нормальное распределение. Матрица ковариаций ${\displaystyle \Sigma }$ такого вектора диагональна.
• Если ${\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }}$ имеет многомерное нормальное распределение, и его компоненты попарно некоррелированы, то они независимы. Однако, если некоторые случайные величины ${\displaystyle X_{i},\;i=1,\ldots ,n}$ имеют одномерные нормальные распределения и попарно не коррелируют, то отсюда не следует, что они независимы и имеют многомерное нормальное распределение.

Пример. Пусть ${\displaystyle X\sim {\mathcal {N}}(0,1)}$, а ${\displaystyle \alpha =\pm 1}$ с равными вероятностями и независима от указанной нормальной величины. Тогда если ${\displaystyle Y=\alpha X\sim {\mathcal {N}}(0,1)}$, то корреляция ${\displaystyle X}$ и ${\displaystyle Y}$ равна нулю. Однако, эти случайные величины зависимы и в силу первого утверждения абзаца не имеют многомерного нормального распредедения.

• Многомерное нормальное распределение устойчиво относительно линейных преобразований. Если ${\displaystyle \mathbf {X} \sim {\mathcal {N}}(\mathbf {\mu } ,\Sigma )}$, а ${\displaystyle \mathbf {A} }$ — произвольная матрица размерности ${\displaystyle m\times n}$, то

${\displaystyle \mathbf {A} \mathbf {X} \sim \mathrm {N} \left(\mathbf {A} \mathbf {\mu } ,\mathbf {A} \Sigma \mathbf {A} ^{\top }\right).}$

Таким преобразованием и сдвигом любое невырожденное нормальное распределение можно привести к вектору независимых стандартных нормальных величин.

Пусть ${\displaystyle X}$ — центрированные (с нулевым математическим ожиданием) случайные величины имеющие многомерное нормальное распределение, тогда моменты ${\displaystyle \mu _{i_{1}i_{2}i_{3}...i_{k}}=E(X_{i_{1}}X_{i_{2}}X_{i_{3}}...X_{i_{k}})}$ для нечетных ${\displaystyle k}$ равно нулю, а для четных ${\displaystyle k=2m}$ вычисляется по формуле

${\displaystyle \sum \sigma _{i_{t_{1}}i_{t_{2}}}\sigma _{i_{t_{3}}i_{t_{4}}}\sigma _{i_{t_{4}}i_{t_{5}}}...\sigma _{i_{t_{k-1}}i_{t_{k}}}}$

где суммирование осуществляется по всевозможным разбиениям индексов на пары. Количество множителей в каждом слагаемом равно ${\displaystyle m}$, количество слагаемых равно ${\displaystyle {\frac {(2m)!}{2^{m}m!}}={\frac {(2m-1)!}{2^{m-1}(m-1)!}}}$

Например, для моментов четвертого порядка в каждом слагаемом по два множителя и общее количество слагаемых будет равно ${\displaystyle 4!/(2^{2}\cdot 2!)=(1\cdot 2\cdot 3\cdot 4)/(4\cdot 2\cdot 1)=3}$. Соответствующая общая формула для моментов четвертого порядка имеет вид:

${\displaystyle \mu _{ijkm}=E(X_{i}X_{j}X_{k}X_{m})=\sigma _{ij}\sigma _{km}+\sigma _{ik}\sigma _{jm}+\sigma _{im}\sigma _{kj}}$

В частности если ${\displaystyle i=j=k=m}$

${\displaystyle \mu _{iiii}=E(X_{i}^{4})=3{\sigma }_{ii}^{2}=3{\sigma }_{i}^{4}}$

При ${\displaystyle i=j\not =k=m}$

${\displaystyle \mu _{iijj}=E(X_{i}^{2}X_{j}^{2})={\sigma }_{ii}{\sigma }_{jj}+2{\sigma }_{ij}={\sigma }_{i}^{2}{\sigma }_{j}^{2}+2{\sigma }_{ij}}$

При ${\displaystyle i=j=k\not =m}$

${\displaystyle \mu _{iiij}=E(X_{i}^{3}X_{j})={\sigma }_{ii}{\sigma }_{ij}+{\sigma }_{ii}{\sigma }_{ij}+{\sigma }_{ij}{\sigma }_{ii}=3{\sigma }_{ij}{\sigma }_{ii}=3{\sigma }_{i}^{2}{\sigma }_{ij}}$

Пусть случайные векторы ${\displaystyle X}$ и ${\displaystyle Y}$ имеют совместное нормальное распределение с математическими ожиданиями ${\displaystyle \mu _{X},\mu _{Y}}$, ковариационными матрицами ${\displaystyle V_{X},V_{Y}}$ и матрицей ковариаций ${\displaystyle C_{XY}}$. Это означает, что объединенный случайный вектор ${\displaystyle {\boldsymbol {Z}}={\begin{bmatrix}{\boldsymbol {X}}\\{\boldsymbol {Y}}\end{bmatrix}}}$ подчиняется многомерному нормальному распределению с вектором математического ожидания ${\displaystyle {\boldsymbol {\mu }}_{Z}={\begin{bmatrix}{\boldsymbol {\mu }}_{X}\\{\boldsymbol {\mu }}_{Y}\end{bmatrix}}}$ и ковариационной матрицей, которую можно представить в виде следующей блочной матрицы

${\displaystyle {\boldsymbol {V}}_{Z}={\begin{bmatrix}{\boldsymbol {V}}_{X}&{\boldsymbol {C}}_{XY}\\{\boldsymbol {C}}_{YX}&{\boldsymbol {V}}_{Y}\end{bmatrix}}}$,

где ${\displaystyle C_{YX}=C_{XY}^{T}}$.

Тогда случайный вектор ${\displaystyle Y}$ при заданном значении случайного вектора ${\displaystyle X}$ имеет (многомерное) нормальное условное распределение со следующим условным математическим ожиданием и условной ковариационной матрицей

${\displaystyle E(Y|X=x)=\mu _{Y}+C_{YX}V_{X}^{-1}(x-\mu _{X}),\qquad V(Y|X=x)=V_{Y}-C_{YX}V_{X}^{-1}C_{XY}}$.

Первое равенство определяет функцию линейной регрессии (зависимости условного математического ожидания вектора ${\displaystyle Y}$ от заданного значения x случайного вектора ${\displaystyle X}$), причем матрица ${\displaystyle C_{XY}V^{-1}}$ — матрица коэффициентов регрессии.

Условная ковариационная матрица представляет собой матрицу ковариаций случайных ошибок линейных регрессий компонентов вектора ${\displaystyle Y}$ на вектор ${\displaystyle X}$. В случае если ${\displaystyle Y}$ — обычная случайная величина (однокомпонентный вектор), условная ковариационная матрица — это условная дисперсия (по существу дисперсия случайной ошибки регрессии ${\displaystyle Y}$ на вектор ${\displaystyle X}$)

• М. де Гроот^[англ.]. Оптимальные статистические решения = Optimal Statistical Decisions. — М.: Мир, 1974. — 492 с.