Ковариация

Ковариа́ция или корреляционный момент ${\displaystyle \mathrm {cov} (X,Y)}$ случайных величин — в теории вероятностей и математической статистике мера зависимости двух случайных величин.

В теории вероятностей и статистике ковариация является мерой совместной изменчивости двух случайных величин. Если большие значения одной переменной в основном соответствуют большим значениям другой переменной, и то же самое верно для меньших значений (то есть переменные имеют тенденцию одинаковой направленности) — ковариация положительна. При отрицательной ковариации большие значения одной переменной в основном соответствуют меньшим значениям другой и наоборот (то есть переменные имеют тенденцию противоположной направленности). Величину ковариации труднее интерпретировать, поскольку она не нормирована и, следовательно, зависит от размерности величин. Нормализованная версия ковариации — коэффициент корреляции — своей величиной показывает силу линейной зависимости.

Пусть ${\displaystyle X,Y}$ — две случайные величины, определённые на одном и том же вероятностном пространстве. Тогда их ковариация определяется следующим образом:

${\displaystyle \mathrm {cov} (X,Y)=\mathbb {E} \left[(X-\mathbb {E} X)(Y-\mathbb {E} Y)\right]}$,

где ${\displaystyle \mathbb {E} }$— математическое ожидание (в русскоязычной литературе также используется обозначение ${\displaystyle \mathbb {M} }$).

Предполагается, что все математические ожидания ${\displaystyle \mathbb {E} }$ в правой части данного выражения определены.

Замечания

• Если ${\displaystyle X,Y\in L^{2}}$, то есть имеют конечный второй момент, то ковариация определена и конечна.
• В гильбертовом пространстве несмещённых случайных величин с конечным вторым моментом ${\displaystyle L_{0}^{2}\equiv \{X\in L^{2}\mid \mathbb {E} X=0\}}$ ковариация имеет вид ${\displaystyle \mathrm {cov} (X,Y)=\mathbb {E} [XY]}$и играет роль скалярного произведения.

Пусть ${\displaystyle X_{1},X_{2},...,X_{n}}$ — выборка ${\displaystyle X}$ объёма ${\displaystyle n}$, ${\displaystyle Y_{1},Y_{2},...,Y_{n}}$ — выборка ${\displaystyle Y}$ объёма ${\displaystyle n}$ и они порождены случайными величинами, определёнными на одном и том же вероятностном пространстве. Тогда выборочным коэффициентом ковариации является средняя величина произведений отклонений значений от средних значений соответствующих выборок^[1]:

${\displaystyle {\overline {s}}_{XY}=\mathrm {cov} (X,Y)={1 \over n}\sum _{t=1}^{n}\left(X_{t}-{\overline {X}}\right)\left(Y_{t}-{\overline {Y}}\right)}$,

где средние значения выборок (также называемые выборочными средними) определяют по формулам:

${\displaystyle {\overline {X}}={\frac {1}{n}}\sum _{t=1}^{n}X_{t}}$,

${\displaystyle {\overline {Y}}={\frac {1}{n}}\sum _{t=1}^{n}Y_{t}}$ .

Если раскрыть скобки и воспользоваться формулой для выборочного среднего, то:

${\displaystyle \mathrm {cov} (X,Y)={\frac {1}{n}}\sum _{t=1}^{n}X_{t}Y_{t}-\left({\frac {1}{n}}\sum _{t=1}^{n}X_{t}\right)\left({\frac {1}{n}}\sum _{t=1}^{n}Y_{t}\right)={\frac {1}{n}}\sum _{t=1}^{n}X_{t}Y_{t}-{\overline {X}}{\overline {Y}}}$.

• Если ${\displaystyle X,Y}$ — независимые случайные величины, то

  ${\displaystyle \mathrm {cov} (X,Y)=0}$.

  Но обратное утверждение в общем случае неверно: из нулевой ковариации нельзя делать вывод о независимости величин. Пример:

  Пусть случайная величина ${\displaystyle Z}$ принимает значения ${\displaystyle 0,{\frac {\pi }{2}},\pi }$, каждое с вероятностью ${\displaystyle {\frac {1}{3}}}$. Тогда ${\displaystyle \cos {Z}}$ будет принимать значения −1, 0 и 1, каждое с вероятностью ${\displaystyle {\frac {1}{3}}}$, а ${\displaystyle P(\sin {Z}=1)={\frac {1}{3}},P(\sin {Z}=0)={\frac {2}{3}},P(\sin {Z}=-1)=0}$. Тогда ${\displaystyle \mathrm {cov} (\sin {Z},\cos {Z})=0}$, но ${\displaystyle 0=P(\sin {Z}=1,\cos {Z}=1)\neq P(\cos {Z}=1)P(\sin {Z}=1)={\frac {1}{9}}}$

• Ковариация случайной величины с собой равна дисперсии: ${\displaystyle \mathrm {cov} (X,X)=\mathrm {D} [X]}$.
• Ковариация симметрична:

  ${\displaystyle \mathrm {cov} (X,Y)=\mathrm {cov} (Y,X)}$.

• В силу линейности математического ожидания ковариация может быть записана как

  ${\displaystyle \mathrm {cov} (X,Y)=\mathbb {E} \left[XY-X\mathbb {E} Y-Y\mathbb {E} X+\mathbb {E} X\mathbb {E} Y\right]=}$
  ${\displaystyle \;=\mathbb {E} \left[XY\right]-\mathbb {E} X\mathbb {E} Y-\mathbb {E} X\mathbb {E} Y+\mathbb {E} X\mathbb {E} Y=}$
  ${\displaystyle \;=\mathbb {E} \left[XY\right]-\mathbb {E} X\mathbb {E} Y}$.

• Пусть ${\displaystyle X_{1},\ldots ,X_{n}}$ случайные величины, а ${\displaystyle Y_{1}=\sum \limits _{i=1}^{n}a_{i}X_{i},\;Y_{2}=\sum \limits _{j=1}^{m}b_{j}X_{j}}$ — их две произвольные линейные комбинации. Тогда

  ${\displaystyle \mathrm {cov} (Y_{1},Y_{2})=\sum \limits _{i=1}^{n}\sum \limits _{j=1}^{m}a_{i}b_{j}\mathrm {cov} (X_{i},X_{j})}$.

В частности, ковариация (в отличие от коэффициента корреляции) не инвариантна относительно смены масштаба, что не всегда удобно в приложениях.

• Если ${\displaystyle \alpha }$ и ${\displaystyle \beta }$ — числа, то

  ${\displaystyle \mathrm {cov} (X+\alpha ,Y+\beta )=\mathrm {cov} (X,Y)}$.

• Неравенство Коши — Буняковского: если принять в качестве скалярного произведения двух случайных величин ковариацию ${\displaystyle \langle X,Y\rangle =\mathrm {cov} (X,Y)}$, то квадрат нормы случайной величины будет равен дисперсии ${\displaystyle \|X\|^{2}=\mathrm {D} [X]}$, и неравенство Коши — Буняковского запишется в виде:

  ${\displaystyle \mathrm {cov} ^{2}(X,Y)\leqslant \mathrm {D} [X]\cdot \mathrm {D} [Y]}$.

По абсолютному значению ковариации нельзя судить о том, насколько сильно величины взаимосвязаны, так как масштаб ковариации зависит от их дисперсий. Значение ковариации можно нормировать, поделив её на произведение среднеквадратических отклонений (квадратных корней из дисперсий) случайных величин. Полученная величина называется коэффициентом корреляции Пирсона ${\displaystyle \mathbf {r} (X,Y)}$, который всегда находится в интервале от −1 до 1:

${\displaystyle \mathbf {r} (X,Y)={\frac {\mathrm {cov} (X,Y)}{\sigma _{X}\sigma _{Y}}}}$, где ${\displaystyle \sigma }$ — среднеквадратическое отклонение.

Соответственно,

${\displaystyle \mathrm {cov} (X,Y)=\mathbf {r} (X,Y)\cdot \sigma _{X}\sigma _{Y}}$^[2].

Случайные величины, имеющие нулевую ковариацию, называются некоррелированными. Независимые случайные величины всегда некоррелированы. Обратное утверждение не всегда выполняется. Оно справедливо для нормально распределенных случайных величин.

• Ковариационная матрица — обобщение понятия ковариации для векторов из случайных величин
• Корреляция
• Дисперсия случайной величины

• Weisstein, Eric W. Covariance (англ.) на сайте Wolfram MathWorld.