Отношение Рэлея

В математике для данной комплексной эрмитовой матрицы ${\displaystyle M}$ и ненулевого вектора ${\displaystyle x}$ отношение Рэлея^[1]${\displaystyle R(M,x)}$ определяется следующим образом^[2][3]:

${\displaystyle R(M,x)={x^{*}Mx \over x^{*}x}.}$

Для действительных матриц условие эрмитовости матрицы сводится к её симметричности, а эрмитово сопряжение векторов ${\displaystyle x^{*}}$ превращается в обычное транспонирование ${\displaystyle x'}$. Заметьте, что ${\displaystyle R(M,cx)=R(M,x)}$ для любой вещественной константы ${\displaystyle c\neq 0}$. Напомним, что эрмитова (как и симметричная вещественная) матрица имеет вещественные собственные значения. Можно показать, что для матрицы отношение Рэлея достигает минимального значения ${\displaystyle \lambda _{\min }}$ (наименьшее собственное число матрицы ${\displaystyle M}$) когда ${\displaystyle x}$ равен ${\displaystyle v_{\min }}$ (соответствующий собственный вектор). Подобным образом можно показать, что ${\displaystyle R(M,x)\leq \lambda _{\max }}$ и ${\displaystyle R(M,v_{\max })=\lambda _{\max }}$. Отношение Рэлея используется в теореме Куранта-Фишера о минимаксе для получения всех значений собственных чисел^[4]. Используется оно и в алгоритмах нахождения собственных значений матрицы для получения приближения собственного значения из приближения собственного вектора. А именно, отношение является базой для итераций с отношением Рэлея^{[англ.][5][6]}.

Множество значений отношения Рэлея называется числовым образом матрицы^{[англ.][7][8]}.

Ковариационная матрица M для многомерной статистической выборки A (матрицы наблюдений) может быть представлена в виде произведения A' A^[9][10]. Будучи симметричной вещественной матрицей, M имеет неотрицательные собственные значения и ортогональные (или приводимые к ортогональным) собственные вектора.

Во-первых, то, что собственные значения ${\displaystyle \lambda _{i}}$ не отрицательны:

${\displaystyle Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow \left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}}$

${\displaystyle \Rightarrow \lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\geq 0.}$

И, во-вторых, что собственные вектора ${\displaystyle v_{i}}$ ортогональны друг другу:

${\displaystyle Mv_{i}=\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow v_{j}'Mv_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow (Mv_{j})'v_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow \lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow (\lambda _{j}-\lambda _{i})v_{j}'v_{i}=0}$

${\displaystyle \Rightarrow v_{j}'v_{i}=0}$ (если собственные значения различны — в случае одинаковых значений можно найти ортогональный базис).

Теперь покажем, что отношение Рэлея принимает максимальное значение на векторе, соответствующем наибольшее собственное значение. Разложим произвольный вектор ${\displaystyle x}$ по базису собственных нормированных векторов v_i:

${\displaystyle x=\sum _{i=1}^{n}\alpha _{i}v_{i}}$, где ${\displaystyle \alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\|v_{i}\right\|^{2}}}}$ является проекцией x на ${\displaystyle v_{i}}$

${\displaystyle \forall i,||v_{i}||={\sqrt {(v_{i}'v_{i})}}=1}$

Таким образом, равенство

${\displaystyle R(M,x)={\frac {x'A'Ax}{x'x}}}$

можно переписать в следующем виде:

${\displaystyle R(M,x)={\frac {(\sum _{j=1}^{n}\alpha _{j}v_{j})'A'A(\sum _{i=1}^{n}\alpha _{i}v_{i})}{(\sum _{j=1}^{n}\alpha _{j}v_{j})'(\sum _{i=1}^{n}\alpha _{i}v_{i})}}}$

Поскольку собственные вектора ортогональны, последнее равенство превращается в

${\displaystyle R(M,x)={\frac {\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}{\sum _{i=1}^{n}\alpha _{i}^{2}}}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)}}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)(v_{i}'v_{i})}}}$

Последнее равенство показывает, что отношение Рэлея является суммой квадратов косинусов углов между вектором ${\displaystyle x}$ и каждым из собственных векторов ${\displaystyle v_{i}}$, умноженных на соответствующее собственное значение.

Если вектор ${\displaystyle x}$ максимизирует ${\displaystyle R(M,x)}$, то все вектора, полученные из ${\displaystyle x}$ умножением на скаляр (${\displaystyle kx}$ для ${\displaystyle k\neq 0}$) также максимизируют R. Таким образом, задачу можно свести к нахождению максимума ${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}$ при условии ${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}=1}$.

Поскольку все собственные числа не отрицательны, задача сводится к нахождению максимума выпуклой функции и можно показать, что он достигается при ${\displaystyle \alpha _{1}=1}$ и ${\displaystyle \forall i>1,\alpha _{i}=0}$ (собственные значения упорядочены по убыванию).

Таким образом, отношение Рэлея достигает максимума на собственном векторе, соответствующему максимальному собственному значению.

Тот же результат может быть получен с помощью множителей Лагранжа. Задача состоит в нахождении критических точек функции

${\displaystyle R(M,x)=x^{T}Mx}$,

при постоянной величине ${\displaystyle \|x\|^{2}=x^{T}x=1.}$ То есть, нужно найти критические точки функции

${\displaystyle {\mathcal {L}}(x)=x^{T}Mx-\lambda (x^{T}x-1),}$

где ${\displaystyle \lambda }$ — множитель Лагранжа. Для стационарных точек функции ${\displaystyle {\mathcal {L}}(x)}$ выполняется равенство

${\displaystyle {\frac {d{\mathcal {L}}(x)}{dx}}=0}$

${\displaystyle \therefore 2x^{T}M^{T}-2\lambda x^{T}=0}$

${\displaystyle \therefore Mx=\lambda x}$

и ${\displaystyle R(M,x)={\frac {x^{T}Mx}{x^{T}x}}=\lambda {\frac {x^{T}x}{x^{T}x}}=\lambda .}$

Таким образом, собственные вектора ${\displaystyle x_{1}\ldots x_{n}}$ матрицы M являются критическими точками отношения Рэлея и их собственные значения ${\displaystyle \lambda _{1}\ldots \lambda _{n}}$ — соответствующими стационарными значениями.

Это свойство является базисом метода главных компонент и канонической корреляции.

Теория Штурма — Лиувилля заключается в исследовании линейного оператора

${\displaystyle L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y\right)}$

со скалярным произведением

${\displaystyle \langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx}$,

где функции удовлетворяют некоторым специфичным граничным условиям в точках a и b. Отношение Рэлея здесь принимает вид

${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)}dx}{\int _{a}^{b}{w(x)y(x)^{2}}dx}}.}$

Иногда это отношение представляют в эквивалентном виде используя интегрирование по частям^[11]:

${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x)y'(x)\right]\right)}dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}}$

${\displaystyle ={\frac {-y(x)\left[p(x)y'(x)\right]|_{a}^{b}+\int _{a}^{b}{y'(x)\left[p(x)y'(x)\right]}\,dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}}$

${\displaystyle ={\frac {-p(x)y(x)y'(x)|_{a}^{b}+\int _{a}^{b}\left[p(x)y'(x)^{2}+q(x)y(x)^{2}\right]\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}.}$

Для любой пары ${\displaystyle (A,B)}$ вещественных симметричных положительно определённых матриц и ненулевого вектора ${\displaystyle x}$, обобщенное отношение Рэлея определяется как

${\displaystyle R(A,B;x):={\frac {x^{T}Ax}{x^{T}Bx}}.}$

Обобщённое отношение Рэлея можно свести к отношению Рэлея ${\displaystyle R(D,Cx)}$ путём преобразования ${\displaystyle D={C^{*}}^{-1}AC^{-1}}$, где ${\displaystyle C}$ — разложение Холецкого матрицы ${\displaystyle B}$.

• Числовой образ матрицы^[англ.]

• Б. Парлетт. Симметричная проблема собственных значений. Численные методы. — 1983.
• Э. Беккенббах, Р. Беллман. Неравенства. — Москва «Мир», 1965.
• Richard Haberman. Elementary applied partial differential equations. — Prentice Hall, Englewood, New Jersey, 1987.
• В. М. Вержбицкий. Численные методы (Линейная алгебра и нелинейные уравнения). — Москва «Высшая школа», 2000.
• В. В. Прасолов. Задачи и теоремы линейной алгебры. — Москва, 2008.
• Геворгян Л. З. Некоторые геометрические характеристики числового образа оператора. — Государственный Инженерный Университет Армении. Архивировано 31 августа 2006 года.
• Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław. Eigenvalue density of empirical covariance matrix for correlated samples // Acta physica polonica B. — 2005. — Т. 36, вып. 9. — С. 2642.
• Коршунов Ю. М. Получение многомерной статистической выборки с заданными корреляционными свойствами // Вестник РГРТУ. — 2008. — Вып. 23.
• Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau. Ch. 2 // Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining. — Springer, 2011.