Процесс Грама ― Шмидта

Процесс Грама ― Шмидта преобразует последовательность линейно независимых векторов ${\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{n}}$ в ортонормированную систему векторов ${\displaystyle \mathbf {e} _{1},\;\ldots ,\;\mathbf {e} _{n}}$, причём так, что каждый вектор ${\displaystyle \mathbf {e} _{j}}$ есть линейная комбинация ${\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{j}}$.

Пусть имеются линейно независимые векторы ${\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{n}}$ и пусть ${\displaystyle \mathbf {proj} _{\mathbf {b} }\,\mathbf {a} }$ — оператор проекции вектора ${\displaystyle \mathbf {a} }$ на вектор ${\displaystyle \mathbf {b} }$, определённый как

${\displaystyle \mathbf {proj} _{\mathbf {b} }\,\mathbf {a} ={\langle \mathbf {a} ,\mathbf {b} \rangle \over \ \langle \mathbf {b} ,\mathbf {b} \rangle }\mathbf {b} ,}$

где ${\displaystyle \langle \mathbf {a} ,\mathbf {b} \rangle }$ — скалярное произведение векторов ${\displaystyle \mathbf {a} }$ и ${\displaystyle \mathbf {b} }$.

Классический процесс Грама — Шмидта выполняется следующим образом:

${\displaystyle {\begin{array}{lclr}\mathbf {b} _{1}&=&\mathbf {a} _{1}&(1)\\\mathbf {b} _{2}&=&\mathbf {a} _{2}-\mathbf {proj} _{\mathbf {b} _{1}}\,\mathbf {a} _{2}&(2)\\\mathbf {b} _{3}&=&\mathbf {a} _{3}-\mathbf {proj} _{\mathbf {b} _{1}}\,\mathbf {a} _{3}-\mathbf {proj} _{\mathbf {b} _{2}}\,\mathbf {a} _{3}&(3)\\&\dots &&\\\mathbf {b} _{n}&=&\mathbf {a} _{n}-\mathbf {proj} _{\mathbf {b} _{1}}\,\mathbf {a} _{n}-\mathbf {proj} _{\mathbf {b} _{2}}\,\mathbf {a} _{n}-\dots -\mathbf {proj} _{\mathbf {b} _{n-1}}\,\mathbf {a} _{n}&(n)\end{array}}}$

На основе каждого вектора ${\displaystyle \mathbf {b} _{j}\;(j=1\ldots n)}$ может быть получен нормированный вектор ${\displaystyle \mathbf {e} _{j}}$ единичной длины, определённый как

${\displaystyle \mathbf {e} _{j}={\mathbf {b} _{j} \over \|\mathbf {b} _{j}\|}}$

Результаты процесса Грама — Шмидта:

${\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{n}}$ — система ортогональных векторов либо

${\displaystyle \mathbf {e} _{1},\;\ldots ,\;\mathbf {e} _{n}}$ — система ортонормированных векторов.

Вычисление ${\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{n}}$ носит название ортогонализации Грама — Шмидта, а ${\displaystyle \mathbf {e} _{1},\;\ldots ,\;\mathbf {e} _{n}}$ — ортонормализации Грама — Шмидта.

Рассмотрим формулу (2) — второй шаг алгоритма. Её геометрическое представление изображено на рис. 1:

1. получение проекции вектора ${\displaystyle \mathbf {a} _{2}}$ на ${\displaystyle \mathbf {b} _{1}}$;
2. вычисление ${\displaystyle \mathbf {a} _{2}-\mathbf {proj} _{\mathbf {b} _{1}}\mathbf {a} _{2}}$, то есть перпендикуляра, которым выполняется проецирование ${\displaystyle \mathbf {a} _{2}}$ на ${\displaystyle \mathbf {b} _{1}}$. Этот перпендикуляр — вычисляемый в формуле (2) вектор ${\displaystyle \mathbf {b} _{2}}$;
3. перемещение полученного на шаге 2 вектора ${\displaystyle \mathbf {b} _{2}}$ в начало координат. Это перемещение сделано на рисунке лишь для наглядности;

На рисунке видно, что вектор ${\displaystyle \mathbf {b} _{2}}$ ортогонален вектору ${\displaystyle \mathbf {b} _{1}}$, так как ${\displaystyle \mathbf {b} _{2}}$ является перпендикуляром, по которому ${\displaystyle \mathbf {a} _{2}}$ проецируется на ${\displaystyle \mathbf {b} _{1}}$.

Рассмотрим формулу (3) — третий шаг алгоритма — в следующем варианте:

${\displaystyle {\begin{array}{lcr}\mathbf {b} _{3}=\mathbf {a} _{3}-(\mathbf {proj} _{\mathbf {b} _{1}}\mathbf {a} _{3}+\mathbf {proj} _{\mathbf {b} _{2}}\mathbf {a} _{3})&&(6)\\\end{array}}}$

Её геометрическое представление изображено на рис. 2:

1. получение проекции вектора ${\displaystyle \mathbf {a} _{3}}$ на ${\displaystyle \mathbf {b} _{1}}$;
2. получение проекции вектора ${\displaystyle \mathbf {a} _{3}}$ на ${\displaystyle \mathbf {b} _{2}}$;
3. вычисление суммы ${\displaystyle \mathbf {proj} _{\mathbf {b} _{1}}\mathbf {a} _{3}+\mathbf {proj} _{\mathbf {b} _{2}}\mathbf {a} _{3}}$, то есть проекции вектора ${\displaystyle \mathbf {a} _{3}}$ на плоскость, образуемую векторами ${\displaystyle \mathbf {b} _{1}}$ и ${\displaystyle \mathbf {b} _{2}}$. Эта плоскость закрашена на рисунке серым цветом;
4. вычисление ${\displaystyle \mathbf {a} _{3}-(\mathbf {proj} _{\mathbf {b} _{1}}\mathbf {a} _{3}+\mathbf {proj} _{\mathbf {b} _{2}}\mathbf {a} _{3})}$, то есть перпендикуляра, которым выполняется проецирование ${\displaystyle \mathbf {a} _{3}}$ на плоскость, образуемую векторами ${\displaystyle \mathbf {b} _{1}}$ и ${\displaystyle \mathbf {b} _{2}}$. Этот перпендикуляр — вычисляемый в формуле (6) вектор ${\displaystyle \mathbf {b} _{3}}$;
5. перемещение полученного ${\displaystyle \mathbf {b} _{3}}$ в начало координат. Это перемещение сделано на рисунке лишь для наглядности. Оно не является математическим действием и поэтому не отражается в формуле (6).

На рисунке видно, что вектор ${\displaystyle \mathbf {b} _{3}}$ ортогонален векторам ${\displaystyle \mathbf {b} _{1}}$ и ${\displaystyle \mathbf {b} _{2}}$, так как ${\displaystyle \mathbf {b} _{3}}$ является перпендикуляром, по которому ${\displaystyle \mathbf {a} _{3}}$ проецируется на плоскость, образуемую векторами ${\displaystyle \mathbf {b} _{1}}$ и ${\displaystyle \mathbf {b} _{2}}$.

Таким образом, в процессе Грама — Шмидта для вычисления ${\displaystyle \mathbf {b} _{j}}$ выполняется проецирование ${\displaystyle \mathbf {a} _{j}}$ ортогонально на гиперплоскость, натянутую на векторы ${\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{j-1}}$. Вектор ${\displaystyle \mathbf {b} _{j}}$ затем вычисляется как разность между ${\displaystyle \mathbf {a} _{j}}$ и его проекцией. То есть ${\displaystyle \mathbf {b} _{j}}$ — это перпендикуляр от ${\displaystyle \mathbf {a} _{j}}$ к гиперплоскости, натянутой на векторы ${\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{j-1}}$. Поэтому ${\displaystyle \mathbf {b} _{j}}$ ортогонален векторам, образующим эту гиперплоскость.

Процесс Грама — Шмидта может применяться также к бесконечной последовательности линейно независимых векторов.

Кроме того, процесс Грама — Шмидта может применяться к линейно зависимым векторам. В этом случае он выдаёт ${\displaystyle \mathbf {0} }$ (нулевой вектор) на шаге ${\displaystyle j}$, если ${\displaystyle \mathbf {a} _{j}}$ является линейной комбинацией векторов ${\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{j-1}}$. Для сохранения ортогональности выходных векторов и для предотвращения деления на ноль при ортогонализации алгоритм должен отбрасывать нулевые векторы. Количество векторов, выдаваемых алгоритмом, будет равно размерности подпространства, порождённого векторами (то есть количеству линейно независимых векторов, которые можно выделить среди исходных векторов).

• Матрица перехода от ${\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{j}}$ к ${\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{j}}$ — верхнетреугольная матрица.

• Произведение длин ${\displaystyle \mathbf {b} _{1},\;\ldots ,\;\mathbf {b} _{j}}$ равно объёму параллелепипеда, построенного на векторах системы ${\displaystyle \mathbf {a} _{1},\;\ldots ,\;\mathbf {a} _{j}}$ как на рёбрах.

• Процесс Грама ― Шмидта для векторов-столбцов матрицы из ${\displaystyle GL(n)}$ определяет гомотопическую эквивалентность ${\displaystyle GL(n)\to O(n)}$.

Процесс Грама ― Шмидта может быть истолкован как разложение невырожденной квадратной матрицы в произведение ортогональной (или унитарной в случае эрмитова пространства) и верхнетреугольной матрицы с положительными диагональными элементами ― QR-разложение, что является частным случаем разложения Ивасавы^[].

• Беклемишев Д. В. Курс аналитической геометрии и линейной алгебры. — М.: Наука.

• https://www.youtube.com/watch?v=GhhpG1tCQLU Анимация процесса на плоскости