Произведение Хатри — Рао — операция умножения матриц, определяемая выражением[1][2]:
в котором -й блок является произведением Кронекера соответствующих блоков и при условии, что количество строк и столбцов обеих матриц равно. Размерность произведения — .
К примеру, если матрицы и имеют блочную размерность 2 × 2:
Столбцовое произведение Кронекера двух матриц также принято называть произведением Хатри — Рао. Это произведение предполагает, что блоки матриц являются их столбцами. В этом случае , , и для каждого : . Результатом произведения является -матрица, каждый столбец которой получается как произведение Кронекера соответствующих столбцов матриц и . Например, для:
и
столбцовое произведение:
.
Столбцовая версия произведения Хатри — Рао используется в линейной алгебре для аналитической обработки данных[3] и оптимизации решений проблемы обращения диагональных матриц[4][5]; в 1996 году его было предложено использовать в описании задачи совместного оценивания угла прихода и времени задержки сигналов в цифровой антенной решётке[6], а также для описания отклика 4-координатного радара[7].
Торцевое произведение
Существует альтернативная концепция произведения матриц, которая в отличие от столбцовой версии использует разбиение матриц на строки[8] — торцевое произведение (англ.face-splitting product)[7][9][10] или транспонированное произведение Хатри — Рао (англ.transposed Khatri — Rao product)[11]. Этот тип матричного умножения базируется на построчном произведении Кронекера двух и более матриц с одинаковым количеством строк. Например, для:
где - вектор, сформированный из диагональных элементов матрицы , - операция формирования вектора из матрицы путём расположения одного под другим её столбцов.
Если , где представляют собой независимые включения матрицы , содержащей строки , такие, что и ,
то с вероятностью для любого вектора , если количество строк
.
В частности, если элементами матрицы являются числа , можно получить , что при малых значениях согласуется с предельным значением леммы Джонсона-Линденштрауса о распределении.
Блочное торцевое произведение
Для блочных матриц с одинаковым количеством столбцов в соответствующих блоках:
и
согласно определению[7], блочное торцевое произведение запишется в виде:
.
Аналогично, для блочного транспонированного торцевого произведения (или блочного столбцового произведения Хатри — Рао) двух матриц с одинаковым количеством столбцов в соответствующих блоках имеет место соотношение[7]:
Семейство торцевых произведений матриц используется в тензорно-матричной теории цифровых антенных решёток для радиотехнических систем[11].
Торцевое произведение получило широкое распространение в системах машинного обучения, статистической обработке больших данных[16]. Оно позволяет сократить объёмы вычислений при реализации метода уменьшения размерности данных, получившего наименование тензорный скетч[16], а также быстрого преобразования Джонсона — Линденштрауса[16]. При этом осуществляется переход от исходной проецирующей матрицы к произведению Адамара, оперирующему матрицами меньшей размерности. Погрешность аппроксимации данных большой размерности на основе торцевого произведения матриц соответствует лемме о малом искажении[16][20]. В указанном контексте идея торцевого произведения➤ может быть использована для решения задачи дифференциальной приватности (англ.differential privacy)[15]. Кроме того, аналогичные вычисления были применены для формирования тензоров совместной встречаемости в задачах обработки естественного языка и построения гиперграфов подобия изображений[21].
Торцевое произведение применяется для P-сплайн аппроксимации[18], построения обобщённых линейных моделей массивов данных (GLAM) при их статистической обработке[19] и может быть использовано для эффективной реализации ядерного методамашинного обучения, а также изучения взаимодействия генотипов с окружающей средой.[22]
↑Zhang X; Yang Z; Cao C. (2002), "Inequalities involving Khatri–Rao products of positive semi-definite matrices", Applied Mathematics E-notes, 2: 117—124
↑Anna Esteve, Eva Boj & Josep Fortiana (2009): Interaction Terms in Distance-Based Regression, Communications in Statistics — Theory and Methods, 38:19, P. 3501 [1]Архивная копия от 26 апреля 2021 на Wayback Machine
↑ 12C. Radhakrishna Rao. Estimation of Heteroscedastic Variances in Linear Models.//Journal of the American Statistical Association, Vol. 65, No. 329 (Mar., 1970), pp. 161-172
↑ 12Kasiviswanathan, Shiva Prasad, et al. «The price of privately releasing contingency tables and the spectra of random matrices with correlated rows.» Proceedings of the forty-second ACM symposium on Theory of computing. 2010.
↑Ninh, Pham; Rasmus, Pagh (2013). Fast and scalable polynomial kernels via explicit feature maps. SIGKDD international conference on Knowledge discovery and data mining. Association for Computing Machinery. doi:10.1145/2487575.2487591.
↑ 12Eilers, Paul H.C.; Marx, Brian D. (2003). "Multivariate calibration with temperature interaction using two-dimensional penalized signal regression". Chemometrics and Intelligent Laboratory Systems. 66 (2): 159—174. doi:10.1016/S0169-7439(03)00029-7.
↑ 123Currie, I. D.; Durban, M.; Eilers, P. H. C. (2006). "Generalized linear array models with applications to multidimensional smoothing". Journal of the Royal Statistical Society. 68 (2): 259—280. doi:10.1111/j.1467-9868.2006.00543.x.
↑Ahle, Thomas; Kapralov, Michael; Knudsen, Jakob; Pagh, Rasmus; Velingker, Ameya; Woodruff, David; Zandieh, Amir (2020). Oblivious Sketching of High-Degree Polynomial Kernels. ACM-SIAM Symposium on Discrete Algorithms. Association for Computing Machinery. doi:10.1137/1.9781611975994.9.
↑Bryan Bischof. Higher order co-occurrence tensors for hypergraphs via face-splitting. Published 15 February, 2020, Mathematics, Computer Science, ArXivАрхивная копия от 25 ноября 2020 на Wayback Machine
↑Johannes W. R. Martini, Jose Crossa, Fernando H. Toledo, Jaime Cuevas. On Hadamard and Kronecker products in covariance structures for genotype x environment interaction.//Plant Genome. 2020;13:e20033. Page 5. [3]
Zhang X; Yang Z; Cao C. (2002), "Inequalities involving Khatri–Rao products of positive semi-definite matrices", Applied Mathematics E-notes, 2: 117—124
Matrix Algebra & Its Applications to Statistics & Econometrics./C. R. Rao with M. Bhaskara Rao. — World Scientific. — 1998. — P. 216.
Похожие исследовательские статьи
Уравнение Дира́ка — релятивистски инвариантное уравнение движения для биспинорного классического поля электрона, применимое также для описания других точечных фермионов со спином 1/2; установлено Полем Дираком в 1928 году.
Ма́трица — математический объект, записываемый в виде прямоугольной таблицы элементов кольца или поля, который представляет собой совокупность строк и столбцов, на пересечении которых находятся его элементы. Количество строк и столбцов задаёт размер матрицы. Матрицу можно также представить в виде функции двух дискретных аргументов. Хотя исторически рассматривались, например, треугольные матрицы, в настоящее время говорят исключительно о матрицах прямоугольной формы, так как они являются наиболее удобными и общими.
Векторное произведение двух векторов в трёхмерном евклидовом пространстве — вектор, перпендикулярный обоим исходным векторам, длина которого численно равна площади параллелограмма, образованного исходными векторами, а выбор из двух направлений определяется так, чтобы тройка из по порядку стоящих в произведении векторов и получившегося вектора была правой. Векторное произведение коллинеарных векторов считается равным нулевому вектору.
Пространство состояний — в теории управления один из основных методов описания поведения динамической системы. Движение системы в пространстве состояний отражает изменение её состояний.
Тензорное произведение — операция над векторными пространствами, а также над элементами перемножаемых пространств.
Бло́чная (кле́точная) ма́трица — представление матрицы, при котором она рассекается вертикальными и горизонтальными линиями на прямоугольные части — блоки (клетки):
,
В линейной алгебре положи́тельно определённая ма́трица — это эрмитова матрица, которая во многом аналогична положительному вещественному числу. Это понятие тесно связано с положительно определённой симметрической билинейной формой.
В линейной алгебре базис векторного пространства размерности — это последовательность из векторов , таких, что любой вектор пространства может быть представлен единственным образом в виде линейной комбинации базисных векторов. При заданном базисе операторы представляются в виде квадратных матриц. Так как часто необходимо работать с несколькими базисами в одном и том же векторном пространстве, необходимо иметь правило перевода координат векторов и операторов из базиса в базис. Такой переход осуществляется с помощью матрицы перехода.
Умноже́ние ма́триц — одна из основных операций над матрицами. Матрица, получаемая в результате операции умножения, называется произведе́нием ма́триц. Элементы новой матрицы получаются из элементов старых матриц в соответствии с правилами, проиллюстрированными ниже.
Произведение Кронекера — бинарная операция над матрицами произвольного размера, обозначается . Результатом является блочная матрица.
Спектральное разложение матрицы или разложение матрицы на основе собственных векторов — это представление квадратной матрицы в виде произведения трёх матриц , где — матрица, столбцы которой являются собственными векторами матрицы , — диагональная матрица с соответствующими собственными значениями на главной диагонали, — матрица, обратная матрице .
SIMD — итеративная криптографическая хеш-функция, разработанная Gaëtan Leurent, Charles Bouillaguet, Pierre-Alain Fouque. Была выдвинута как кандидат на конкурс стандарта SHA-3, проводимый Национальным институтом стандартов и технологий (США), где прошла во второй раунд.
Экспонента матрицы — матричная функция от квадратной матрицы, аналогичная обычной экспоненциальной функции. Матричная экспонента устанавливает связь между алгеброй Ли матриц и соответствующий группой Ли.
Произведение Адамара — бинарная операция над двумя матрицами одинаковой размерности, результатом которой является матрица той же размерности, в которой каждый элемент с индексами — это произведение элементов с индексами исходных матриц. Операция названа в честь французского математика Жака Адамара и немецкого математика Исая Шура.
Лемма о малом искажении утверждает, что множество из точек многомерного пространства можно отобразить в пространство размерности гораздо меньше таким образом, что расстояния между точками останутся почти без изменений. При этом такое отображение можно найти среди ортогональных проекций.
Пространство столбцов матрицы — это линейная оболочка её вектор-столбцов. Пространство столбцов матрицы также является образом или областью значений соответствующего ей отображения.
Тензорный скетч — метод уменьшения размерности, используемый в статистике, машинном обучении и алгоритмах обработки больших данных. Он особенно эффективен применительно к векторам, имеющим тензорную структуру. Такой скетч может быть использован для ускорения билинейного объединения в нейронных сетях и является краеугольным камнем во многих алгоритмах числовой линейной алгебры.
Симметрии в квантовой механике — преобразования пространства-времени и частиц, которые оставляют неизменными уравнения квантовой механики. Рассматриваются во многих разделах квантовой механики, которые включают релятивистскую квантовую механику, квантовую теорию поля, стандартную модель и физику конденсированного состояния. В целом, симметрия в физике, законы инвариантности и сохранения являются основополагающими ограничениями для формулирования физических теорий и моделей. На практике это мощные методы решения задач и прогнозирования того, что может случиться. Хотя законы сохранения не всегда дают конечное решение проблемы, но они формируют правильные ограничения и наметки к решению множества задач.
Ядро линейного отображения — это такое линейное подпространство области определения отображения, каждый элемент которого отображается в нулевой вектор. А именно: если задано линейное отображение между двумя векторными пространствами и , то ядро отображения — это векторное пространство всех элементов пространства , таких что , где обозначает нулевой вектор из , или более формально:
Эта страница основана на статье Википедии. Текст доступен на условиях лицензии CC BY-SA 4.0; могут применяться дополнительные условия. Изображения, видео и звуки доступны по их собственным лицензиям.