Метод релевантных векторов

Метод релевантных векторов (МРВ, англ. Relevance Vector Machine, RVM) — это техника машинного обучения, которая использует байесовский вывод для получения решений на принципе экономности для регрессии и вероятностной классификации^[1]. МРВ имеет тот же функциональный вид, что и метод опорных векторов, но обеспечивает вероятностную классификацию.

Описание

Метод, фактически, эквивалентен модели гауссовского процесса с функцией ковариации^[англ.]:

k(\mathbf {x} ,\mathbf {x'} )=\sum _{j=1}^{N}{\frac {1}{\alpha _{j}}}\varphi (\mathbf {x} ,\mathbf {x} _{j})\varphi (\mathbf {x} ',\mathbf {x} _{j})

где $\varphi$ является ядерной функцией^[англ.] (обычно, гауссианом), $\alpha _{j}$ являются априорными дисперсиями вектора весов $w\sim N(0,\alpha ^{-1}I)$ , а $\mathbf {x} _{1},\ldots ,\mathbf {x} _{N}$ являются входными векторами тренировочного набора^[англ.]^[2].

По сравнению с методами опорных векторов байесовская формулировка МРВ позволяет избежать необходимости использования свободных параметров (что, обычно, требует постоптимизации на основе перекрёстных проверок). Однако МРВ использует метод обучения, подобный EM-алгоритму, а потому существует риск скатывания в локальный минимум. Это отличает его от стандартных алгоритмов на основе последовательной минимальной оптимизации^[англ.], используемой методами опорных векторов и гарантирующей нахождение глобального оптимума (на выпуклой задаче).

Метод релевантных векторов запатентован в США^[англ.] компанией Microsoft^[3].

См. также

Ядерный метод
Масштабирование Платта^[англ.]: превращает SVM в вероятностную модель

Примечания

↑ Tipping, 2001, с. 211-244.
↑ Candela, 2004.
↑ Michael E. Tipping, "Relevance vector machine", US 6633857

Литература

Michael E. Tipping. Sparse Bayesian Learning and the Relevance Vector Machine // Journal of Machine Learning Research. — 2001. — Т. 1.
Joaquin Quiñonero Candela. Sparse Probabilistic Linear Models and the RVM // Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines. — Technical University of Denmark, 2004. — (Ph.D.).

Программное обеспечение

dlib Библиотека на языке C++
Библиотека ядерных машин
rvmbinary: пакет на языке R для двоичной классификации
scikit-rvm
fast-scikit-rvm, Обучающий курс по методу релевантных векторов

Ссылки

Машинное обучение и data mining
Задачи	Задача классификации Обучение без учителя Обучение с частичным привлечением учителя Регрессионный анализ AutoML Ассоциативные правила Выделение признаков Обучение признакам Обучение ранжированию Грамматический вывод Онлайновое обучение
Обучение с учителем	Метод k ближайших соседей Наивный байесовский классификатор Дерево решений Метод опорных векторов Линейная регрессия Логистическая регрессия Перцептрон Ансамблевое обучение Бэггинг Бустинг Метод случайного леса Метод релевантных векторов
Кластерный анализ	Метод k-средних Метод нечёткой кластеризации Иерархическая кластеризация EM-алгоритм BIRCH CURE DBSCAN OPTICS Mean-shift
Снижение размерности	Факторный анализ Метод главных компонент CCA ICA LDA Неотрицательное матричное разложение t-SNE
Структурное прогнозирование	Графовая вероятностная модель Байесовская сеть Скрытая марковская модель CRF
Выявление аномалий	Метод k ближайших соседей Локальный уровень выброса
Графовые вероятностные модели	Байесовская сеть Марковская сеть Скрытая марковская модель
Нейронные сети	Ограниченная машина Больцмана Самоорганизующаяся карта Функция активации Сигмоида Softmax Радиально-базисная функция Метод обратного распространения ошибки Глубокое обучение Многослойный перцептрон Рекуррентная нейронная сеть Долгая краткосрочная память Управляемый рекуррентный блок Свёрточная нейронная сеть U-Net Автокодировщик
Обучение с подкреплением	Марковский процесс Уравнение Беллмана Жадный алгоритм Q-обучение SARSA Temporal difference (TD)
Теория	Размерность Вапника — Червоненкиса Дилемма смещения–дисперсии Теория вычислительного обучения Минимизация эмпирического риска Оккамово обучение PAC learning Статистическая теория обучения
Журналы и конференции	NeurIPS ICML ML JMLR ArXiv:cs.LG

Похожие исследовательские статьи

Лине́йное отображе́ние — обобщение линейной числовой функции на случай более общего множества аргументов и значений. Линейные отображения, в отличие от нелинейных, достаточно хорошо исследованы, что позволяет успешно применять результаты общей теории, так как их свойства не зависят от природы величин.

<span class="mw-page-title-main">Скалярное произведение</span> операция над двумя векторами, результатом которой является скаляр

Скаля́рное произведе́ние — результат операции над двумя векторами, являющийся скаляром, то есть числом, не зависящим от выбора системы координат. Используется в определении длины векторов и угла между ними.

Теоре́ма Нётер или первая теорема Нётер утверждает, что каждой дифференцируемой симметрии действия для физической системы с консервативными силами соответствует закон сохранения. Теорема была доказана математиком Эмми Нётер в 1915 году и опубликована в 1918 году. Действие для физической системы представляет собой интеграл по времени функции Лагранжа, из которого можно определить поведение системы согласно принципу наименьшего действия. Эта теорема применима только к непрерывным и гладким симметриям над физическим пространством.

Уравне́ния Ма́ксвелла — система уравнений в дифференциальной или интегральной форме, описывающих электромагнитное поле и его связь с электрическими зарядами и токами в вакууме и сплошных средах. Вместе с выражением для силы Лоренца, задающим меру воздействия электромагнитного поля на заряженные частицы, эти уравнения образуют полную систему уравнений классической электродинамики, называемую иногда уравнениями Максвелла — Лоренца. Уравнения, сформулированные Джеймсом Клерком Максвеллом на основе накопленных к середине XIX века экспериментальных результатов, сыграли ключевую роль в развитии представлений теоретической физики и оказали сильное, зачастую решающее влияние не только на все области физики, непосредственно связанные с электромагнетизмом, но и на многие возникшие впоследствии фундаментальные теории, предмет которых не сводился к электромагнетизму.

Диверге́нция — дифференциальный оператор, отображающий векторное поле на скалярное, который определяет, «насколько расходится входящее и исходящее из малой окрестности данной точки поле», точнее, насколько расходятся входящий и исходящий потоки.

Ковариантная производная — обобщение понятия производной для тензорных полей на многообразиях. Понятие ковариантной производной тесно связано с понятием аффинной связности.

Опера́тор — математическое отображение между множествами, в котором каждое из них наделено какой-либо дополнительной структурой. Понятие оператора используется в различных разделах математики для отличия от другого рода отображений ; точное значение зависит от контекста, например в функциональном анализе под операторами понимают отображения, ставящие в соответствие функции другую функцию.

Лагранжиа́н, фу́нкция Лагра́нжа $\text{[math]}$ динамической системы, является функцией обобщённых координат $\text{[math]}$ и описывает развитие системы. Например, уравнения движения в этом подходе получаются из принципа наименьшего действия, записываемого как

\text{[math]}

Ма́трицей поворо́та называется ортогональная матрица, которая используется для выполнения собственного ортогонального преобразования в евклидовом пространстве. При умножении любого вектора на матрицу поворота длина вектора сохраняется. Определитель матрицы поворота равен единице.

Мультипо́ли — определённые конфигурации точечных источников (зарядов). Простейшими примерами мультиполя служат точечный заряд — мультиполь нулевого порядка; два противоположных по знаку заряда, равных по абсолютной величине — диполь, или мультиполь 1-го порядка; 4 одинаковых по абсолютной величине заряда, размещённых в вершинах параллелограмма, так что каждая его сторона соединяет заряды противоположного знака — квадруполь, или мультиполь 2-го порядка. Название мультиполь включает обозначение числа зарядов, образующих мультиполь, например, октуполь означает, что в состав мультиполя входит 8 зарядов.

Сила F, действующая на точку P, называется центральной с центром в точке O, если во всё время движения она действует вдоль линии, соединяющей точки O и P.

Волновое уравнение в физике — линейное гиперболическое дифференциальное уравнение в частных производных, задающее малые поперечные колебания тонкой мембраны или струны, а также другие колебательные процессы в сплошных средах и электромагнетизме (электродинамике). Находит применение и в других областях теоретической физики, например при описании гравитационных волн. Является одним из основных уравнений математической физики.

Сферические функции представляют собой угловую часть семейства ортогональных решений уравнения Лапласа, записанную в сферических координатах. Они широко используются для изучения физических явлений в пространственных областях, ограниченных сферическими поверхностями и при решении физических задач, обладающих сферической симметрией. Сферические функции имеют большое значение в теории дифференциальных уравнений в частных производных и теоретической физике, в частности в задачах расчёта электронных орбиталей в атоме, гравитационного поля геоида, магнитного поля планет и интенсивности реликтового излучения.

Полуторалинейная форма — обобщение понятия билинейной формы. Как правило под полуторалинейной формой подразумевают функцию f(x, y) от двух векторов векторного пространства $\text{[math]}$ над полем $\text{[math]}$ со значениями в этом поле, если она линейная как функция $\text{[math]}$ при каждом фиксированном $\text{[math]}$ и полулинейная как функция $\text{[math]}$ при каждом фиксированном $\text{[math]}$ . Требование полулинейности по $\text{[math]}$ означает, что выполнены следующие условия:

$\text{[math]}$
$\text{[math]}$

Теорема Цыбенко, Универсальная теорема аппроксимации — теорема, доказанная Джорджем Цыбенко в 1989 году, которая утверждает, что искусственная нейронная сеть прямой связи с одним скрытым слоем может аппроксимировать любую непрерывную функцию многих переменных с любой точностью. Условиями являются: достаточное количество нейронов скрытого слоя, удачный подбор $\text{[math]}$ и $\text{[math]}$ , где

\text{[math]}

— веса между входными нейронами и нейронами скрытого слоя,

\text{[math]}

— веса между связями от нейронов скрытого слоя и выходным нейроном,

\text{[math]}

— смещения для нейронов входного слоя.

<span class="mw-page-title-main">Спектральная кластеризация</span>

Техники спектральной кластеризации используют спектр матрицы сходства данных для осуществления снижения размерности перед кластеризацией в пространствах меньших размерностей. Матрица сходства подаётся в качестве входа и состоит из количественных оценок относительной схожести каждой пары точек в данных.

Ядерные методы в машинном обучении — это класс алгоритмов распознавания образов, наиболее известным представителем которого является метод опорных векторов. Общая задача распознавания образов — найти и изучить общие типы связей в наборах данных. Для многих алгоритмов, решающих эти задачи, данные, представленные в сыром виде, явным образом преобразуются в представление в виде вектора признаков посредством специфичной схемы распределения признаков, однако ядерные методы требуют только задания специфичного ядра, т.е. функции сходства пар точек данных в сыром представлении.

Строковое ядро — это ядерная функция, определённая на строках, т.е. конечных последовательностях символов, которые не обязательно имеют одну и ту же длину. Строковые ядра можно интуитивно понимать как функции, измеряющие похожесть пар строк — чем больше похожи две строки a и b, тем больше значение строкового ядра K(a, b).

Векторными сферическими гармониками являются векторные функции, преобразующиеся при вращениях системы координат так же, как скалярные сферические функции с теми же индексами, или определенные линейные комбинации таких функций.

Параметризация Вейерштрасса — Эннепера минимальных поверхностей — классический раздел дифференциальной геометрии.

Эта страница основана на статье Википедии.
Текст доступен на условиях лицензии CC BY-SA 4.0; могут применяться дополнительные условия.
Изображения, видео и звуки доступны по их собственным лицензиям.