Оптимизация — задача нахождения экстремума целевой функции в некоторой области конечномерного векторного пространства, ограниченной набором линейных и/или нелинейных равенств или неравенств.
Регуляризация в статистике, машинном обучении, теории обратных задач — метод добавления некоторых дополнительных ограничений к условию с целью решить некорректно поставленную задачу или предотвратить переобучение. Эта информация часто имеет вид штрафа за сложность модели. Например, это могут быть ограничения гладкости результирующей функции или ограничения по норме векторного пространства.
В математической оптимизации самосогласованной функцией называют трижды дифференцируемую выпуклую функцию 
, вторая и третья производные которой связаны неравенством:
Нелинейное программирование — случай математического программирования, который не сводится к постановке задачи линейного программирования.
Метод внутренней точки — это метод позволяющий решать задачи выпуклой оптимизации с условиями, заданными в виде неравенств, сводя исходную задачу к задаче выпуклой оптимизации.
Квадратичное программирование — это процесс решения задачи оптимизации специального типа, а именно — задачи оптимизации квадратичной функции нескольких переменных при линейных ограничениях на эти переменные. Квадратичное программирование является частным случаем нелинейного программирования.
Двойственность, или принцип двойственности, — принцип, по которому задачи оптимизации можно рассматривать с двух точек зрения, как прямую задачу или двойственную задачу. Решение двойственной задачи даёт нижнюю границу прямой задачи. Однако, в общем случае, значения целевых функций оптимальных решений прямой и двойственной задач не обязательно совпадают. Разница этих значений, если она наблюдается, называется разрывом двойственности. Для задач выпуклого программирования разрыв двойственности равен нулю при выполнении условий регулярности ограничений.
Юрий Евгеньевич Нестеров — советский и бельгийский математик, специалист по нелинейному программированию, выпуклой оптимизации, численным методам оптимизации. В области искусственного интеллекта широко применяется метод Нестерова — ускоренный вариант метода градиентного спуска. Иностранный член НАН США (2022).
Условие Слейтера — это достаточное условие для строгой двойственности в задаче выпуклой оптимизации. Условие названо именем Мортона Л. Слейтера. Неформально условие Слейтера утверждает, что допустимая область должна иметь внутреннюю точку.
Выпуклое программирование — это подобласть математической оптимизации, которая изучает задачу минимизации выпуклых функций на выпуклых множествах. В то время как многие классы задач выпуклого программирования допускают алгоритмы полиномиального времени, математическая оптимизация в общем случае NP-трудна.
Выпуклое сопряжение функции — это обобщение преобразования Лежандра, которое применяется к невыпуклым функциям. Оно известно также как преобразование Лежандра — Фенхеля или преобразование Фенхеля. Сопряжение используется для преобразования задачи оптимизации в соответствующую двойственную задачу, которую, возможно, проще решить.
Теорема Фенхеля — Моро — необходимое и достаточное условие того, что вещественнозначная функция равна своему двоекратному выпуклому сопряжению. При этом для любой функции верно, что 
.
Теорема двойственности Фенхеля — это результат в теории выпуклых функций, носящий имя немецкого математика Вернера Фенхеля.
Выпуклый анализ — это ветвь математики, посвящённая изучению свойств выпуклых функций и выпуклых множеств, часто имеющая приложения в выпуклом программировании, подобласти теории оптимизации.
Слабая двойственность — это концепция в оптимизации, которая утверждает, что разрыв двойственности всегда больше или равен нулю. Это означает, что решение прямой задачи всегда больше или равно решению связанной двойственной задачи. Данный термин противопоставляется сильной двойственности, которая выполняется лишь в определённых условиях.
Алгоритм Франк — Вульфа — это итеративный алгоритм оптимизации первого порядка для выпуклой оптимизации с ограничениями. Алгоритм известен также как метод условного градиента, метод приведённого градиента и алгоритм выпуклых комбинаций. Метод первоначально предложили Маргарита Франк и Филип Вульф в 1956. На каждой итерации алгоритм Франк — Вульфа рассматривает линейное приближение целевой функции и движется в направлении минимизации этой линейной функции.
Метод проксимального градиента — это обобщение проецирования, используемое для решения недифференцируемых задач выпуклого программирования.
Оптимизация с ограничениями — это процесс оптимизации целевой функции с учётом некоторых ограничений с некоторыми переменными. Целевая функция является функцией потерь, энергетической функцией, которая минимизируется, функцией вознаграждения, или функцией полезности, которая максимизируется.
Переменная рассогласования — переменная, которая в задаче оптимизации добавляется к ограничению в виде неравенства для преобразования его в равенство. Введение переменной рассогласования заменяет ограничение в виде неравенства ограничением в виде равенства в сочетании с ограничением неотрицательности переменной рассогласования.
