Математи́ческое ожида́ние — понятие в теории вероятностей, означающее среднее значение случайной величины. В случае непрерывной случайной величины подразумевается взвешивание по плотности распределения. Математическое ожидание случайного вектора равно вектору, компоненты которого равны математическим ожиданиям компонентов случайного вектора.
Математи́ческий ана́лиз — совокупность разделов математики, соответствующих историческому разделу под наименованием «анализ бесконечно малых», объединяет дифференциальное и интегральное исчисления.

Преде́лом фу́нкции в точке, предельной для области определения функции, называется такая величина, к которой значение рассматриваемой функции стремится при стремлении её аргумента к данной точке. Одно из основных понятий математического анализа.

Де́льта-фу́нкция — обобщённая функция, которая позволяет записать точечное воздействие, а также пространственную плотность физических величин, сосредоточенных или приложенных в одной точке.
Ко́мпле́ксный ана́лиз, тео́рия фу́нкций ко́мпле́ксного переме́нного — раздел математического анализа, в котором рассматриваются и изучаются функции комплексного аргумента.
Теоре́ма Вейерштра́сса — теорема математического анализа и общей топологии, которая гласит, что функция, непрерывная на компакте, ограничена на нём и достигает своих точных верхней и нижней граней.
В математическом анализе вариацией функции называется числовая характеристика функции одного действительного переменного, связанная с её дифференциальными свойствами. Для функции из отрезка на вещественной прямой в
является обобщением понятия длины кривой, задаваемой в
этой функцией.
Ле́мма Фату́ — техническое утверждение, используемое при доказательстве различных теорем в функциональном анализе и теории вероятностей. Оно даёт одно из условий, при которых предел почти всюду сходящейся функциональной последовательности будет суммируемым.
Преде́л — одно из основных понятий математического анализа, на него опираются такие фундаментальные разделы анализа, как непрерывность, производная, интеграл, бесконечные ряды и др. Различают предел последовательности и предел функции.

Оптимизация — задача нахождения экстремума целевой функции в некоторой области конечномерного векторного пространства, ограниченной набором линейных и/или нелинейных равенств или неравенств.
Градиентный спуск, метод градиентного спуска — численный метод нахождения локального минимума или максимума функции с помощью движения вдоль градиента, один из основных численных методов современной оптимизации.
Градие́нтные ме́тоды — численные методы решения с помощью градиента задач, сводящихся к нахождению экстремумов функции.

Алгоритм Гаусса — Ньютона используется для решения задач нелинейным методом наименьших квадратов. Алгоритм является модификацией метода Ньютона для нахождения минимума функции. В отличие от метода Ньютона, алгоритм Гаусса — Ньютона может быть использован только для минимизации суммы квадратов, но его преимущество в том, что метод не требует вычисления вторых производных, что может оказаться существенной трудностью.
Численные (вычислительные) методы — методы решения математических задач в численном виде.
Уравнение Беллмана — достаточное условие оптимальности в методах оптимизации динамического программирования, названное в честь Ричарда Эрнста Беллмана и основывающееся на принципе оптимальности Беллмана.
Γ-сходимость (Гамма-сходимость) – концепция сходимости функционалов, возникающая в вариационном исчислении, а также при изучении дифференциальных уравнений в частных производных.
Поиск восхождением к вершине — это техника математической оптимизации, принадлежащая семейству алгоритмов локального поиска. Алгоритм является методом итерации, который начинается с произвольного решения задачи, а затем пытается найти лучшее решение путём пошагового изменения одного из элементов решения. Если решение даёт лучшее решение, делается приращение для получения нового решения и оно делается, пока не достигнем момента, в котором улучшение найти не удаётся.
Выпуклое программирование — это подобласть математической оптимизации, которая изучает задачу минимизации выпуклых функций на выпуклых множествах. В то время как многие классы задач выпуклого программирования допускают алгоритмы полиномиального времени, математическая оптимизация в общем случае NP-трудна.
Субградиентные методы — итеративные методы решения задач выпуклой минимизации. Субградиентные методы, разработанные Наумом Зуселевичем Шором сходятся, даже если применяются к недифференцируемым целевым функциям. Когда функция дифференцируема, субградиентные методы для задач без ограничений используют то же направление поиска, что и метод наискорейшего спуска.