Многопеременная логистическая функция

Многопеременная логистическая функция (в программировании также используется англ. Softmax) — это обобщение логистической функции для многомерного случая. Функция преобразует вектор ${\displaystyle z}$ размерности ${\displaystyle K}$ в вектор ${\displaystyle \sigma }$ той же размерности, где каждая координата ${\displaystyle \sigma _{i}}$ полученного вектора представлена вещественным числом в интервале [0,1] и сумма координат равна 1.

Координаты ${\displaystyle \sigma _{i}}$ вычисляются следующим образом:

${\displaystyle \sigma (z)_{i}={\frac {e^{z_{i}}}{\displaystyle \sum _{k\mathop {=} 1}^{K}e^{z_{k}}}}}$

Многопеременная логистическая функция применяется в машинном обучении для задач классификации, когда количество возможных классов больше двух (для двух классов используется логистическая функция). Координаты ${\displaystyle \sigma _{i}}$ полученного вектора при этом трактуются как вероятности того, что объект принадлежит к классу ${\displaystyle i}$. Вектор-столбец ${\displaystyle z}$ при этом рассчитывается следующим образом:

${\displaystyle z=w^{T}x-\theta }$

где ${\displaystyle x}$ — вектор-столбец признаков объекта размерности ${\displaystyle M\times 1}$; ${\displaystyle w^{T}}$ — транспонированная матрица весовых коэффициентов признаков, имеющая размерность ${\displaystyle K\times M}$; ${\displaystyle \theta }$ — вектор-столбец с пороговыми значениями размерности ${\displaystyle K\times 1}$ (см. перцептрон), где ${\displaystyle K}$— количество классов объектов, а ${\displaystyle M}$ — количество признаков объектов.

Часто Softmax используется для последнего слоя глубоких нейронных сетей для задач классификации. Для обучения нейронной сети при этом в качестве функции потерь используется перекрёстная энтропия.