Надёжность — свойство объекта сохранять во времени в установленных пределах значения всех параметров, характеризующих способность выполнять требуемые функции в заданных условиях применения, технического обслуживания, хранения и транспортирования.
Андре́й Андре́евич Ма́рков — русский математик, академик, внёсший большой вклад в теорию вероятностей, математический анализ и теорию чисел. Отец А. А. Маркова-младшего. Член Санкт-Петербургского математического общества.
Це́пь Ма́ркова — последовательность случайных событий с конечным или счётным числом исходов, характеризующаяся тем свойством, что, говоря нестрого, при фиксированном настоящем будущее независимо от прошлого. Названа в честь А. А. Маркова (старшего), который впервые ввёл это понятие в работе 1906 года.
Многозада́чность — свойство операционной системы или среды выполнения обеспечивать возможность параллельной обработки нескольких задач. Истинная многозадачность операционной системы возможна только в распределённых вычислительных системах.
Случа́йный проце́сс в теории вероятностей — семейство случайных величин, индексированных некоторым параметром, чаще всего играющим роль времени или координаты.
Ма́рковский проце́сс — случайный процесс, эволюция которого после любого заданного значения временно́го параметра 
не зависит от эволюции, предшествовавшей , при условии, что значение процесса в этот момент фиксировано.
Случайное блуждание — математический объект, известный как стохастический или случайный процесс, который описывает путь, состоящий из последовательности случайных шагов в каком-нибудь математическом пространстве.
Возвра́тное состоя́ние — это состояние марковской цепи, посещаемое ею бесконечное число раз.
Скрытая марковская модель (СММ) — статистическая модель, имитирующая работу процесса, похожего на марковский процесс с неизвестными параметрами, и задачей ставится разгадывание неизвестных параметров на основе наблюдаемых. Полученные параметры могут быть использованы в дальнейшем анализе, например, для распознавания образов. СММ может быть рассмотрена как простейшая байесовская сеть доверия.
Перебор по словарю — атака на систему защиты, использующая метод полного перебора предполагаемых паролей, используемых для аутентификации, осуществляемого путём последовательного пересмотра всех слов определённого вида и длины из словаря с целью последующего взлома системы и получения доступа к секретной информации.
Уравнение Колмогорова — Чепмена для однопараметрического семейства непрерывных линейных операторов 
в топологическом векторном пространстве выражает полугрупповое свойство:
Обучение с подкреплением — один из способов машинного обучения, в ходе которого испытуемая система (агент) обучается, взаимодействуя с некоторой средой. С точки зрения кибернетики, является одним из видов кибернетического эксперимента. Откликом среды на принятые решения являются сигналы подкрепления, поэтому такое обучение является частным случаем обучения с учителем, но учителем является среда или её модель. Также нужно иметь в виду, что некоторые правила подкрепления базируются на неявных учителях, например, в случае искусственной нейронной среды, на одновременной активности формальных нейронов, из-за чего их можно отнести к обучению без учителя.
Стохастическая игра в теории игр — повторяющаяся игра со случайными переходами состояний, разыгрываемая одним и более игроками.
Марковская сеть, Марковское случайное поле, или неориентированная графическая модель — это графическая модель, в которой множество случайных величин обладает Марковским свойством, описанным неориентированным графом. Марковская сеть отличается от другой графической модели, Байесовской сети, представлением зависимостей между случайными величинами. Она может выразить некоторые зависимости, которые не может выразить Байесовская сеть ; с другой стороны, она не может выразить некоторые другие. Прототипом Марковской сети была Модель Изинга намагничивания материала в статистической физике: Марковская сеть была представлена как обобщение этой модели.
Основное кинетическое уравнение — феноменологическое уравнение, описывающее эволюцию системы во времени. Установлено В. Паули в 1928 году. Название «основное уравнение» — перевод термина англ. Master equation. Называется также производящее уравнение, управляющее уравнение, уравнение кинетического баланса. Иногда также называют уравнением Паули.
Нема́рковский проце́сс — случайный процесс, эволюция которого после любого заданного значения времени зависит от эволюции, предшествовавшей этому моменту времени. Другими словами, «будущее» немарковского процесса зависит от его «прошлого». Немарковский процесс — это случайный процесс с памятью, при этом, говоря о памяти процесса, имеется в виду, что от характера эволюции процесса в прошлом зависят его статистические характеристики в будущем. Немарковский процесс противопоставляется марковскому процессу.
Марковский процесс принятия решений — математический формализм для марковского дискретного стохастического процесса управления, основа для моделирования последовательного принятия решений в ситуациях, где результаты частично случайны и частично зависят от лица, принимающего решения. МППР используется во множестве областей, включая робототехнику, автоматизированное управление, экономику и производство. Подход обучения с подкреплениями, основанный на данной модели, применяется, например, в нейронной сети AlphaZero.
Марковский источник информации, или марковский источник, — это источник информации, поведение которого определяется стационарной цепью Маркова с конечным числом исходов.
Проце́сс Га́усса — Ма́ркова — случайный процесс, который удовлетворяет требованиям как для гауссовского процесса, так и для марковского. Назван в честь Карла Фридриха Гаусса и Андрея Андреевича Маркова. Стационарный процесс Гаусса — Маркова также известен как процесс Орнштейна — Уленбека.
