Вероя́тность — степень возможности наступления некоторого события. Когда основания для того, чтобы какое-нибудь возможное событие произошло в действительности, перевешивают противоположные основания, то это событие называют вероятным, в противном случае — маловероятным или невероятным. Перевес положительных оснований над отрицательными, и наоборот, может быть в различной степени, вследствие чего вероятность бывает большей либо меньшей. Поэтому часто вероятность оценивается на качественном уровне, особенно в тех случаях, когда более или менее точная количественная оценка невозможна или крайне затруднена. Возможны различные градации «уровней» вероятности.
Теорема Байеса — одна из основных теорем элементарной теории вероятностей, которая позволяет определить вероятность события при условии, что произошло другое статистически взаимозависимое с ним событие. Другими словами, по формуле Байеса можно уточнить вероятность какого-либо события, взяв в расчёт как ранее известную информацию, так и данные новых наблюдений. Формула Байеса может быть выведена из основных аксиом теории вероятностей, в частности из условной вероятности. Особенность теоремы Байеса заключается в том, что для её практического применения требуется большое количество расчётов, вычислений, поэтому байесовские оценки стали активно использовать только после революции в компьютерных и сетевых технологиях. На сегодняшний день активно применяется в машинном обучении и технологиях искусственного интеллекта.
Информацио́нная энтропи́я — мера неопределённости некоторой системы, в частности, непредсказуемость появления какого-либо символа первичного алфавита. В последнем случае при отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения.
Формула полной вероятности позволяет вычислить вероятность интересующего события через условные вероятности этого события в предположении неких гипотез, а также вероятностей этих гипотез.
Демпстера-Шафера теория — математическая теория очевидностей (свидетельств) ([SH76]), основанная на функции доверия и функции правдоподобия, которые используются, чтобы скомбинировать отдельные части информации (свидетельства) для вычисления вероятности события. Теория была развита Артуром П. Демпстером и Гленном Шафером.
Байесовская сеть — графовая вероятностная модель, представляющая собой множество переменных и их вероятностных зависимостей по Байесу. Например, байесовская сеть может быть использована для вычисления вероятности того, чем болен пациент, по наличию или отсутствию ряда симптомов, основываясь на данных о зависимости между симптомами и болезнями. Математический аппарат байесовых сетей создан американским учёным Джудой Перлом, лауреатом Премии Тьюринга (2011).
Наи́вный ба́йесовский классифика́тор — простой вероятностный классификатор, основанный на применении теоремы Байеса со строгими (наивными) предположениями о независимости.
Расстояние Ку́льбака — Ле́йблера, РКЛ, информационное расхождение, различающая информация, информационный выигрыш, относительная энтропия — неотрицательнозначный функционал, являющийся несимметричной мерой удалённости друг от друга двух вероятностных распределений, определённых на общем пространстве элементарных событий. Часто применяется в теории информации и математической статистике.
Ба́йесовская фильтра́ция спа́ма — метод для фильтрации спама, основанный на применении наивного байесовского классификатора, опирающегося на прямое использование теоремы Байеса. Теорема Байеса названа в честь её автора Томаса Байеса (1702—1761) — английского математика и священника, который первым предложил использование теоремы для корректировки убеждений, основываясь на обновлённых данных.
Байесовский вывод — статистический вывод, в котором свидетельство и/или наблюдение используются, чтобы обновить или вновь вывести вероятность того, что гипотеза может быть верной; название байесовский происходит от частого использования в процессе вывода теоремы Байеса, которая была выведена из работ преподобного Томаса Байеса.
Байесовская игра или игра с неполной информацией в теории игр характеризуются неполнотой информации о соперниках, при этом у игроков есть веры относительно этой неопределённости. Байесовскую игру можно преобразовать в игру полной, но несовершенной информации, если принять допущение об общем априорном распределении. В отличие от неполной информации, несовершенная информация включает знание стратегий и выигрышей соперников, но история игры доступна не всем участникам.
Логическая вероятность — логическое отношение между двумя предложениями, степень подтверждения гипотезы H свидетельством E.
В математической статистике и теории принятия решений байесовская оценка решения — это статистическая оценка, минимизирующая апостериорное математическое ожидание функции потерь. Иначе говоря, она максимизирует апостериорное математическое ожидание функции полезности. В рамках теории Байеса данную оценку можно определить как оценку апостериорного максимума.
Байесовский подход в филогенетике позволяет получить наиболее вероятное филогенетическое дерево при заданных исходных данных, последовательностях ДНК или белков рассматриваемых организмов и эволюционной модели замен. Для снижения вычислительной сложности алгоритма расчёт апостериорной вероятности реализуется различными алгоритмами, использующими метод Монте-Карло для марковских цепей. Главными преимуществами байесовского подхода по сравнению с методами максимального правдоподобия и максимальной экономии является вычислительная эффективность, способность работать со сложными моделями эволюции, а также то, что, в отличие от методов, указывающих на единственное наилучшее по заданному критерию дерево, он позволяет выбрать несколько вариантов филогенетического дерева с наибольшим значением апостериорной вероятности.
Коэффицие́нт Ба́йеса — байесовская альтернатива проверке статистических гипотез. Байесовское сравнение моделей — метод выбора моделей на основе коэффициентов Байеса. Обсуждаемые модели являются статистическими моделями. Целью коэффициента Байеса является количественное выражение поддержки модели по сравнению с другой моделью, независимо от того, верны модели или нет. Техническое определение понятия «поддержка» в контексте байесовского вывода дано ниже.
Парадокс Линдли — это контринтуитивная ситуация в статистике, при которой байесовский и частотный подходы к задаче проверки гипотез дают различные результаты при определённых выборах априорного распределения. Проблема разногласия между двумя подходами обсуждалась в книге Гарольда Джеффриса 1939 года. Проблема стала известна как парадокс Линдли после того, как Деннис Линдли высказал несогласие с парадоксом в статье 1957.
Байесовская статистика — теория в области статистики, основанная на байесовской интерпретации вероятности, когда вероятность отражает степень доверия событию, которая может измениться, когда будет собрана новая информация, в отличие от фиксированного значения, основанного на частотном подходе. Степень доверия может основываться на априорных знаниях о событии, таких как результаты предыдущих экспериментов или личное доверие событию. Это отличается от ряда других интерпретаций вероятности, таких как частотная интерпретация, которая рассматривает вероятность как предел относительной частоты выпадения события после большого числа испытаний.
Байесовское иерархическое моделирование — это статистическая модель, записанная в виде нескольких уровней, которая оценивает параметры апостериорного распределения используя байесовский метод. Подмодели комбинируются в иерархическую модель и используется теорема Байеса для объединения их с наблюдаемыми данными и учёта всех присутствующих неопределённостей. Результатом этого объединения является апостериорное распределение, известное также как уточнённая оценка вероятности после того, как получены дополнительные сведения об априорной вероятности.
Локальная лемма Ловаса — лемма теории вероятностей. Если некоторое количество событий не зависит друг от друга и вероятность каждого меньше 1, то вероятность того, что ни одно из событий не произойдет, положительна. Локальная лемма Ловаса позволяет ослабить условие независимости: пока события «не сильно зависимы» друг от друга и не слишком вероятны по отдельности, вероятность того, что ни одно из них не произойдет, положительна. Этот результат чаще всего используется в вероятностном методе, в частности для доказательства существования.
