Проверка статистических гипотез является содержанием одного из обширных классов задач математической статистики.
Оши́бка пе́рвого ро́да — ситуация, когда отвергнута верная нулевая гипотеза.
Критерий согласия Пирсона или критерий согласия 
(хи-квадрат) — непараметрический метод, который позволяет оценить значимость различий между фактическим количеством исходов или качественных характеристик выборки, попадающих в каждую категорию, и теоретическим количеством, которое можно ожидать в изучаемых группах при справедливости нулевой гипотезы. Выражаясь проще, метод позволяет оценить статистическую значимость различий двух или нескольких относительных показателей.
Статистический критерий — математическое правило, в соответствии с которым принимается или отвергается та или иная статистическая гипотеза с заданным уровнем значимости. Построение критерия представляет собой выбор подходящей функции от результатов наблюдений, которая служит для выявления меры расхождения между эмпирическими значениями и гипотетическими.
U-критерий Манна — Уитни — статистический критерий, используемый для оценки различий между двумя независимыми выборками по уровню какого-либо признака, измеренного количественно. Позволяет выявлять различия в значении параметра между малыми выборками.
F-тест или критерий Фишера — статистический критерий, тестовая статистика которого при выполнении нулевой гипотезы имеет распределение Фишера (F-распределение).
В статистике величину (значение) переменной называют статисти́чески зна́чимой, если мала вероятность случайного возникновения этой или ещё более крайних величин. Здесь под крайностью понимается степень отклонения тестовой статистики от нуль-гипотезы.
Т-критерий Вилкоксона — непараметрический статистический тест (критерий), используемый для проверки различий между двумя выборками парных или независимых измерений. Впервые предложен Фрэнком Уилкоксоном. Другие названия — W-критерий Вилкоксона, критерий знаковых рангов Вилкоксона, критерий Уилкоксона для связных выборок. Тест Вилкоксона для независимых выборок также называется критерием Манна-Уитни.
Точный тест Фишера — тест статистической значимости, используемый в анализе таблиц сопряжённости для выборок маленьких размеров. Относится к точным тестам значимости, поскольку не использует приближения большой выборки.
Критерий Лиллиефорса — статистический критерий, названный по имени Хьюберта Лиллиефорса, профессора статистики Университета Джорджа Вашингтона, являющийся модификацией критерия Колмогорова–Смирнова. Используется для проверки нулевой гипотезы о том, что выборка распределена по нормальному закону для случая, когда параметры нормального распределения априори неизвестны.
Тест Бройша — Годфри, называемый также LM-тест Бройша — Годфри на автокорреляцию — применяемая в эконометрике процедура проверки автокорреляции произвольного порядка в случайных ошибках регрессионных моделей. Тест является асимптотическим, то есть для достоверности выводов требуется большой объём выборки.
Таблица сопряжённости, или таблица контингентности, факторная таблица в статистике — средство представления совместного распределения двух переменных, предназначенное для исследования связи между ними. Таблица сопряжённости является наиболее универсальным средством изучения статистических связей, так как в ней могут быть представлены переменные с любым уровнем измерения. Таблицы сопряжённости часто используются для проверки гипотезы о наличии связи между двумя признаками с использованием точного теста Фишера или критерия согласия Пирсона.
Статистическая мощность в математической статистике — вероятность отклонения основной гипотезы при проверке статистических гипотез в случае, когда конкурирующая гипотеза верна. Чем выше мощность статистического теста, тем меньше вероятность совершить ошибку второго рода. Величина мощности также используется для вычисления размера выборки, необходимой для подтверждения гипотезы с необходимой силой эффекта.
Критерий хи-квадрат — любая статистическая проверка гипотезы, в которой выборочное распределение критерия имеет распределение хи-квадрат при условии верности нулевой гипотезы. Считается, что критерий хи-квадрат — это критерий, который асимптотически верен, то есть, выборочное распределение можно сделать как угодно близким к распределению хи-квадрат путём увеличения размера выборки.
Непараметрическая статистика — раздел статистики, который не основан исключительно на параметризованных семействах вероятностных распределений. Непараметрическая статистика включает в себя описательную статистику и статистический вывод.
Критерий Бартлетта — статистический критерий, позволяющий проверять равенство дисперсий нескольких выборок. Нулевая гипотеза предполагает, что рассматриваемые выборки получены из генеральных совокупностей, обладающих одинаковыми дисперсиями.
Q-критерий Кохрена — непараметрический статистический тест, используемый для проверки того, оказывают ли два или более воздействий одинаковый эффект на группы. При этом отклик группы может принимать только 2 возможных значения. Критерий получил название по имени Уильяма Кохрена. Не следует путать Q-критерий Кохрена с G-критерием Кохрена. При использовании Q-критерия предполагается, что результат воздействия описывается только двумя типами и существуют более чем 2 группы одинакового размера. Критерий определяет, является ли доля успеха одинаковой в разных группах. Часто он используется для определения того, получают ли разные наблюдатели одного и того же явления схожий результат.
Статистика оценки — подход к анализу данных, который включает в себя комбинацию из методов: размера эффекта, доверительных интервалов, планирования точности и метаанализа для планирования экспериментов, анализа данных и интерпретации результатов. Этот подход отличается от проверки значимости нулевой гипотезы (NHST), который считается менее информативным. Статистика оценки, или просто оценка, также известная как новая статистика, используется в области психологии, медицинских исследований, наук о жизни и в широком спектре других экспериментальных наук, где проверка значимости нулевой гипотезы всё ещё остается распространённым подходом, несмотря на то, что в течение последних нескольких десятилетий статистика оценки рекомендуется в качестве предпочтительного подхода.
Критерий Вальда — Вольфовица, названный в честь статистиков Абрахама Вальда и Джейкоба Вольфовица, представляет собой непараметрический статистический тест, который проверяет гипотезу о случайности для двух последовательностей данных одинаковой длины. Точнее, данный критерий можно использовать для проверки нулевой гипотезы о том, что элементы двух последовательностей взаимно независимы.
Исследование эквивалентности — это разновидность тестов гипотез, используемых для получения статистических выводов из наблюдаемых данных. В этих тестах нулевая гипотеза определяется как эффект, выходящий за границы эквивалентности. Альтернативной гипотезой является эффект, который находится в пределах заданной границы эквивалентности. Наблюдаемые данные статистически сравниваются с границами эквивалентности. Если статистический тест показывает, что наблюдаемые данные не находятся в границах ожидаемого, при условии, что истинные эффекты, по крайней мере, столь же экстремальны, как и границы эквивалентности, можно использовать подход Неймана-Пирсона к статистическим выводам для отклонения размеров эффектов, превышающих границы эквивалентности, с заранее определённым коэффициентом ошибок первого рода.