Тео́рия вероя́тностей — раздел математики, изучающий случайные события, случайные величины, их свойства и операции над ними.
Аксио́ма, или постула́т — исходное положение какой-либо теории, принимаемое в рамках данной теории истинным без требования доказательства и используемое при доказательстве других её положений, которые, в свою очередь, называются теоремами.
Но́рберт Ви́нер — американский математик, один из основоположников кибернетики и теории искусственного интеллекта.
Карл Те́одор Вильге́льм Ве́йерштрасс — немецкий математик, «отец современного анализа».
Основна́я теоре́ма а́лгебры — утверждение о том, что поле комплексных чисел алгебраически замкнуто, то есть что всякий отличный от константы многочлен с комплексными коэффициентами имеет по крайней мере один корень в поле комплексных чисел. Утверждение справедливо и для многочленов с вещественными коэффициентами, так как всякое вещественное число является комплексным с нулевой мнимой частью.
Андре́й Никола́евич Колмого́ров — советский математик, один из крупнейших математиков XX века. Один из основоположников современной теории вероятностей, им получены фундаментальные результаты в топологии, геометрии, математической логике, классической механике, теории турбулентности, теории сложности алгоритмов, теории информации, теории функций, теории тригонометрических рядов, теории меры, теории приближения функций, теории множеств, теории дифференциальных уравнений, теории динамических систем, функциональном анализе и в ряде других областей математики и её приложений. Автор новаторских работ по философии, истории, методологии и преподаванию математики, известны его работы в статистической физике.
Автокорреляционная функция (АКФ) — зависимость взаимосвязи между функцией (сигналом) и её сдвинутой по аргументу функции копией от величины сдвига.
Бори́с Влади́мирович Гнеде́нко — советский математик, специалист по теории вероятностей, математической статистике, вероятностным и статистическим методам, член-корреспондент (1945) и академик (1948) АН УССР.
Никола́й Никола́евич Лу́зин — советский математик, член-корреспондент (1927), академик АН СССР (1929).
Алекса́ндр Я́ковлевич Хи́нчин — советский математик, профессор МГУ, один из наиболее значимых учёных в советской школе теории вероятностей. Член-корреспондент АН СССР (1939), действительный член АПН РСФСР (1944). Лауреат Сталинской премии второй степени за работы по теории вероятностей.
Ханс Хан — австрийский математик, внёсший вклад в развитие функционального анализа, топологии, теории множеств, вариационного исчисления, вещественного анализа и теории порядка.
Хронология событий, связанных с 
теорией информации,
сжатием данных, 
кодами коррекции ошибок и смежных дисциплин:
- 1872 — Людвиг Больцман представляет свою H-теорему, а вместе с этим формулу Σpi log pi для энтропии одной частицы газа.
- 1878 — Джозайя Уиллард Гиббс, определяет энтропию Гиббса: вероятности в формуле энтропии теперь взяты как вероятности состояния целой системы.
- 1924 — Гарри Найквист рассуждает о квантификации «Интеллекта» и скорости, на которой это может быть передано системой коммуникации.
- 1927 — Джон фон Нейман определяет фон Неймановскую энтропию, расширяя Гиббсовскую энтропию в квантовой механике.
- 1928 — Ральф Хартли представляет формулу Хартли как логарифм числа возможных сообщений, с информацией, передаваемой, когда приёмник может отличить одну последовательность символов от любой другой.
- 1929 — Лео Силард анализирует демона Максвелла, показывают, как двигатель Szilard может иногда преобразовывать информацию в извлечение полезной работы.
- 1940 — Алан Тьюринг представляет deciban как единицу измерения информации в немецкой машине Энигма с настройками, зашифрованными процессом Banburismus.
- 1944 — теория информации Клода Шеннона в основном завершена.
- 1947 — Ричард Хемминг изобретает Код Хемминга для обнаружения ошибок и их исправления, но не публикует их до 1950 года.
- 1948 — Клод Шеннон публикует Математическую теорию связи
- 1949 — Клод Шеннон публикует Передачу Информации в виде шумов, в которой описаны Теорема отсчётов и Теорема Шеннона — Хартли.
- 1949 — Рассекречена Теория связи в секретных системах Клода Шеннона.
- 1949 — Роберт Фано опубликовал отчет, в котором независимо от Клода Шеннона описан Алгоритм Шеннона — Фано.
- 1949 — опубликовано Неравенство Крафта — Макмиллана.
- 1949 — Марсель Голей вводит коды Голея для исправления ошибок методом упреждения.
- 1950 — Ричард Хемминг публикует коды Хемминга для исправления ошибок методом упреждения.
- 1951 — Соломон Кульбак и Ричард Лейблер вводят понятие расстояния Кульбака-Лейблера.
- 1951 — Дэвид Хаффман изобретает кодирование Хаффмана, метод нахождения оптимальных префиксных кодов для сжатия данных без потерь.
- 1953 — опубликован Sardinas–Patterson algorithm.
- 1954 — Ирвинг Рид и Дэвид E. Мюллер вводит коды Рида-Мюллера.
- 1955 — Питер Элиас вводит свёрточные коды.
- 1957 — Юджин Прандж первый обсуждает циклический избыточный код.
- 1959 — Алексис Хоквингем, и самостоятельно в следующем году Радж Чандра Боуз и Двайджендра Камар Рей-Чоудхури, представляют коды Боуза-Чоудхури-Хоквингема (БЧХ-коды).
- 1960 — Ирвинг Рид и Густав Соломон вводят коды Рида-Соломона.
- 1962 — Роберт Галлагер предлагает код с малой плотностью проверок на чётность; их не использовали в течение 30 лет из-за технических ограничений.
- 1966 — опубликована статья Дэвида Форнея Concatenated error correction code.
- 1967 — Эндрю Витерби открывает алгоритм Витерби, делающий возможным декодирование свёрточных кодов.
- 1968 — Элвин Берлекэмп изобретает алгоритм Берлекэмпа — Мэсси; его применение к расшифровке БЧХ-кодов и кода Рида-Соломона, указанный Джеймсом Мэсси в последующем году.
- 1968 — Крис Уоллис и Дэвид М. Бутон издают первый из многих докладов о Сообщениях минимальной длины (СМД) — их статистический и индуктивный вывод.
- 1972 — опубликована статья о Justesen code.
- 1973 — Дэвид Слепиан и Джек Волф открывают и доказывают Код Слепиана-Вольфа, кодирующего пределы распределённого источника кодирования.
- 1976 — Готфрид Унгербоэк публикует первую статью о Треллис-модуляции.
- 1976 — Йорма Риссанен разрабатывает и позднее патентует арифметическое кодирование для IBM.
- 1977 — Абрахам Лемпель и Яаков Зив разрабатывают алгоритм сжатия Лемпеля-Зива (LZ77)
- 1982 — Готфрид Унгербоэк публикует более подробное описание Треллис-модуляции, что приводит к увеличению скорости аналогового модема старой обычной телефонной службы от 9.6 кбит/сек до 36 кбит/сек.
- 1989 — Фил Кац создаёт .zip формат, включая формат сжатия DEFLATE ; позже это становится наиболее широко используемым алгоритмом сжатия без потерь.
- 1993 — Клод Берроу, Алэйн Главиукс и Punya Thitimajshima вводят понятие Турбо-кодов.
- 1994 — Майкл Барроуз и Дэвид Уилер публикуют теорию преобразования Барроуза-Уилера, которая далее найдет своё применение в bzip2.
- 1995 — Benjamin Schumacher предложил термин Кубит.
- 1998 — предложен Fountain code.
- 2001 — описан алгоритм Statistical Lempel–Ziv.
- 2008 — Erdal Arıkan предложил Полярные коды.
Эргодическая теорема Биркгофа — Хинчина утверждает, что для динамической системы, сохраняющей меру, и интегрируемой по этой мере функции на пространстве для почти всех начальных точек соответствующие им временны́е средние сходятся. Более того, если инвариантная мера эргодична, то для почти всех начальных точек предел один и тот же — интеграл функции по данной мере. Этот принцип формулируется как «временно́е среднее для почти всех начальных точек равно пространственному».
Теорема Хинчина — Колмогорова утверждает, что спектральной плотностью мощности стационарного в широком смысле случайного процесса является преобразование Фурье соответствующей автокорреляционной функции.
Закон повторного логарифма — предельный закон теории вероятностей. Теорема определяет порядок роста делителя последовательности сумм случайных величин, при котором эта последовательность не сходится к нулю, но остается почти всюду в конечных пределах.
Бочкарёв Сергей Викторович — советский и российский учёный в области математики, доктор физико-математических наук, профессор Московского физико-технического института.
Теорема Колмогорова о двух рядах в теории вероятностей задаёт достаточное условие сходимости с вероятностью единица ряда независимых случайных величин. Теорема Колмогорова о двух рядах может быть использована для доказательства усиленного закона больших чисел.
Для сходимости с вероятностью единица ряда 
из независимых случайных величин достаточно, чтобы одновременно сходились два ряда: 
и 
. Если к тому же 
, то это условие является и необходимым.
Теорема Колмогорова — Хинчина о сходимости в теории вероятностей задает критерий сходимости с вероятностью единица бесконечного ряда случайных величин и может быть использована для доказательства теоремы Колмогорова о двух рядах
Постоя́нная Хи́нчина — вещественная константа 
, равная среднему геометрическому элементов разложения в цепную дробь любого из почти всех вещественных чисел.
Теория диофантовых приближений — раздел теории чисел, изучающий приближения вещественных чисел рациональными; назван именем Диофанта Александрийского.
