Тео́рия вероя́тностей — раздел математики, изучающий случайные события, случайные величины, их свойства и операции над ними.
Гипо́теза — предположение или догадка, утверждение, которое, в отличие от аксиом, постулатов, требует доказательства. Гипотеза считается научной, если она, в соответствии с научным методом, объясняет факты, охватываемые этой гипотезой; является логически непротиворечивой; принципиально опровергаема, то есть потенциально может быть проверена критическим экспериментом; не противоречит ранее установленным законам и, скорее всего, приложима к более широкому кругу явлений.
Идеа́льный газ — теоретическая модель, широко применяемая для описания свойств и поведения реальных газов при умеренных давлениях и температурах. В этой модели, во-первых, предполагается, что составляющие газ частицы не взаимодействуют друг с другом, то есть их размеры пренебрежимо малы, поэтому в объёме, занятом идеальным газом, нет взаимных неупругих столкновений частиц. Частицы идеального газа претерпевают столкновения только со стенками сосуда. Второе предположение: между частицами газа нет дальнодействующего взаимодействия, например, электростатического или гравитационного. Дополнительное условие упругих столкновений между молекулами и стенками сосуда в рамках молекулярно-кинетической теории приводит к термодинамике идеального газа.
Влади́мир Алекса́ндрович Коте́льников — советский и российский учёный в области радиофизики, радиотехники, электроники, информатики, радиоастрономии и криптографии. Один из основоположников советской секретной радио- и телефонной связи. Академик АН СССР (23.10.1953), академик РАН, вице-президент АН СССР (1970—1988). Дважды Герой Социалистического Труда. 4-й кавалер ордена «За заслуги перед Отечеством» I степени (2003).
Цифрова́я обрабо́тка сигна́лов — способы обработки сигналов на основе численных методов с использованием цифровой вычислительной техники.
Иога́нн Карл Фри́дрих Га́усс — немецкий математик, механик, физик, астроном и геодезист. Считается одним из величайших математиков всех времён, «королём математиков».
Зако́н сохране́ния эне́ргии — фундаментальный закон природы, установленный эмпирически и заключающийся в том, что для изолированной физической системы может быть введена скалярная физическая величина, являющаяся функцией параметров системы и называемая энергией, которая сохраняется с течением времени. Эта энергия может быть представлена в виде комбинации разных форм, таких как механическая, тепловая, электромагнитная, ядерная и других, для различных систем, таких как элементарные частицы, макроскопические тела, звёзды и галактики, но оставаться неизменной универсальной сохраняющейся величиной. Видимое нарушение закона сохранения энергии требует рассматривать альтернативные объяснения.
Радиоприёмник — устройство, соединяемое с антенной и служащее для осуществления радиоприёма, то есть для выделения сигналов из радиоизлучения.
Серге́й Васи́льевич Фоми́н — советский математик и педагог.
Конструктивная математика — абстрактная наука о мыслительных конструктивных процессах, человеческой способности осуществлять их, и об их результатах — конструктивных математических объектах. Является результатом развития конструктивного направления в математике — математического мировоззрения, которое в отличие от теоретико-множественного направления считает основной задачей математики исследование конструктивных процессов и конструктивных объектов.
Дми́трий Васи́льевич Аге́ев — советский учёный и педагог в области радиотехники. Доктор технических наук, профессор. Заслуженный деятель науки и техники РСФСР.
Цифрово́й звук — результат преобразования аналогового сигнала звукового диапазона в цифровой аудиоформат.
Хронология событий, связанных с 
теорией информации,
сжатием данных, 
кодами коррекции ошибок и смежных дисциплин:
- 1872 — Людвиг Больцман представляет свою H-теорему, а вместе с этим формулу Σpi log pi для энтропии одной частицы газа.
- 1878 — Джозайя Уиллард Гиббс, определяет энтропию Гиббса: вероятности в формуле энтропии теперь взяты как вероятности состояния целой системы.
- 1924 — Гарри Найквист рассуждает о квантификации «Интеллекта» и скорости, на которой это может быть передано системой коммуникации.
- 1927 — Джон фон Нейман определяет фон Неймановскую энтропию, расширяя Гиббсовскую энтропию в квантовой механике.
- 1928 — Ральф Хартли представляет формулу Хартли как логарифм числа возможных сообщений, с информацией, передаваемой, когда приёмник может отличить одну последовательность символов от любой другой.
- 1929 — Лео Силард анализирует демона Максвелла, показывают, как двигатель Szilard может иногда преобразовывать информацию в извлечение полезной работы.
- 1940 — Алан Тьюринг представляет deciban как единицу измерения информации в немецкой машине Энигма с настройками, зашифрованными процессом Banburismus.
- 1944 — теория информации Клода Шеннона в основном завершена.
- 1947 — Ричард Хемминг изобретает Код Хемминга для обнаружения ошибок и их исправления, но не публикует их до 1950 года.
- 1948 — Клод Шеннон публикует Математическую теорию связи
- 1949 — Клод Шеннон публикует Передачу Информации в виде шумов, в которой описаны Теорема отсчётов и Теорема Шеннона — Хартли.
- 1949 — Рассекречена Теория связи в секретных системах Клода Шеннона.
- 1949 — Роберт Фано опубликовал отчет, в котором независимо от Клода Шеннона описан Алгоритм Шеннона — Фано.
- 1949 — опубликовано Неравенство Крафта — Макмиллана.
- 1949 — Марсель Голей вводит коды Голея для исправления ошибок методом упреждения.
- 1950 — Ричард Хемминг публикует коды Хемминга для исправления ошибок методом упреждения.
- 1951 — Соломон Кульбак и Ричард Лейблер вводят понятие расстояния Кульбака-Лейблера.
- 1951 — Дэвид Хаффман изобретает кодирование Хаффмана, метод нахождения оптимальных префиксных кодов для сжатия данных без потерь.
- 1953 — опубликован Sardinas–Patterson algorithm.
- 1954 — Ирвинг Рид и Дэвид E. Мюллер вводит коды Рида-Мюллера.
- 1955 — Питер Элиас вводит свёрточные коды.
- 1957 — Юджин Прандж первый обсуждает циклический избыточный код.
- 1959 — Алексис Хоквингем, и самостоятельно в следующем году Радж Чандра Боуз и Двайджендра Камар Рей-Чоудхури, представляют коды Боуза-Чоудхури-Хоквингема (БЧХ-коды).
- 1960 — Ирвинг Рид и Густав Соломон вводят коды Рида-Соломона.
- 1962 — Роберт Галлагер предлагает код с малой плотностью проверок на чётность; их не использовали в течение 30 лет из-за технических ограничений.
- 1966 — опубликована статья Дэвида Форнея Concatenated error correction code.
- 1967 — Эндрю Витерби открывает алгоритм Витерби, делающий возможным декодирование свёрточных кодов.
- 1968 — Элвин Берлекэмп изобретает алгоритм Берлекэмпа — Мэсси; его применение к расшифровке БЧХ-кодов и кода Рида-Соломона, указанный Джеймсом Мэсси в последующем году.
- 1968 — Крис Уоллис и Дэвид М. Бутон издают первый из многих докладов о Сообщениях минимальной длины (СМД) — их статистический и индуктивный вывод.
- 1972 — опубликована статья о Justesen code.
- 1973 — Дэвид Слепиан и Джек Волф открывают и доказывают Код Слепиана-Вольфа, кодирующего пределы распределённого источника кодирования.
- 1976 — Готфрид Унгербоэк публикует первую статью о Треллис-модуляции.
- 1976 — Йорма Риссанен разрабатывает и позднее патентует арифметическое кодирование для IBM.
- 1977 — Абрахам Лемпель и Яаков Зив разрабатывают алгоритм сжатия Лемпеля-Зива (LZ77)
- 1982 — Готфрид Унгербоэк публикует более подробное описание Треллис-модуляции, что приводит к увеличению скорости аналогового модема старой обычной телефонной службы от 9.6 кбит/сек до 36 кбит/сек.
- 1989 — Фил Кац создаёт .zip формат, включая формат сжатия DEFLATE ; позже это становится наиболее широко используемым алгоритмом сжатия без потерь.
- 1993 — Клод Берроу, Алэйн Главиукс и Punya Thitimajshima вводят понятие Турбо-кодов.
- 1994 — Майкл Барроуз и Дэвид Уилер публикуют теорию преобразования Барроуза-Уилера, которая далее найдет своё применение в bzip2.
- 1995 — Benjamin Schumacher предложил термин Кубит.
- 1998 — предложен Fountain code.
- 2001 — описан алгоритм Statistical Lempel–Ziv.
- 2008 — Erdal Arıkan предложил Полярные коды.
Теорема Шеннона — Хартли в теории информации — применение теоремы кодирования канала с шумом к архетипичному случаю непрерывного временно́го аналогового канала коммуникаций, искажённого гауссовским шумом. Теорема устанавливает шенноновскую ёмкость канала, верхнюю границу максимального количества безошибочных цифровых данных, которое может быть передано по такой связи коммуникации с указанной полосой пропускания в присутствии шумового вмешательства, согласно предположению, что мощность сигнала ограничена, и гауссовский шум характеризуется известной мощностью или спектральной плотностью мощности. Закон назван в честь Клода Шеннона и Ральфа Хартли.
Сэр Рудольф Эрнст Па́йерлс — английский физик-теоретик немецкого происхождения.
Лев Матве́евич Финк — советский учёный в области теории связи и теории передачи сигналов. Доктор технических наук, профессор. Лауреат Сталинской премии первой степени. Внёс фундаментальный вклад в теорию оптимального приёма и теорию потенциальной помехоустойчивости.
«Математическая теория связи» — статья, опубликованная Клодом Шенноном в 1948 году в реферативном журнале американской телефонной компании «Bell System» и сделавшая его всемирно известным. Содержит в себе большое количество инновационных и плодотворных идей, эта работа инициировала многие научные исследования по всему миру, продолжающиеся по сей день, положив начало развитию методов обработки, передачи и хранения информации.
Теория потенциальной эффективности — это синтез теории надежности, теории информации и теории игр, наследница междисциплинарной кибернетики — с той же областью определения, но построенная на единой концептуальной и математической основе. Основное понятие — эффективность, обобщая понятия надежности, помехоустойчивости и управляемости, определяется как вероятность достижения цели при ограниченных ресурсах. Фундаментальное понятие — целенаправленный выбор. Основные требование к моделям — конструктивность и вероятностная осуществимость инженерных систем. Впервые сформулирована Б. С. Флейшманом в книге «Элементы теории потенциальной эффективности сложных систем» (1971). Соотношения теории потенциальной эффективности были использованы им для оценки потенциальной эффективности сложных инженерных и экологических систем.
