Бит — единица измерения количества информации. 1 бит информации — символ или сигнал, который может принимать два значения: включено или выключено, да или нет, высокий или низкий, заряженный или незаряженный; в двоичной системе исчисления это 1 (единица) или 0 (ноль). Это минимальное количество информации, которое необходимо для ликвидации минимальной неопределенности.
Единицы измерения информации служат для измерения различных характеристик, связанных с информацией.
Энтропи́я — широко используемый в естественных и точных науках термин, обозначающий меру необратимого рассеивания энергии или бесполезности энергии. Для понятия энтропии в данном разделе физики используют название термодинамическая энтропия; термодинамическая энтропия обычно применяется для описания равновесных (обратимых) процессов.
Информацио́нная энтропи́я — мера неопределённости некоторой системы, в частности, непредсказуемость появления какого-либо символа первичного алфавита. В последнем случае при отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения.
В алгоритмической теории информации колмогоровская сложность объекта есть мера вычислительных ресурсов, необходимых для точного определения этого объекта.
Код — взаимно однозначное отображение конечного упорядоченного множества символов, принадлежащих некоторому конечному алфавиту, на иное, не обязательно упорядоченное, как правило более обширное множество символов для кодирования передачи, хранения или преобразования информации.
Расстояние Ку́льбака — Ле́йблера, РКЛ, информационное расхождение, различающая информация, информационный выигрыш, относительная энтропия — неотрицательнозначный функционал, являющийся несимметричной мерой удалённости друг от друга двух вероятностных распределений, определённых на общем пространстве элементарных событий. Часто применяется в теории информации и математической статистике.
Собственная информация — статистическая функция дискретной случайной величины.
Формула Хартли определяет количество информации, содержащееся в сообщении длины n.
Избыточность информации — термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же время контрольная сумма применяется для внесения дополнительной избыточности в поток, что позволяет производить исправление ошибок при передаче информации по каналам, вносящим искажения.
Дифференциальная энтропия — формальное обобщение понятия информационной энтропии Шеннона для случая непрерывной случайной величины. В теории информации интерпретируется как средняя информация непрерывного источника. В случае одномерной случайной величины определяется как
бит
Энтропия языка — статистическая функция текста на определённом языке либо самого языка, определяющая количество информации на единицу текста.
Избыточность языка — статистическая величина, обозначающая избыточность информации, содержащейся в тексте на определённом языке.
В теории информации энтропия Реньи — обобщение энтропии Шеннона — является семейством функционалов, используемых в качестве меры количественного разнообразия, неопределённости или случайности некоторой системы. Названа в честь Альфреда Реньи.
Сло́жность паро́ля — мера оценки времени, которое необходимо затратить на угадывание пароля или его подбор каким-либо методом, например, методом полного перебора. Оценка того, как много попыток (времени) в среднем потребуется взломщику для угадывания пароля. Другое определение термина — функция от длины пароля, его запутанности и непредсказуемости.
Расстояние единственности — число символов шифртекста, при которых условная информационная энтропия ключа равна нулю, а сам ключ определяется однозначно.
Логотип последовательностей — метод графического представления консервативности нуклеотидов или аминокислот. Логотип строится по набору выровненных последовательностей. Этот метод позволяет на одном графике отразить следующие характеристики анализируемого участка:
- консенсусную последовательность выравнивания;
- относительные частоты встречаемости элементов в каждой позиции последовательности;
- информационное содержание каждой позиции в последовательности ;
- наличие специфического локуса.
Семантическая информация — смысловой аспект информации, отражающий отношение между формой сообщения и его смысловым содержанием.
Перплексия в теории информации — безразмерная величина, мера того, насколько хорошо распределение вероятностей предсказывает выборку. Перплексия может использоваться для сравнения качества статистических моделей. Низкий показатель перплексии указывает на то, что распределение вероятности хорошо предсказывает выборку.
Кодирование по Танстеллу — форма энтропийного кодирования, используемая для сжатия данных без потерь.
