Нат (теория информации)

Единицы измерения информации бит, нат, трит и Хартдит (децит)

Нат — одна из единиц измерения информации. Определяется через натуральный логарифм, в отличие от других единиц, где основание логарифма является целым числом. Нат равен log₂e ≈ 1,443 бит^[1].

Применяется в теории информации (см.: собственная информация), в математической лингвистике, а также для исчисления энтропии в термодинамике и эконометрике.

По смыслу единица измерения нат эквивалентна неперу (для силовых величин), и может пониматься как количество информации в системе по отношению к элементарной системе, содержащей одно состояние. Отличие состоит лишь в том, что непер традиционно имеет другую область применения (электротехника).

Замена логарифмируемого числа с e на 2, 3, 10, 256 приводит соответственно к нат (натуральным) эквивалентам таких единиц измерения информации, как бит, трит, Хартдит (децит) и байт:

1 бит = ln 2 ≈ 0,693 нат,
1 трит = ln 3 ≈ 1,099 нат,
1 Хартдит (децит) = ln 10 ≈ 2,303 нат,
1 байт = ln 256 ≈ 5,545 нат.

Вариации

Примечания

↑ Сена Л. А. Единицы физических величин и их размерности. - М., Наука, 1977. - c. 278

Методы сжатия

Теория

Информация	Собственная Взаимная Энтропия Сложность Избыточность
Единицы измерения	Бит Нат Ниббл Хартли Формула Хартли

Без потерь

Энтропийное сжатие	Асимметричные системы счисления Алгоритм Хаффмана Адаптивный Алгоритм Шеннона — Фано Алгоритм Шеннона Арифметическое кодирование Интервальное Адаптивное Коды Голомба Дельта Инкрементное кодирование Универсальный код Элиаса Фибоначчи
Словарные методы	RLE Deflate LZ LZ77/LZ78 LZSS LZW LZWL LZO LZMA LZX LZRW LZJB LZT LZ4 Brotli Zstandard Кодирование Танстелла
Прочее	RLE CTW BWT MTF PPM DMC

Аудио

Теория	Свёртка PCM Алиасинг Дискретизация Теорема Котельникова
Методы	LPC LAR LSP WLPC CELP ACELP A-закон μ-закон АДИКМ МДКП Преобразование Фурье Психоакустическая модель
Прочее	Компрессор аудиосигнала Сжатие речи Полосное кодирование

Изображения

Термины	Цветовое пространство Пиксель Субдискретизация насыщенности Артефакты сжатия
Методы	RLE DPCM Фрактальный Вейвлетный EZW SPIHT LP ДКП ПКЛ
Прочее	Битрейт Стандартное тестовое изображение PSNR Квантование

Видео

Термины	Характеристики видео Видеокодек Кадр Типы кадров Качество видео
Методы	Компенсация движения ДКП Квантование Вейвлетный

Похожие исследовательские статьи

Приставки СИ — приставки перед названиями или обозначениями единиц измерения физических величин, применяемые для формирования кратных и дольных единиц, отличающихся от базовой единицы в определённое целое число раз, являющееся степенью числа 10. Десятичные приставки служат для сокращения количества нулей в численных значениях физических величин.

Двоичные (бинарные) приставки — приставки перед наименованиями или обозначениями единиц измерения информации, применяемые для формирования кратных единиц, отличающихся от базовой единицы в определённое целое, являющееся целой положительной степенью числа 2¹⁰, число раз (2¹⁰ = 1024, (2¹⁰)² = 2²⁰ = 1024², (2¹⁰)³ = 2³⁰ = 1024³ и т. д.). Двоичные приставки используются для образования единиц измерения информации, кратных битам и байтам.

Байт — единица хранения и обработки цифровой информации; совокупность битов, обрабатываемая компьютером одновременно. В современных вычислительных системах байт состоит из 8 бит и, соответственно, может принимать одно из 256 различных значений. Однако в истории компьютерной техники существовали решения с иными размерами байта, поэтому иногда в компьютерных стандартах и официальных документах для однозначного обозначения группы из 8 бит используется термин «октет».

Бит — единица измерения количества информации. 1 бит информации — символ или сигнал, который может принимать два значения: включено или выключено, да или нет, высокий или низкий, заряженный или незаряженный; в двоичной системе исчисления это 1 (единица) или 0 (ноль). Это минимальное количество информации, которое необходимо для ликвидации минимальной неопределенности.

Машинное слово — машинно-зависимая и платформозависимая величина, измеряемая в битах или байтах, равная разрядности регистров процессора и/или разрядности шины данных.

Единицы количества информации используются в технике для измерения измерения ёмкости компьютерной памяти и объёма данных, передаваемых по каналам связи. В теории информации также используются для определения количества информации как меры изменения энтропии.

Логари́фм числа $\text{[math]}$ по основанию $\text{[math]}$ определяется как показатель степени, в которую надо возвести основание $\text{[math]}$ , чтобы получить число $\text{[math]}$ . Обозначение: $\text{[math]}$ , произносится: «логарифм $\text{[math]}$ по основанию $\text{[math]}$ ».

Информацио́нная энтропи́я — мера неопределённости некоторой системы, в частности, непредсказуемость появления какого-либо символа первичного алфавита. В последнем случае при отсутствии информационных потерь энтропия численно равна количеству информации на символ передаваемого сообщения.

Не́пер — единица логарифмического отношения физической величины к одноимённой физической величине, принимаемой за исходную. В основе единицы лежит натуральный логарифм. Единица названа в честь шотландского математика Джона Непера.

<span class="mw-page-title-main">Непер, Джон</span> шотландский математик

Джон Не́пер — шотландский математик, один из изобретателей логарифмов, первый публикатор логарифмических таблиц, астроном. 8-й лэрд Мерчистона из клана Непер.

Натуральный логарифм — логарифм по основанию e, где $\text{[math]}$ — трансцендентная константа, равная приблизительно 2,718. Он обозначается как $\text{[math]}$ , $\text{[math]}$ или иногда просто $\text{[math]}$ , если основание $\text{[math]}$ подразумевается. Обычно число $\text{[math]}$ под знаком логарифма вещественное, но можно расширить это понятие и на комплексные числа.

Бит в секунду, бит/с — базовая единица измерения скорости передачи информации, используемая на физическом уровне сетевой модели OSI или TCP/IP.

1024 — натуральное число, расположенное между числами 1023 и 1025. Является десятой степенью двойки.

Ослабле́ние — величина, выражающая понижение амплитуды или мощности сигнала при прохождении его через некоторое устройство или поглощающую среду. Коэффициент ослабления $\text{[math]}$ выражается отношением амплитуды или мощности сигнала на входе $\text{[math]}$ к амплитуде или мощности сигнала на выходе $\text{[math]}$ :

\text{[math]}

Коэффицие́нт переда́чи — отношение приращения некоторой физической величины на выходе некоторой системы $\text{[math]}$ к вызвавшему это приращение приращению на входе этой системы $\text{[math]}$ :

Трит — логарифмическая единица измерения в теории информации, минимальная целая единица измерения количества информации источников с тремя равновероятными сообщениями. Энтропию в 1 трит имеет источник информации с тремя равновероятными состояниями. Проще говоря, по аналогии с битом, который «уменьшает незнание» об исследуемом объекте в два раза, трит «уменьшает незнание» в три раза.

Собственная информация — статистическая функция дискретной случайной величины.

Трайт — единица измерения информации, аналог байта в компьютерах с троичной логикой.

Дифференциальная энтропия — формальное обобщение понятия информационной энтропии Шеннона для случая непрерывной случайной величины. В теории информации интерпретируется как средняя информация непрерывного источника. В случае одномерной случайной величины определяется как

\text{[math]}

бит

История логарифмов как алгебраического понятия прослеживается с античных времён. Идейным источником и стимулом применения логарифмов послужил тот факт, известный ещё во времена Архимеда, что при перемножении степеней с одинаковым основанием их показатели складываются: $\text{[math]}$ .

Эта страница основана на статье Википедии.
Текст доступен на условиях лицензии CC BY-SA 4.0; могут применяться дополнительные условия.
Изображения, видео и звуки доступны по их собственным лицензиям.