Теоремы Шеннона для канала с шумами

Теоремы Шеннона для канала с шумами (теоремы Шеннона для передачи по каналу с шумами) связывают пропускную способность канала передачи информации и существование кода, который возможно использовать для передачи информации по каналу с ошибкой, стремящейся к нулю (при увеличении длины блока).

Пусть

• ${\displaystyle K}$ — длина блока, генерируемого источником
• ${\displaystyle L}$ — длина блока, который будет передан по каналу (после кодирования)
• ${\displaystyle R}$ — скорость передачи сообщений (производительность источника)

${\displaystyle R=K/L}$

• ${\displaystyle C}$ — пропускная способность канала, определяемая как максимум взаимной информации на входе и выходе канала (${\displaystyle X}$ и ${\displaystyle Y}$ — представление входа и выхода канала как случайных величин)

${\displaystyle C=\max({I(X;Y)})}$

• ${\displaystyle P_{er}}$ — средняя вероятность ошибки декодирования блока
• ${\displaystyle P_{er,max}}$ — максимальная вероятность ошибки декодирования блока

${\displaystyle {P}_{er,max}=\max \limits _{1\leqslant s\leqslant M}P_{er}}$

Прямая теорема

Если скорость передачи сообщений меньше пропускной способности канала связи (${\displaystyle R<C}$), то существуют коды ${\displaystyle \left\{{{\vec {x_{1}}},{\vec {x_{2}}},...,{\vec {x_{M}}}}\right\}}$ и методы декодирования такие, что средняя и максимальная вероятности ошибки декодирования стремятся к нулю, когда длина блока стремится к бесконечности, то есть ${\displaystyle P_{er}\to 0}$, ${\displaystyle P_{er,\max }\to 0}$ при ${\displaystyle L\to \infty }$.

Иными словами: Для канала с помехами всегда можно найти такую систему кодирования, при которой сообщения будут переданы со сколь угодно большой степенью верности, если только производительность источника не превышает пропускной способности канала.

Обратная теорема

Если скорость передачи больше пропускной способности, то есть ${\displaystyle R>C}$, то не существует таких способов передачи, при которых вероятность ошибки стремится к нулю (${\displaystyle P_{er}\to 0}$) при увеличении длины передаваемого блока, (${\displaystyle L\to \infty }$).

Под пределом Шеннона (англ. Shannon limit) понимается максимальная скорость передачи, для которой имеется возможность (выбрать сигнально-кодовую конструкцию) исправить ошибки в канале с заданным отношением сигнал/шум. Для канала с аддитивным белым гауссовским шумом пропускная способность согласно формуле Шеннона:

${\displaystyle C=\Delta F\cdot \log _{2}\left(1+{\frac {P_{s}}{P_{n}}}\right)=\Delta F\cdot \log _{2}\left(1+{\frac {P_{s}}{N_{0}F}}\right)}$,

где

• ${\displaystyle \Delta F}$ — полоса частот канала, Гц,
• ${\displaystyle P_{s}}$ — мощность сигнала, Вт,
• ${\displaystyle P_{n}}$ — мощность шума, Вт,
• ${\displaystyle N_{0}}$ — спектральная плотность мощности шума, Вт/Гц.

Максимальная пропускная способность канала с АБГШ и неограниченным спектром:

${\displaystyle C_{\infty }=\lim _{F\to \infty }C=\lim _{F\to \infty }F\cdot \log _{2}e\cdot \ln \left(1+{\frac {P_{s}}{N_{0}F}}\right)=\lim _{F\to \infty }F\cdot {\frac {P_{s}}{N_{0}F}}\log _{2}e={\frac {P_{s}}{N_{0}}}\log _{2}e\approx {\frac {P_{s}}{N_{0}}}\cdot 1,443}$ бит/с.

В настоящее время (2007 год) максимальное приближение к этому пределу даёт LDPC-код с примерной длиной блока в 10 миллионов бит.

Также, с другой стороны, под пределом Шеннона можно понимать минимальное отношение сигнал/шум, для которого теоретически возможно безошибочная передача и декодирование блока с заданной скоростью. Например, для вида модуляции QPSK и скорости передачи 1 (бит/с)/символ минимальное отношение сигнал/шум составляет 0,25 дБ.

• Габидулин Э. М., Пилипчук Н. И. Лекции по теории информации — МФТИ, 2007. — 214 с. — ISBN 978-5-7417-0197-3
• Варгаузин, В.А., Цикин, И.А. Методы повышения энергетической и спектральной эффективности цифровой радиосвязи - СПб.: БХВ-Петербург, 2013 - 352 с. - ISBN 978-5-9775-0878-0