Канал связи и пропускная способность

Каждый раз, когда телефон переключается между 4G и Wi-Fi, алгоритм вычисляет нечто близкое к формуле Шеннона. Эта формула из 1948 года управляет 5G, Wi-Fi 6 и спутниковыми каналами Starlink.

• **5G NR** использует polar-коды, теоретически достигающие предела Шеннона. Ограничение - полоса и SNR, не алгоритм кодирования.
• **Undersea cables** (трансатлантические оптические кабели) работают вблизи предела Шеннона благодаря WDM и передовым кодам.
• **Deep Space Network** NASA использует LDPC и polar-коды для связи с зондами - каждый бит на счету при мощности в несколько ватт на миллиарды км.

Предварительные знания

• KL-Divergence and Cross-Entropy

Модель канала

Канал связи - это математическая модель «шумной трубы»: отправитель посылает символ X, получатель получает Y, но из-за шума Y может отличаться от X. Канал описывается условной вероятностью p(Y|X). Простейший пример: бинарный симметричный канал (BSC) с параметром ошибки p - каждый бит переворачивается независимо с вероятностью p.

**Канал без памяти (DMC):** p(y₁,...,yₙ | x₁,...,xₙ) = ∏p(yᵢ|xᵢ). Ключевые виды: BSC(p) - бинарный симметричный, BEC(ε) - бинарный стирающий (стирает бит с вероятностью ε), AWGN - аналоговый канал с белым гауссовым шумом.

Пропускная способность канала

Пропускная способность C - максимум взаимной информации I(X;Y) по всем возможным входным распределениям. Для BSC(p): C = 1 - H(p). При p=0 (идеальный) C=1, при p=0.5 (максимальный шум) C=0, при p=1 (инвертор) C=1 снова - перевернул все биты и всё.

**Ёмкость канала:** C = max_{p(x)} I(X;Y) бит/использование. BSC(p): C = 1 − H_b(p). BEC(ε): C = 1 − ε. AWGN (мощность P, шум N₀/2): C = ½ log₂(1 + 2P/N₀).

Теорема Шеннона о шумном канале

Главный результат Шеннона звучит парадоксально: по шумному каналу можно передавать данные с сколь угодно малой вероятностью ошибки - достаточно, чтобы скорость передачи R была меньше C. Ключ - в кодировании: правильный код превращает шумный канал в надёжный. Шеннон доказал существование такого кода, но не показал, как его построить.

**Теорема Шеннона (1948):** Для любого канала с ёмкостью C, скорости R < C и δ > 0 существует код длины n такой, что скорость R_n ≥ R и вероятность ошибки P_e ≤ δ. При R > C: P_e → 1 при n → ∞.

Формула Шеннона-Хартли

Для непрерывного AWGN-канала: C = B·log₂(1 + S/N), где B - ширина полосы (Гц), S/N - соотношение сигнал/шум. Формула объясняет, почему Wi-Fi 6 быстрее Wi-Fi 4: более широкая полоса (B↑) и лучшее SNR благодаря MIMO. При фиксированной полосе удвоение SNR прибавляет лишь B бит/с - логарифм!

**Формула Шеннона-Хартли:** C = B log₂(1 + SNR) бит/с. Вывод: при больших SNR полоса важнее мощности. Удвоение B удваивает C; удвоение SNR прибавляет только B·log₂(2/(1+1/SNR)) ≈ B бит/с.

Ключевые идеи

• **Канал** описывается p(Y|X). BSC(p) - бит флипается с вероятностью p; BEC(ε) - стирается; AWGN - гауссов шум.
• **Пропускная способность** C = max I(X;Y). BSC(p): C = 1−H(p); BEC(ε): C = 1−ε; AWGN: C = B log₂(1+SNR).
• **Теорема Шеннона:** при R < C существует код с P_e → 0; при R > C любой код даёт P_e → 1.
• **Формула Шеннона-Хартли:** C = B log₂(1+SNR). Полоса важнее мощности при высоком SNR.

Связанные темы

Теория каналов - основа для кодирования с исправлением ошибок:

• Коды с исправлением ошибок — Практическая реализация: коды, приближающиеся к пределу Шеннона
• Типичные последовательности и AEP — Математический инструмент для доказательства теоремы о кодировании
• Network Information Theory — Многопользовательские каналы: broadcast, MAC, relay

Вопросы для размышления

• Теорема Шеннона гарантирует существование хорошего кода, но не говорит, как его построить. Почему поиск практических кодов занял 50 лет?
• При каком условии удвоение полосы даёт больший выигрыш, чем удвоение мощности? Когда ситуация обратная?
• Почему BSC(0.5) полностью бесполезен, а BSC(1) - нет, хотя и тот и другой кажутся «сломанными»?

Связанные уроки

• prob-10-continuous
• dsp-05