Теория информации
Пропускная способность канала
Цели урока
- Определить пропускную способность C = max I(X;Y) и вычислить её для AWGN
- Сформулировать теорему кодирования по каналу в обоих направлениях
- Понять водопадное заполнение для параллельных каналов и OFDM
- Различить эрготическую ёмкость и ёмкость при вероятности сбоя для замирающих каналов
Предварительные знания
- Теория скорость-искажение
- Взаимная информация
- Каналы с шумом
Сколько бит в секунду можно надёжно передать по каналу с заданным SNR? Как оптимально распределить мощность между несколькими поднесущими?
- 5G NR при 100 МГц и 30 дБ SNR: C ~ 1 Гбит/с - все современные стандарты работают вблизи этой границы
- Wi-Fi 6 с 1024-QAM: адаптивная модуляция реализует водопадное заполнение в реальном времени
- Оптические линии 400 Гбит/с: работают в 2 дБ от предела Shannon для волоконного канала
- Полярные коды в 5G: первая конструкция, теоретически достигающая C на любом симметричном канале
От телефона до 5G: 75 лет одной формулы
1948 год - Шеннон публикует 'A Mathematical Theory of Communication'. Харли (1928) определил информацию как log n, но не учёл шум. Шеннон добавил шум - и получил C = 1/2 * log(1 + SNR). Хэмминг в том же году строит первый корректирующий код. Следующие 60 лет инженеры строят коды, стремящиеся к границе: турбо-коды (Berrou, 1993), LDPC (Gallager 1960, переоткрыты 1995), полярные коды (Arikan, 2008). В 2016 году полярные коды вошли в стандарт 5G NR - первая технология, теоретически достигающая пропускной способности.
Пропускная способность и теорема Shannon
1948 год. Bell Labs. Клод Шеннон публикует 'A Mathematical Theory of Communication'. В 55 страницах - весь фундамент цифровой связи. Центральный результат: для любого канала с шумом существует предел C, ниже которого надёжная передача возможна, выше - нет. Никакого компромисса. Жёсткая граница.
5G NR использует OFDM с 3300 поднесущими шириной 30 кГц каждая. Каждая - отдельный AWGN-канал. Суммарная пропускная способность: сумма C_i по всем поднесущим. Именно поэтому 5G адаптирует модуляцию от QPSK до 256-QAM в зависимости от SNR каждой поднесущей - waterpouring по частоте.
Коэффициент 1/2 в формуле для вещественного AWGN - не случайность. Вещественный гауссов канал использует только одну квадратуру. Комплексный базовополосный канал: C = log2(1 + P/N). Именно поэтому современные стандарты работают с I/Q-модуляцией.
Чему равна пропускная способность AWGN-канала с мощностью P и мощностью шума N?
Формула Shannon-Hartley: C = 1/2 * log2(1 + SNR) бит/использование. При SNR=10 (10 дБ): C = 1/2 * log2(11) ~ 1.73 бит/использование. Достигается гауссовым входом.
Теорема кодирования по каналу
До Шеннона инженеры думали: надёжность и скорость находятся в прямом противоречии. Хочешь надёжнее - добавляй избыточность и снижай скорость. Шеннон доказал: это неверно. До скорости C можно передавать с сколь угодно малой вероятностью ошибки. Парадокс разрешается длиной блока: нужен большой n.
Полярные коды: первое достижение C
Эрдал Арыкан в 2008 году доказал: полярные коды при n -> inf достигают пропускной способности любого симметричного двоичного канала. Это первая явная (не случайная) конструкция, теоретически достигающая C. В 2016 году 3GPP принял полярные коды для управляющих каналов 5G NR. SCL-декодирование (Successive Cancellation List) обеспечивает практическую производительность при блоке 512-1024 бита.
Что означает теорема кодирования по каналу при R > C?
Обратная часть теоремы: при R > C любой код имеет P_e >= 1 - C/R - 1/n > 0. Это жёсткая граница - никакое увеличение n не поможет.
Пределы на мощность: водопадное заполнение по частоте
Реальные каналы - не AWGN с плоским спектром. Wi-Fi работает в ISM-полосе с замираниями и интерференцией. Оптическое волокно имеет дисперсию. Мобильная связь - многолучевое распространение. Общий принцип - тот же: водопадное заполнение по частоте или по пространственным модам.
OFDM-адаптация в 802.11ax (Wi-Fi 6): 256 поднесущих, каждая с независимым SNR из-за многолучевого распространения. Водопадный алгоритм распределяет биты и мощность: поднесущие с SNR < 5 дБ получают QPSK (2 бит), при SNR > 35 дБ - 1024-QAM (10 бит). Суммарная ёмкость при 80 МГц канале достигает 600 Мбит/с - это и есть водопадное заполнение в реальном времени.
Двойственность R(D) и C: задача source coding - снизить R при заданном D; задача channel coding - передать при заданном C. Совместное source-channel coding теоремой разделяется: оптимально сначала сжать до R(D), затем закодировать для канала с пропускной способностью C. Разделение оптимально для стационарных источников и каналов.
При водопадном заполнении что происходит с каналом, у которого уровень шума N_k > mu?
p_k* = max(0, mu - N_k). При N_k > mu: p_k* = 0. Нет смысла тратить мощность на очень зашумлённый канал - лучше отдать её другим. Именно поэтому OFDM-системы выключают поднесущие с плохим SNR.
За пределами AWGN: реальные каналы
AWGN - идеализация. Реальный 5G-канал - замирания Релея, допплеровский сдвиг, интерференция от соседних базовых станций. Для таких каналов понятие 'пропускная способности' усложняется: каждый момент времени C(t) разный. Возникает два понятия: эрготическая ёмкость и ёмкость при вероятности сбоя.
LTE и 5G: C в реальной сети
LTE Category 20 при 4x4 MIMO, 5 CA (aggregated carriers) и 256-QAM: теоретический пик 2 Гбит/с. Реальная скорость в сети - 50-300 Мбит/с. Разница: кодовая скорость 0.93, overhead на управляющие каналы, замирания, интерференция соседних ячеек. 5G mmWave при 400 МГц полосе и SNR 40 дБ: теоретически C ~ 5 Гбит/с, на практике в помещении - 1-2 Гбит/с с учётом всех потерь.
Чем отличается эрготическая ёмкость от ёмкости при вероятности сбоя для замирающего канала?
Fast fading: блок покрывает много замираний - усредняется. Slow fading: канал постоянен за блок - нужно обеспечить надёжную скорость в (1-epsilon) случаев. Это разные операционные режимы с разными метриками.
Связь с другими темами
Пропускная способность соединяет теорию информации с практикой. В математическом плане C = max I(X;Y) - это двойственная задача к R(D) = min I(X;X-hat). Доказательство теоремы использует AEP и метод типичных последовательностей. В инженерии: формула C = 1/2 * log(1 + SNR) определяет предел для всех стандартов - от телефонии до 5G. Водопадное заполнение - оптимальный алгоритм для OFDM, аналог water-filling в R(D). Полярные коды и LDPC-коды - практические реализации теоремы кодирования.
- Related concepts — Связанная тема
Итоги
- C = max_{p(x)} I(X;Y): пропускная способность - свойство канала, не кодека
- AWGN: C = 1/2 * log2(1 + P/N), достигается гауссовым входом
- Теорема кодирования: R < C => P_e -> 0; R > C => P_e ограничена снизу
- Водопадное заполнение: оптимальная мощность p_k* = max(0, mu - N_k) для параллельных каналов
Вопросы для размышления
- Почему теорема кодирования по каналу не противоречит интуиции 'шум = потеря информации'?
- Как водопадное заполнение по частоте связано с водопадным распределением в R(D)-теории?
- Что ограничивает реальные 5G-системы от работы точно на границе Shannon?