Введение в ряды

Цели урока

• Понять, что такое числовой ряд и частичные суммы
• Освоить понятия сходимости и расходимости ряда
• Вывести формулу суммы геометрического ряда
• Доказать расходимость гармонического ряда
• Применять признак Лейбница для знакочередующихся рядов

Предварительные знания

• Последовательности и их пределы
• Арифметическая и геометрическая прогрессии
• Понятие предела: $\lim_{n \to \infty} a_n$
• Свойства пределов: сумма, произведение

Зенон Элейский 2500 лет назад доказал, что Ахиллес никогда не догонит черепаху. Логика железная: сначала добеги до места, где была черепаха, потом до следующего - и так бесконечно. Бесконечно много шагов = никогда. Математики смеялись над парадоксом 2000 лет. Потом посчитали: $\frac{1}{2} + \frac{1}{4} + \frac{1}{8} + \ldots = 1$. Бесконечно много слагаемых. Конечная сумма. Зенон был неправ - и именно это открытие лежит в основе того, как PyTorch вычисляет $\sin x$, как JPEG сжимает изображение, как Adam накапливает градиенты во время обучения GPT.

• **PyTorch `torch.sin(x)`**: внутри - ряд Тейлора $x - x^3/6 + x^5/120 - \ldots$, первые 10 членов дают точность $10^{-15}$. Бесконечный ряд, усечённый до конечного числа членов - именно так CPU считает тригонометрию
• **Adam optimizer**: момент $m_t = \beta_1 m_{t-1} + (1-\beta_1)g_t$ - это геометрический ряд градиентов. При $\beta_1 = 0.9$ слагаемые убывают как $0.9^k$, сумма сходится - вот почему обучение стабилизируется
• **JPEG-сжатие**: изображение раскладывается в ряд Фурье - сумму косинусов с разными частотами. Отбрасывают члены с малым коэффициентом. Ряд из 8x8=64 членов описывает блок из 64 пикселей
• **Базельская проблема Эйлера**: $\sum_{n=1}^\infty \frac{1}{n^2} = \frac{\pi^2}{6} \approx 1.6449$ - формула 1735 года, которую используют в статистике и квантовой физике
• **Непрерывное начисление процентов**: $e^r = \lim_{n \to \infty}(1 + r/n)^n = 1 + r + r^2/2! + \ldots$ - каждый банк, каждая модель дисконтирования считает через этот ряд

Зенон, Архимед и бесконечность

Зенон Элейский (~450 до н.э.) сформулировал парадоксы о бесконечном делении: как Ахиллес может догнать черепаху, если ему нужно пройти бесконечно много отрезков? Архимед (~250 до н.э.) фактически вычислял суммы рядов для нахождения площадей. Но строгую теорию создали только в XIX веке. А в 1735 году Эйлер решил знаменитую Базельскую проблему: $\sum \frac{1}{n^2} = \frac{\pi^2}{6}$, поразив математический мир.

Бесконечная сумма с конечным ответом

Бесконечная сумма с конечным ответом

Зенон прав: если складывать числа одно за другим, процесс не закончится. Но мы не складываем - мы берём **предел**. Вот чем ряд отличается от простой суммы.

Полпути, четверть, восьмая, шестнадцатая... После каждого шага до стены остаётся ровно половина от предыдущего. Члены становятся меньше. Быстро. Асимптотически:

Сумма не может превысить 1 - каждый следующий шаг добавляет меньше, чем не хватает до 1. И в точности равна 1. Не "примерно", не "стремится к" - **равна**. Это не интуиция, это теорема. Проверяется через предел частичных сумм.

**Парадокс Зенона и Adam optimizer**. Та же структура, что у этого ряда, живёт в Adam - самом популярном оптимизаторе в ML. Момент $m_t = 0.9 \cdot m_{t-1} + 0.1 \cdot g_t$ разворачивается в ряд: $m_t = 0.1 g_t + 0.1 \cdot 0.9 \cdot g_{t-1} + 0.1 \cdot 0.9^2 \cdot g_{t-2} + \ldots$ Геометрический ряд со знаменателем $q = 0.9 < 1$. Сходится - значит, оптимизатор стабилен.

Определение числового ряда

**Числовой ряд** - это выражение вида:

Здесь $a_n$ - **члены ряда**. Сложить бесконечно много чисел буквально нельзя. Поэтому сумму ряда определяют через предел. Ряд = не сложение, а процесс, у которого есть предельное состояние.

Частичные суммы - ключ к пониманию

**Частичная сумма** $S_n$ - сумма первых $n$ членов:

• $S_1 = a_1$ - только первый член
• $S_2 = a_1 + a_2$ - первые два
• $S_3 = a_1 + a_2 + a_3$ - первые три
• $S_n = a_1 + a_2 + \ldots + a_n$ - первые $n$ членов

Частичные суммы образуют **последовательность** $S_1, S_2, S_3, \ldots$ - и здесь включается теория из предыдущего урока. Если эта последовательность сходится - ряд сходится.

Предел существует и конечен - ряд **сходится**. Предел бесконечен или не существует - ряд **расходится**.

Геометрический ряд - главный герой

Геометрический ряд - главный герой

Пример выше - частный случай **геометрического ряда**: каждый член получается умножением предыдущего на знаменатель $q$. Этот ряд встречается в ML буквально везде - экспоненциальные скользящие средние в Adam, cosine LR decay, discounting в reinforcement learning.

Для него есть **точная замкнутая формула**. При $|q| < 1$:

Когда геометрический ряд расходится?

Формула работает **только при $|q| < 1$**. Что происходит при $|q| \geq 1$ - это те же три режима расходимости, что у последовательностей:

• $q = 1$: $1 + 1 + 1 + 1 + \ldots = \infty$ - убегание. В ML: learning rate слишком велик, loss взрывается
• $q = -1$: $1 - 1 + 1 - 1 + \ldots$ - колебания между 0 и 1, предела нет. В ML: оптимизатор прыгает через минимум
• $q = 2$: $1 + 2 + 4 + 8 + \ldots = \infty$ - экспоненциальный взрыв
• $q = -2$: $1 - 2 + 4 - 8 + \ldots$ - колебания с растущей амплитудой. Нестабильное обучение.

Условие $|q| < 1$ - это ровно то условие, которое математики ставят на learning rate в теории сходимости SGD. Коэффициент $q$ в геометрическом ряде и коэффициент сокращения в итерации градиентного спуска - один и тот же объект.

Гармонический ряд - коварный сюрприз

Гармонический ряд - коварный сюрприз

Члены убывают, убывают, убывают - казалось бы, сумма должна быть конечной. Вот контрпример, который ломает эту интуицию:

Члены стремятся к нулю: $\frac{1}{n} \to 0$. Кажется, ряд сойдётся. **Нет.** Гармонический ряд расходится - его сумма бесконечна. Это самый важный контрпример в математическом анализе. Запомните его.

Гармонический ряд растёт как $\ln n$. Чтобы сумма превысила 10, нужно ~12000 членов. Чтобы превысила 20 - ~270 миллионов. Но в конечном счёте она превысит любое число.

Обобщённый гармонический ряд (p-ряд)

Граница проходит ровно по $p = 1$. При $p = 2$ сумма равна $\frac{\pi^2}{6}$ - знаменитая **Базельская проблема**, решённая Эйлером в 1735 году. Этот результат появляется в дисперсии распределения Коши, в энергетических уровнях атома, в статистике экстремальных значений.

Знакочередующиеся ряды

Знакочередующиеся ряды

Гармонический ряд расходится. Но если чередовать знаки - сходится. Это не закономерно. Чередование знаков "компенсирует" медленное убывание членов - частичные суммы скачут вокруг предела, с каждым шагом всё ближе:

**Признак Лейбница**. Если члены ряда: 1. Чередуют знак: $a_1 - a_2 + a_3 - a_4 + \ldots$ 2. Убывают по модулю: $|a_{n+1}| < |a_n|$ 3. Стремятся к нулю: $a_n \to 0$ То ряд **сходится**.

**Опасность перестановок!**. Нельзя переставлять члены условно сходящегося ряда! Ряд $1 - \frac{1}{2} + \frac{1}{3} - \frac{1}{4} + \ldots = \ln 2$, но перестановкой членов можно получить **любое число** или даже бесконечность. Это теорема Римана о перестановках. В ML: перемешивание данных в батчах не меняет сумму потерь - но перемешивание членов ряда меняет его сумму.

Практика

Практика

Связь с другими темами

Ряды - мост между дискретным и непрерывным

• Последовательности — Частичные суммы - это последовательность
• Пределы функций — Сумма ряда - это предел
• Интегралы — Интегральный признак сходимости
• Ряд Тейлора — Разложение функций в ряды - как PyTorch считает sin(x)

Итоги

• **Ряд** - бесконечная сумма, определяемая как предел частичных сумм $S_n \to S$
• **Геометрический ряд**: $\sum q^n = \frac{1}{1-q}$ при $|q| < 1$ - основа Adam, cosine decay, discounting в RL
• **Гармонический ряд** $\sum \frac{1}{n}$ расходится, несмотря на $a_n \to 0$: самый важный контрпример анализа
• **p-ряд**: сходится при $p > 1$, расходится при $p \leq 1$. При $p = 2$: $\sum 1/n^2 = \pi^2/6$
• **Признак Лейбница**: знакочередование + убывание + $a_n \to 0$ ⇒ ряд сходится
• **Осторожно с перестановками**: условно сходящийся ряд можно переупорядочить до любой суммы

Вопросы для размышления

• Почему необходимое условие ($a_n \to 0$) не является достаточным?
• Adam использует $\beta_1 = 0.9$. Какой геометрический ряд это порождает и какова его сумма?
• Как ряды связаны с вычислением $\pi$, $e$ и других констант?
• Почему перестановка членов условно сходящегося ряда может изменить сумму?

Связанные уроки

• prob-14-generating-functions