Сходимость рядов

Цели урока

• Понять, что такое сходимость бесконечного ряда через частичные суммы
• Освоить признаки Даламбера и Коши для рядов с факториалами и степенями
• Применять интегральный признак для p-рядов
• Работать со знакочередующимися рядами через признак Лейбница
• Различать абсолютную и условную сходимость

Предварительные знания

• Последовательности и пределы
• Введение в ряды
• Несобственные интегралы (для интегрального признака)

• Последовательности
• Введение в ряды
• Определённый интеграл

Adam optimizer использует геометрический ряд по градиентам с $\beta_1 = 0.9$. Эйлер в 1735 году доказал, что $\sum 1/n^2 = \pi^2/6$, а $\sum 1/n$ расходится. Граница между этими двумя мирами - суть теории сходимости.

• Adam/SGD: сходимость оптимизаторов = сходимость рядов
• JPEG2000 wavelet: радиус сходимости определяет качество сжатия
• CPU sin/cos/exp: вычисляются как конечные суммы рядов Тейлора
• Численные методы: оценка погрешности через остаток ряда
• Квантовая механика: ряды теории возмущений в QED

Сходимость рядов: определение и необходимое условие

В Adam optimizer момент первого порядка вычисляется как $m_t = \beta_1 m_{t-1} + (1-\beta_1)g_t$ - это геометрический ряд по градиентам $g_t$. Стандартный $\beta_1 = 0.9$ даёт $L = 0.9 < 1$: ряд сходится, и Adam не "взрывается". Сходимость SGD - это сходимость рядов в действии.

Эйлер в 1735 доказал, что $\sum_{n=1}^{\infty} \frac{1}{n^2} = \frac{\pi^2}{6} \approx 1.6449$. А $\sum \frac{1}{n}$ расходится. Граница проходит точно между ними - это суть всей теории сходимости.

Необходимое условие: гармонический парадокс

Гармонический ряд $\sum \frac{1}{n}$ расходится - хотя $\frac{1}{n} \to 0$. Это контринтуитивный факт: члены стремятся к нулю, но сумма бесконечна. Если сложить $10^{43}$ первых членов, сумма едва превысит 100.

**Теорема**: если ряд $\sum a_n$ сходится, то $\lim_{n \to \infty} a_n = 0$. Обратное неверно: $a_n \to 0$ не гарантирует сходимость.

Гармонический ряд $\sum \frac{1}{n}$ расходится, хотя $\frac{1}{n} \to 0$. В JPEG2000 wavelet-сжатие отбрасывает малые коэффициенты - но если отбрасывать слишком много, качество падает именно из-за этого феномена.

Признаки сходимости положительных рядов

P-ряды $\sum \frac{1}{n^p}$ - эталоны для сравнения. Они встречаются в анализе сложности алгоритмов: время выполнения $O(n^{-p})$ задач суммируется именно так.

Критерий p-ряда

Предельное сравнение

Если $\lim_{n \to \infty} \frac{a_n}{b_n} = L$, где $0 < L < \infty$, то ряды $\sum a_n$ и $\sum b_n$ ведут себя одинаково.

Признак Даламбера: отношение соседних членов

Pytorch вычисляет $e^x = \sum x^n/n!$ внутри функций активации. Признак Даламбера для этого ряда: $L = \lim |x/(n+1)| = 0 < 1$ при любом $x$ - ряд сходится при всех $x$, и вычисление безопасно.

Признак Коши: радиус сходимости степенных рядов

Радиус сходимости степенного ряда - это то, что определяет, при каких $x$ работает разложение $\sin(x)$, $e^x$, $\ln(1+x)$. Intel и ARM вычисляют эти функции через ряды с конечным числом членов, и корневой признак Коши задаёт гарантию точности.

a_n = (n/(2n+1))^n sqrt[n]{a_n} = n/(2n+1) L = lim n/(2n+1) = lim 1/(2+1/n) = 1/2 < 1 Ряд сходится абсолютно.

Когда что использовать: Даламбер - ряды с факториалами и произведениями. Коши - ряды вида $a^n$, $n^n$, $(f(n))^n$. Коши формально сильнее: работает везде, где работает Даламбер.

Интегральный признак и p-ряды

Интегральный признак связывает дискретную сумму с непрерывным интегралом. В численном анализе это основа для оценки погрешности при вычислении рядов: остаток $\sum_{n=N+1}^{\infty} a_n \leq \int_N^{\infty} f(x)dx$.

Если $f(x)$ положительна, непрерывна и убывает на $[1, \infty)$, и $a_n = f(n)$, то $\sum_{n=1}^{\infty} a_n$ и $\int_1^{\infty} f(x)\,dx$ сходятся или расходятся одновременно.

Знакочередующиеся ряды и абсолютная сходимость

Ряд $\ln 2 = 1 - \frac{1}{2} + \frac{1}{3} - \frac{1}{4} + \cdots$ сходится условно. Теорема Римана говорит: его члены можно переставить так, чтобы получить любое наперёд заданное число. В вычислениях это означает: порядок суммирования с плавающей точкой влияет на результат при условной сходимости.

**Признак Лейбница**: если $a_n > 0$, $a_{n+1} \leq a_n$ и $a_n \to 0$, то знакочередующийся ряд $\sum (-1)^{n+1} a_n$ сходится. Остаток $|S - S_n| \leq a_{n+1}$.

**Теорема Римана**: условно сходящийся ряд можно переставить так, чтобы получить любую наперёд заданную сумму или расходимость. Это критично для численных вычислений.

Ряды в ML и физике

Теория сходимости - фундамент для вычислительной математики:

• Ряды Тейлора — Применения в приближении функций - следующий урок
• Ряды Фурье — Разложение периодических сигналов, основа обработки звука и изображений
• Степенные ряды — Радиус сходимости определяет область применимости разложений
• Градиентный спуск — Сходимость оптимизаторов анализируется как сходимость рядов

Итоги

• Сходимость: ряд сходится, если $S = \lim S_n$ конечен
• Необходимое условие: $a_n \to 0$, но гармонический ряд показывает, что этого мало
• Даламбер: $L = \lim|a_{n+1}/a_n| < 1$ - сходится, подходит для рядов с $n!$
• Коши: $L = \lim \sqrt[n]{|a_n|} < 1$ - сходится, подходит для рядов с $(\cdot)^n$
• Интегральный: p-ряд сходится при $p > 1$ (включая $\sum 1/n^2 = \pi^2/6$)
• Лейбниц: знакочередующийся ряд с $a_n \searrow 0$ сходится условно
• Абсолютная сходимость безопасна для перестановки членов; условная - нет

Вопросы для размышления

• Почему гармонический ряд расходится, хотя его члены стремятся к нулю?
• В чём разница между 'признак не работает' и 'ряд расходится'?
• Почему условно сходящиеся ряды нельзя переставлять?
• Как связана сходимость Adam optimizer с теорией рядов?

Связанные уроки

• stat-02-estimation