Введение в спектральную теорию

Почему метод сопряжённых градиентов сходится за конечное число шагов? Почему ядровые методы (SVM с ядром) работают? Ответ-спектральная теория: структура спектра оператора определяет скорость сходимости итерационных методов и мощность ядровых методов.

• **Итерационные решатели**: скорость сходимости метода Якоби = спектральный радиус матрицы итераций; предобусловленный CG минимизирует число итераций через оптимизацию спектра предобусловленной матрицы
• **Ядровые методы (SVM, GP)**: матрица Грама порождает компактный интегральный оператор; теорема Мерсера гарантирует разложение ядра k(x,y) = Σ λᵢ φᵢ(x)φᵢ(y) по собственным функциям
• **PageRank**: стационарное распределение = собственный вектор матрицы переходов для λ = 1; вычисляется методом степенных итераций за O(n) благодаря спектральному зазору

Предварительные знания

• Open Mapping and Closed Graph Theorems

Спектр и резольвента

Для ограниченного линейного оператора T: X → X на банаховом пространстве X определим: **резольвентное множество** ρ(T) = {λ ∈ ℂ : (T - λI)⁻¹ существует и ограничен}, **спектр** σ(T) = ℂ \ ρ(T). В отличие от матриц, спектр в бесконечномерных пространствах делится на три части.

**Три части спектра**: 1. **Точечный спектр** σ_p(T): λ такие, что T - λI не инъективен (собственные значения, Tx = λx). 2. **Непрерывный спектр** σ_c(T): T - λI инъективен, образ плотен, но (T - λI)⁻¹ неограничен. 3. **Остаточный спектр** σ_r(T): T - λI инъективен, но образ не плотен.

**Теорема**: для ограниченного оператора T спектр σ(T)-компактное непустое подмножество ℂ, содержащееся в диске |λ| ≤ ||T||. Резольвентное множество ρ(T) открыто. Резольвента R(λ) = (T - λI)⁻¹-аналитическая функция λ на ρ(T).

Спектральный радиус

**Спектральный радиус**: r(T) = sup{|λ| : λ ∈ σ(T)}. **Формула Гельфанда**: r(T) = lim_{n→∞} ||Tⁿ||^{1/n} = inf_{n≥1} ||Tⁿ||^{1/n}. Всегда r(T) ≤ ||T||, и неравенство может быть строгим. Для нормальных операторов на гильбертовом пространстве: r(T) = ||T||.

**Применение**: ряд Неймана (T - λI)⁻¹ = -Σ_{k=0}^{∞} T^k / λ^{k+1} сходится при |λ| > r(T). В численных методах: итерации Якоби/Гаусса-Зейделя сходятся ⟺ спектральный радиус матрицы итераций < 1.

Компактные операторы

**Компактный оператор**: T: X → Y такой, что образ любого ограниченного множества предкомпактен (имеет компактное замыкание). Эквивалентно: из любой ограниченной последовательности {xₙ} можно выделить подпоследовательность, на которой {Txₙ} сходится.

**Спектральная теорема Рисса-Шаудера**: если T-компактный оператор, то: 1. σ(T) \ {0} состоит только из собственных значений 2. собственные значения образуют счётное множество, сходящееся к 0 3. каждое ненулевое собственное значение имеет конечную алгебраическую кратность. Компактные операторы ведут себя как матрицы-с точностью до "бесконечности у нуля".

Компактные операторы в ML: матрица ядра (Kernel matrix) K_ij = k(x_i, x_j) порождает компактный интегральный оператор T_k f(x) = ∫k(x,y)f(y)dy. Спектральное разложение этого оператора-основа метода Мерсера и анализа RKHS (пространств Хилберта воспроизводящего ядра).

Ключевые идеи

• **Спектр**: σ(T) = ℂ \ ρ(T)-компактное непустое множество; делится на точечный (собственные значения), непрерывный и остаточный подспектры
• **Спектральный радиус**: r(T) = lim ||Tⁿ||^{1/n} ≤ ||T||; ряд Неймана сходится при |λ| > r(T); итерации сходятся ⟺ r < 1
• **Компактные операторы**: σ(T) \ {0} = дискретные собственные значения → 0 (теорема Рисса-Шаудера); ядровые матрицы в ML-компактные интегральные операторы

Связанные темы

Спектральная теория пронизывает весь функциональный анализ:

• Спектральная теорема — Самосопряжённые операторы на гильбертовом пространстве: полное спектральное разложение E(λ) через спектральную меру
• Теоремы Банаха — Теорема об открытом отображении: λ ∈ ρ(T) ⟺ (T-λI)⁻¹ ограничен-определение через теорему об обратном операторе

Вопросы для размышления

• Оператор умножения (Tf)(x) = x·f(x) на L²[0,1] имеет σ(T) = [0,1] без точечного спектра. Как это согласуется с тем, что оператор "диагонален" в функциональном пространстве?
• Спектральный радиус r(T) ≤ ||T||, и неравенство может быть строгим. Приведите пример оператора, у которого r(T) = 0, но ||T|| > 0.
• В PageRank используется степенной метод для нахождения ведущего собственного вектора. Как скорость сходимости связана со спектральным зазором |λ₁| - |λ₂|?

Связанные уроки

• la-13-eigenvectors