Функциональный анализ
Спектральная теория операторов
Google PageRank = dominant eigenvector матрицы 50 миллиардов × 50 миллиардов. Находится за 50 итераций power iteration - спектральная теория в action. PCA = спектральная теорема для матрицы ковариаций. Квантовая механика = физика самосопряжённых операторов. Три разных области, одна математика.
- **Google PageRank:** power iteration на графе 50 млрд вершин. Spectral gap λ₂/λ₁ ≈ 0.85 (damping factor) - скорость сходимости. За ~50 итераций.
- **PCA и kernel PCA:** спектральная теорема для симметричной матрицы ковариаций. Kernel PCA (sklearn) - спектральная теорема для интегрального оператора с ядром K.
- **Quantum chemistry:** DFT (Density Functional Theory) - нахождение собственных функций гамильтониана H = -∇² + V(x). Вся химия связей через спектр H.
Спектр: три типа, один PageRank
Google PageRank - это dominant eigenvector матрицы 50 миллиардов × 50 миллиардов. Находится через power iteration - спектральная теория в действии. Для понимания этого нужна только одна концепция: что такое спектр оператора.
Для ограниченного оператора A: X → X на банаховом пространстве: **резольвентное множество** ρ(A) = {λ ∈ C : (λI - A)⁻¹ существует и ограничен}. **Спектр** σ(A) = C \ ρ(A). В конечных размерностях: σ(A) = множество собственных значений. В бесконечных - три разных компоненты.
**PCA как спектральная теория:** матрица ковариаций Σ = (1/n)·X^T·X - самосопряжённая (симметричная). Её спектр σ(Σ) - дисперсии по главным компонентам. Собственные векторы - направления максимальной вариации. Спектральная теория = PCA в бесконечных размерностях.
Оператор умножения M_x f(x) = x·f(x) на L²[0,1] имеет σ(M_x) = [0,1], но ни одного собственного значения. Объясните: как λ ∈ [0,1] может быть в спектре, если (M_x - λI)f = (x-λ)f ≠ 0 для любого f ≠ 0?
В бесконечномерных пространствах спектр разбивается на точечный (существуют собственные векторы), непрерывный (инъективен, но обратный неограничен) и остаточный. M_x даёт пример непрерывного спектра - инъективность есть, но g(x)/(x-λ) взрывается у x=λ.
Самосопряжённые операторы: вещественный спектр
Гамильтониан в квантовой механике должен быть самосопряжённым - иначе измеримые энергии были бы комплексными. Ковариационная матрица в PCA симметрична - иначе главные компоненты не были бы ортогональными. Самосопряжённость - фундаментальное условие физической корректности.
**Для самосопряжённого A:** ‖A‖ = r(A) (операторная норма = спектральный радиус). Это делает числовые вычисления устойчивыми. Для несимметричных матриц ‖A‖ >> r(A) возможно - источник численной нестабильности.
Матрица ковариаций Σ = X^T X / n в PCA симметрична и неотрицательно определена. Как эти два свойства вместе гарантируют, что PCA компоненты существуют и ортогональны?
Спектральная теорема для самосопряжённых операторов (симметричных матриц) гарантирует диагонализацию в ортонормированном базисе. Неотрицательная определённость добавляет λᵢ ≥ 0 - что физически означает неотрицательность дисперсии вдоль главных компонент.
Спектральная теорема: диагонализация в бесконечных размерностях
Спектральная теорема - главный результат теории операторов. Любой ограниченный самосопряжённый оператор унитарно эквивалентен оператору умножения. Это бесконечномерная диагонализация. Преобразование Фурье - спектральная теорема для -d²/dx².
**Фурье = спектральная теорема для -d²/dx².** Оператор -d²/dx² на L²(R) - самосопряжённый. Его «диагонализирует» преобразование Фурье U = F: F(-d²/dx²)F^{-1} = M_{|ξ|²} (оператор умножения на |ξ|²). Фурье-преобразование дифференциального оператора = умножение на символ - основа всей теории PDE.
Почему для численного вычисления наибольшего собственного значения большой разреженной матрицы используют power iteration, а не прямую диагонализацию?
Для разреженных матриц с n~10⁹ прямая диагонализация требует O(n³) = O(10²⁷) операций и O(n²) = O(10¹⁸) байт - физически невозможно. Power iteration использует только умножение на вектор A·v, которое для разреженной матрицы стоит O(nnz) и не требует хранения всей матрицы.
Ключевые идеи
- **Спектр σ(A) = C \ ρ(A)**: три типа - точечный (собственные значения), непрерывный (неограниченный обратный), остаточный (непустый образ)
- **Самосопряжённый A = A***: σ(A) ⊆ R, σ_r = ∅, собственные векторы ортогональны
- **Спектральная теорема**: A = ∫λ dE(λ), f(A) = ∫f(λ) dE(λ) - функциональное исчисление
- **Фурье = спектральная теорема для -d²/dx²**: F(-d²/dx²)F^{-1} = M_{|ξ|²}
- **Power iteration**: xₖ₊₁ = A·xₖ / ‖A·xₖ‖ → доминирующий собственный вектор. Скорость: (λ₂/λ₁)ᵏ
Связанные темы
Спектральная теория - сердце функционального анализа и ML:
- L² и пространства Лебега — Спектральная теорема диагонализирует операторы в L²; Фурье-анализ - частный случай для -d²/dx²
- Компактные операторы — Для компактных самосопряжённых спектральная теорема особенно сильна: счётный спектр, ONB из собственных функций
Вопросы для размышления
- Преобразование Фурье диагонализирует оператор дифференцирования. Что диагонализирует вейвлет-преобразование? Почему вейвлеты лучше для негладких сигналов?
- Алгоритм PageRank использует damping factor d = 0.85. Это меняет спектр матрицы переходов: λ₁ = 1, λ₂ ≤ d = 0.85. Как damping factor влияет на число итераций для сходимости?
- В quantum computing: задача нахождения наименьшего собственного значения гамильтониана (ground state energy) - QMA-hard задача. Какие квантовые алгоритмы пытаются её решить и при чём тут спектральная теорема?