Функциональный анализ
Слабые топологии
Задачи оптимизации в ML (минимизация функционала потерь на множестве функций) требуют существования минимума. В бесконечных размерностях его гарантирует слабая компактность (теорема Банаха-Алаоглу) + слабая полунепрерывность нормы снизу. Вся вариационная математика строится на слабых топологиях.
- Вариационные задачи: существование минимума через слабую компактность (нейронные сети = бесконечные параметры)
- Нейронные ОДУ (Neural ODEs): решения в H¹ - рефлексивном пространстве
- Задачи управления: управления как элементы L² - рефлексивного пространства
- Оптимальный транспорт: слабая-* сходимость мер (теорема Прохорова)
Слабая сходимость: тест функционалами
Глубокая нейросеть AlphaFold 3 (DeepMind, 2024) использует Sobolev spaces для предсказания структуры белков: 200M+ структур в базе. Последовательность xₙ в банаховом пространстве X **слабо сходится** к x (xₙ ⇀ x), если f(xₙ) → f(x) для всех f ∈ X* (сопряжённое пространство). **Сильная сходимость** (‖xₙ - x‖ → 0) влечёт слабую, но не наоборот! В бесконечных размерностях слабая сходимость значительно слабее.
**Слабая vs. сильная сходимость:** - **Сильная ⟹ слабая** (всегда) - **Слабая ⟹ сильная** только в конечных размерностях! **Примеры слабой сходимости без сильной:** 1. eₙ ⇀ 0 в l² (базисные векторы), но ‖eₙ‖ = 1 ↛ 0 2. sin(nx) ⇀ 0 в L²([0,1]) (принцип Римана-Лебега) 3. Любая ограниченная последовательность в рефлексивном X имеет слабо сходящуюся подпоследовательность (теорема Эберлейна-Шмуляна) **Слабая топология** σ(X, X*) - наименьшая топология, при которой все f ∈ X* непрерывны.
Базисные векторы eₙ в l² слабо сходятся к 0 (eₙ ⇀ 0). Что это означает?
Теорема Банаха-Алаоглу: компактность в слабой-* топологии
**Теорема Банаха-Алаоглу:** Единичный шар B* = {f ∈ X* : ‖f‖ ≤ 1} в сопряжённом пространстве X* компактен в слабой-* топологии σ(X*, X). Это мощный инструмент: в бесконечных размерностях единичный шар не компактен в норме, но компактен в более слабой топологии.
**Слабая-* топология σ(X*, X):** Сходимость fₙ →_{w*} f означает: fₙ(x) → f(x) для всех x ∈ X (тест элементами X, не X**) Сравнение топологий на X*: - Норм. топология: fₙ → f ↔ ‖fₙ - f‖ → 0 (самая сильная) - Слабая σ(X*, X**): fₙ ⇀ f ↔ Φ(fₙ) → Φ(f) для всех Φ ∈ X** - Слабая-* σ(X*, X): fₙ →_{w*} f ↔ fₙ(x) → f(x) для всех x ∈ X (самая слабая) **Применение:** оптимизация в функциональных пространствах - задачу min{∫|f'|² : f(0)=0, f(1)=1} нельзя решить в норм. топологии (нет компактности), но можно в слабой (теорема Банаха-Алаоглу).
Зачем нужна слабая топология в оптимизации на бесконечномерных пространствах?
Рефлексивные пространства: X ≅ X**
Банахово пространство X **рефлексивно**, если каноническое вложение J: X → X** (J(x)(f) = f(x)) является изоморфизмом. Эквивалентно: слабая и слабая-* топологии на X* совпадают, то есть X** "ничего нового не добавляет". Рефлексивные пространства ведут себя очень хорошо в оптимизации.
**Примеры рефлексивных и нерефлексивных пространств:** **Рефлексивные:** - Гильбертовы пространства H: H ≅ H* ≅ H** (теорема Рисса-Фреше) - Lp(μ) для 1 < p < ∞: (Lp)* = Lq (1/p + 1/q = 1), (Lp)** = Lp - Конечномерные пространства ℝⁿ **НЕ рефлексивные:** - L¹(μ): (L¹)* = L∞, но (L∞)* ⊋ L¹ (огромное!) - L∞(μ): (L∞)* содержит финитно-аддитивные меры - C([0,1]): (C)* = M([0,1]) (меры), (C)** ⊋ C - c₀ (нулевые последовательности): (c₀)* = l¹, (c₀)** = l∞ ⊋ c₀ **Теорема Эберлейна-Шмуляна:** X рефлексивно ↔ каждое ограниченное множество слабо относительно компактно.
Почему L∞([0,1]) не является рефлексивным пространством?
Ключевые идеи
- Слабая сходимость xₙ ⇀ x: f(xₙ) → f(x) для всех f ∈ X* (слабее нормовой!)
- Сильная ⟹ слабая; в бесконечных размерностях слабая ↛ сильная
- Теорема Банаха-Алаоглу: единичный шар в X* компактен в σ(X*, X)
- Рефлексивное X: J: X → X** - изоморфизм; (Lp для 1<p<∞, гильбертовы пространства)
- Нерефлексивные: L¹, L∞, c₀ - (двойное сопряжённое строго больше)
- Теорема Эберлейна-Шмуляна: X рефлексивно ↔ ограниченные слабо относительно компактны
Связанные темы
Слабые топологии объединяют теорию дуальности и оптимизацию:
- Банаховы алгебры — Слабая-* топология на M(A) = топология пространства Гельфанда
- Теоремы о неподвижной точке — Теорема Шаудера использует слабую компактность для доказательства существования неподвижных точек
Вопросы для размышления
- Объясните, почему в конечных размерностях слабая и сильная сходимости эквивалентны.
- Как теорема Банаха-Алаоглу объясняет существование решений вариационных задач в H¹([0,1])?
- Почему нерефлексивность L¹ может создавать проблемы в задачах оптимизации?