Дифференциальная геометрия
Гладкие многообразия
Ориентации роботов-элементы SO(3), ковариационные матрицы нейронных сетей-SPD-матрицы, представления слов в гиперболическом пространстве-всё это гладкие многообразия. Стандартный градиентный спуск на них некорректен. Нужен Riemannian gradient descent-и всё это начинается с понятия гладкого многообразия.
- **Робототехника:** пространство конфигураций манипулятора-многообразие SO(3)^n. Riemannian planning избегает gimbal lock
- **ML на матрицах:** geomstats и geoopt реализуют Riemannian Adam для SPD-матриц, Sym⁺(n)-натуральные метрики ковариаций
- **Гиперболические эмбеддинги:** иерархические данные (деревья, онтологии) вкладываются в H^n с экспоненциально малым искажением
Предварительные знания
Многообразие: атлас и карты
**n-мерное гладкое многообразие** M-топологическое пространство, покрытое **картами** (charts): открытыми множествами Uα ⊆ M с гомеоморфизмами φα: Uα → ℝⁿ. **Атлас**-совокупность всех карт. **Переходные отображения** φα ∘ φβ⁻¹ должны быть гладкими (C∞), что придаёт многообразию дифференцируемую структуру.
Интуиция: Земля-многообразие, покрытое картами в атласе. Каждая карта локально 'разворачивает' поверхность на плоскость. Нельзя одной картой покрыть всю сферу (нужно минимум 2 карты). Переходные отображения задают, как менять координаты при переходе от одной карты к другой.
**Примеры гладких многообразий:** S^n (n-сфера), SO(n) (вращения), GL(n,R) (обратимые матрицы), Sym⁺(n) (SPD-матрицы), гиперболическое пространство H^n, флаговые многообразия. Все они используются в ML для представления данных с геометрическими ограничениями.
Почему нельзя одной картой (одним гомеоморфизмом φ: M → R^n) покрыть всю сферу S^n?
Касательное пространство и касательное расслоение
**Касательное пространство** TₓM-n-мерное векторное пространство, формально состоящее из дифференцирований (derivations): линейных функционалов D: C∞(M) → R, удовлетворяющих правилу Лейбница D(fg) = D(f)g(x) + f(x)D(g). В координатах: TₓM ≅ span{∂/∂x¹, ..., ∂/∂xⁿ}.
**Касательное расслоение** TM = ⊔ₓ TₓM-объединение всех касательных пространств. TM само является гладким 2n-мерным многообразием. Векторное поле-сечение TM → M: каждой точке x ∈ M сопоставляется касательный вектор.
| Многообразие M | Dim | TₓM (касательное пространство) |
|---|---|---|
| Sⁿ ⊂ ℝⁿ⁺¹ | n | Векторы v ⊥ x (перпендикуляр к радиусу) |
| SO(n) | n(n−1)/2 | Кососимметричные матрицы A = −Aᵀ |
| GL(n,ℝ) | n² | Все матрицы n×n |
| Sym⁺(n) (SPD) | n(n+1)/2 | Симметричные матрицы (SPD-конус) |
Касательное пространство T_I SO(3) (в единичной матрице)-это:
Векторные поля и их применения
**Векторное поле** X на M-гладкое отображение X: M → TM, где X(p) ∈ TₚM. Интегральные кривые векторного поля-кривые γ(t) такие, что γ'(t) = X(γ(t)). Это дифференциальные уравнения на многообразии.
**Теорема Хэра:** на чётных сферах S^{2n} не существует нигде не обнуляющегося касательного векторного поля. На S²-'гребень нельзя уложить': "теорема о ёжике". На S¹, S³ ненулевые поля существуют.
Библиотека **geoopt** (PyTorch) реализует оптимизацию на многообразиях: Riemannian SGD, Adam, экспоненциальное и логарифмическое отображения для S^n, SO(n), Sym⁺(n), St(n,k) (Штифель). Используется в Poincaré embeddings, matrix manifold learning.
Почему при оптимизации на S^{n-1} нужно проецировать евклидов градиент на касательное пространство?
Ключевые идеи
- **n-мерное многообразие** покрывается картами (Uα, φα: Uα → ℝⁿ) с гладкими переходными отображениями φα ∘ φβ⁻¹
- **Касательное пространство** TₓM-n-мерное пространство дифференцирований. В координатах: span{∂/∂xⁱ}
- **TM = ⊔ₓ TₓM**-касательное расслоение: само 2n-мерное многообразие. Векторное поле = гладкое сечение TM
- **Riemannian gradient descent:** обновление x_{n+1} = exp_{x_n}(−α · Riemannian_grad) через экспоненциальное отображение
Связанные темы
Гладкие многообразия-основа современной дифференциальной геометрии:
- Дифференциальные формы — 1-формы = линейные функционалы на TₓM; k-формы-антисимметричные тензоры
- Связности и ковариантная производная — ∇-способ дифференцировать векторные поля на многообразии
- Дифференциальная геометрия в ML — geoopt, geomstats-библиотеки для оптимизации на многообразиях SO(n), SPD, H^n
Вопросы для размышления
- Теорема о ёжике: на S² нет нигде не обнуляющегося касательного векторного поля. Как это ограничивает, например, равномерное распределение направлений ветра на Земле?
- Группа Ли SO(3)-компактное 3-мерное многообразие. Её алгебра Ли so(3)-3-мерное векторное пространство кососимметричных матриц. Как exp: so(3) → SO(3) связывается с формулой Родрига для вращения вокруг оси?
- Пространство SPD-матриц Sym⁺(n) используется для представления ковариационных матриц. Почему обычный евклидов градиентный спуск на ковариационных матрицах может нарушить positive definiteness?