Случайные процессы
Теория грубых путей
Цели урока
- Объяснить, почему интеграл Стилтьеса неприменим для путей с бесконечной 1-вариацией
- Построить грубый путь второго уровня и проверить тождество Чена
- Сформулировать теорему непрерывности Лайонса и её следствия
- Связать теорию грубых путей с Neural CDE и задачами ML на временных рядах
Предварительные знания
- SPDE
- Стохастические интегралы
- Броуновское движение
Медицинский прибор измеряет ЧСС каждые 30 секунд, но иногда - каждые 5 минут. LSTM требует регулярную сетку. Neural CDE на грубых путях - нет. Разница в точности: 3.5%. Математика Лайонса 1998 года внутри медицинского устройства 2024.
- DeepMind: Neural CDE для нерегулярных медицинских временных рядов (PhysioNet)
- Хайрер 2014: медаль Филдса за применение грубых путей к SPDE (KPZ уравнение)
- torchcde: библиотека Neural CDE на PyTorch
- Финансы: нерегулярные tick-данные через грубые пути без ресемплинга
Лайонс, Хайрер и детерминизация стохастики
Терри Лайонс разработал теорию грубых путей в 1990-х, статья 1998 года в Rev. Mat. Iberoamericana - основополагающая. Питер Фриц и Николас Виктуар систематизировали теорию в монографии 2010 года. Мартин Хайрер в 2013-14 годах применил грубые пути к SPDE (теория регуляризации), решив проблему KPZ уравнения - нелинейного SPDE, где белый шум слишком груб. Медаль Филдса 2014 года. Patrick Kidger перенёс идеи в ML в 2020-21 годах.
p-вариация и проблема интегрирования
1998 год. Терри Лайонс публикует статью в Revista Matematica Iberoamericana. Задача: определить интеграл вдоль пути с бесконечной 1-вариацией - например, броуновского движения. Ито решил это стохастически. Лайонс решил это детерминистически, добавив одно число. Это число изменило всё.
Площадь Леви X_{s,t}^{12} = (1/2)((W^1_t - W^1_s)(W^2_t - W^2_s) - integral dW^1 dW^2) - это нековариантная характеристика броуновского пути. Именно она отличает интеграл Ито от Стратоновича.
p-вариация броуновского движения конечна при p > 2. Это кратично: при p < 3 нужен один уровень итерированных интегралов (грубый путь второго уровня). При p < 4 - два уровня. В общем: N уровней для p < N+1.
Почему для интеграла вдоль броуновского пути X недостаточно суммы Римана?
||W||_{1-var} = inf п.н. для броуновского движения. Интеграл Стилтьеса ломается. Для определения int f(W) dW нужен либо стохастический (Ито/Стратонович), либо грубо-путевой подход.
Грубый путь и теорема непрерывности Лайонса
Главный результат теории: отображение Ито (грубый путь -> решение СДУ) непрерывно. В стохастическом анализе это почти невозможно: решение зависит от всей истории шума, которая случайна. Лайонс показал, что достаточно знать путь и его площадь Леви - и решение будет стабильным.
Теорема непрерывности имеет неожиданное следствие: броуновское движение можно аппроксимировать гладкими путями, и решения СДУ будут сходиться. Это Wong-Zakai теорема - строгое обоснование численных методов для СДУ.
Что выражает тождество Чена для грубого пути?
Тождество Чена: X_{s,t} = X_{s,u} + X_{u,t} + (X_u - X_s) tensor (X_t - X_u). Это необходимое алгебраическое условие, которому должен удовлетворять второй уровень грубого пути для существования интеграла.
Грубые пути в машинном обучении
Хайрер получил медаль Филдса 2014 года за применение грубых путей к SPDE. Но сообщество ML обратило внимание позже: DeepMind использует грубые пути для обучения на нерегулярных временных рядах из медицинских данных - ЭКГ, акселерометров, финансовых потоков с пропусками.
Patrick Kidger (Oxford, 2021) показал: Neural CDE - непрерывная версия LSTM. Состояние обновляется не по токенам, а по грубому пути данных. Это даёт работу с нерегулярными временными рядами без интерполяции или дополнения нулями.
Neural CDE для медицинских временных рядов
Классификация ЭКГ с пропущенными измерениями
PhysioNet данные: 36 физиологических параметров с нерегулярными интервалами. LSTM требует фиксированного временного шага - нужна интерполяция, теряется информация о временных интервалах. Neural CDE: данные кодируются как грубый путь через natural cubic spline, интегрирование по Лайонсу. Точность на 3.5% выше LSTM при том же числе параметров.
Для реализации Neural CDE используется библиотека torchcde (Patrick Kidger, PyTorch). Ключевой объект: torchcde.NaturalCubicSpline для построения грубого пути из нерегулярных наблюдений.
В чём преимущество Neural CDE перед LSTM для нерегулярных временных рядов?
Neural CDE параметризует скрытое состояние как контролируемое ОДУ dZ = f_theta(Z) d(кубический сплайн по данным). Грубый путь обеспечивает устойчивость и естественную обработку нерегулярных сеток.
Связи с другими разделами
Теория грубых путей объединяет стохастический анализ, топологию путей и ML
- Сигнатурные методы — Связанная тема
- Neural ODE / Neural CDE — Связанная тема
- SPDE (KPZ) — Связанная тема
- Wong-Zakai теорема — Связанная тема
Итоги
- Броуновский путь имеет ||W||_{1-var} = inf - классический интеграл Стилтьеса не работает
- Грубый путь второго уровня: пара (X, X), где X_{s,t} = итерированный интеграл (площадь Леви)
- Тождество Чена: алгебраическое условие совместности уровней
- Теорема непрерывности Лайонса: X -> решение СДУ непрерывно в p-вариационной топологии
Вопросы для размышления
- Почему разные определения интеграла (Ито vs Стратонович) соответствуют разным грубым путям?
- Как теорема непрерывности объясняет устойчивость Neural CDE к пропущенным данным?
- Что означает «подъём» броуновского движения до грубого пути и почему он не единственен?
Связанные уроки
- sp-26-spde — Грубые пути устраняют проблему регулярности SPDE
- sp-28 — Сигнатурные методы строятся на теории грубых путей
- sp-20 — Броуновское движение - главный пример грубого пути