Случайные процессы
Стохастические дифференциальные уравнения
Диффузионные модели (Stable Diffusion, DALL-E 3) в буквальном смысле решают СДУ. Форвардный процесс (добавление шума) - это простое линейное СДУ. Обратный процесс (генерация изображения из шума) - нелинейное СДУ, которое решается численно методом Эйлера-Маруямы с тысячами шагов. Понимание численных методов для СДУ напрямую релевантно для современной генеративной AI.
- **Генеративные модели (DDPM)** - дискретизация СДУ добавления/удаления шума через Эйлер-Маруяма
- **Байесовское обучение** - сэмплирование из апостериорного распределения через уравнение Ланжевена (LMC - Langevin Monte Carlo)
- **Молекулярное моделирование** - динамика Ланжевена для белков; численное интегрирование СДУ для миллионов атомов
Предварительные знания
Решения СДУ: строгое и слабое
СДУ dX = μ(t,X)dt + σ(t,X)dB можно решать в двух смыслах. **Строгое решение** - функция от данного броуновского движения B: нам дан конкретный источник случайности, и мы строим X на его основе. **Слабое решение** - нам нужно лишь найти КАКОЕ-ТО вероятностное пространство, на котором существуют и X, и B, удовлетворяющие уравнению. Оба понятия важны: строгое - для симуляций и численных методов, слабое - для доказательств существования.
**Строгое решение:** Для данного BM B и фильтрации F_t^B существует адаптированный процесс X: X(t) = X(0) + ∫μ(s,X)ds + ∫σ(s,X)dB для всех t. **Слабое решение:** Существует вероятностное пространство (Ω,F,P), BM B на нём, и адаптированный процесс X, удовлетворяющий уравнению. Строгое ⇒ слабое, но не наоборот. **Примеры:** Уравнение Таннаки - dX = sign(X)dB - имеет слабое, но не строгое решение.
**Лемма Гирсанова** связывает строгие и слабые решения: при смене меры вероятности через экспоненциальный мартингал (мартингал Дуба-Мейера) можно преобразовать дрейфовый член в диффузионный и наоборот. Это позволяет редуцировать сложные СДУ к простым. В финансах - это переход к риск-нейтральной мере.
| Тип решения | Задаётся | Когда применяется |
|---|---|---|
| Строгое | X как функция данного B | Симуляция, численные методы |
| Слабое | Пара (X,B) на каком-то пространстве | Теоремы существования |
| Явное (аналитическое) | Формула X(t) через B(s), s≤t | Линейные СДУ |
| Численное | Дискретная аппроксимация X | Нелинейные СДУ без явного решения |
Слабое решение СДУ - это приближённое или менее строгое математическое решение
Слабое решение - строгое математическое понятие: пара (X,B) на некотором вероятностном пространстве. Слово «слабое» относится к тому, что B не фиксирован заранее
Аналогия: слабое решение ОДУ в смысле распределений - это точное решение обобщённой задачи. «Слабость» = расширение класса допустимых объектов, что делает теоремы существования проще, а не результаты менее точными
В чём принципиальная разница между строгим и слабым решением СДУ?
Существование и единственность
Когда гарантировано, что СДУ имеет решение? Аналогично ОДУ (теорема Пикара-Линделёф), для СДУ нужны условия на коэффициенты μ и σ. Ключевая теорема требует **липшицевости** и **линейного роста** - условия, обеспечивающие, что решение не «убегает» за конечное время.
**Теорема существования и единственности:** Если для всех t ∈ [0,T] и x,y ∈ R: - Липшиц: |μ(t,x)-μ(t,y)| + |σ(t,x)-σ(t,y)| ≤ L|x-y| - Линейный рост: |μ(t,x)|² + |σ(t,x)|² ≤ C(1+|x|²) Тогда для любого X(0) = x₀ ∈ L² СДУ имеет единственное строгое решение X с sup_{t≤T} E[X(t)²] < ∞. Если только линейный рост - существует слабое решение.
**Теорема сравнения (Comparison theorem):** Если X и Y удовлетворяют СДУ с одинаковым σ, но μ_X ≤ μ_Y, то X(t) ≤ Y(t) п.н. при X(0) ≤ Y(0). Это аналог монотонности для детерминированных ОДУ и используется для доказательства сохранения знака (например, X(t) > 0 для CIR процесса).
| Условие | Следствие | Пример нарушения |
|---|---|---|
| Липшиц по x | Единственность сильного решения | dX = |X|^{1/2} dB - не единственно |
| Линейный рост | Нет взрыва за конечное время | dX = X^2 dt - взрывается |
| Линейный рост (σ) | Сильное решение в L2 | dX = X^2 dB - может взорваться |
| Лишь непрерывность σ | Слабое решение (теорема Строка-Варадана) | Достаточно для диффузий |
Любое СДУ с непрерывными коэффициентами имеет единственное решение
Непрерывность коэффициентов недостаточна для единственности. Нужна Липшиц-непрерывность. dX = sqrt(|X|) dB - непрерывные коэффициенты, но неединственное решение (X(t) = 0 тоже решение!)
Аналогия с ОДУ: dx/dt = sqrt(|x|), x(0)=0 имеет бесконечно много решений. Липшиц-условие исключает такие патологии, давая единственность через итерации Пикара
Для какого из следующих СДУ гарантировано единственное строгое решение по теореме Ито?
Метод Эйлера-Маруямы
Большинство СДУ не имеют явных аналитических решений. Нужны численные методы. **Метод Эйлера-Маруямы** - стохастический аналог метода Эйлера для ОДУ: на каждом шаге аппроксимируем μ и σ значениями в начале шага. Порядок сходимости - 1/2 в сильном смысле (по траектории) и 1 в слабом (по распределению).
**Метод Эйлера-Маруямы:** X_{n+1} = X_n + μ(t_n, X_n)·Δt + σ(t_n, X_n)·ΔB_n где ΔB_n = B(t_{n+1}) - B(t_n) ~ N(0, Δt) **Сильная сходимость порядка γ:** E[|X(T) - X_N|] ≤ C·Δt^γ (сходимость по траектории) **Слабая сходимость порядка β:** |E[f(X(T))] - E[f(X_N)]| ≤ C·Δt^β (сходимость распределений) Для Эйлера-Маруямы: γ = 1/2 (сильная), β = 1 (слабая).
Почему порядок сильной сходимости только 1/2, а не 1 как у метода Эйлера для ОДУ? Потому что ΔB_n = O(√Δt), а не O(Δt). Ошибка метода определяется второй производной f(X), умноженной на (ΔB)² ~ Δt - это уже O(Δt), что при суммировании по N ~ 1/Δt шагам даёт ошибку O(√Δt).
| Метод | Сильный порядок | Слабый порядок | Сложность шага |
|---|---|---|---|
| Эйлер-Маруяма | 1/2 | 1 | O(1) |
| Мильштейн | 1 | 1 | O(1) + вычисление σ·σ' |
| Рунге-Кутта (Wagner-Platen) | 1 | 2 | O(1) несколько вычислений |
| Точная (если известна) | ∞ | ∞ | O(1) при известной формуле |
Метод Эйлера-Маруямы имеет тот же порядок, что и метод Эйлера для ОДУ
Метод Эйлера для ОДУ имеет порядок 1 по Δt. Эйлер-Маруяма для СДУ - сильный порядок 1/2. Это не слабость метода, а фундаментальное следствие нерегулярности броуновского пути
Ошибка в ОДУ ~ (dx/dt)^2 * Δt^2 - квадратична по Δt. В СДУ локальная ошибка содержит члены ~ ΔB^2 ~ Δt, которые при суммировании N ~ 1/Δt шагов дают глобальную ошибку ~ √Δt
Почему метод Эйлера-Маруямы имеет сильный порядок сходимости 1/2, а не 1?
Метод Мильштейна
Метод Мильштейна улучшает Эйлер-Маруяму, добавляя поправочный член, учитывающий производную σ по x. Идея: разложение Ито-Тейлора до более высокого порядка. Если σ зависит от X (мультипликативный шум), поправка существенна; если σ - константа (аддитивный шум), метод Мильштейна совпадает с Эйлером-Маруямой.
**Метод Мильштейна:** X_{n+1} = X_n + μ·Δt + σ·ΔB_n + (1/2)σ·σ'·((ΔB_n)² - Δt) где σ' = ∂σ/∂x - производная диффузионного коэффициента. **Сильный порядок сходимости:** 1 (в два раза лучше Эйлера-Маруямы). Поправочный член (σ·σ'/2)·((ΔB)² - Δt) - это дискретный аналог квадратичной вариации.
Для **аддитивного шума** (σ = const) поправка Мильштейна равна нулю, и оба метода совпадают. Поправка существенна для **мультипликативного шума** (σ = σ(X)). Метод Мильштейна требует вычисления производной σ по x - в некоторых задачах это возможно аналитически, в других нужна численная аппроксимация.
Геннадий Николаевич Мильштейн
Геннадий Мильштейн (1934-2008) - советский и российский математик, разработавший в 1974-1978 годах теорию численного интегрирования СДУ. Его монография «Численное интегрирование стохастических дифференциальных уравнений» (1988) стала стандартным справочником. Метод Мильштейна повышает порядок сильной сходимости с 1/2 до 1, добавляя один дополнительный член, учитывающий производную диффузионного коэффициента.
Метод Мильштейна всегда лучше Эйлера-Маруямы и должен всегда использоваться
При аддитивном шуме (σ = const) оба метода совпадают. При мультипликативном шуме Мильштейн лучше, но требует производную σ. Если σ' сложно вычислить или дорого - Эйлер-Маруяма может быть предпочтительнее
В многомерном случае поправка Мильштейна включает матрицу произведений σ_ij·∂σ_ij/∂x_k - вычислительно дорого. Для слабых задач (оценка E[f(X)]) порядок слабой сходимости одинаков для обоих методов
Для СДУ dX = a dt + b dB (b - константа), чем отличается метод Мильштейна от Эйлера-Маруямы?
Ключевые идеи
- **Строгое vs слабое решение** - строгое для заданного BM (симуляция), слабое - поиск любого вероятностного пространства (теория)
- **Теорема существования** - Липшиц и линейный рост гарантируют единственное строгое решение в L²
- **Эйлер-Маруяма** - X_{n+1} = X_n + μΔt + σΔB; сильный порядок 1/2, слабый 1; основной метод на практике
- **Метод Мильштейна** - добавляет (σσ'/2)((ΔB)²-Δt); сильный порядок 1; существенен для мультипликативного шума
Связанные темы
Теория СДУ завершает цикл непрерывных процессов и открывает приложения:
- Стохастические интегралы Ито — Интеграл Ито и формула Ито - основа записи и решения СДУ
- Финансовая математика — Модель Блэка-Шоулза - GBM; CIR, Heston - нелинейные СДУ для процентных ставок
- MCMC и сэмплирование — Уравнение Ланжевена - СДУ для сэмплирования; Langevin Monte Carlo - Эйлер-Маруяма для апостериора
Вопросы для размышления
- В DDPM (Denoising Diffusion Probabilistic Models) форвардный процесс - дискретизация dX = -X/2 dt + dB. Какой это тип СДУ? Есть ли у него явное решение?
- Метод Мильштейна требует производной σ по X. Как численно аппроксимировать σ' если аналитическая формула неизвестна?
- Если СДУ имеет только слабое решение (не строгое), можно ли его численно симулировать? Что это означает на практике?