Дифференциальные уравнения
Стохастические дифференциальные уравнения (SDE)
Как оценить опцион на акцию? Как моделировать молекулярные столкновения? Как работают диффузионные модели DALL-E и Stable Diffusion? Всюду скрыт один математический объект, стохастическое дифференциальное уравнение, где детерминированный дрейф соседствует со случайным шумом.
- **Финансы**: модель Блэка-Шоулза для оценки опционов основана на GBM, SDE с мультипликативным шумом; Нобелевская премия 1997
- **Физика**: уравнение Ланжевена dv = −γv dt + σ dB описывает броуновскую частицу в жидкости; аналог второго закона Ньютона со случайными столкновениями
- **Генеративный AI**: диффузионные модели (DDPM, Score-based) используют SDE для постепенного «растворения» данных в шум и обратного восстановления
Предварительные знания
Броуновское движение: непрерывные и недифференцируемые пути
Броуновское движение (процесс Винера) B(t), математическая модель случайного блуждания в непрерывном времени. Это основа всей теории SDE. Математик Норберт Винер дал строгое определение в 1923 году, а физик Роберт Браун наблюдал движение пыльцы в воде в 1827 году.
Производная B'(t) = lim [B(t+h) - B(t)] / h потребовала бы, чтобы приращение B(t+h) - B(t) ~ N(0,h) было порядка h. Но стандартное отклонение √h >> h при малых h, приращение «слишком велико» для производной. Интуиция: поверхность «слишком шероховатая», она фрактальна с размерностью 3/2 (путь) и 1/2 (гёльдерова непрерывность с показателем < 1/2).
Чему равна квадратичная вариация броуновского движения B(t) на интервале [0, T]?
Интеграл Итô и лемма Итô
Обычный интеграл Римана не работает с броуновским движением, B(t) слишком «шероховато». Кинзи Итô в 1944 году построил стохастический интеграл ∫f dB, который согласован с квадратичной вариацией. Ключевое следствие, **лемма Итô**, аналог цепного правила для стохастики.
В обычном исчислении: если X смещается на dX, то f(X) меняется примерно на f'(X)dX (линейное приближение). В стохастике: (dB)² порядка dt (не dt²!), поэтому нужно учесть второй член разложения Тейлора. Это и есть поправка Итô. Аналог: это как если бы пол, по которому идёте, вибрировал так сильно, что квадрат малого шага сравним с самим шагом, классическое исчисление неприменимо.
Почему в лемме Итô появляется дополнительный член ½σ²∂²g/∂X², отсутствующий в обычном цепном правиле?
SDE: геометрическое броуновское движение и модели акций
**Стохастическое дифференциальное уравнение** (SDE) записывается как: dX = μ(X, t) dt + σ(X, t) dB, где μ, коэффициент дрейфа, σ, коэффициент диффузии. Это обобщение ODE на случай со случайным шумом.
Парадокс GBM: среднее E[S(T)] = S₀·e^(μT), но типичная траектория (медиана) = S₀·e^((μ-σ²/2)T). Поправка -σ²/2, это поправка Итô. Дисперсия «поедает» часть дрейфа. Чем волатильнее актив (больше σ), тем сильнее «средняя» расходится с «типичной» траекторией. Это имеет практическое следствие: портфель с высокой волатильностью проигрывает менее волатильному при равном среднем, Kelly criterion.
Чему равно точное решение SDE геометрического броуновского движения dS = μS dt + σS dB?
Уравнение Фоккера-Планка: эволюция плотности вероятности
SDE описывает отдельные траектории. Но часто нужно знать не одну траекторию, а **распределение** всех возможных траекторий. Уравнение Фоккера-Планка (Колмогорова-Фоккера-Планка) описывает эволюцию плотности вероятности p(x, t).
Уравнение Фоккера-Планка лежит в основе диффузионных генеративных моделей (Score-based models, DDPM): **Прямой процесс**: постепенно добавляем шум dX = σ dB (диффузия данных в белый шум) **Обратный процесс** (Song et al., 2020): SDE можно обратить! Обратное SDE требует знания «score» ∇_x log p(x,t), градиента логарифма плотности. Нейросеть обучается приближать этот score, что позволяет генерировать образцы, «обращая» диффузию, именно так работают Stable Diffusion, DALL-E 3 внутри.
Что описывает уравнение Фоккера-Планка в контексте SDE?
Ключевые идеи
- **Броуновское движение** B(t): B(t)−B(s) ~ N(0, t−s), непрерывное, нигде не дифференцируемое; квадратичная вариация (dB)² = dt
- **Лемма Итô**: dg(X) = (∂g/∂t + μ∂g/∂X + ½σ²∂²g/∂X²)dt + σ∂g/∂X dB, поправка ½σ²∂²g/∂X² обязательна из-за (dB)²=dt
- **GBM**: dS = μS dt + σS dB → S(t) = S₀·exp((μ−σ²/2)t + σB(t)), основа модели Блэка-Шоулза
- **Уравнение Фоккера-Планка**: PDE для плотности p(x,t) = −∂(μp)/∂x + ½∂²(σ²p)/∂x²; лежит в основе диффузионных генеративных моделей
Связанные темы
SDE, пересечение теории вероятностей, физики и ML:
- Neural ODE и дифференцируемые решатели — SDE + нейросеть = Score-based модели; обратное SDE требует neural score function
- Уравнение теплопроводности (параболический тип) — Уравнение Фоккера-Планка обобщает уравнение теплопроводности на случай с дрейфом
- Стохастические процессы — SDE, частный случай марковских стохастических процессов с непрерывными траекториями
Вопросы для размышления
- Почему в интеграле Итô используются левые концы разбиения (не правые и не средние)? Что даёт правая точка (интеграл Стратоновича)?
- Поправка Итô −σ²/2 в GBM: почему более волатильный актив при том же μ даёт меньший «типичный» результат? Как это связано с Kelly criterion?
- Диффузионные модели обучают нейросеть приближать score ∇ log p(x,t). Почему знание score достаточно для генерации новых образцов?