Численные методы
Квантификация неопределённости
Цели урока
- Освоить три метода распространения неопределённости: Taylor-линеаризация, Монте-Карло и PCE
- Понять глобальный анализ чувствительности через индексы Соболя и ANOVA-разложение
- Разобраться в PCE-суррогатах и интервальной арифметике для гарантированных границ
Предварительные знания
- Квантовые алгоритмы
NASA Columbia 2004: отсутствие UQ-анализа в принятии решения о полёте - трагические последствия
- NASA Columbia 2004: отсутствие UQ-анализа в принятии решения о полёте - трагические последствия
- ECMWF ансамблевые прогнозы погоды: 50 реализаций вместо одной - стандарт с 1992 года
- Автономные автомобили Tesla: интервальный анализ для верификации алгоритмов управления
- Deep Ensembles/MC Dropout: калиброванная неопределённость в медицинской диагностике с нейросетями
История квантификации неопределённости
Норберт Винер (1938) ввёл разложение по полиномам Эрмита для случайных процессов (Wiener chaos). Гао и Красовский (1991) расширили на произвольные распределения. Норман Мэдсон и другие в 1990-х развили PCE для инженерных приложений. Илья Соболь (1993) предложил глобальные индексы чувствительности. Оба метода сегодня - стандарт в UQ-инструментах: OpenTURNS, UQLab, SALib.
Распространение неопределённости: от входов к выходам
NASA в 2004 году при расследовании катастрофы Columbia обнаружила: неопределённость модели теплового удара составляла +-40% при 95% доверительном интервале. Инженеры знали это. Решение о полёте приняли без UQ-анализа. Без квантификации неопределённости числа - это иллюзия точности.
Метеорологические модели, финансовые симуляции Монте-Карло, анализ надёжности авиационных конструкций - везде вопрос один: входные параметры неточны, как неточность распространяется на выход? Три основных подхода: линейное распространение ошибок (Taylor), Монте-Карло, разложение по полиному хаоса (PCE).
Для UQ в ML: dropout на инференсе (MC Dropout, Gal & Ghahramani 2016) - аппроксимация байесовской неопределённости. Ensemble methods (Deep Ensembles, Lakshminarayanan 2017) дают calibrated uncertainty без байесовской формализации.
Почему ошибка метода Монте-Карло O(1/sqrt(N)) не зависит от размерности задачи?
Std среднего = sigma/sqrt(N), где sigma = sqrt(Var(f)). Var(f) не зависит от размерности - только от самой функции. Это и есть независимость от проклятия размерности. Детерминированные квадратуры имеют O(N^{-p/d}) - там размерность d разрушает всё.
Индексы Соболя: анализ чувствительности
Не все входные параметры одинаково важны. Для модели с 20 параметрами хочется знать: какие 3 параметра объясняют 95% дисперсии выхода? Это задача глобального анализа чувствительности. Индексы Соболя (1993) дают ответ на этот вопрос строго через разложение дисперсии.
В ML анализ чувствительности применяется для feature importance (SHAP-values - это индексы Соболя для функции нейросети), neural architecture search (какие гиперпараметры важны?), reliability engineering (какие параметры конструкции критичны?). SALib - стандартная Python-библиотека.
Переменная X3 в функции Ишигами имеет S3 = 0, но ST3 > 0. Что это означает?
f(x) = sin(x1) + a*sin^2(x2) + b*x3^4*sin(x1). X3 входит только в член b*x3^4*sin(x1) - взаимодействие с X1. E[f|X3] = const (не зависит от X3 в среднем по X1). Но Var[f|X3] зависит - через совместный эффект X1*X3.
PCE и суррогатные модели
Если одна симуляция занимает час, Монте-Карло с N=10000 потребует 10000 часов. Альтернатива: обучить суррогатную модель на небольшом числе запусков (N=100-1000) и использовать её для UQ. Полином хаоса - один из самых мощных суррогатов для гладких функций.
Bayesian Deep Learning: UQ в нейросетях
MC Dropout (Gal & Ghahramani, 2016): применение dropout на инференсе и усреднение предсказаний по T выборкам даёт байесовскую аппроксимацию. Deep Ensembles (Lakshminarayanan, 2017): обучить K=5 моделей с разными случайными инициализациями, взять среднее и дисперсию. На практике Deep Ensembles лучше откалиброваны - но требуют K кратного вычисления и памяти.
Почему PCE-суррогат позволяет вычислить индексы Соболя без дополнительных запусков симуляции?
ANOVA-разложение f = sum c_alpha * Psi_alpha соответствует напрямую: главный эффект X_i = члены с ненулевым alpha_i и нулевыми остальными. Var(E[f|Xi]) = sum_{мономы только по Xi} c_alpha^2 * ||Psi_alpha||^2. Никаких дополнительных вычислений не нужно.
Интервальная арифметика и верификация
Монте-Карло и PCE дают статистические гарантии: 95% вероятность, что выход в интервале. Иногда нужны гарантированные границы - абсолютная истина: выход НИКОГДА не выйдет за пределы независимо от входов. Интервальная арифметика и аффинная арифметика дают это - ценой пессимистичности.
В safety-critical системах (авиация, медицинские устройства, автономные автомобили) интервальный анализ используется для сертификации: формальные доказательства что система работает корректно при всех допустимых входах. NASA Langley использует интервальную арифметику для верификации численных алгоритмов управления.
Почему интервальная арифметика может давать пессимистичные (слишком широкие) интервалы?
x in [1,2]: x - x точно равно 0. Интервально: [1,2] - [1,2] = [-1,1] - вместо [0,0]. Потому что арифметика обращается с каждым вхождением x независимо. Аффинная арифметика хранит x как epsilon-символ и отслеживает корреляции.
Связь с другими темами
UQ пронизывает все численные методы: в многосеточных методах - оценка погрешности решателя, в спектральных - чувствительность к гладкости, в фильтре Калмана - оптимальное байесовское UQ для динамических систем. MC Dropout и Deep Ensembles - UQ в нейросетях.
- PCE Surrogate Models — Связанная тема
- Ensemble Kalman Filter — Связанная тема
- Interval Arithmetic in Safety Systems — Связанная тема
Итоги
- Монте-Карло: ошибка O(1/sqrt(N)) независимо от размерности - стандарт когда функция дорогая и гладкость неизвестна; QMC с квазислучайными последовательностями даёт O(N^{-1}) при d<10
- Индексы Соболя: глобальный анализ чувствительности через ANOVA-разложение; S_i - главный эффект, ST_i - суммарный с взаимодействиями; оценка через метод Saltelli
- PCE-суррогат: экспоненциальная сходимость для гладких f; моменты и индексы Соболя аналитически из коэффициентов c_alpha; 100-1000 запусков вместо 100000
- Интервальная арифметика: гарантированные границы для safety-critical систем; проблема зависимости делает результаты пессимистичными; аффинная арифметика улучшает точность
Вопросы для размышления
- Модель имеет 20 входных параметров, каждый симуляции занимает час. Оцените число запусков для: Taylor (линейного), MC с 1% точностью, PCE 4-го порядка. Какой метод выбрать?
- Deep Ensembles калиброваннее MC Dropout на практике, хотя теоретически оба - аппроксимации байесовского инференса. Какое интуитивное объяснение этому?
- Проблема зависимости в интервальной арифметике делает её пессимистичной. Есть ли задачи, где гарантированная пессимистичность предпочтительнее вероятностной точности?
Связанные уроки
- nm-26-quantum-algorithms — квантовые симуляции требуют UQ для оценки шума квантового устройства
- nm-28 — фильтр Калмана - байесовский UQ в реальном времени
- nm-29-scientific-ml-pinns — Bayesian PINNs добавляют UQ к физическим нейросетям