Бесконечномерная вероятность

Цели урока

• Понять гауссовские меры на банаховых пространствах через одномерные проекции
• Освоить теорему Минлоса и роль ядерности ковариационного оператора
• Разобрать конструкцию пространства Винера через теорему Колмогорова
• Связать концентрацию Фернике и теорему Камерона-Мартина с современным ML

Предварительные знания

• Пространства Гильберта и банаховы пространства
• Слабая сходимость вероятностных мер
• Гауссовские распределения и ковариационные матрицы
• Компактные и ядерные операторы

• Обменность и теорема де Финетти

Как построить меру вероятности на пространстве всех непрерывных функций - и зачем это нужно DALL-E и Stable Diffusion?

• **Диффузионные модели:** DALL-E, Stable Diffusion - генерация изображений через инверсию гауссовского диффузионного процесса в пространстве изображений
• **Квантовая теория поля:** функциональные интегралы Фейнмана - меры на пространстве траекторий квантовых частиц
• **Neural Network Gaussian Process:** предел бесконечно широкой нейросети - гауссовский процесс с ковариационным ядром NTK
• **Gaussian Process Regression:** мера на пространстве функций для байесовского ML - стандарт в Bayesian optimization

Гауссовские меры в банаховых пространствах

В конечных размерностях гауссовское распределение задаётся плотностью exp(-x^2/2). В бесконечных - нет ни меры Лебега, ни плотности; гауссовская мера определяется через все одномерные проекции. Это математическая основа Neural Network Gaussian Process - предельной модели бесконечно широких нейросетей.

Стандартный гауссовский вектор X = (X_1, X_2, ...) на R^infinity имеет ||X||^2 = sum X_i^2 = infinity почти наверное. Поэтому 'стандартная' гауссова мера на R^infinity не существует; нужны взвешенные нормы или работа в подпространствах с конечным следом ковариации.

Пространство Винера

Норберт Винер в 1923 году построил меру вероятностей на пространстве C([0,1]) непрерывных функций, реализующую броуновское движение как стандартный объект. Сегодня эта мера лежит в основе диффузионных генеративных моделей: DALL-E 3 и Stable Diffusion интерпретируются как меры на C([0,1] x R^d) - пространстве траекторий в пространстве изображений.

Конструкция меры Винера через Карунен-Лоэв: W_t = sum (xi_n / (n pi)) sin(n pi t), где xi_n - iid N(0,1). Это разложение по собственным функциям ковариационного оператора - стандартный приём бесконечномерной вероятности.

Гауссовская концентрация и Камерон-Мартин

Замечательное свойство гауссовских мер в банаховом пространстве - сильная концентрация нормы вокруг среднего. Неравенство Фернике даёт экспоненциально малые хвосты для ||X||, аналог классической гауссовской концентрации в R^n. Это основа доказательств generalization bounds для бесконечно широких нейросетей в теории NTK.