Теория меры
Условное математическое ожидание
Алгоритмы стохастической оптимизации в Google Brain обрабатывают 10^9 параметров через адаптированные последовательности - мартингалы. Условное ожидание E[X|G], определённое Колмогоровым в 1933 году мера-теоретически, является фундаментом всей этой теории и основой фильтра Калмана в навигационных системах.
- Стохастическая оптимизация: SGD - мартингал относительно sigma-алгебры истории
- Фильтр Калмана: оптимальная оценка состояния = условное ожидание E[X|наблюдения]
- Финансы: ценообразование деривативов через условные ожидания по мартингальной мере
- Байесовские нейросети: предсказание = E[y|x, weights] по апостериорному распределению
- Цепи Маркова: переходные распределения как условные вероятности
- Теория информации: взаимная информация I(X;Y) = E[log P(X|Y) / P(X)]
Колмогоров в 1933 году переопределил условное ожидание мера-теоретически: E[X|G] - это G-измеримая случайная величина, интеграл которой по любому G-множеству совпадает с интегралом X. На этой конструкции стоит вся современная теория мартингалов; алгоритмы стохастической оптимизации в Google Brain обрабатывают 10⁹ параметров именно через адаптированные последовательности.
**О чём этот урок:** Мера-теоретическое определение условного ожидания через σ-подалгебры. Проекция в L² и связь с мартингалами.
Определение через σ-подалгебру
Колмогоров в 1933 году переопределил условное ожидание мера-теоретически: E[X|G] - это G-измеримая случайная величина, интеграл которой по любому G-множеству совпадает с интегралом X. На этой конструкции стоит вся современная теория мартингалов; алгоритмы стохастической оптимизации в Google Brain обрабатывают 10⁹ параметров именно через адаптированные последовательности.
Свойства и мартингалы
Свойства условного ожидания образуют алгебраическую структуру: башенное свойство E[E[X|G₁]|G₂] = E[X|G₂] при G₂ ⊆ G₁ означает, что более грубая информация «поглощает» более тонкую. DeepMind применяет это в алгоритмах усиленного обучения: ценностная функция на шаге t содержит 10³ параметров и строится как условное ожидание будущих наград.
Определение через σ-подалгебру
Колмогоров в 1933 году переопределил условное ожидание мера-теоретически: E[X|G] - это G-измеримая случайная величина, интеграл которой по любому G-множеству совпадает с интегралом X. На этой конструкции стоит вся современная теория мартингалов; алгоритмы стохастической оптимизации в Google Brain обрабатывают 10⁹ параметров именно через адаптированные последовательности.
Что гарантирует существование и единственность условного ожидания E[X|G]?
Условное ожидание существует как производная Радона-Никодима ограниченной меры - гарантия теоремы Радона-Никодима. Оно единственно с точностью до P-нулевых множеств: две G-измеримые функции с одинаковыми интегралами на G-множествах совпадают P-п.н.
Свойства и мартингалы
Свойства условного ожидания образуют алгебраическую структуру: башенное свойство E[E[X|G₁]|G₂] = E[X|G₂] при G₂ ⊆ G₁ означает, что более грубая информация «поглощает» более тонкую. DeepMind применяет это в алгоритмах усиленного обучения: ценностная функция на шаге t содержит 10³ параметров и строится как условное ожидание будущих наград.
Что означает башенное свойство E[E[X|G₁]|G₂] = E[X|G₂] при G₂ ⊆ G₁?
При G₂ ⊆ G₁ взятие условия на G₂ от E[X|G₁] (уже усреднённого по более тонкой G₁) даёт E[X|G₂] - усреднение по более грубой G₂. Меньше информации означает большее усреднение.
Ключевые идеи
- G-измеримость: Условное ожидание должно быть измеримо относительно суб-σ-алгебры G ⊆ F. Это озн
- Характеристическое свойство: Для каждого G-измеримого множества G интегралы E[X|G] и X по этому множеству сов
- Связь с производной Радона-Никодима: Условное ожидание - это производная Радона-Никодима ограничения меры μ_X(A) = ∫_
- Проекция в L²: В гильбертовом пространстве L²(Ω, F, P) условное ожидание - это ортогональная пр
- Башенное свойство: Если G₂ ⊆ G₁ (G₂ содержит меньше информации), то условие на G₂ от уже обусловлен
- Вынесение измеримого множителя: G-измеримый множитель Z выносится за знак условного ожидания. Интуиция: Z уже из