Теория вероятностей

Обменность и теорема де Финетти

Цели урока

  • Понять обменность как слабое обобщение независимости, инвариантное к перестановкам
  • Освоить теорему де Финетти через мартингальный предел частот
  • Связать обменность с байесовской статистикой и существованием приора
  • Разобрать Chinese Restaurant Process и Dirichlet Process

Предварительные знания

  • Мартингалы и теорема о сходимости мартингала
  • Условное математическое ожидание и условная независимость
  • Теория меры и пространства вероятностных мер
  • Закон больших чисел
  • Исчисление Маллявена

Если порядок пациентов в клиническом испытании не важен, но исходы не независимы - какова структура их совместного распределения?

  • **Байесовская статистика:** теорема де Финетти математически обосновывает байесовский подход - скрытый параметр theta возникает как следствие обменности
  • **Permutation-invariant нейросети:** Set Transformer и DeepSets явно строят функции, инвариантные к перестановке - обменность встроена в архитектуру
  • **Репрезентация знаний:** обменные разбиения в кластеризации (Chinese Restaurant Process, Indian Buffet Process) в непараметрической байесовской статистике
  • **Финансы:** обменные модели дефолта в CDO; совместное распределение потерь по портфелю ипотек моделируется через обменность

Определение обменности

Исследователь оценивает лекарство на 100 пациентах. Разумное предположение: порядок пациентов не важен, но исходы не независимы (они связаны через неизвестную эффективность лекарства). Это и есть обменность - симметрия слабее независимости. Сегодня обменность встроена в Transformers через permutation-invariant attention на множествах токенов.

В нейронных сетях permutation-invariant attention (Set Transformer, DeepSets) явно использует обменность: выход не зависит от порядка входных токенов. Архитектуры для облаков точек (PointNet) основаны на этой инвариантности.

Чем обменность отличается от независимости и одинаковой распределённости (iid)?

Теорема де Финетти

В 1931 году Бруно де Финетти доказал теорему, перевернувшую основания теории вероятностей. Он был финитистом и субъективистом, считавшим вероятность мерой убеждённости. Тем не менее его теорема показывает: если наблюдения обменны, то объективный параметр theta существует математически как предел частот, и приор pi - единственный способ описания. Это математическое обоснование байесовского подхода.

Теорема де Финетти требует БЕСКОНЕЧНЫХ последовательностей. Для конечных обменных - разложение не обязательно существует. Контрпример: равномерное распределение на перестановках (1,0,0),(0,1,0),(0,0,1) обменно, но не представимо как смесь iid.

Что гарантирует теорема де Финетти для бесконечной обменной последовательности?

Применения: байесовская статистика и непараметрика

Из теоремы де Финетти растут современные непараметрические байесовские методы. Chinese Restaurant Process (CRP) и Dirichlet Process - бесконечномерные обобщения, позволяющие моделировать кластеризации с неизвестным числом классов. В Stitch Fix и Spotify такие модели применяются для сегментации пользователей: число сегментов определяется автоматически по данным, а не задаётся заранее.

Обменность связывает вероятность, статистику и философию

Теорема де Финетти - мост между субъективным и частотным подходами к вероятности через алгебраическую структуру обменности.

  • Байесовская статистика — Приор pi - единственный способ описать обменные наблюдения; апостериор - условное theta | X
  • Непараметрические байесовские методы — Chinese Restaurant Process (CRP) и Dirichlet Process - бесконечномерные расширения де Финетти для случайных разбиений
  • Мартингалы — Частоты образуют мартингал, сходящийся к theta - это мартингальный вывод теоремы де Финетти
  • Бесконечномерная вероятность — Мера pi на пространстве параметров - вероятностная мера на бесконечномерном пространстве мер

Итоги

  • **Обменность:** (X_1,...,X_n) =^d (X_{pi(1)},...,X_{pi(n)}) для всех перестановок pi
  • **iid vs обменность:** iid влечёт обменность; обратное не верно (Полиа-урна)
  • **Теорема де Финетти:** бесконечная обменная последовательность - смесь iid с приором pi
  • **Параметр theta** = lim частот - возникает как предел, а не задаётся
  • **Байесовский вывод:** приор pi уникален; обновление - условное theta | X_1, ..., X_n
  • **Непараметрика:** CRP и Dirichlet Process - обобщения де Финетти на непараметрические модели
  • **Конечная обменность:** не влечёт разложение де Финетти - нужны бесконечные последовательности

Зачем нужен Dirichlet Process в непараметрической байесовской статистике?

Обменность и теорема де Финетти

0

1

Войти