Эргодическая теория

MCMC (Markov Chain Monte Carlo) работает именно благодаря эргодической теореме: цепь Маркова - это меросохраняющее эргодическое отображение, и временное среднее по траектории = интегралу по целевому распределению. Вся байесовская статистика строится на этом факте.

• MCMC: Metropolis-Hastings, NUTS - эргодическая теорема гарантирует сходимость
• Статистическая физика: гипотеза об эргодичности - основание термодинамики
• Равномерное распределение {nα}: теорема Вейля как следствие эргодической теоремы
• Теорема Шеннона об источнике: длина кода ≈ энтропия (следствие эргодической теоремы)

Меросохраняющие отображения

Теория эргодичности задаёт математическую основу рекомендательных систем Netflix: алгоритм перемешивания должен сохранять равномерную меру (меросохраняющее отображение). Отображение T: (X, 𝒜, μ) → (X, 𝒜, μ) называется **меросохраняющим**, если μ(T⁻¹(E)) = μ(E) для всех E ∈ 𝒜 (эквивалентно: μ ∘ T⁻¹ = μ). Интуитивно: T «перемешивает» точки пространства, не изменяя меры множеств. Примеры: вращение окружности, сдвиг тора, расширяющие отображения.

**Примеры меросохраняющих отображений:** 1. **Вращение окружности:** T(x) = x + α (mod 1) на [0,1) с мерой Лебега. Любое вращение - меросохраняющее. 2. **Сдвиг Бернулли:** T на {0,1}^ℤ (бесконечные двоичные последовательности), сдвиг влево. Это модель «подбрасывания монеты» во времени. 3. **Удвоение:** T(x) = 2x (mod 1) на [0,1). Меросохраняющее, но необратимое! 4. **Поток Гамильтона:** в механике - поток по гамильтонову векторному полю. Теорема Лиувилля: объём фазового пространства сохраняется. 5. **Сдвиг Гаусса:** T(x) = {1/x} (дробная часть от 1/x) - меросохраняющее для меры Гаусса dx/(1+x) на [0,1]. Связь с непрерывными дробями!

Эргодичность: только просто инвариантные множества

Меросохраняющее отображение T называется **эргодическим**, если T⁻¹(E) = E ⟹ μ(E) ∈ {0, μ(X)} (инвариантные множества постоянны: мера 0 или полная мера). Интуиция: система «перемешивается» настолько, что никакая нетривиальная часть пространства не является замкнутой под T.

**Эргодичность: примеры и контрпримеры** **Эргодические:** - Вращение окружности на иррациональный угол (α ∉ ℚ): орбита {nα mod 1} плотна в [0,1) - Удвоение T(x) = 2x mod 1 на [0,1) - Сдвиг Бернулли на {0,1}^ℤ **НЕ эргодические:** - Вращение на рациональный угол α = p/q ∈ ℚ: каждая орбита конечна (q точек), инвариантных множеств много - T = тождественное отображение: каждая точка - инвариантное множество **Практическая проверка:** T эргодично ↔ любая T-инвариантная функция f = const (п.в.): f∘T = f ⟹ f = const μ-п.в.

Теорема Биркгофа: время = пространство

**Теорема Биркгофа (эргодическая теорема, 1931):** Если T - меросохраняющее отображение и f ∈ L¹(μ), то временное среднее сходится п.в. и в L¹: lim_{N→∞} (1/N) Σ_{n=0}^{N-1} f(Tⁿx) = E[f|𝒥], где 𝒥 - σ-алгебра T-инвариантных множеств. **Если T эргодично,** то E[f|𝒥] = ∫f dμ = const, то есть **временное среднее = пространственному**.

**Смысл теоремы Биркгофа:** Временное среднее: ⟨f⟩_time = lim_{N→∞} (f(x) + f(Tx) + ... + f(T^{N-1}x)) / N Пространственное среднее: ⟨f⟩_space = ∫_X f dμ При эргодичности: ⟨f⟩_time = ⟨f⟩_space (для п.в. начальной точки x) **Приложения:** - **Статистическая физика:** Гипотеза об эргодичности - основание термодинамики. Среднее за время = среднее по ансамблю. - **Теория чисел:** Теорема Вейля: (1/N)Σ e^{2πi·nα·k} → 0 для иррац. α (равномерное распределение) - **Сжатие данных:** Теорема Шеннона-Мак-Миллана-Брейман: длина оптимального кода ≈ энтропия источника - **ML:** цепи Маркова: MCMC сходится к стационарному распределению по эргодической теореме

Ключевые идеи

• Меросохраняющее T: μ(T⁻¹(E)) = μ(E) - мера инвариантна под T
• Эргодичность: T⁻¹(E) = E ⟹ μ(E) = 0 или μ(X) (только постоянные инварианты)
• Иррациональное вращение - эргодично; рациональное - нет (конечные орбиты)
• Теорема Биркгофа: (1/N)Σf(Tⁿx) → ∫f dμ (п.в.) при эргодичности T
• Временное среднее = пространственному (гипотеза об эргодичности в физике)
• MCMC = эргодическое сэмплирование: временные средние → интегралы

Связанные темы

Эргодическая теория - на пересечении теории меры, динамических систем и теории вероятностей:

• Регулярные меры — Инвариантные меры эргодических систем - регулярные борелевские меры
• Теоремы сходимости — Эргодическая теорема - сходимость п.в., аналог УЗБЧ для зависимых величин

Вопросы для размышления

• В чём разница между эргодической гипотезой в физике и математической теоремой Биркгофа?
• Почему MCMC-алгоритмы требуют эргодичности цепи Маркова? Что происходит при её нарушении?
• Как теорема Биркгофа связана с Законом Больших Чисел для независимых одинаково распределённых случайных величин?

Связанные уроки

• prob-05-independence