Теория меры
Теорема Радона-Никодима
Байесовское обновление вероятностей при миллионах наблюдений - это вычисление производной Радона-Никодима dP/dQ. Эта конструкция 1930 года объединяет теорию вероятностей и теорию меры, и без неё невозможно строго определить условное распределение при нулевом событии.
- Байесовский вывод: апостериорная мера через производную Радона-Никодима dP/dQ
- Теория вероятностей: плотность вероятности - частный случай производной Радона-Никодима
- Финансовая математика: мера риска и нейтральная к риску мера через Гирсанова
- Статистика: достаточные статистики через факторизацию производной Радона-Никодима
- Машинное обучение: KL-дивергенция = интеграл от log(dP/dQ) по мере P
- Оптимальное управление: теорема Гирсанова - изменение меры для диффузий
В 1930 году Йоган Радон доказал, что если мера μ абсолютно непрерывна относительно меры ν на ℝⁿ, то существует неотрицательная измеримая функция f такая, что μ(A) = ∫_A f dν для каждого измеримого A. Эта функция f, называемая производной Радона-Никодима, лежит в основе байесовского вывода: при 10⁶ наблюдений обновление апостериорной меры вычисляется именно через dP/dQ.
**О чём этот урок:** Плотность одной меры относительно другой. Производная Радона-Никодима и её применения в теории вероятностей и статистике.
Теорема Радона-Никодима
В 1930 году Йоган Радон доказал, что если мера μ абсолютно непрерывна относительно меры ν на ℝⁿ, то существует неотрицательная измеримая функция f такая, что μ(A) = ∫_A f dν для каждого измеримого A. Эта функция f, называемая производной Радона-Никодима, лежит в основе байесовского вывода: при 10⁶ наблюдений обновление апостериорной меры вычисляется именно через dP/dQ.
Применения: вероятностные меры и статистика
В статистике отношение правдоподобия - это производная Радона-Никодима: dP_θ/dP_0(x). Компания Netflix использует байесовские модели с производными Радона-Никодима для обновления распределений рекомендаций по миллиардам взаимодействий ежедневно.
Теорема Радона-Никодима
В 1930 году Йоган Радон доказал, что если мера μ абсолютно непрерывна относительно меры ν на ℝⁿ, то существует неотрицательная измеримая функция f такая, что μ(A) = ∫_A f dν для каждого измеримого A. Эта функция f, называемая производной Радона-Никодима, лежит в основе байесовского вывода: при 10⁶ наблюдений обновление апостериорной меры вычисляется именно через dP/dQ.
Разложение Лебега обобщает теорему: для произвольных мер μ = μ_ac + μ_s, где μ_ac ≪ ν - абсолютно непрерывная часть с производной Радона-Никодима, а μ_s ⊥ ν - сингулярная часть, сосредоточенная на ν-нулевом множестве.
Что означает условие μ ≪ ν (абсолютная непрерывность μ относительно ν)?
Абсолютная непрерывность μ ≪ ν означает: каждое множество нулевой ν-меры имеет нулевую μ-меру. Это необходимое и достаточное условие для существования производной Радона-Никодима dμ/dν.
Применения: вероятностные меры и статистика
В статистике отношение правдоподобия - это производная Радона-Никодима: dP_θ/dP_0(x). Компания Netflix использует байесовские модели с производными Радона-Никодима для обновления распределений рекомендаций по миллиардам взаимодействий ежедневно.
Как производная Радона-Никодима связана с методом importance sampling?
Формула замены меры ∫g dP_θ = ∫g·(dP_θ/dP_0) dP_0 напрямую задаёт веса importance sampling как значения производной Радона-Никодима.
Ключевые идеи
- Абсолютная непрерывность: Мера μ абсолютно непрерывна относительно ν (μ ≪ ν), если каждое ν-нулевое множес
- Производная Радона-Никодима: Если μ ≪ ν, то существует единственная (ν-п.в.) неотрицательная измеримая функци
- Интегральное представление: Мера μ любого измеримого множества A вычисляется интегрированием плотности f по
- Формула замены меры: Интегрирование по μ сводится к интегрированию по ν с дополнительным весом dμ/dν.
- Отношение правдоподобия: Отношение правдоподобия - это производная Радона-Никодима меры P_θ (при параметр
- Для абсолютно непрерывных мер: Если обе меры абсолютно непрерывны относительно меры Лебега с плотностями p_θ и