Причинный вывод

«Пользователи, видевшие рекламу, покупают в 3 раза чаще - реклама работает!» Но может, они просто изначально более склонны покупать? Причинный вывод - самый важный и недооценённый навык в data science. Он отделяет «что коррелирует» от «что работает».

• Медицина: эффект нового препарата (RCT - стандарт доказательной медицины)
• Экономика: эффект минимальной зарплаты на занятость (Card & Krueger, Nobel 2021)
• Продуктовая аналитика: влияние фичи на метрику (A/B тест = маленький RCT)
• Политика: эффект образования на доходы (IV: расстояние до колледжа)
• Платформы: эффект контента на вовлечённость (DiD при поэтапном запуске)

Предварительные знания

• Linear Regression

Корреляция vs причинность: конфаундеры и парадокс Симпсона

Исследование WHI (2002): ЗГТ повышала риск инфаркта на 29%, однако это было конфаундингом по возрасту - женщины, начавшие ЗГТ позже, были старше. **Конфаундер** (confounding variable) - переменная, связанная и с воздействием, и с исходом, искажающая оцениваемый эффект. Классический пример: мороженое и утопления. Оба коррелируют с летом (конфаундер). **Парадокс Симпсона:** тенденция, наблюдаемая в нескольких группах, меняет знак при объединении групп - из-за неучтённого конфаундера.

**Три типа ложных ассоциаций:** 1. Конфаундер - общая причина (температура → мороженое И утопления) 2. Обратная причинность - Y вызывает X, не наоборот 3. Случайность - достаточно протестировать много пар переменных. Инструмент разграничения - DAG (Directed Acyclic Graph): граф причинно-следственных отношений.

Потенциальные исходы: модель Рубина

**Модель потенциальных исходов Рубина** - формальный язык причинного вывода. Y(1) - исход при воздействии; Y(0) - исход без воздействия. **ATE** (Average Treatment Effect) = E[Y(1) − Y(0)]. **Фундаментальная проблема причинного вывода:** для одного человека нельзя одновременно наблюдать Y(1) и Y(0) - один из них всегда контрфактуален. **Рандомизация решает проблему:** при случайном назначении Y(1), Y(0) независимы от T → E[Y(1)−Y(0)] = E[Y|T=1] − E[Y|T=0].

**Ключевые допущения причинного вывода:** 1. SUTVA - стабильное значение воздействия: нет интерференции между субъектами 2. Ignorability - при условии наблюдаемых ковариат X, воздействие T независимо от потенциальных исходов (Y(0), Y(1)) ⊥ T | X 3. Overlap - каждый субъект имеет ненулевую вероятность получить любое воздействие: 0 < P(T=1|X) < 1.

RCT и методы для наблюдательных данных

**RCT (Randomised Controlled Trial)** - золотой стандарт: рандомизация устраняет конфаундинг. Но дорого, долго, иногда неэтично. Для наблюдательных данных: **Instrumental Variables (IV)** - переменная, влияющая на воздействие, но не на исход напрямую. **Diff-in-Diff** - сравнение изменений (до/после) между группами, устраняя постоянные конфаундеры. **RDD** (Regression Discontinuity Design) - сравнение вблизи порогового значения.

**Иерархия доказательств причинности:** 1. РКИ/RCT (золотой стандарт) 2. Квазиэксперименты: DiD, RDD, IV 3. Propensity Score методы (PSM, IPW, doubly robust) 4. Регрессия с контролем конфаундеров 5. Корреляция (наименее надёжно). DAG (Directed Acyclic Graph) - формальный инструмент для идентификации и выбора метода.

Ключевые идеи

• Корреляция ≠ причинность: конфаундеры создают ложные ассоциации
• Парадокс Симпсона: тенденция меняет знак при объединении групп
• Модель Рубина: Y(1), Y(0) - потенциальные исходы; ATE = E[Y(1)−Y(0)]
• Фундаментальная проблема: Y(1) и Y(0) нельзя наблюдать одновременно
• RCT решает проблему рандомизацией; для наблюдательных - IV, DiD, PSM
• Propensity Score: моделирует вероятность лечения для коррекции смещения
• DoWhy: Python-библиотека для формализации и оценки причинных эффектов

Причинный вывод и весь курс статистики

Причинный вывод - венец статистического мышления. Он связывает регрессию (инструмент описания), гипотезы (тестирование), дизайн экспериментов (RCT) и байесовский подход (приоры на причинную структуру). Это переход от 'что мы видим' к 'что произойдёт при вмешательстве'.

• Линейная регрессия — Регрессия описывает ассоциации; для причинности нужен RCT или квазиэксперимент
• Байесовская статистика — Байесовские причинные модели кодируют экспертные знания о DAG

Вопросы для размышления

• Возьмите любое корреляционное исследование из новостей. Назовите возможные конфаундеры. Как бы разработали RCT для проверки причинности?
• Почему Nobel Prize по экономике 2021 года (Card, Angrist, Imbens) был присуждён за «естественные эксперименты»? Чем это лучше обычных наблюдательных исследований?
• В вашем продукте новую фичу запустили сначала в одном регионе. Как использовать DiD для оценки эффекта, не проводя классического A/B теста?

Связанные уроки

• aie-42-ai-system-design