Статистика
Причинный вывод: интервенции и контрфактики
Как отличить корреляцию от причинности, если рандомизированный эксперимент невозможен или слишком дорог?
- **Amazon ценовые эксперименты:** 1200 A/B-тестов в 2021 году; без рандомизации наивная регрессия завышала эффект цены в 3 раза из-за конфаундинга
- **Медицина:** оценка эффекта курения на рак без этической возможности рандомизировать курение; IV через цену табака
- **Экономика образования:** Card (1995) использовал близость к колледжу как инструмент для оценки отдачи от образования
- **Политика:** оценка эффекта минимальной зарплаты на занятость через естественные эксперименты на границах штатов
Предварительные знания
- Линейная регрессия
- Условное ожидание
- Граф зависимостей
Каузальный вывод опирается на два формализма: фреймворк потенциальных исходов Рубина (Rubin Causal Model) и структурные причинные модели Перля (Pearl). Оба отвечают на вопрос: что произошло бы с Y, если бы мы установили T = t, при всех прочих равных условиях.
Иерархия дизайнов по надёжности причинного вывода (лестница Перля): 1) Ассоциация - корреляция P(Y|X); 2) Вмешательство - P(Y|do(X)); 3) Контрфактики - P(Y_x | X=x', Y=y). Рандомизированный эксперимент напрямую даёт ступень 2.
Регрессия разрывов (Regression Discontinuity Design, RDD) использует случайность около порогового значения переменной назначения. Если зачисление в программу определяется тестовым баллом X > c, то вблизи порога c группы получивших и не получивших лечение статистически похожи - это локальный рандомизированный эксперимент. Оценка: tau_RDD = lim_{x→c+} E[Y|X=x] - lim_{x→c-} E[Y|X=x]. Метод использовался для оценки эффекта минимального возраста потребления алкоголя в США (порог 21 год) на смертность.
Double/Debiased ML (Chernozhukov et al., 2018) объединяет причинный вывод с машинным обучением: нейтральные ML-модели оценивают мешающие функции (propensity score и conditional outcome), а затем деконфаундированная оценка эффекта строится через ортогонализацию Робинсона. Это позволяет использовать мощные нелинейные ML-методы для контроля ковариат без риска overfit-смещения в оценке ATE.
Синтетический контроль (Abadie et al., 2010) строит контрфактическую временную серию для региона, получившего вмешательство, как взвешенное среднее необработанных регионов-доноров. Веса w_j* минимизируют расстояние между предвмешательными характеристиками обработанного и синтетического контроля. Применялся для оценки эффекта Закона об ограничении табака в Калифорнии и немецкого воссоединения на ВВП.
Matching методы устраняют конфаундинг через построение парных сравнений: для каждого обработанного субъекта находится необработанный субъект с близким propensity score P(T=1|X). Propensity score p(X) = P(T=1|X) оценивается логистической регрессией или RF. Теорема Розенбаума-Рубина (1983): если X достаточно для идентификации (backdoor criterion), то p(X) также достаточно. Достаточно контролировать одну скалярную функцию вместо всего вектора X.
потенциальные исходы и ATE
Модель потенциальных исходов Рубина определяет для каждого субъекта i пару Y_i(1), Y_i(0) — что было бы при лечении и без него. Наблюдается только Y_i = T_i Y_i(1) + (1-T_i) Y_i(0): второй потенциал всегда контрфактический. Средний эффект лечения ATE = E[Y(1) - Y(0)] идентифицируется при условии игнорируемости T ⊥ (Y(0), Y(1)) | X.
ATT (effect on the treated) = E[Y(1) - Y(0) | T=1] часто отличается от ATE при селекции в программу: лечение получают те, кому оно потенциально полезнее. ATE и ATT совпадают только при истинной рандомизации.
Что такое фундаментальная проблема каузального вывода?
Holland (1986) сформулировал: 'No causation without manipulation, no causal inference without missing data.' Мы наблюдаем Y_i = T_i Y_i(1) + (1-T_i) Y_i(0); вторая половина пары всегда отсутствует. Решением служат предположения (игнорируемость, инструменты, RDD), позволяющие восстановить недостающие контрфактики на популяционном уровне.
do-calculus и критерий задней двери
Структурный фреймворк Перля моделирует каузальные связи направленным ациклическим графом (DAG). Оператор do(T=t) обозначает интервенцию: 'насильно установить T = t', разрывая входящие в T рёбра. P(Y | do(T)) — каузальная величина, отличная от наблюдаемой условной P(Y | T).
Какое из условий обязательно для допустимого backdoor-набора Z в DAG?
Backdoor-критерий: (1) ни одна вершина Z не является потомком T (иначе блокируем каузальный путь); (2) Z разрывает все «back-door» пути T ← ... → Y. Добавление потомков T создаёт коллайдерный bias. Правильное применение даёт P(Y | do(T)) через наблюдаемую P(Y | T, Z) с маргинализацией по Z.
инструментальные переменные
Инструмент Z — переменная, влияющая на Y только через T (исключающее ограничение) и не коррелирующая с ненаблюдаемыми конфаундерами U (внешность). Позволяет идентифицировать каузальный эффект при ненаблюдаемом смешении T и Y. Классический пример: судьи с разной строгостью как инструмент для тюремного заключения при изучении его влияния на рецидив.
Слабый инструмент (cor(Z, T) ≈ 0) даёт несостоятельную оценку: знаменатель близок к нулю, оценка IV имеет огромную дисперсию. Правило большого пальца Stock-Yogo: F-статистика первой ступени должна быть > 10.
Какое из условий нарушается, если инструмент Z имеет прямое влияние на исход Y помимо T?
Exclusion restriction — ядро IV-идентификации: канал Z → Y допустим только через T. При прямом эффекте Z → Y оценка β_YZ / β_TZ смешивает каузальный эффект T → Y с прямым эффектом Z → Y и становится смещённой. Это условие непроверяемо в данных, требует обоснования через теорию предметной области.
Причинный вывод и смежные области
Каузальный вывод соединяет статистику, эконометрику, эпидемиологию и машинное обучение через общую задачу идентификации эффектов.
- Эконометрика — Исторический источник IV, DiD и RDD как естественных экспериментов
- Машинное обучение — Double ML и причинные леса используют гибкие ML-модели для оценки nuisance-функций
- Эпидемиология — Cтратификация по конфаундерам и propensity score родились из задач когортных исследований
Итоги
- ATE = E[Y(1) - Y(0)] - причинный эффект; идентифицируется через рандомизацию T ⊥ (Y(0), Y(1))
- Backdoor criterion: набор Z блокирует все нечёткие пути T → ... → Y; корректировка по Z даёт P(Y|do(T))
- IV-оценка = Cov(Y,Z)/Cov(T,Z); инструмент Z нужен релевантный, исключённый и независимый от конфаундеров
- LATE - эффект лечения для compliers при IV; не совпадает с ATE при гетерогенных эффектах
- DiD устраняет постоянные групповые и временные эффекты при допущении параллельных трендов