Mediation analysis: NDE и NIE

Аспирин снижает риск инфаркта. Это знают все. Но КАК - напрямую разжижая кровь, или через снижение воспаления? Ответ меняет всё: если через воспаление - ибупрофен лучше и дешевле. Если напрямую через тромбоциты - ибупрофен бесполезен. Два механизма, одинаковый total effect, противоположные клинические решения. Mediation analysis - единственный способ ответить без второго рандомизированного испытания. Pearl 2001 дал математику. Vanderbilt, NIH и Google Health уже используют её в production.

• **Clinical trials (Pearl 2001 mediation formula):** лекарство работает через биомаркер M или напрямую? Если NDE ≈ 0 и NIE ≈ ATE - достаточно дешёвого аналога, который поднимает биомаркер. FDA Biomarker Qualification Program использует mediation-аргументы при валидации surrogate endpoints
• **Algorithmic fairness (Nabi-Shpitser 2018):** path-specific causal effects формализуют discrimination. Прямой путь race->salary - незаконная дискриминация. Косвенный race->profession->salary - системное неравенство. Fairness constraint в ML-модели строится именно как подавление прямого пути без вмешательства в легитимные пути
• **RLHF mediation:** X=RLHF-файнтюнинг, M=chain-of-thought (развёрнутые рассуждения), Y=качество ответа. NDE - улучшение через стиль/безопасность напрямую. NIE - улучшение через лучшие рассуждения. Если NIE >> NDE - RLHF обучает reasoning, а не только alignment
• **Uplift modeling (рекламные платформы):** реклама влияет на покупку напрямую (immediate response) или через awareness (бренд-память, купил через неделю). Разные медиа-каналы оптимальны для разных путей. Без медиации - budget оптимизируется по total effect, деньги расходуются неэффективно

Предварительные знания

• do-оператор: $\text{do}(X=x)$ как интервенция, отличная от observation $X=x$
• Counterfactual notation: $Y(x)$ - потенциальный исход при $\text{do}(X=x)$
• Backdoor adjustment: идентификация $P(Y \mid \text{do}(X))$ через наблюдаемые конфаундеры

• do(X) Operator: Intervention vs Observation
• Три правила do-calculus

Идея медиации: прямой vs косвенный путь

Аспирин снижает риск инфаркта. Это знают все. Но КАК - напрямую, разжижая кровь и блокируя тромбоциты, или через подавление воспаления? Ответ меняет всё. Если через воспаление - ибупрофен даёт тот же эффект и дешевле. Если напрямую через тромбоциты - ибупрофен бесполезен. Два разных механизма, одинаковый total effect, противоположные клинические решения.

Mediation analysis - математический аппарат для этого различия. Структура проста: есть лечение $X$, исход $Y$, и переменная $M$ - медиатор, через который $X$ частично влияет на $Y$.

Интуиция: прямой эффект - что происходит, если изменить $X$, но заморозить медиатор на его естественном уровне. Косвенный эффект - что происходит, если зафиксировать $X$, но позволить медиатору реагировать на изменение $X$.

**Algorithmic fairness:** Nabi-Shpitser 2018 использовали path-specific causal effects для формализации discrimination. Прямой путь $X_{race} \to Y_{salary}$ - прямая дискриминация. Косвенный $X_{race} \to M_{profession} \to Y_{salary}$ - дискриминация через профессию. Разделение позволяет строить fairness constraints, не ломающие легитимные медиационные пути.

NDE и NIE: формальные определения

Pearl 2001 ввёл строгие counterfactual определения прямого и косвенного эффекта. Ключевой объект - $Y(x, m)$: потенциальный исход при $\text{do}(X=x)$ и $\text{do}(M=m)$ одновременно. Второй объект - $M(x')$: потенциальное значение медиатора при $\text{do}(X=x')$.

**Natural Direct Effect (NDE)** - изменение $Y$ при изменении $X$ с $x'$ до $x$, когда медиатор зафиксирован на уровне $M(x')$ - том, который он принял бы при $X=x'$:

**Natural Indirect Effect (NIE)** - изменение $Y$ только через медиатор, когда $X$ зафиксирован на $x$, но $M$ меняется с $M(x')$ до $M(x)$:

**Total Effect (ATE)** раскладывается точно:

**RLHF-приложение:** $X$ = RLHF-файнтюнинг (включён/выключен), $M$ = chain-of-thought - показывает ли модель развёрнутые рассуждения, $Y$ = качество финального ответа. NDE - улучшение качества напрямую (стиль, безопасность). NIE - улучшение через лучшие рассуждения. Если NIE >> NDE - RLHF работает как curriculum для reasoning, не как alignment-патч.

Важная деталь: $Y(x, M(x'))$ - это не просто conditioning. Это counterfactual объект, который одновременно требует двух различных интервенций. Именно поэтому mediation analysis строго сложнее total effect - для NDE и NIE нужны более строгие assumptions, чем для ATE.

Mediation formula Pearl 2001: идентификация и assumptions

Определения NDE и NIE красивые, но как их вычислить по данным? $Y(x, M(x'))$ - counterfactual, требующий одновременно $\text{do}(X=x)$ и $\text{do}(M=M(x'))$. Напрямую это не наблюдается. Pearl 2001 вывел mediation formula - условия, при которых NDE и NIE выражаются через observational distribution.

**Mediation formula для NDE (Pearl 2001):**

**Три условия идентифицируемости (no unmeasured confounders):** 1. Нет скрытых конфаундеров $X \to Y$: $W$ блокирует backdoor $X \leftrightarrow Y$. 2. Нет скрытых конфаундеров $X \to M$: $W$ блокирует backdoor $X \leftrightarrow M$. 3. Нет скрытых конфаундеров $M \to Y$: $W$ блокирует backdoor $M \leftrightarrow Y$ - **в том числе тех, которые являются потомками $X$**. Условие 3 - самое жёсткое. Оно означает: нет ненаблюдаемого конфаундера $M \leftrightarrow Y$, который сам зависит от $X$.

При выполнении всех трёх условий формула принимает вид, где $\text{do}$ заменяются на обычные условные вероятности. Для непрерывных переменных и линейной модели:

**Robins-Richardson (2010) sharp null:** если total effect = 0, mediation analysis ещё не гарантирует NDE = 0 и NIE = 0 по отдельности. NDE и NIE могут быть ненулевыми и противоположными по знаку (cancellation). Это значит: при нулевом ATE медиационный анализ всё ещё имеет смысл - он ловит скрытые пути, которые компенсируют друг друга.

**Clinical trials пример:** лекарство действует через биомаркер (M=уровень белка) или напрямую (X→Y)? Если NIE ≈ ATE - достаточно дешёвого аналога, который поднимает биомаркер. Если NDE >> NIE - нужен оригинальный механизм. Mediation analysis позволяет ответить по данным observational study, не проводя отдельного RCT для каждого пути.

Разложение VanderWeele и ML-приложения

Pearl 2001 дал бинарную декомпозицию: NDE + NIE = ATE. VanderWeele 2014 пошёл дальше. При наличии interaction между $X$ и $M$ простая декомпозиция маскирует структуру. Он показал: total effect раскладывается в четыре компонента.

**VanderWeele 4-way decomposition (2014):**

4-way разложение важно в медицине: interaction между лечением и биомаркером - отдельный клинический вопрос. Если лекарство работает только при высоком M - это не медиация, а эффект-модификация. Различие определяет, кому назначать препарат.

**Algorithmic fairness (Nabi-Shpitser 2018):** Path-specific causal effects для справедливости. Пусть $X$ = race, $M$ = profession, $Y$ = salary. Прямой путь $X \to Y$ - незаконная дискриминация. Косвенный $X \to M \to Y$ - часть исторического неравенства, но обсуждаемо. Регуляторное требование: подавить прямой путь, не трогая легитимные пути. Без mediation analysis формализовать это требование как fairness constraint невозможно.

**Uplift modeling:** рекламодатель хочет знать - реклама влияет на покупку напрямую (увидел и купил сразу) или через awareness (запомнил бренд, купил через неделю)? Прямой эффект - immediate response. Косвенный - brand building. Разные медиа-каналы оптимальны для разных путей. Без медиации - оптимизируется только total effect, budget размазывается неправильно.

Ключевые идеи

• **NDE** (Natural Direct Effect) = $\mathbb{E}[Y(x, M(x')) - Y(x', M(x'))]$ - эффект $X$ при медиаторе, замороженном на уровне контрольной группы. Прямой путь $X \to Y$
• **NIE** (Natural Indirect Effect) = $\mathbb{E}[Y(x, M(x)) - Y(x, M(x'))]$ - эффект только через медиатор при фиксированном $X=x$. Путь $X \to M \to Y$
• **ATE = NDE + NIE** - математическое тождество при определениях через counterfactuals. NDE и NIE могут иметь разные знаки (inconsistent mediation)
• **Три условия идентифицируемости Pearl 2001:** нет unmeasured confounders для $X \to Y$, $X \to M$, $M \to Y$. Третье - самое жёсткое: запрещает ненаблюдаемого конфаундера $M \leftrightarrow Y$, зависящего от $X$
• **VanderWeele 2014 4-way:** при $X \times M$ interaction NDE дополнительно разбивается на pure direct effect + interaction term. Критично для персонализации лечения и modifier-эффектов
• **ML-применения:** fairness constraints через path-specific effects, RLHF механизм через CoT-медиатор, uplift modeling, clinical surrogate endpoints - все требуют mediation, а не только total effect

Куда дальше

Mediation analysis открывает pathway-аналитику и продвинутые fairness-методы:

• Counterfactual semantics — Y(x, M(x')) требует полной SCM-семантики - следующий урок строит эту математику
• Transportability — Перенос NDE/NIE между популяциями - прямое расширение mediation identification
• Double ML и CATE — CATE = total effect; добавление mediation даёт pathway-specific CATE

Вопросы для размышления

• RLHF-файнтюнинг: NIE (через chain-of-thought) >> NDE (прямой). Как это меняет стратегию улучшения модели - стоит ли инвестировать в улучшение CoT качества или в alignment-дату напрямую?
• Baron-Kenny procedure 1986 (regression с медиатором) давала bias при конфаундерах M-Y. Два десятилетия психологических и медицинских статей использовали её без поправки. Как отличить в исторической литературе корректные mediation-результаты от смещённых?
• Path-specific fairness: регулятор требует 'нулевой прямой дискриминации' (NDE = 0), допуская косвенное неравенство через профессию. Является ли такое требование достаточным, и при каких структурах DAG оно не достигает цели?

Связанные уроки

• cc-05-do-operator — do-оператор и counterfactual notation - язык определений NDE и NIE
• cc-06-do-calculus — Mediation formula выводится последовательным применением трёх правил do-исчисления
• cc-07-identifiability — Идентификация NDE и NIE требует тех же условий no-unmeasured-confounders, что и ID-алгоритм
• cc-09-counterfactuals — Формальная семантика NDE/NIE строится на counterfactual world Y(x, M(x'))
• cc-12-double-ml-cate — Double ML и CATE - надстройки над total effect; медиация добавляет путевую декомпозицию
• stat-01-sampling