Causal Representation Learning

Нейросеть достигла 85% точности на задаче «определить пневмонию по рентгену». Команда радовалась. Потом разобрались: модель опиралась на маркировку каталок - если пациент лежит на реанимационной каталке, скорее всего у него пневмония. Correlation, not causation. Causal representation learning решает именно это.

• StyleGAN StyleSpace - цвет волос, возраст, поза как частично причинные факторы
• Drug discovery: IRM-модели, работающие на всех когортах, а не только на тренировочной
• DreamerV3 - мировая модель с частичной причинной структурой для robot manipulation

Causally sufficient representation

Deep learning обучает корреляциям, а не причинам. Нейросеть на рентгеновских снимках грудной клетки научилась определять пневмонию частично по маркировке реанимационных каталок (каузальный механизм: каталка предсказывает госпитализацию в реанимацию, а не пневмонию). Arjovsky, Bottou et al. 2019 формализовали эту проблему.

**Causal sufficiency:** представление $Z$ называется причинно достаточным, если содержит все общие причины пары $(X, Y)$. В рамках SCM: представление кодирует причинные переменные $V_1, \ldots, V_k$ так, что $Y \perp X \mid Z$ в каждой среде (environment).

Связь с SCM: $X \leftarrow f(Z, N_X)$, $Y \leftarrow g(Z, N_Y)$. Когда $Z$ содержит истинные причинные факторы, зависимость $g$ стабильна во всех средах. CLIP representations частично причинно disentangled по дизайну - текст описывает причинные атрибуты.

StyleGAN StyleSpace: цвет волос, возраст, поза - причинно-подобные факторы, изменяемые независимо. Большинство обычных нейросетей смешивают причинные и ложные признаки без различия.

**Ложные корреляции устойчивы внутри обучающего распределения, но ломаются при distribution shift.** Признак «каталка» работает в той же больнице с теми же протоколами - и полностью ломается в другой клинике.

IRM: обучение из нескольких environments

**Invariant Risk Minimization (IRM)** - Arjovsky, Bottou, Gulrajani, Lopez-Paz, 2019. Ключевая идея: причинные признаки порождают представления, где оптимальный классификатор $w^* \cdot \Phi(x)$ одинаков (инвариантен) во всех training environments.

**IRM objective:** $\min_\Phi \sum_e R^e(\Phi) + \lambda \| \nabla_{w|w=1} R^e(\Phi) \|^2$. Gradient penalty минимален, когда текущее представление уже использует глобально оптимальный классификатор. Penalty принуждает $\Phi$ находить представление, где $w=1$ оптимально одновременно для всех сред.

**Расширения:** IRM-Games (Nash equilibrium формулировка), V-REx (variance penalty между средами), EIIL (environment inference - когда метки сред неизвестны). Каждый метод имеет свои failure modes: IRM требует достаточного количества сред, V-REx чувствителен к шуму.

**Применения:** drug discovery - признаки, предсказывающие эффективность препарата во всех когортах, а не только в обучающей. Financial fraud detection - признаки, работающие по всем категориям торговцев, устойчивые к distribution shift.

Disentanglement через линзу причинности

**Гипотеза disentanglement** (Bengio et al. 2013): в данных существуют «независимые факторы вариации». Но классический beta-VAE disentanglement доказуемо невозможен из i.i.d. данных без индуктивных смещений (Locatello et al. 2019 - inconvenient theorem).

**Identifiability требует вспомогательной информации:** интервенциональные данные (iVAE - Khemakhem et al. 2020), временная структура (TDRL), или несколько сред. iVAE: $p(z \mid u) = \prod_k p_k(z_k \mid u)$ со вспомогательной переменной $u$ - доказуемо идентифицирует латентные факторы с точностью до element-wise reparameterization.

**ILCM** (Independent Linear Causal Mechanisms, Lippe et al. 2022): использует интервенциональные сигналы для идентификации причинного графа среди латентных факторов. Мост между latent variable models и структурными причинными моделями.

Stable Diffusion concept space частично disentangled благодаря CLIP-обучению. DreamerV3 обучает частично disentangled slot representations, что улучшает generalization в новых средах при robot manipulation.

**Locatello 2019:** без вспомогательной информации или индуктивных смещений любая перестановка/смешение латентных факторов статистически неотличима. Диентанглирование без идентификационных условий - иллюзия, а не гарантия.

Причинный интеллект в RL

Стандартный RL эксплуатирует корреляции в траекториях. При смене среды (новая физика, другая reward function) политика ломается. Causal world models обучают интервенциональное распределение $p(s_{t+1} \mid do(a_t), s_t)$ вместо наблюдательного $p(s_{t+1} \mid a_t, s_t)$.

**Causal dynamics models:** CDSSM (Causal Dynamic State Space Model), CausalDreamer. Transition факторизуется как произведение независимых причинных механизмов. Смена одного механизма (например, гравитация) не ломает другие (визуальный рендеринг, коллизии объектов).

**Offline causal RL:** когда офлайн-данные позволяют идентифицировать причинный эффект изменения политики? Требуется условие overlap + причинная идентификация через do-calculus. Прямая связь с материалом уроков 10-11 этого курса.

DeepMind применяет causal RL для robot manipulation: causal credit assignment улучшает планирование захвата. Провал OpenAI Five при distribution shift анализируется через причинную линзу - агент выучил ложные корреляции, специфичные для тренировочных матчей.

**Offline RL + do-calculus:** если политика поведения $\pi_b$ имела overlap с целевой политикой $\pi$, и причинный граф известен, можно применить adjustment formula для оценки $V^\pi$ без онлайн-взаимодействия.

Итоги

• Causally sufficient representation $Z$ содержит все общие причины $(X, Y)$ - именно это обеспечивает stability при distribution shift
• IRM находит инвариантные признаки через gradient penalty: оптимальный классификатор $w=1$ должен быть одинаков во всех environments
• Disentanglement без вспомогательной информации неидентифицируем (Locatello 2019) - нужны интервенции, временная структура или несколько сред
• Causal world models обучают $p(s' \mid do(a), s)$, факторизованное по независимым механизмам - ключ к generalization в RL

Что это разблокирует

Куда ведёт причинное представление:

• Double ML и CATE — CATE estimation предполагает causally sufficient представление ковариат
• Counterfactual reasoning — Counterfactual queries требуют идентификации причинных факторов в SCM
• Causal discovery — CRL переносит задачу causal discovery в латентное пространство

Вопросы для размышления

• Компания обучила модель кредитного скоринга на данных из трёх регионов. Какие признаки IRM посчитает более надёжными - «история платежей» или «марка смартфона пользователя»?
• iVAE идентифицирует латентные факторы с точностью до element-wise reparameterization. Почему это слабее полной идентификации - и достаточно ли для практических применений?
• В чём разница между p(s'|a,s) и p(s'|do(a),s) в контексте robot manipulation? Когда эти два распределения совпадают?

Связанные уроки

• cc-12-double-ml-cate — CATE estimation is one application of causal representations
• cc-09-counterfactuals — Counterfactual reasoning underlies causal features
• cc-11-causal-discovery — CRL extends causal discovery to latent space
• lt-01-pac-intro — IRM generalizes ERM the same way PAC generalizes empirical risk
• ig-10-deep-learning — Both study geometric structure of deep representations