Хи-квадрат: как Фишер поймал Менделя на фальсификации

Цели урока

• Применять χ² тест согласия для проверки соответствия наблюдений теоретическому распределению
• Применять χ² тест независимости к таблицам сопряжённости и считать Cramer's V
• Понимать, как считать степени свободы для разных вариантов теста
• Реализовывать SRM-детектор для A/B платформы и интерпретировать результат
• Использовать χ² в ML-задачах: feature selection, distribution shift, LLM evaluation

Предварительные знания

• Понимание H0 / H1, p-value и уровня значимости α (см. урок stat-05-hypothesis)
• Базовая центральная предельная теорема для интуиции аппроксимации
• Различение категориальных и числовых переменных

Фишер 1936: хи-квадрат на данных Менделя выявил подделку, на которой стоит вся школьная генетика. Тот же тест сегодня ловит сломанную рандомизацию в Optimizely и distribution shift в production LLM.

• **Booking.com и Microsoft ExP** запускают SRM-тест автоматически перед каждым анализом A/B - 5-10% экспериментов помечается невалидными по оценке Ronny Kohavi
• **Optimizely / Statsig / GrowthBook** показывают предупреждение SRM в UI: 8% imbalance флагается уже на 100K пользователей
• **Evidently и WhyLabs** мониторят production ML через χ² между train- и inference-распределениями фичей и предсказаний
• **Clinical trials FDA** требуют χ² тест на баланс групп по полу, возрасту, расе при анализе lecarstvennyh efficacy
• **sklearn.feature_selection.chi2** отбирает признаки в text classification: миллионы признаков TF-IDF фильтруются за секунды
• **Хедж-фонды** применяют χ² для детекции аномальных паттернов в торговом потоке - связь типа ордера и времени дня

Карл Пирсон и рождение хи-квадрат

В 1900 году Карл Пирсон публикует "On the Criterion that a Given System of Deviations from the Probable in the Case of a Correlated System of Variables is such that it can be reasonably supposed to have arisen from Random Sampling" - 18 страниц, которые открывают эпоху статистики категориальных данных. До Пирсона статистика занималась средними и дисперсиями нормальных распределений. Пирсон даёт инструмент для частот: монета честная или нет, кости честные или подделаны, наследование жёлтого vs зелёного гороха идёт по закону или нет. В 1922 году Рональд Фишер уточняет понятие степеней свободы и закладывает современную форму теста. Через 14 лет Фишер тем же тестом разоблачит самого Менделя - инструмент против собственного основания дисциплины.

Тест согласия: соответствует ли распределение

**1936 год. Рональд Фишер берёт записи Грегора Менделя о горохе за 1856-1863 годы и применяет свой свежий критерий хи-квадрат.** Мендель - святой генетики, его законы наследования преподают в каждой школе. Результат Фишера: данные Менделя слишком хорошо ложатся на теоретические соотношения 3:1 и 9:3:3:1. Вероятность такой точности случайно - ниже 0.0001. Либо горох на австрийском участке монастыря в Брно был сверхъестественно благосклонен, либо ассистент монаха выбрасывал неудобные стручки. Хи-квадрат вскрыл fraud в основании генетики - и стал первым в истории алгоритмом для детекции причёсанных данных.

**Хи-квадрат (χ²) тест согласия (goodness-of-fit)** проверяет: совместимы ли наблюдаемые частоты по k категориям с гипотетическим распределением? H0 - данные из распределения F0, H1 - не из F0. Этот тест работает не с числами (для чисел есть t-тест), а с **частотами категорий**: цвет горошины, тип устройства, метка класса в датасете.

Алгоритм за 5 шагов

1. Разбить выборку на k категорий и посчитать наблюдаемые частоты O1, O2, ..., Ok
2. Вычислить ожидаемые при H0: Ei = n · pi, где pi - теоретическая вероятность категории
3. Посчитать статистику χ² = Σ (Oi - Ei)² / Ei
4. Степени свободы df = k - 1 - (число оценённых параметров)
5. Сравнить с критическим χ² при выбранном уровне α. Если χ² больше - H0 отвергается

**Слишком хороший fit - тоже подозрителен.** Если χ² систематически меньше df и p-value близко к 1, данные выглядят причёсанными. Этот же приём современная биостатистика использует для retraction-watch: ищут papers, где наблюдения подозрительно ровно ложатся на гипотезу. ML-аналог - LLM evaluation: если модель **слишком стабильно** выдаёт нужный класс, есть подозрение на data contamination между train и benchmark.

**Условие применимости:** все Ei >= 5. При нарушении хи-квадрат-аппроксимация проседает - объединять редкие категории либо использовать Fisher exact test для таблиц 2x2.

Статистика χ², степени свободы и распределение

**Карл Пирсон, 1900.** Статья "On the Criterion that a Given System of Deviations from the Probable..." - 18 страниц, после которых статистика стала наукой о категориях, а не только о средних. Пирсон вывел: если истинное распределение F0 верно, то сумма Σ (Oi - Ei)² / Ei сходится по распределению к χ²(df). Это работает потому, что нормированная разность (Oi - Ei) / sqrt(Ei) при больших n приближается к стандартной нормальной по центральной предельной теореме, а сумма квадратов k-1 независимых стандартных нормальных - это и есть хи-квадрат с df = k-1.

Степени свободы - сколько координат свободны

**Хи-квадрат в feature selection.** `sklearn.feature_selection.chi2(X, y)` возвращает χ²-статистику для каждого признака против целевой переменной. Признаки с большим χ² сильнее связаны с y и отбираются для модели. Используется в text classification (TF-IDF признаки vs класс) и в bioinformatics (SNP vs phenotype). Ограничение: работает только с неотрицательными признаками.

**Связь с G-test.** Альтернатива хи-квадрат - G-тест, основанный на likelihood ratio: G = 2 · Σ Oi · ln(Oi / Ei). При больших n G и χ² численно близки, но G лучше теоретически обоснован для малых выборок и используется в bioinformatics (BLAST, фенотипические анализы).

Тест независимости и таблицы сопряжённости

**Contingency table test** (тест сопряжённости) - расширение χ² на две категориальные переменные. Вопрос: P(A ∩ B) = P(A) · P(B)? Если да - переменные независимы. Если нет - есть связь. Классический пример из 1900-х: связь между выживанием на Титанике и классом пассажира - первое массовое применение χ² в социологии.

**Standardized residuals** показывают, какая именно ячейка вытащила тест. iOS / Premium с residual = +3.95 - там сильное превышение над ожидаемым. iOS пользователи покупают premium заметно чаще среднего, Web - заметно реже. Это аналог post-hoc анализа для категориальных тестов и стандарт в clinical trials, где χ² применяется к таблицам типа лечение vs исход.

**Корреляция не равна causation.** χ² показал связь iOS и premium, но не сказал, почему. iOS пользователи могут быть платёжеспособнее, или iOS-приложение раньше получало premium-фичи, или дизайн платёжного экрана на iOS лучше. Для причинности нужен рандомизированный эксперимент или causal inference (см. причинный вывод).

SRM-детектор и применения в ML

**Sample Ratio Mismatch (SRM)** - незаметный killer A/B тестов. Эксперимент сконфигурирован 50/50, но реальный сплит выходит 52/48. Причины: кэширование кук, ботовый трафик, async JS с задержкой, redirect chains, сломанная random seed. С точки зрения хи-квадрат это тест согласия с равномерным распределением - и при достаточном n даже сдвиг в 2% даёт χ² > 100. Microsoft ExP, Optimizely, Statsig, GrowthBook - все запускают SRM-детектор автоматически перед любым анализом результатов.

Хи-квадрат в production ML

**Distribution shift detection в LLM eval.** При деплое модели train-распределение токенов известно, inference-распределение собирается online. Хи-квадрат тест согласия на топ-1000 токенов даёт быстрый сигнал: пользователи спрашивают не то, на чём модель обучалась. Это сигнал к ретренингу или RAG-расширению (см. LLM evaluation).

**Multiple comparisons и p-hacking.** Если запускать 20 χ² тестов на одних данных, при α = 0.05 один из них окажется значимым случайно. Garden of forking paths Андрю Гелмана: исследователь крутит срезы пока не получит p < 0.05. Защита - Bonferroni-коррекция (α / число тестов) или FDR-контроль (Benjamini-Hochberg). Подробно в уроке про множественные тесты.

Вопросы для размышления

• В каких системах ежедневной работы (CI/CD, мониторинг, аналитика, рекомендации) можно увидеть скрытый хи-квадрат тест - и как изменилось бы решение, если бы он работал явно?

Связанные уроки

• stat-05-hypothesis — p-value и H0/H1 - база для любого критерия
• stat-06-t-test — t-тест для чисел, хи-квадрат для категорий
• stat-19-multiple-testing — Поправки при множественных хи-квадрат тестах
• ml-15-naive-bayes — Хи-квадрат как фильтр признаков перед Naive Bayes
• aie-31-evaluation — Detection распределительного сдвига train vs inference
• prob-08-variance