Логистическая регрессия: вероятность как прямая линия

**1986 год. Мыс Канаверал. -2°C.** Challenger взрывается через 73 секунды после старта. Гибнут 7 астронавтов. Президентская комиссия установит потом: за ночь до запуска инженеры Morton Thiokol имели данные о поведении уплотнительных колец O-rings при разных температурах. Они построили scatter plot - но только по полётам с инцидентами. Дополнительные данные, где отказов не было, в анализ не вошли. Если бы они применили логистическую регрессию P(отказ | температура) ко ВСЕМ 23 запускам - S-кривая показала бы P > 0.99 при -2°C. Инструмент существовал. Просто никто не взялся его применить. **Логистическая регрессия могла спасти 7 жизней.**

**Что этот урок даёт на самом деле**: не ещё одну формулу классификации, а понимание того, почему бинарный исход требует отдельного аппарата - и как logit-link элегантно решает задачу, которую OLS решить не может. После урока в голове появится карта: logit → odds ratio → MLE → ROC/AUC → регуляризация. Это фундамент, на котором держится вся индустрия credit scoring, spam filtering, medical diagnostics и CTR prediction.

Проблема: почему OLS не работает для вероятностей

Классическая **линейная регрессия (OLS)** оптимизирована для непрерывного отклика Y ∈ (-∞, +∞). Когда Y бинарный - 0 или 1 - возникает фундаментальное противоречие. Модель Ŷ = Xβ может предсказать любое вещественное число, в том числе отрицательное или больше 1. Для вероятности это лишено смысла.

**LPM (Linear Probability Model)** иногда используется в эконометрике именно как OLS на бинарном Y - для интерпретируемости при небольших эффектах в середине диапазона. Но это осознанный trade-off, а не рекомендация. При P близких к 0 или 1 - LPM даёт предсказания за пределами [0,1] и обладает структурно некорректными доверительными интервалами.

Logit link: элегантное решение

Нужна функция-связка (link function), которая отображает линейный предиктор (-∞, +∞) в вероятность (0, 1). **Логистическая функция (sigmoid)** σ(z) = 1/(1+e^(-z)) делает именно это: монотонно возрастает, ограничена строго между 0 и 1, симметрична относительно 0.5. Её обратная функция - **logit** - переводит вероятность в log-odds, которые уже лежат на всей вещественной прямой.

**Интуиция для sigmoid**: при z = 0 - модель ничего не знает (p = 0.5). Чем больше |z|, тем увереннее предсказание. При z = +4.6 - p ≈ 0.99 (почти уверен в классе 1). При z = -4.6 - p ≈ 0.01. В logistic regression gradient descent двигает веса так, чтобы sigmoid-выходы для правильных классов становились ближе к 1 и 0.

Интерпретация коэффициентов через Odds Ratios

Коэффициент β_j в логистической регрессии означает: при увеличении x_j на 1 единицу (остальные фиксированы) - log-odds меняется на β_j. Это не интуитивно. Более естественная интерпретация - через **Odds Ratio (OR)**: exp(β_j) показывает, во сколько раз умножаются шансы на единицу изменения предиктора.

**OR != Relative Risk (RR).** Odds Ratio всегда дальше от 1, чем Relative Risk, и при частых событиях (p > 0.10) разница существенна. Классическая ошибка в медицинских публикациях: интерпретировать OR как RR. Пример: OR = 3.0 при baseline p = 0.5 означает RR = 1.5, не 3.0. Доверительный интервал для OR через delta method или bootstrap - стандарт в clinical reporting.

MLE и binary cross-entropy: одна функция под двумя именами

Логистическая регрессия оценивает параметры через **максимальное правдоподобие (MLE)**. Правдоподобие для бинарных данных - произведение p_i^y_i * (1-p_i)^(1-y_i) по всем наблюдениям. Log-правдоподобие записывается как сумма, и именно эту сумму максимизируют. Взятая с минусом, она совпадает с **binary cross-entropy** - той же функцией потерь, что минимизируют нейронные сети при классификации.

**Связь с нейросетями**: sklearn LogisticRegression использует LBFGS (quasi-Newton). PyTorch/JAX - SGD или Adam. Для n < 10K объектов LBFGS сходится быстрее и точнее. При n > 100K - SGD с mini-batch работает лучше из-за памяти. Это та же причина, по которой фреймворки глубокого обучения используют Adam, а не L-BFGS.

Оценка качества: за пределами accuracy

**Accuracy** - самая вводящая в заблуждение метрика при **class imbalance**. Если 99% примеров negative (fraud detection: 99% транзакций - честные), модель которая предсказывает всегда 0 даёт 99% accuracy и 0% пользы. Правильные инструменты оценки строятся на confusion matrix и вероятностных threshold.

**Calibration vs Discrimination.** AUC-ROC измеряет ranking ability (discrimination) - умение ранжировать positive выше negative. Calibration - насколько p=0.7 действительно означает 70% шанс. Модели могут иметь высокий AUC но плохую calibration (нейросети печально известны этим). Platt scaling и isotonic regression - два классических метода пост-обучения для calibration. В credit scoring calibration критична: p=0.15 означает 15% реальный дефолт.

Регуляризация: Ridge (L2) и Lasso (L1)

Без регуляризации логистическая регрессия склонна к overfitting при большом числе features - особенно при мультиколлинеарности. В sklearn параметр **C = 1/λ**: чем меньше C, тем сильнее штраф за большие коэффициенты. По умолчанию C=1.0 (умеренная L2-регуляризация). Выбор типа регуляризации определяет поведение модели при sparse data.

**В production** почти всегда нужна регуляризация. Особенно при: 1. n < 1000 и много features 2. high-cardinality categorical features после one-hot 3. NLP features (vocabulary size >> n). Пример: spam filter с 50K word features и 10K emails - без L1 регуляризации модель переобучится и половина коэффициентов будет статистически ненадёжной.

Где логистическая регрессия живёт прямо сейчас

**Логистическая регрессия в production (2026)** Несмотря на бум нейросетей - логистическая регрессия остаётся ядром множества критических production систем из-за интерпретируемости, скорости и регуляторных требований • **Credit scoring (FICO, банки)**: Предсказание P(дефолт) по финансовой истории заявителя - Регуляторы (Basel III, GDPR) требуют объяснимости. Odds ratios - единственный способ объяснить клиенту отказ. В США Fair Credit Reporting Act прямо требует human-readable reasons. • **Spam detection (Gmail baseline)**: P(spam | features) по header + body features - Первое поколение Gmail spam filter - логистическая регрессия с L1 на bag-of-words. До сих пор используется как fast baseline и interpretability layer поверх BERT-based систем. • **Medical diagnosis (FDA-cleared models)**: P(рак | imaging features) или P(сепсис | vital signs) - Большинство FDA-cleared AI-моделей в диагностике - интерпретируемые модели (LR, decision trees), а не black-box нейросети. SOFA score в реанимациях - weighted logistic regression. • **Ad CTR prediction (feature engineering layer)**: P(click | user, ad, context) в real-time bidding - Google, Meta - LR over billions of binary features с L1-regularization. Нейросети добавляются поверх LR как deep component в DLRM архитектуре, но LR остаётся memorization layer. • **Churn prediction (SaaS)**: P(отписка | usage patterns) по пользовательским метрикам - Salesforce Einstein, HubSpot - LR с feature importance для Customer Success teams. OR для каждого feature объясняет команде почему конкретный клиент в зоне риска. • **A/B тесты с binary outcome**: Анализ conversion rate с контролем covariates - Logistic regression с treatment как predictor - правильный способ A/B анализа при бинарном исходе (вместо chi-square). CUPED для variance reduction - расширение той же идеи.

**Финальный кадр**: в 2026 году, когда каждый стартап добавляет LLM, 95% продакшн-решений по бинарной классификации в regulated industries - это по-прежнему логистическая регрессия. Не потому что нейросети хуже, а потому что регуляторы требуют объяснить каждое решение. OR = 0.30 для 'has_default' объясняет клиенту отказ в кредите. 128-слойный трансформер - нет.

Практика: катастрофа Challenger на реальных данных

Задача: предсказать P(одобрение кредита) по возрасту заявителя. Обучили OLS на данных банка: P(кредит | возраст) = -0.005 * возраст + 0.80 Предсказания: возраст = 25 лет -> P = -0.005*25 + 0.80 = 0.675 OK возраст = 55 лет -> P = -0.005*55 + 0.80 = 0.525 OK возраст = 5 лет -> P = -0.005*5 + 0.80 = 0.775 OK (но 5-летний за кредитом?) возраст = 80 лет -> P = -0.005*80 + 0.80 = 0.400 OK возраст = 200 лет -> P = -0.005*200 + 0.80 = -0.20 !!! При достаточно большом или малом X - вероятность выходит за [0, 1]. Ошибки 2-го рода: гетероскедастичность (Var(Y) = p(1-p) зависит от X), нарушение нормальности остатков. OLS для бинарного Y - broken by design.

Odds (шансы) - отношение вероятности успеха к вероятности неудачи: odds = p / (1 - p) Logit - натуральный логарифм odds: logit(p) = log(p / (1-p)) Sigmoid - обратное преобразование из logit в p: sigma(z) = 1 / (1 + e^(-z)) Примеры: p = 0.01 -> odds = 0.0101 -> logit = -4.60 p = 0.25 -> odds = 0.333 -> logit = -1.099 p = 0.50 -> odds = 1.000 -> logit = 0.000 p = 0.75 -> odds = 3.000 -> logit = +1.099 p = 0.99 -> odds = 99.0 -> logit = +4.605 Модель логистической регрессии: log(p_i / (1-p_i)) = beta_0 + beta_1*x_1 + ... + beta_k*x_k эквивалентно: p_i = sigma(beta_0 + beta_1*x_1 + ... + beta_k*x_k) = 1 / (1 + exp(-(beta_0 + beta_1*x_1 + ... + beta_k*x_k))) На уровне log-odds модель линейна - это и есть GLM с logit link.

Log-likelihood логистической регрессии: l(beta) = sum_i [ y_i * log(p_i) + (1 - y_i) * log(1 - p_i) ] где p_i = sigma(X_i @ beta) Binary Cross-Entropy (BCE) в PyTorch/TensorFlow: BCE = -1/n * sum_i [ y_i * log(p_i) + (1 - y_i) * log(1 - p_i) ] Разница только в знаке и нормировке на n: l(beta) = -n * BCE Максимизировать log-likelihood = минимизировать BCE. PyTorch's BCEWithLogitsLoss делает именно это - и одновременно обеспечивает численную стабильность (sigmoid + log объединены через log-sum-exp trick). Важное следствие: нейросеть с sigmoid на выходе и BCE loss при линейном слое - это в точности логистическая регрессия. GLM и нейронные сети - одна семья.

Confusion matrix для threshold t: Predict 1 if p >= t, else 0 Actual 0 Actual 1 Pred 0: TN FN Pred 1: FP TP TPR (Recall/Sensitivity) = TP / (TP + FN) - из всех реальных 1, сколько поймали FPR (Fall-out) = FP / (FP + TN) - из всех реальных 0, сколько зря назвали 1 ROC-кривая: TPR(t) vs FPR(t) для всех t in [0,1] AUC-ROC = P(score(pos) > score(neg)) = вероятность что модель даст более высокий score случайному positive примеру, чем случайному negative Числовой пример: Две модели: AUC_A = 0.72, AUC_B = 0.91 Модель B: при случайной паре (fraud, честная) - в 91% случаев правильно ставит fraud выше честной. AUC-PR (Precision-Recall) - лучше при severe imbalance: Precision = TP / (TP + FP) - из предсказанных 1, сколько правда 1 Recall = TP / (TP + FN) PR-AUC = mean precision при разных recall levels

Penalized log-likelihood: L2 (Ridge): maximize l(beta) - lambda * sum(beta_j^2) L1 (Lasso): maximize l(beta) - lambda * sum(|beta_j|) L2 (sklearn: penalty='l2', C=...) - Ridge: - Сжимает все коэффициенты к нулю, но не обнуляет - Хорошо при мультиколлинеарности (выбирает все коррелированные features) - Аналитически дифференцируема - лучше для LBFGS L1 (sklearn: penalty='l1', solver='saga') - Lasso: - Обнуляет коэффициенты нерелевантных features - Автоматический feature selection - Лучше при sparse data: NLP bag-of-words, ad click logs Elastic Net (penalty='elasticnet', l1_ratio=0.5): - Комбинация: lambda1*|beta| + lambda2*beta^2 - Выбирает среди коррелированных групп AND обнуляет лишние Практика: C=10: слабая регуляризация, trust data C=1.0: дефолт, умеренный C=0.1: сильная, при overfitting или малом n C=0.01: очень сильная, когда features >> n