Статистика
Анализ выживаемости: время до события
Airbnb и Netflix строят кривые выживаемости пользователей так же, как онкологи строят кривые Kaplan-Meier для клинических испытаний. Survival analysis - единственный корректный способ работать с временем до события при наличии цензурированных наблюдений.
- SaaS churn prediction: когда пользователь отпишется от подписки
- FDA клинические испытания: медиана overall survival для онкопрепарата
- Предиктивное обслуживание: время до отказа оборудования (Weibull)
- Кредитный риск: время до дефолта по Basel III требованиям
- Airbnb A/B тест: log-rank test для time-to-booking метрики
- Геномика: время до развития генетически обусловленного заболевания
**Survival analysis в индустрии** Любая задача 'время до события' - это survival analysis. • **SaaS/Продукты**: Customer lifetime value, churn prediction - Airbnb, Netflix: KM-кривые по сегментам, Cox regression для факторов retention. A/B тест: log-rank test вместо t-test для time-to-event метрик. • **Клинические испытания**: Overall survival, progression-free survival - Стандарт FDA: KM-кривые + log-rank test + Cox regression для subgroup analysis. Медиана OS - первичная конечная точка онкологических испытаний. • **Надёжность оборудования**: MTBF, предиктивное обслуживание - Weibull regression для моделирования времени до отказа. Оптимизация интервалов ТО через renewal reward theorem. • **Кредитный риск**: Время до дефолта - Basel III: банки обязаны моделировать вероятность дефолта по горизонтам. Competing risks: дефолт vs досрочное погашение.
Airbnb предсказывает churn с помощью Cox regression на 1M+ пользователях
Airbnb, Netflix, Spotify - все используют **survival analysis** для предсказания времени до отписки. Cox proportional hazards в production с миллионами пользователей. Ключевая проблема, которую не решает обычная регрессия: **цензурирование** - клиент ещё активен, мы не знаем, когда уйдёт.
Survival analysis применяется везде, где есть «время до события»: клинические испытания (время до рецидива), банки (время до дефолта по кредиту), HR (время до увольнения), оборудование (время до поломки). Общий принцип: цензурированные наблюдения нельзя ни выбрасывать, ни считать бесконечными.
Из 1000 пользователей SaaS 400 отписались (event=1), 600 ещё активны в конце года (censored). Почему нельзя оценить медианное время до churn, просто взяв медиану по 400 отпискам? Что теряется при удалении 600 наблюдений?
Оценка Каплана-Мейера: ступенчатая кривая выживаемости
Kaplan-Meier - непараметрическая оценка S(t). Не предполагает никакого распределения. Падение только в моменты событий. Цензурированные наблюдения выходят из «пула риска» без вклада в событие.
Медианная выживаемость, а не среднее - стандартная метрика в survival analysis. Среднее нельзя оценить если последнее наблюдение цензурировано (функция выживаемости не достигает 0). В клинических испытаниях всегда сообщают median OS (overall survival).
KM-кривая показывает S(180 дней) = 0.62. Интерпретируйте это число. Если медианная выживаемость = 210 дней, что это означает для продуктовой команды в контексте churn?
Cox regression: влияние ковариат на риск
Cox proportional hazards - полупараметрическая модель: h₀(t) не задаётся параметрически (гибкость), но влияние ковариат - через exp(βᵀx). **Hazard ratio HR = exp(β)** - во сколько раз изменяется риск при единичном увеличении ковариаты.
Пример: HR = 0.35 для premium-тарифа означает, что риск churn у premium-клиентов в 0.35 раза ниже (снижение на 65%). HR = 1.8 для «жалобы в поддержку» означает риск в 1.8 раза выше.
Предположение proportional hazards: HR между группами постоянно во времени. Проверка: тест Шёнфельда (p > 0.05 = предположение выполнено). Нарушение: использовать time-varying covariates или стратификацию по нарушающей переменной.
Cox regression даёт HR = 0.42 для premium с p < 0.001 и HR = 1.6 для числа жалоб с p = 0.003. Сформулируйте бизнес-вывод: как эти результаты приоритизируют действия продуктовой команды?
Упражнения
- Почему нельзя просто взять среднее времени до события по завершившимся наблюдениям и проигнорировать цензурированные? — Удаление цензурированных создаёт selection bias: в выборке остаются только 'быстрые' события Цензурированные несут информацию: клиент прожил минимум X дней KM корректно использует всю информацию через пул риска
- В A/B тесте сравнивается retention двух версий продукта. Почему log-rank test лучше t-test для этой задачи? — t-test требует нормальности; время до события обычно экспоненциальное или Weibull В конце эксперимента часть пользователей ещё активна - это цензурирование, t-test игнорирует Log-rank test корректно обрабатывает цензурированные данные
Ключевые идеи
- S(t) = P(T > t) - монотонно убывает; h(t) = -d/dt ln S(t) - мгновенный риск
- Цензурирование: событие не наблюдается - нельзя удалять, нельзя считать бесконечным
- KM-оценка: S(t) = Пр(1 - dᵢ/nᵢ) - ступенька только в моменты событий
- Log-rank test: сравнение KM-кривых двух групп (H0: кривые одинаковы)
- Cox: h(t|x) = h₀(t)·exp(βᵀx), HR = exp(β) - во сколько раз меняется риск
- HR < 1: защитный фактор (снижает риск); HR > 1: увеличивает риск
Связанные темы
Survival analysis объединяет регрессию, вероятность и байесовские методы.
- Линейная и логистическая регрессия — Cox - регрессия для цензурированных time-to-event данных
- Байесовская статистика — Байесовский survival analysis: Weibull regression с приорами, MCMC