Теория вероятностей

Независимость событий

Цели урока

  • Понять формальное определение независимости через формулу
  • Научиться проверять независимость событий на практике
  • Различать независимость и несовместность - критическая разница!
  • Освоить формулу умножения для независимых событий
  • Распознавать и избегать "ошибки игрока"

Предварительные знания

  • Условная вероятность P(A|B) - понимание формулы
  • Формула умножения для зависимых событий
  • Теорема Байеса (полезно, но не обязательно)
  • Conditional Probability
  • Bayes' Theorem

Парное независимость не означает совместную. Пример: три монеты $X_1, X_2, X_3$ - каждый по 0 или 1 равновероятно. Задаём $X_3 = X_1 \oplus X_2$ (XOR). Любые два из них попарно независимы. Но все три вместе - нет: знание $X_1$ и $X_2$ полностью определяет $X_3$. Это не теоретический курьёз - это то, почему dropout в нейросетях требует отдельного анализа независимости по каждому слою.

  • **Dropout:** маски dropout предполагаются независимыми между нейронами - это ключевое допущение, делающее dropout приближённым байесовским выводом
  • **Batch normalization:** предполагает независимость примеров в батче - нарушение этого допущения (коррелированный батч) снижает эффективность
  • **Naive Bayes:** предполагает условную независимость признаков при данном классе - "наивное" допущение, которое удивительно хорошо работает на практике
  • **Независимость в A/B тестах:** пользователи должны быть независимы для корректного p-value. Нарушение - network effects - делает результат недостоверным
  • **Криптография:** каждый бит ключа должен быть независим от предыдущих. Псевдослучайность - это имитация независимости

Ночь, когда рулетка сломала психологию

Событие 18 августа 1913 года вошло в историю как "Le Grande". Вероятность 26 чёрных подряд - $(18/37)^{26} \approx 1/67,000,000$. Но казино не "обмануло" - серии случаются. Психологи позже назвали заблуждение игроков **"ошибкой игрока"** (gambler's fallacy). Люди искали "справедливость" там, где её нет - рулетка не имеет памяти, каждый спин независим. Ирония: вероятность красного на 27-м спине была такой же, как и на 1-м - 18/37 ≈ 48.6%. Никакой "компенсации" за чёрную серию.

Независимость событий

**18 августа 1913 года, казино Монте-Карло.** Рулетка выдаёт чёрное раз, другой, третий. После 10-го чёрного игроки начинают ставить на красное: *"вселенная должна восстановить баланс"*.

Чёрное выпадает 15-й раз. Двадцатый. Ставки растут. Люди закладывают часы. Казино зарабатывает миллионы. На 26-м спине - снова чёрное. Вероятность такой серии - около 1 к 67 миллионам. Но на 27-м красное было ровно так же вероятно, как и на первом.

Рулетка не помнит прошлого. Это формализуется одним словом: **независимость**.

События $A$ и $B$ независимы, если:

Произведение вероятностей - формальное определение независимости. Эквивалент: $P(A|B)=P(A)$ - знание о $B$ не меняет вероятность $A$. Несовместность ($A\cap B=\emptyset$) - это другое.

Что значит "независимые события"?

Что значит "независимые события"?

Интуитивно: событие $B$ **не влияет** на вероятность события $A$. Формально:

**Словами:** знание о том, произошло ли $B$, **не меняет** нашу оценку вероятности $A$. Информация о $B$ бесполезна для предсказания $A$.

Два броска монеты

Классическая проверка независимости

$A$ = "первый бросок - орёл" $B$ = "второй бросок - орёл" Пространство исходов: {ОО, ОР, РО, РР} - все равновероятны. $P(A) = 2/4 = 1/2$ (ОО и ОР) $P(B) = 2/4 = 1/2$ (ОО и РО) $P(A \cap B) = 1/4$ (только ОО) **Проверка:** $P(A) \cdot P(B) = 1/2 \cdot 1/2 = 1/4 = P(A \cap B)$ ✓ События независимы! Результат первого броска не влияет на второй.

Независимость - это допущение, которое делается в модели. Монета предполагается независимой от предыдущих бросков. Dropout-маски предполагаются независимыми между нейронами. Пользователи в A/B тесте предполагаются независимыми. В реальности абсолютной независимости не существует. Вопрос в том, насколько зависимость мала и можно ли ею пренебречь для данной задачи.

Для независимых событий A и B верно P(A|B) = P(A). Что это означает на практике?

$P(A|B) = P(A)$ буквально означает: "вероятность A при условии B" = "вероятность A без всяких условий". Информация о B **бесполезна** для предсказания A. Неважно, произошло B или нет - наша оценка P(A) не меняется. Это и есть суть независимости: события "не знают" друг о друге.

Независимость ≠ Несовместность!

Независимость ≠ Несовместность!

Это **самая частая путаница** в теории вероятностей. Давай разберёмся раз и навсегда.

Несовместные (disjoint)Независимые (independent)
Определение$A \cap B = \emptyset$$P(A \cap B) = P(A) \cdot P(B)$
Могут ли произойти вместе?❌ НЕТ✅ ДА (обычно)
Влияют ли друг на друга?✅ Сильно! (одно исключает другое)❌ НЕТ
$P(A \cap B)$= 0= $P(A) \cdot P(B) > 0$

Несовместные, но ЗАВИСИМЫЕ

Бросок кубика

$A$ = "выпало 1", $B$ = "выпало 6" **Несовместные?** ✅ Да - нельзя одновременно выбросить 1 и 6. $P(A \cap B) = 0$ **Независимые?** ❌ НЕТ! Если $A$ произошло (выпала 1), то $B$ точно не произошло: $P(B|A) = 0 \neq P(B) = 1/6$ Знание об $A$ **полностью определяет** $B$ - это сильнейшая зависимость!

Независимые и СОВМЕСТНЫЕ

Чётность и "больше 2"

$A$ = "выпало чётное" = {2, 4, 6}, $P(A) = 1/2$ $B$ = "выпало больше 2" = {3, 4, 5, 6}, $P(B) = 4/6 = 2/3$ **Совместные?** ✅ Да - $A \cap B$ = {4, 6}, $P(A \cap B) = 2/6 = 1/3$ **Независимые?** Проверим: $P(A) \cdot P(B) = 1/2 \cdot 2/3 = 1/3 = P(A \cap B)$ ✅ Да, независимые! Информация "выпало больше 2" не меняет вероятность чётного.

Если события не могут произойти одновременно, они независимы (не влияют друг на друга)

Несовместные события (кроме тривиальных) ВСЕГДА зависимы - и очень сильно!

Если $A$ и $B$ несовместны, то $P(A \cap B) = 0$. Но $P(A) \cdot P(B) > 0$ (если оба события возможны). Значит $P(A \cap B) \neq P(A) \cdot P(B)$ - зависимость. Более того, это максимальная отрицательная зависимость: если одно произошло, второе гарантированно нет. Несовместность - это полная противоположность независимости, не синоним.

Бросаем кубик. A = "чётное" = {2,4,6}, B = "меньше 4" = {1,2,3}. Независимы ли события?

$A = \{2,4,6\}$, $P(A) = 3/6 = 1/2$ $B = \{1,2,3\}$, $P(B) = 3/6 = 1/2$ $A \cap B = \{2\}$, $P(A \cap B) = 1/6$ $P(A) \cdot P(B) = 1/2 \cdot 1/2 = 1/4$ Но $P(A \cap B) = 1/6 \neq 1/4$ События **зависимы**! Знание "меньше 4" уменьшает вероятность чётного (только 2 из {1,2,3} чётное).

Формула умножения для независимых событий

Формула умножения для независимых событий

Для **независимых** событий вычисление $P(A \cap B)$ становится тривиальным - просто перемножаем:

Сравни с общей формулой для **зависимых** событий, где нужны условные вероятности:

5 орлов подряд

Простое умножение

Какова вероятность получить 5 орлов подряд при бросках честной монеты? Броски **независимы**, $P(\text{орёл}) = 1/2$. $$P(\text{5 орлов}) = \left(\frac{1}{2}\right)^5 = \frac{1}{32} \approx 3.1\%$$ Редко, но не невозможно. В среднем это происходит раз в 32 серии по 5 бросков.

Надёжность последовательной системы

Реальное применение

Система из 3 компонентов работает, только если работают **все** три. Надёжность: $R_1 = 0.95$, $R_2 = 0.98$, $R_3 = 0.99$ Отказы **независимы**. $$P(\text{система работает}) = 0.95 \cdot 0.98 \cdot 0.99 \approx 0.921$$ Даже при высокой надёжности компонентов (~95-99%) система работает только в 92% случаев! **Инженерный вывод:** для критических систем используют **параллельное** резервирование (дублирование).

Вероятность дождя в каждый день - 30% (независимо). Какова вероятность, что дождь будет хотя бы один день из 7?

$P(\text{нет дождя в день}) = 0.7$ $P(\text{нет дождя всю неделю}) = 0.7^7 \approx 0.082$ $P(\text{хотя бы 1 дождливый день}) = 1 - 0.082 \approx \mathbf{91.8\%}$ **Трюк "от противного"** - часто проще вычислить $P(\text{ни одного})$, чем перебирать все варианты "хотя бы одного".

Ошибка игрока (Gambler's Fallacy)

Ошибка игрока (Gambler's Fallacy)

Вернёмся к Монте-Карло. Почему игроки **верили**, что красное "должно" выпасть?

**Ошибка игрока** - убеждение, что после серии одинаковых результатов вероятность противоположного исхода **возрастает**. Как будто вселенная "должна восстановить баланс".

Рулетка после 5 чёрных

Ошибочное vs правильное рассуждение

**Ошибочное:** "Чёрное выпадало 5 раз! Закон больших чисел говорит, что должен быть баланс. Ставлю на красное!" **Правильное:** Каждый спин **независим**. Рулетка не помнит предыдущие результаты. $P(\text{красное на 6-м спине}) = 18/37 \approx 48.6\%$ Ровно такая же вероятность, как и на **любом** спине. "Баланс" восстанавливается не тем, что красное станет более вероятным, а тем, что доля чёрного "размоется" в длинной серии.

Если события **зависимы** - предыдущие результаты ДЕЙСТВИТЕЛЬНО влияют на следующие! **Пример:** Вытягивание карт **без возвращения**. Если вытянули 4 туза - вероятность туза на следующем вытягивании = 0, не 4/52. **Пример:** В покере (без джокеров) видимые карты влияют на вероятности оставшихся. Ошибка игрока - это ошибка **в рулетке, монетах, кубиках**. Не в покере или блэкджеке!

Существует и **обратная ошибка**: вера, что серия успехов продолжится ("у него горячая рука!"). Долгое время считалось, что "горячей руки" в баскетболе не существует - это та же ошибка, только наоборот. **Но!** Современные исследования показали, что для некоторых спортсменов и ситуаций эффект может быть реальным - из-за психологии, уверенности, изменения поведения защиты. Мораль: не путай **математическую независимость** (рулетка) с **реальной жизнью** (где события могут быть зависимы через психологию).

Монета выдала 10 орлов подряд. Какова вероятность решки на 11-м броске?

Для **честной** монеты каждый бросок независим. Предыдущие 10 орлов никак не влияют на 11-й бросок. $P(\text{решка на 11-м}) = 50\%$ **Однако** 10 орлов подряд - очень редкое событие $(1/1024)$. Если это произошло, разумно **усомниться** в честности монеты! Возможно, $P(\text{решка}) \neq 50\%$ для этой конкретной монеты. Ответ "зависит от честности" был бы верен, если бы вопрос был о реальной ситуации. Но для **идеальной** честной монеты - 50%.

Условная независимость

Условная независимость

Иногда события **зависимы** безусловно, но становятся **независимы** при известном третьем событии. Это называется **условная независимость**:

Зонт и солнечные очки

Классический пример условной независимости

$A$ = "Алиса взяла зонт" $B$ = "Боб надел солнечные очки" $C$ = "Сегодня солнечно" **Безусловно** $A$ и $B$ **зависимы** - оба зависят от погоды. Если Алиса взяла зонт, вероятно, пасмурно, и Боб вряд ли в очках. **При условии "солнечно"** $A$ и $B$ могут стать **независимы**: каждый принимает решение сам, погода уже известна. $$P(A \cap B | C) = P(A|C) \cdot P(B|C)$$

Наивный Байес предполагает условную независимость признаков при данном классе: $$P(w_1, w_2, \ldots \mid \text{спам}) = P(w_1 \mid \text{спам}) \cdot P(w_2 \mid \text{спам}) \cdot \ldots$$ Слова в тексте явно не независимы - но допущение работает удивительно хорошо. Dropout использует тот же приём: маски нейронов считаются условно независимыми при данных активациях. Условная независимость - ключевая структура в байесовских сетях и графических моделях, на которых строится современный probabilistic ML.

Результаты двух студентов на экзамене безусловно зависимы (оба готовились по одним материалам). При каком условии они могут стать независимы?

Результаты **коррелируют** через общий скрытый фактор - уровень подготовки (и сложность экзамена). Если мы **знаем** уровень подготовки каждого студента, результаты становятся условно независимы: каждый пишет свой экзамен, зная его уровень. $$P(A \geq 4, B \geq 4 | \text{уровни}) = P(A \geq 4 | \text{уровень A}) \cdot P(B \geq 4 | \text{уровень B})$$ Это принцип **d-separation** в байесовских сетях: обусловливание на общем "предке" делает потомков независимыми.

Практика

Практика

Стрелок попадает в мишень с вероятностью 0.8. Выстрелы независимы. Какова вероятность попасть хотя бы раз из 3 выстрелов?

$P(\text{промах}) = 0.2$ $P(\text{3 промаха подряд}) = 0.2^3 = 0.008$ $P(\text{хотя бы 1 попадание}) = 1 - 0.008 = \mathbf{0.992 = 99.2\%}$ Почти наверняка попадёт хотя бы раз!

Бросают две игральные кости. Независимы ли события: A = "на первой выпало 6" и B = "сумма очков равна 7"?

$P(A) = 1/6$ (на первой выпало 6) $P(B) = 6/36 = 1/6$ - пары с суммой 7: (1,6), (2,5), (3,4), (4,3), (5,2), (6,1) $A \cap B$: первая = 6 **и** сумма = 7 → вторая = 1 Это единственная пара (6, 1): $P(A \cap B) = 1/36$ **Проверка:** $P(A) \cdot P(B) = 1/6 \cdot 1/6 = 1/36 = P(A \cap B)$ ✅ События **независимы**! Удивительно, но факт.

Система состоит из 4 компонентов: два соединены последовательно (оба должны работать), затем параллельно со вторым таким же блоком. Надёжность каждого компонента 0.9. Отказы независимы. Какова надёжность системы?

**Шаг 1:** Надёжность одного последовательного блока: $R_{\text{блок}} = 0.9 \cdot 0.9 = 0.81$ **Шаг 2:** Вероятность отказа блока: $Q_{\text{блок}} = 1 - 0.81 = 0.19$ **Шаг 3:** Для параллельного соединения система работает, если хотя бы один блок работает: $R_{\text{система}} = 1 - Q_{\text{блок}}^2 = 1 - 0.19^2 = 1 - 0.0361 = \mathbf{0.964}$ Параллельное резервирование повысило надёжность с 81% до 96.4%!

Сервер дублируется тремя независимыми экземплярами, у каждого вероятность отказа за сутки $0{,}05$. Какова вероятность, что хотя бы один экземпляр работает в течение суток?

Хотя бы один работает = не все отказали. Отказы независимы, поэтому $P(\text{все отказали}) = 0{,}05^3$, а ответ $1 - 0{,}05^3 = 0{,}999875$. Параллельное резервирование резко повышает отказоустойчивость.

Независимость - фундамент статистики

Большинство статистических методов предполагают независимость наблюдений.

  • Случайные величины — Независимые СВ - основа многих распределений
  • Закон больших чисел — Требует независимости для сходимости
  • Центральная предельная теорема — Сумма независимых СВ → нормальное распределение
  • Марковские цепи — Ослабление: зависимость только от предыдущего состояния
  • Байесовские сети — Условная независимость как структура

Ключевые идеи

  • **Независимость:** $P(A \cap B) = P(A) \cdot P(B)$ - знание о $B$ не меняет вероятность $A$
  • **Независимость - не несовместность!** Несовместные события зависимы: одно исключает другое - максимальная зависимость
  • **Умножение для независимых:** $P(A_1 \cap \ldots \cap A_n) = P(A_1) \cdot \ldots \cdot P(A_n)$ - именно это используют системы надёжности
  • **Ошибка игрока:** вера, что независимые события "компенсируются". Рулетка не помнит прошлого
  • **Условная независимость:** $P(A \cap B \mid C) = P(A \mid C) \cdot P(B \mid C)$ - основа Naive Bayes, dropout и графических моделей

Вопросы для размышления

  • Вернёмся к Монте-Карло: если бы кто-то был там 18 августа 1913 - как объяснить толпе, что ставить на красное бессмысленно?
  • Почему люди так склонны к "ошибке игрока"? Какая психологическая потребность за этим стоит?
  • Как проверить, существует ли "горячая рука" у конкретного баскетболиста? Какие данные нужны?
  • Почему для криптографии критически важна независимость битов в случайном ключе?

Связанные уроки

  • stat-01-sampling
Независимость событий

0

1

Войти