Случайные процессы
Пуассоновский процесс
Каждую секунду миллионы запросов достигают серверов Amazon. Нейрон в мозге «стреляет» импульсами в случайные моменты. Землетрясение порождает серию афтершоков. Все эти явления - пуассоновские процессы. Это самая широко используемая модель для счётчиков случайных событий, основа теории массового обслуживания и современной стохастики.
- **SRE и DevOps** - моделирование потока запросов и отказов; пуассоновский процесс - основа M/M/1 очереди
- **Нейронаука** - нейронные разряды моделируются как inhomogeneous Poisson process; интенсивность кодирует стимул
- **Страхование** - модель Крамера-Лундберга: составной пуассоновский процесс для совокупных убытков
Предварительные знания
Пуассоновский процесс
Посетители заходят в магазин, машины проезжают через светофор, запросы поступают на сервер - все эти события происходят независимо, случайно, с некоторой средней интенсивностью. Пуассоновский процесс N(t) - математическая модель счётчика случайных событий во времени, фундаментальный строительный блок теории случайных процессов.
**Пуассоновский процесс** с интенсивностью λ > 0 - это процесс N(t) считающий события, удовлетворяющий: 1. N(0) = 0 2. Независимые приращения: N(t)-N(s) независимо от N(u), u ≤ s 3. Стационарные приращения: P(N(t+h)-N(t)=k) зависит только от h 4. P(N(h)=1) = λh + o(h), P(N(h)≥2) = o(h) при h→0 Следствие: N(t) - N(s) ~ Poisson(λ(t-s))
Пуассоновский процесс - единственный процесс с независимыми и стационарными приращениями с дискретными прыжками +1. Это следует из теоремы Пальма: условие «малости» (P(≥2 событий за малый промежуток) пренебрежимо мало) автоматически приводит к пуассоновскому распределению.
| Свойство | Формула | Смысл |
|---|---|---|
| Распределение N(t) | N(t) ~ Poisson(λt) | E[N(t)] = λt, Var[N(t)] = λt |
| Приращения | N(t)-N(s) ~ Poisson(λ(t-s)) | Независимы от прошлого |
| Межприбытийные | T_k ~ Exp(λ) | Экспоненциальные паузы |
| Условные арривалы | U(1),...,U(n) iid | N(t)=n | Равномерное рассеивание |
| Суперпозиция | N1(λ1)+N2(λ2) ~ Poisson(λ1+λ2) | Объединение потоков |
Симеон-Дени Пуассон
Симеон-Дени Пуассон (1781-1840) ввёл своё распределение в книге «Исследование вероятности в уголовных и гражданских делах» (1837) как приближение к биномиальному при большом числе испытаний с малой вероятностью. Пуассоновский процесс в непрерывном времени был формализован значительно позже, в работах Лундберга (1903, страхование), Эрланга (1909, телефония) и в современном виде - в работах Хинчина и Пальма в 1930-40-е годы.
Пуассоновский процесс - это просто процесс с пуассоновским распределением
Пуассоновский процесс задаётся аксиомами на структуру (независимость и стационарность приращений). Из этих аксиом пуассоновское распределение приращений N(t)-N(s) ~ Poisson(λ(t-s)) следует как теорема
Можно построить процесс с пуассоновскими маргинальными распределениями, но зависимыми приращениями - это не пуассоновский процесс. Ключевые свойства (superposition, thinning, uniform conditionals) следуют именно из аксиом, а не только из маргинальных распределений
Запросы поступают на сервер по пуассоновскому процессу с λ=10 req/сек. Какова вероятность, что за 0.2 секунды придёт ровно 3 запроса?
Времена прихода и межприбытийные интервалы
У пуассоновского процесса есть два эквивалентных описания: через счётчик N(t) и через времена прихода S_n = T_1 + ... + T_n, где T_k - k-й межприбытийный интервал. Эти два описания дополняют друг друга: N(t) удобен для анализа числа событий, S_n - для изучения момента n-го события.
**Связь N(t) и S_n:** - T_k = S_k - S_{k-1} - k-й межприбытийный интервал, T_k ~ Exp(λ) iid - S_n = T_1 + ... + T_n - время n-го прихода, S_n ~ Gamma(n, λ) (Erlang-n) - {N(t) ≥ n} = {S_n ≤ t} - эквивалентность событий **Особое свойство:** Условно при N(t) = n, времена n приходов на [0,t] распределены как порядковые статистики n iid U[0,t] переменных.
**Инспекционный парадокс:** если наблюдатель приходит в момент времени t, то ожидаемая длина межприбытийного интервала, на который пришёлся приход, равна 2/λ - вдвое больше среднего 1/λ! Это кажется парадоксом, но объясняется просто: вероятность «попасть» в интервал пропорциональна его длине, поэтому длинные интервалы «попадаются» чаще.
| Величина | Распределение | Среднее | Дисперсия |
|---|---|---|---|
| T_k (межприбытийный) | Exp(λ) | 1/λ | 1/λ² |
| S_n (время n-го прихода) | Erlang(n,λ) = Gamma(n,1/λ) | n/λ | n/λ² |
| N(t) (число за время t) | Poisson(λt) | λt | λt |
| Число событий в [s,t] | Poisson(λ(t-s)) | λ(t-s) | λ(t-s) |
Если среднее межприбытийное время 1/λ, то ожидаемый интервал, в который попадёт случайный наблюдатель, тоже 1/λ
Наблюдатель попадает в интервал с вероятностью пропорциональной его длине. Ожидаемая длина «пойманного» интервала = E[T²]/E[T] = 2/λ для Exp(λ) - вдвое больше среднего
Это инспекционный парадокс. Длинный интервал с вероятностью p «занимает» p долю времени, поэтому попадается чаще. E[длина | попал в интервал] = E[T²]/E[T] = (2/λ²)/(1/λ) = 2/λ
Чему равна дисперсия времени прихода 5-го события в пуассоновском процессе с λ=3?
Составной пуассоновский процесс
Клиент приходит в банк - это одно событие в пуассоновском процессе. Но при каждом визите он снимает случайную сумму денег. Общая снятая сумма - **составной пуассоновский процесс**: X(t) = Y_1 + Y_2 + ... + Y_{N(t)}, где Y_k - случайные «веса» событий.
**Составной пуассоновский процесс:** X(t) = sum_{k=1}^{N(t)} Y_k, где N(t) ~ Poisson(λt) и Y_k iid. Свойства: - E[X(t)] = λt · E[Y] - Var[X(t)] = λt · E[Y²] - X(t) имеет независимые и стационарные приращения - Характеристическая функция: E[e^{iuX(t)}] = exp(λt(E[e^{iuY}]-1))
Составной пуассоновский процесс - основа **модели Крамера-Лундберга** в страховой математике: резерв страховой компании R(t) = u + ct - X(t), где u - начальный капитал, c - премиальная ставка, X(t) - совокупные убытки. Вероятность разорения ψ(u) = P(R(t) < 0 для некоторого t) определяется через моментообразующую функцию убытков.
| Приложение | Y_k | X(t) |
|---|---|---|
| Страхование | Размер убытка | Совокупные убытки |
| Финансы (прыжки) | Размер прыжка цены | Процесс Леви с прыжками |
| Сети | Размер пакета | Трафик за время t |
| Физика | Энергия фотона | Полная энергия излучения |
Var[X(t)] = λt · Var[Y] для составного пуассоновского процесса
Var[X(t)] = λt · E[Y²]. Это следует из формулы полной дисперсии: Var[X] = E[Var[X|N]] + Var[E[X|N]] = λt·Var[Y] + λt·(E[Y])² = λt·E[Y²]
Случайность в X(t) двоякая: случайное число слагаемых N(t) и случайные веса Y_k. Полная дисперсия учитывает обе компоненты: вариацию при фиксированном N и вариацию самого N
В составном пуассоновском процессе λ=4, E[Y]=10, E[Y²]=200, t=5. Чему равна Var[X(5)]?
Неоднородный пуассоновский процесс
Посетители сайта приходят неравномерно: утром меньше, в обеденное время пик, вечером снова активность. Гомогенный пуассоновский процесс (постоянная λ) не подходит. **Неоднородный пуассоновский процесс** (NHPP) обобщает модель: интенсивность λ(t) меняется со временем.
**Неоднородный пуассоновский процесс** с интенсивностью λ(t) > 0: - N(t) - N(s) ~ Poisson(∫_s^t λ(u)du) = Poisson(Λ(s,t)) - Λ(t) = ∫_0^t λ(u)du - кумулятивная интенсивность (mean value function) - Независимые приращения сохраняются - Стационарность приращений нарушается (λ(t) меняется) Симуляция: метод истончения (thinning) Льюиса-Шедлера.
**Процесс Кокса (Cox process, Doubly Stochastic Poisson Process):** если сама интенсивность λ(t) случайна (например, интенсивность звонков зависит от «настроения» дня - случайной переменной), то получается процесс Кокса. Это мощная модель для агрегированных данных с overdispersion: Var[N(t)] > E[N(t)].
Применения NHPP
NHPP используется в теории надёжности (модель Crow-AMSAA для отказов), в сейсмологии (Epidemic-Type Aftershock Sequences - ETAS), в нейронауке (модели разрядов нейронов), в веб-аналитике (seasonality трафика). В SRE (Site Reliability Engineering) модели NHPP применяются для предсказания нагрузки и планирования мощностей.
NHPP нарушает независимость приращений
NHPP сохраняет независимость приращений - приращения на непересекающихся интервалах независимы. Что нарушается - это стационарность: закон N(t)-N(s) зависит от s и t, а не только от t-s
Независимость приращений - структурное свойство (нет взаимодействия между интервалами). Стационарность - свойство однородности во времени. NHPP нарушает второе, но не первое
В NHPP с λ(t) = 2t (интенсивность растёт линейно), чему равно E[N(3) - N(1)]?
Ключевые идеи
- **Пуассоновский процесс** - счётчик событий с независимыми и стационарными приращениями; N(t) ~ Poisson(λt)
- **Времена прихода** - межприбытийные T_k ~ Exp(λ); время n-го события S_n ~ Erlang(n,λ)
- **Составной PP** - X(t) = сумма случайных весов; E[X(t)] = λt·E[Y], Var = λt·E[Y²]; основа страховых моделей
- **Неоднородный PP** - интенсивность λ(t) меняется; E[N(s,t)] = ∫λdu; симуляция через метод истончения
Связанные темы
Пуассоновский процесс - строительный блок более сложных моделей:
- Броуновское движение — Обе модели - специальные случаи процессов Леви с независимыми и стационарными приращениями
- Теория массового обслуживания — Поток заявок в M/M/1 и M/G/1 - пуассоновский процесс; именно отсюда система M/M/1
- Цепи Маркова с непрерывным временем — Пуассоновский процесс - простейшая CTMC: переходы только из n в n+1
Вопросы для размышления
- Инспекционный парадокс: ожидаемый автобусный интервал для случайного пассажира вдвое больше среднего. Как это учесть при проектировании расписания?
- Суперпозиция двух независимых PP с λ1 и λ2 - снова PP с λ1+λ2. Почему это полезно для моделирования агрегированного трафика?
- Если события прибывают по NHPP с дневным циклом, как оценить λ(t) по историческим данным?