Мера Лебега

1902 год. Анри Лебег переопределяет интеграл. Риман суммировал по вертикальным полоскам - разбивал ось x. Лебег предложил разбивать ось y: группировать точки с похожими значениями функции и измерять их совокупную 'длину'. Разница кажется косметической - но именно это позволяет написать $\mathbb{E}[f(X)] = \int f(x)\,d\mu(x)$ для любой случайной величины и интегрировать функции, которые Риман не мог тронуть. Каждый loss в нейросети - это интеграл Лебега. Просто чаще всего это не замечают.

• **Ожидание в ML:** $\mathbb{E}[L(\theta)] = \int L(\theta, x)\,d\mu(x)$ - интеграл Лебега по мере на данных. Он работает даже когда данные имеют сингулярную структуру (смешанные распределения, дельта-функции)
• **ReLU и autograd:** производная ReLU не определена в нуле, но определена почти всюду. Мера Лебега оправдывает это: множество меры нуль не влияет на интеграл и градиент
• **Непрерывные распределения:** P(X = x) = 0 для любого x при непрерывном X - следствие того, что одна точка имеет нулевую меру Лебега. Вероятности считаются только для интервалов
• **Сходимость алгоритмов:** теорема Лебега о доминированной сходимости - основа доказательств сходимости SGD и MCMC - опирается на меру Лебега и понятие 'почти всюду'

Предварительные знания

• Sigma-алгебры и измеримые множества

Мера Лебега

В 1902 году 27-летний Анри Лебег защитил диссертацию с идеей, которую коллеги поначалу восприняли со скептицизмом. Риман разбивал **ось x** - область определения функции. Лебег предложил разбивать **ось y** - область значений. Казалось бы, техническая деталь. На деле это позволило интегрировать функции, о которых Риман не мог и мечтать. Базовый блок той теории - мера Лебега - обобщает понятие длины на почти произвольные подмножества прямой.

**Мера Лебега** λ на ℝ - единственная мера, удовлетворяющая трём условиям: 1. **Нормировка:** λ([0, 1]) = 1 2. **Трансляционная инвариантность:** λ(A + x) = λ(A) для любого x ∈ ℝ 3. **σ-аддитивность:** λ(∪ᵢ Aᵢ) = Σᵢ λ(Aᵢ) для попарно непересекающихся Aᵢ Три аксиомы - и отрезку [a, b] ставится в соответствие ровно b - a.

Рациональных чисел в $[0, 1]$ бесконечно много и они **плотны** - между любыми двумя точками найдётся рациональное. И всё же их мера Лебега равна нулю. Иррациональные числа - те, которые нельзя записать дробью - занимают весь отрезок целиком. С точки зрения «длины», рациональные числа невидимы. Это не парадокс - это то, что мера измеряет: не количество точек, а протяжённость.

В RL и байесовском ML это прямое следствие: непрерывное распределение (гауссовское, Лапласа, бета) присваивает вероятность ноль любому конкретному значению. $\mathbb{P}(X = 0.5) = 0$ при $X \sim \mathcal{N}(0, 1)$ - потому что одна точка имеет меру Лебега ноль. Вероятность непрерывной случайной величины попасть в конкретную точку есть интеграл по множеству нулевой меры.

Внешняя мера

Как построить меру Лебега технически? Первый ход - определить **внешнюю меру** $\lambda^*$, которая задана для **любого** подмножества $\mathbb{R}$, включая неизмеримые. Идея проста до элегантности: покрываем множество счётным набором интервалов и берём наименьшую возможную суммарную длину.

**Внешняя мера Лебега:** для любого A ⊆ ℝ λ*(A) = inf { Σₖ |Iₖ| : A ⊆ ∪ₖ Iₖ, Iₖ - открытые интервалы } где |Iₖ| = bₖ - aₖ - длина интервала, inf берётся по всем счётным покрытиям.

Внешняя мера определена для **всех** подмножеств $\mathbb{R}$ - и это хорошо. Но у неё есть проблема: она не σ-аддитивна в общем случае. Для «плохих» множеств $A$, $B$ может оказаться $\lambda^*(A \cup B) < \lambda^*(A) + \lambda^*(B)$ даже при $A \cap B = \emptyset$. Чтобы перейти к настоящей мере, нужно отфильтровать «хорошие» множества.

Субаддитивность - $\lambda^*(\cup_i A_i) \leq \sum_i \lambda^*(A_i)$ - лучшее, что можно гарантировать для всех подмножеств без ограничений. В ML-контексте это та же идея, что Union Bound в теории обучения: вероятность объединения событий не превосходит суммы вероятностей - полезная оценка, но не точное равенство.

Критерий Каратеодори

Внешняя мера есть для всех множеств, но не σ-аддитивна. Нужно выделить «хорошие» множества, на которых σ-аддитивность восстановится. Константин Каратеодори в 1914 году дал точный критерий - через геометрически прозрачную идею «чистого разреза».

**Критерий Каратеодори:** множество E ⊆ ℝ называется **Лебег-измеримым**, если для любого A ⊆ ℝ: λ*(A) = λ*(A ∩ E) + λ*(A \ E) Интуиция: E 'аккуратно разрезает' любое тестовое множество A - внешние меры частей складываются в целое без зазоров.

Субаддитивность даёт $\lambda^*(A) \leq \lambda^*(A \cap E) + \lambda^* (A \setminus E)$ автоматически - это следует из покрытий. Каратеодори требует обратное: $\geq$. Смысл: $E$ должно быть «достаточно регулярным», чтобы при разрезании любого множества $A$ не возникало «перекрытий» или «дыр» в мере.

**Теорема Каратеодори:** семейство всех множеств, удовлетворяющих критерию, образует $\sigma$-алгебру. Ограничение $\lambda^*$ на эту $\sigma$-алгебру - полная мера. Эта $\sigma$-алгебра строго содержит $B(\mathbb{R})$ (борелевские множества) и называется $\sigma$-алгеброй Лебег-измеримых множеств.

На практике критерий применяется редко напрямую - проверять условие для всех $A \subseteq \mathbb{R}$ нереально. Вместо этого используют следствия: любое борелевское множество автоматически Лебег-измеримо. Также измеримо всё, что отличается от борелевского на множество меры нуль. На практике этого более чем достаточно для любой задачи анализа или ML.

Множества нулевой меры

Множества нулевой меры - «невидимки» интегрирования. Их можно игнорировать при вычислении интегралов, при сравнении функций, при доказательстве сходимости. Фраза **«почти всюду»** (п.в.) означает именно это: исключение имеет меру нуль.

**Множество нулевой меры** (null set): E ⊆ ℝ с λ(E) = 0. Эквивалентно: для любого ε > 0 существует счётное покрытие E интервалами суммарной длины < ε. **Почти всюду (п.в.):** свойство P(x) выполняется п.в. ⟺ {x : P(x) не выполняется} имеет меру нуль.

Рациональные числа в $[0, 1]$ - классический пример. Перенумеруем: $q_1, q_2, q_3, \ldots$ Каждый $q_n$ покрываем интервалом длины $\varepsilon/2^n$. Суммарная длина: $\sum \varepsilon/2^n = \varepsilon$. Поскольку $\varepsilon$ произвольно мало, $\lambda(\mathbb{Q} \cap [0,1]) = 0$. Бесконечно много плотно расставленных точек - и нулевая длина.

Канторово множество - самый шокирующий пример. Начинаем с $[0, 1]$, на каждом шаге удаляем среднюю треть каждого оставшегося отрезка. Суммарная удалённая длина: $1/3 + 2/9 + 4/27 + \ldots = 1$. Мера остатка - ноль. Но само канторово множество **несчётно**: оно биективно с $[0, 1]$ через троичные разложения. Несчётное множество нулевой меры - не экзотика, а норма.

Практический вывод для ML: две функции, совпадающие **почти всюду**, имеют одинаковый интеграл Лебега. Это значит - одинаковое математическое ожидание $\mathbb{E}[f(X)]$, одинаковый loss, одинаковый градиент. Точечные разрывы не имеют значения. Именно поэтому ReLU (разрыв производной в нуле) спокойно дифференцируется в autograd - производная определена «почти всюду», и этого достаточно.

Ключевые идеи

• **Мера Лебега** λ - единственная мера на ℝ с нормировкой λ([0,1]) = 1, трансляционной инвариантностью и σ-аддитивностью. Задаёт 'длину' для огромного класса множеств
• **Внешняя мера** λ*(A) = inf суммарных длин счётных покрытий - определена для всех подмножеств, но не σ-аддитивна. Позволяет 'завести' меру без ограничений
• **Критерий Каратеодори** выделяет 'хорошие' множества: E измеримо ⟺ λ*(A) = λ*(A ∩ E) + λ*(A \ E) для всех A. Все борелевские множества проходят этот критерий
• **Почти всюду:** две функции, совпадающие п.в., неразличимы интегралом Лебега. Нулевые множества - невидимки. Это фундамент autograd, сходимости и expectation в ML

Связанные темы

Мера Лебега - основа для дальнейших построений:

• Sigma-алгебры — Мера Лебега определена на σ-алгебре Лебег-измеримых множеств, строго шире борелевской
• Измеримые функции и интеграл — Следующий шаг: функции, совместимые с мерой, и интеграл Лебега как обобщение суммы
• Математическое ожидание — E[f(X)] = интеграл Лебега по мере распределения случайной величины

Вопросы для размышления

• Канторово множество несчётно, но имеет меру нуль. Можно ли построить несчётное множество с мерой строго между 0 и 1?
• Почему мера Лебега 'полна' (подмножество множества нулевой меры измеримо), а борелевская σ-алгебра - нет?
• Если бы в определении внешней меры использовались конечные покрытия вместо счётных - как изменилась бы теория?

Связанные уроки

• mt-01 — Sigma-алгебры - фундамент, на котором строится мера Лебега
• mt-03 — Измеримые функции и интеграл Лебега - следующий шаг
• prob-01-intro — Вся теория Колмогорова - это мера Лебега в другой одежде
• prob-07-expectation — Математическое ожидание - интеграл Лебега по мере распределения
• calc-01-sequences — Теорема Лебега о доминированной сходимости - аналог предельных теорем анализа
• calc-11-definite