Нормированные пространства

2022 год. DeepMind обучает AlphaFold2 и решает задачу фолдинга белков, над которой биологи бились 50 лет. Ключевой инструмент - оптимизация в функциональных пространствах. Нейросеть сама по себе - это оператор из $L^2$ в $L^2$. Весовые матрицы GPT-4 живут в гильбертовом пространстве. Уравнение Шрёдингера решается в $L^2$. Три радикально разные области - одна математика. Норма - это не «длина вектора», это расстояние в пространстве функций. Именно здесь начинается функциональный анализ.

• **Нейросети как операторы:** трансформер - это последовательность линейных операторов между нормированными пространствами. L2-норма весов мониторится при каждом шаге обучения; gradient clipping - это ровно ограничение нормы градиента.
• **Регуляризация в ML:** L1-регуляризация (Lasso) добавляет $\lambda \|w\|_1$ к loss - именно L1-норма вектора весов. L2 (Ridge) добавляет $\lambda \|w\|_2^2$. Разные нормы - разная геометрия решений: L1 даёт разреженность, L2 - стабильность.
• **Квантовая механика и GPT:** квантовые состояния - единичные векторы в гильбертовом пространстве $L^2$. Веса нейросети - тоже векторы в многомерном пространстве. Норма в обоих случаях определяет одно: насколько «большой» объект.
• **Сигналы и сжатие:** JPEG, MP3, Opus - сжатие через проекции в нормированных пространствах функций. L2-норма измеряет энергию сигнала; порог сжатия - это буквально числовой порог на норме коэффициентов.

Норма и её аксиомы

В $\mathbb{R}^3$ «размер» вектора - это длина стрелки. Формула знакома. Но что если вектор - это функция $f(x) = \sin(x)$ на отрезке $[0, \pi]$? Или бесконечная последовательность весов нейросети? Нужна **норма** - универсальная линейка, которая работает в любом линейном пространстве. Три аксиомы заменяют геометрическую интуицию точным определением.

Функция ||·||: V → R на линейном пространстве V, удовлетворяющая трём аксиомам: 1. ||x|| >= 0, причём ||x|| = 0 только при x = 0 2. ||αx|| = |α| · ||x|| для любого скаляра α 3. ||x + y|| <= ||x|| + ||y|| (неравенство треугольника).

Три аксиомы нормы - это не формализм ради формализма. Они точно фиксируют, что значит «расстояние» в пространстве функций. Первая: нулевая функция - единственный объект с нулевым размером. Вторая: растянул функцию в два раза - норма удвоилась. Третья: неравенство треугольника - прямой путь короче пути через посредника. Эти три свойства позволяют говорить о сходимости, приближении и оптимизации в пространствах любой природы.

На одном и том же пространстве можно задать разные нормы. Например, на R^n есть семейство Lp-норм: ||x||_p = (Σ|x_i|^p)^(1/p). При p=2 - евклидова длина, при p=1 - манхэттенское расстояние, при p→∞ - максимум компонент.

Пара $(V, \|\cdot\|)$ называется **нормированным пространством**. Норма автоматически рождает метрику: $d(x, y) = \|x - y\|$. Это значит, что в нормированном пространстве сразу есть расстояние, сходимость и непрерывность - без дополнительных определений. PyTorch при каждом шаге Adam вычисляет именно такие расстояния между последовательными векторами параметров.

Пространства Банаха

Итерационный алгоритм делает шаг за шагом, и элементы последовательности сближаются. Хочется сказать: предел существует, и алгоритм сошёлся. Но это не всегда правда - предел может «выпасть» из пространства. Нормированные пространства без таких дыр называются **полными**, или **пространствами Банаха**.

Нормированное пространство (V, ||·||), которое является полным - то есть каждая последовательность Коши в V имеет предел, принадлежащий V.

Классический пример неполноты: рациональные числа $\mathbb{Q}$ с обычным модулем. Последовательность $1, 1.4, 1.41, 1.414, \ldots$ сходится к $\sqrt{2}$ - но $\sqrt{2} \notin \mathbb{Q}$. Предел «выпал» из пространства. Вещественные числа $\mathbb{R}$ - полные: $\mathbb{Q}$ достраивается до них добавлением всех предельных точек. Это называется **пополнением**. Пространство $L^p$ - пополнение непрерывных функций в $p$-норме.

Каждое неполное нормированное пространство можно «пополнить» - добавить недостающие предельные точки, как Q пополняется до R. Эта конструкция называется **пополнением** нормированного пространства.

Почему полнота так важна? Три главные теоремы функционального анализа - теорема Банаха о неподвижной точке, теорема об открытом отображении, теорема Банаха-Штейнгауза - все требуют полноты как условия. Без неё нельзя гарантировать существование решений уравнений. В ML: именно полнота $L^2$ гарантирует, что нейросеть, обученная градиентным спуском, сходится к чему-то определённому, а не «улетает» из функционального пространства.

Название «пространство Банаха» ввёл Морис Фреше в честь Стефана Банаха. Сам Банах называл их «пространствами типа (B)» - скромнее. Фреше был щедрее к чужим заслугам.

Последовательности Коши и значение полноты

Последовательность Коши - это последовательность, члены которой «слипаются» между собой. Не «подходят к какой-то точке», а именно слипаются друг с другом - при этом ещё не зная, к чему именно. Формально: $\{x_n\}$ - последовательность Коши, если для любого $\varepsilon > 0$ существует $N$ такое, что $\|x_n - x_m\| < \varepsilon$ при всех $n, m > N$.

Любая сходящаяся последовательность - автоматически Коши (по неравенству треугольника). Но обратное - нет. В неполном пространстве последовательность Коши может не иметь предела внутри. Это тонкое различие: «элементы сближаются» и «есть предел» - не одно и то же.

Полнота критична для итерационных методов. Теорема Банаха о неподвижной точке утверждает: сжимающее отображение на полном метрическом пространстве имеет единственную неподвижную точку. Это основа доказательства существования решений дифференциальных уравнений (теорема Пикара-Линделёфа).

Полезный критерий полноты: пространство полно тогда и только тогда, когда каждый абсолютно сходящийся ряд ($\sum \|x_n\| < \infty$) сходится в пространстве. Этот критерий часто удобнее определения через последовательности Коши - особенно при проверке полноты $L^p$.

Важный факт: каждое конечномерное нормированное пространство автоматически полно. «Дыры» - проблема исключительно бесконечномерных пространств. Именно поэтому функциональный анализ нужен там, где пространство функций, а не просто $\mathbb{R}^n$.

Классические примеры

Норма и полнота - абстракции. Работают они на конкретных пространствах. Вот главные герои функционального анализа - те, что встречаются и в чистой математике, и в ML, и в физике.

**$\mathbb{R}^n$** - самый привычный пример. Конечномерность автоматически даёт полноту. Важный факт: все нормы на $\mathbb{R}^n$ эквивалентны - шар в одной норме всегда вложен в шар другой нормы. В ML это означает: L1 и L2 регуляризация задают разную геометрию, но обе работают в одном пространстве.

**$l^p$** - пространства бесконечных последовательностей с конечной $p$-нормой. При $p=2$ получаем **гильбертово пространство** $l^2$ - именно здесь живут квантовые состояния. И именно $l^2$-геометрия объясняет, почему attention в трансформере считается через скалярное произведение, а не $l^1$-расстояние.

**L^p vs C[a,b]:** Пространство C[0,1] с L1-нормой ||f||₁ = ∫|f(x)|dx НЕ полно! Можно построить последовательность непрерывных функций, сходящуюся к разрывной. Именно поэтому для интегральных норм используют L^p - пространства классов эквивалентности измеримых функций.

**$L^p[a,b]$** - финальный шаг. Непрерывные функции с $L^1$-нормой - неполное пространство. $L^p$ - его пополнение: добавляются все предельные точки, которые в $C[a,b]$ были «дырами». Интеграл Лебега, который это делает возможным - следующая тема. Норма позволяет мерить функции. Полнота гарантирует, что предельные переходы не выводят из пространства.

Ключевые идеи

• **Норма** - измерение «размера» в любом линейном пространстве: три аксиомы (положительность, однородность, неравенство треугольника) покрывают всё - от векторов до функций и операторов
• **Пространство Банаха** - нормированное пространство без «дыр»: каждая последовательность Коши имеет предел внутри. Без этого свойства итерационные алгоритмы теряют гарантию сходимости
• **Конечномерные пространства всегда полны** - «дыры» возникают только в бесконечномерных. Именно поэтому функциональный анализ нужен там, где $L^p$, а не просто $\mathbb{R}^n$
• **AlphaFold, нейросети, квантовая механика** - оптимизация и операторы в $L^2$. Норма - язык, на котором описывается расстояние между функциями, а не числами

Связанные темы

Нормированные пространства - фундамент функционального анализа и многих прикладных областей:

• Гильбертовы пространства — Банахово пространство со скалярным произведением - более богатая структура с геометрией углов и проекций
• Линейные операторы — Отображения между нормированными пространствами - их нормы и свойства

Вопросы для размышления

• Почему на R^n все нормы эквивалентны, а на бесконечномерных пространствах - нет? Что принципиально меняется при переходе к бесконечной размерности?
• Если C[0,1] с sup-нормой полно, а с L1-нормой нет, значит ли это, что полнота - свойство нормы, а не пространства?
• Какая практическая ситуация может привести к проблемам из-за неполноты пространства?

Связанные уроки

• la-12-vector-spaces