Математический анализ

Непрерывность функции

Цели урока

Проверять непрерывность через три условия: определена, предел существует, предел равен значению
Классифицировать разрывы: устранимый, скачок, бесконечный, существенный
Применять теорему о промежуточном значении для доказательства существования корней
Понимать теорему Вейерштрасса: замкнутый отрезок гарантирует max и min
Различать непрерывность и равномерную непрерывность

Предварительные знания

Понятие предела функции
Вычисление пределов

2018 год. Команда Google Brain обнаруживает: некоторые функции активации дают NaN при backpropagation. Причина - разрыв в производной. Так появился GELU: гладкий, непрерывный, без острых углов. Непрерывность - не абстракция из учебника. Это условие, при котором градиент течёт без взрывов.

**Функции активации**: ReLU непрерывна, но не дифференцируема в нуле. GELU, SiLU, Mish - гладкие замены, именно потому что непрерывность производной улучшает обучение
**Численные методы**: метод бисекции (scipy.optimize.bisect) находит корни только для непрерывных функций - теорема о промежуточном значении в коде
**Loss landscapes**: "хорошие" функции потерь непрерывны и дифференцируемы. Разрывы = нестабильное обучение, взрывной градиент
**Сигналы**: аналоговый сигнал непрерывен, цифровой - нет. ADC/DAC конвертируют между ними; дискретизация вводит неустранимые ошибки (теорема Найквиста)

Коши формализует интуицию

До XIX века математики пользовались интуитивным пониманием непрерывности - "без разрывов и скачков". **Коши** первым дал точное определение через пределы в "Cours d'analyse" (1821). Позже **Вейерштрасс** нашёл функцию, непрерывную везде, но нигде не дифференцируемую. Это шокировало математиков - оказалось, что интуиция о "нарисуй не отрывая карандаша" не гарантирует производную.

Три условия непрерывности

Функция $f$ **непрерывна в точке $a$** - это короткая запись трёх требований одновременно:

**$f(a)$ существует** - функция определена в точке
**$\lim_{x \to a} f(x)$ существует и конечен**
**Предел равен значению** - эти два числа совпадают

Нарушено хотя бы одно из трёх - разрыв. Это как три требования к хорошей loss-функции: она должна быть определена, иметь предел при любом входе, и не прыгать. Нарушение любого - нестабильное обучение.

Проверка непрерывности

f(x) = x² в точке x = 2

1. $f(2) = 4$ - определена ✓ 2. $\lim_{x \to 2} x^2 = 4$ - предел существует ✓ 3. $\lim_{x \to 2} x^2 = 4 = f(2)$ - равны ✓ **Вывод**: $x^2$ непрерывна в точке $x = 2$. Полиномы непрерывны везде - без исключений.

Функция $g(x) = x + 1$ при $x \neq 0$, и $g(0) = 5$. Непрерывна ли она в точке $x = 0$?

$g(0) = 5$, но $\lim_{x \to 0}(x+1) = 1 \neq 5$. Все три условия должны выполняться одновременно.

Типы разрывов

Разрывы делятся на два рода по поведению односторонних пределов. Это различие критично для понимания, почему одни функции можно починить, а другие - нет.

Разрывы I рода: оба предела конечны

Тип	Условие	Пример	Можно починить?
Устранимый	Пределы слева = справа, но $f(a)$ другое или не определено	$\frac{\sin x}{x}$ при $x=0$	Да - доопределить одну точку
Скачок	Пределы слева и справа различны: $L^- \neq L^+$	$\text{sign}(x)$ при $x=0$	Нет

Устранимый разрыв

Дырка, которую можно залатать

$f(x) = \frac{x^2 - 1}{x - 1}$ при $x \neq 1$ При $x = 1$: деление на 0, функция не определена. Но предел существует: $$\lim_{x \to 1} \frac{(x-1)(x+1)}{x-1} = \lim_{x \to 1} (x+1) = 2$$ Доопределить $f(1) = 2$ - и функция станет непрерывной. Устранимый разрыв в PyTorch - это как NaN от деления на 0 там, где предел конечен: добавляем `eps` и проблема решена.

Разрывы II рода: хотя бы один предел бесконечен

Тип	Условие	Пример
Бесконечный	Хотя бы один предел $= \pm\infty$	$\frac{1}{x}$ при $x=0$
Существенный	Предел не существует из-за колебаний	$\sin(1/x)$ при $x=0$

Разрывы II рода нельзя устранить - функция ведёт себя принципиально дико около точки. $\sin(1/x)$ при $x \to 0$ бесконечно колеблется между -1 и 1, предела нет вообще.

Если функция не определена в точке - это обязательно разрыв II рода

Тип разрыва определяется пределами, а не значением в точке

$\frac{x^2-1}{x-1}$ не определена при $x=1$, но предел конечен - значит устранимый разрыв I рода. Тип = поведение предела, не значение функции.

Какой разрыв у функции $f(x) = \lfloor x \rfloor$ (целая часть) в точке $x = 2$?

$\lim_{x \to 2^-} \lfloor x \rfloor = 1$, но $\lim_{x \to 2^+} \lfloor x \rfloor = 2$. Оба предела конечны, но различны - скачок I рода.

Фундаментальные теоремы

Теорема о промежуточном значении (Больцано-Коши)

Если $f$ непрерывна на $[a, b]$ и меняет знак ($f(a) \cdot f(b) < 0$), то существует $\xi \in (a, b)$: $f(\xi) = 0$. На ней стоит `scipy.optimize.bisect` - метод бисекции делит отрезок пополам, проверяет знак, повторяет.

Доказательство существования корня

x³ - x - 1 = 0

$f(x) = x^3 - x - 1$ - полином, непрерывен везде. $f(1) = 1 - 1 - 1 = -1 < 0$ $f(2) = 8 - 2 - 1 = 5 > 0$ Функция меняет знак на $[1, 2]$ - по теореме существует $\xi \in (1, 2): f(\xi) = 0$. Численно: $\xi \approx 1.3247$. Именно этот аргумент использует `bisect(f, 1, 2)` в scipy.

Теорема Вейерштрасса

Непрерывная на **замкнутом отрезке** $[a, b]$ функция ограничена и достигает своих точных границ: существуют $x_1, x_2 \in [a,b]$ такие что $f(x_1) = \min$, $f(x_2) = \max$.

**Замкнутость критична.** На интервале $(0, 1)$ функция $f(x) = 1/x$ непрерывна, но не ограничена - уходит в $+\infty$. Убери закрытость - теорема рушится. В ML: loss на конечной выборке всегда достигает минимума (если функция непрерывна).

Можно ли применить теорему о промежуточном значении к $f(x) = 1/x$ на $[-1, 1]$?

$f(x) = 1/x$ имеет разрыв в $x = 0 \in [-1, 1]$. Теорема требует непрерывности на всём отрезке без исключений.

Равномерная непрерывность

В обычной непрерывности $\delta$ может зависеть от точки $a$: вблизи разных точек нужны разные $\delta$. В **равномерной непрерывности** одно $\delta$ работает для всех точек сразу:

Неравномерная непрерывность

f(x) = 1/x на (0, 1)

$f(x) = 1/x$ непрерывна на $(0, 1)$, но НЕ равномерно. Близко к $x = 0$ функция становится бесконечно крутой. Для той же точности $\varepsilon$ вблизи $x = 0.001$ нужно $\delta$ в тысячи раз меньше, чем вблизи $x = 0.5$. Единого $\delta$ нет. **Теорема Кантора**: непрерывная на замкнутом $[a, b]$ - всегда равномерно непрерывна. Снова замкнутость решает всё.

Непрерывность и равномерная непрерывность - одно и то же

Равномерная непрерывность - более сильное свойство. Непрерывна ≠ равномерно непрерывна.

Равномерная непрерывность требует единого $\delta$ для всех точек. На незамкнутых множествах это может не выполняться даже при обычной непрерывности. Например $1/x$ на $(0,1)$.

В чём ключевая идея раздела «Равномерная непрерывность»?

Перескажите главное определение или результат раздела одним предложением.

Практика

Определите тип разрыва функции $f(x) = \frac{|x|}{x}$ в точке $x = 0$

При $x > 0$: $|x|/x = 1$. При $x < 0$: $|x|/x = -x/x = -1$. $\lim_{x \to 0^+} f(x) = 1$ $\lim_{x \to 0^-} f(x) = -1$ Оба предела конечны, но различны - **разрыв I рода (скачок)**.

Докажите, что уравнение $\cos x = x$ имеет решение на $[0, 1]$

Пусть $g(x) = \cos x - x$. Непрерывна как разность непрерывных. $g(0) = 1 > 0$ $g(1) = \cos 1 - 1 \approx -0.46 < 0$ По теореме о промежуточном значении $\exists \xi \in (0, 1): g(\xi) = 0$, то есть $\cos \xi = \xi$. Численно: $\xi \approx 0.739$ - фиксированная точка косинуса.

При каком $a$ функция $f(x) = x^2$ при $x \leq 1$ и $f(x) = ax + b$ при $x > 1$ непрерывна в $x = 1$, если $b = 0$?

Из левой части: $f(1) = 1$. Предел справа: $\lim_{x \to 1^+} (ax) = a$. Для непрерывности: $a = 1$. Проверка: $f(x) = x^2$ при $x \leq 1$ и $f(x) = x$ при $x > 1$. $\lim_{x \to 1^-} x^2 = 1$, $\lim_{x \to 1^+} x = 1$, $f(1) = 1$ - все три условия выполнены.

В чём ключевая идея раздела «Практика»?

Перескажите главное определение или результат раздела одним предложением.

Связь с другими темами

Непрерывность - фундамент для производной и всего что выше

Производная — Дифференцируемость влечёт непрерывность - но не наоборот. ReLU непрерывна, но не дифференцируема в нуле.
Интеграл — Непрерывная функция интегрируема по Риману - это важнейшее достаточное условие
Численные методы — Метод бисекции (scipy.optimize.bisect) требует непрерывности - иначе нет гарантий нахождения корня

Итоги

Непрерывность в точке: три условия одновременно - определена, предел существует, предел = значению
Разрывы I рода (оба предела конечны): устранимый (равны) и скачок (различны)
Разрывы II рода (хотя бы один предел бесконечен): бесконечный и существенный - нельзя устранить
Теорема о промежуточном значении: непрерывная меняет знак - есть корень. Основа метода бисекции
Теорема Вейерштрасса: на замкнутом отрезке непрерывная функция ограничена и достигает max/min

Вопросы для размышления

Почему ReLU несмотря на недифференцируемость в нуле успешно используется в нейросетях? Как это связано с непрерывностью?
Почему замкнутость отрезка так важна для теорем Вейерштрасса и Кантора?
Как теорема о промежуточном значении лежит в основе scipy.optimize.bisect?

Связанные уроки

stat-02-estimation

Математический анализ

Непрерывность функции

Цели урока

Проверять непрерывность через три условия: определена, предел существует, предел равен значению
Классифицировать разрывы: устранимый, скачок, бесконечный, существенный
Применять теорему о промежуточном значении для доказательства существования корней
Понимать теорему Вейерштрасса: замкнутый отрезок гарантирует max и min
Различать непрерывность и равномерную непрерывность

Предварительные знания

Понятие предела функции
Вычисление пределов

**Функции активации**: ReLU непрерывна, но не дифференцируема в нуле. GELU, SiLU, Mish - гладкие замены, именно потому что непрерывность производной улучшает обучение
**Численные методы**: метод бисекции (scipy.optimize.bisect) находит корни только для непрерывных функций - теорема о промежуточном значении в коде
**Loss landscapes**: "хорошие" функции потерь непрерывны и дифференцируемы. Разрывы = нестабильное обучение, взрывной градиент
**Сигналы**: аналоговый сигнал непрерывен, цифровой - нет. ADC/DAC конвертируют между ними; дискретизация вводит неустранимые ошибки (теорема Найквиста)

Коши формализует интуицию

Три условия непрерывности

Функция $f$ **непрерывна в точке $a$** - это короткая запись трёх требований одновременно:

**$f(a)$ существует** - функция определена в точке
**$\lim_{x \to a} f(x)$ существует и конечен**
**Предел равен значению** - эти два числа совпадают

Проверка непрерывности

f(x) = x² в точке x = 2

Функция $g(x) = x + 1$ при $x \neq 0$, и $g(0) = 5$. Непрерывна ли она в точке $x = 0$?

$g(0) = 5$, но $\lim_{x \to 0}(x+1) = 1 \neq 5$. Все три условия должны выполняться одновременно.

Типы разрывов

Разрывы I рода: оба предела конечны

Тип	Условие	Пример	Можно починить?
Устранимый	Пределы слева = справа, но $f(a)$ другое или не определено	$\frac{\sin x}{x}$ при $x=0$	Да - доопределить одну точку
Скачок	Пределы слева и справа различны: $L^- \neq L^+$	$\text{sign}(x)$ при $x=0$	Нет

Устранимый разрыв

Дырка, которую можно залатать

Разрывы II рода: хотя бы один предел бесконечен

Тип	Условие	Пример
Бесконечный	Хотя бы один предел $= \pm\infty$	$\frac{1}{x}$ при $x=0$
Существенный	Предел не существует из-за колебаний	$\sin(1/x)$ при $x=0$

Если функция не определена в точке - это обязательно разрыв II рода

Тип разрыва определяется пределами, а не значением в точке

Какой разрыв у функции $f(x) = \lfloor x \rfloor$ (целая часть) в точке $x = 2$?

$\lim_{x \to 2^-} \lfloor x \rfloor = 1$, но $\lim_{x \to 2^+} \lfloor x \rfloor = 2$. Оба предела конечны, но различны - скачок I рода.

Фундаментальные теоремы

Теорема о промежуточном значении (Больцано-Коши)

Доказательство существования корня

x³ - x - 1 = 0

Теорема Вейерштрасса

Можно ли применить теорему о промежуточном значении к $f(x) = 1/x$ на $[-1, 1]$?

$f(x) = 1/x$ имеет разрыв в $x = 0 \in [-1, 1]$. Теорема требует непрерывности на всём отрезке без исключений.

Равномерная непрерывность

Неравномерная непрерывность

f(x) = 1/x на (0, 1)

Непрерывность и равномерная непрерывность - одно и то же

Равномерная непрерывность - более сильное свойство. Непрерывна ≠ равномерно непрерывна.

В чём ключевая идея раздела «Равномерная непрерывность»?

Перескажите главное определение или результат раздела одним предложением.

Практика

Определите тип разрыва функции $f(x) = \frac{|x|}{x}$ в точке $x = 0$

Докажите, что уравнение $\cos x = x$ имеет решение на $[0, 1]$

При каком $a$ функция $f(x) = x^2$ при $x \leq 1$ и $f(x) = ax + b$ при $x > 1$ непрерывна в $x = 1$, если $b = 0$?

В чём ключевая идея раздела «Практика»?

Перескажите главное определение или результат раздела одним предложением.

Связь с другими темами

Непрерывность - фундамент для производной и всего что выше

Производная — Дифференцируемость влечёт непрерывность - но не наоборот. ReLU непрерывна, но не дифференцируема в нуле.
Интеграл — Непрерывная функция интегрируема по Риману - это важнейшее достаточное условие
Численные методы — Метод бисекции (scipy.optimize.bisect) требует непрерывности - иначе нет гарантий нахождения корня

Итоги

Непрерывность в точке: три условия одновременно - определена, предел существует, предел = значению
Разрывы I рода (оба предела конечны): устранимый (равны) и скачок (различны)
Разрывы II рода (хотя бы один предел бесконечен): бесконечный и существенный - нельзя устранить
Теорема о промежуточном значении: непрерывная меняет знак - есть корень. Основа метода бисекции
Теорема Вейерштрасса: на замкнутом отрезке непрерывная функция ограничена и достигает max/min

Вопросы для размышления

Почему ReLU несмотря на недифференцируемость в нуле успешно используется в нейросетях? Как это связано с непрерывностью?
Почему замкнутость отрезка так важна для теорем Вейерштрасса и Кантора?
Как теорема о промежуточном значении лежит в основе scipy.optimize.bisect?

Связанные уроки

stat-02-estimation