ОДУ второго порядка

1940. Штат Вашингтон. Мост Такома-Нэрроуз раскачивается в ветер 64 км/ч и через 4 часа рассыпается. 2018. NeurIPS, Монреаль. Neural ODE переворачивает архитектуру нейросетей, показав что ResNet - это метод Эйлера для решения ОДУ $dh/dt = f(h, t, \theta)$. Оба события описываются одним уравнением $y'' + ay' + by = f(x)$. Разница только в том, разрушает ли правая часть систему - или обучает её.

• **Neural ODE (Chen et al. NeurIPS 2018):** скрытое состояние как непрерывное ОДУ. ResNet - частный случай с шагом Эйлера delta_t=1. Нужно понять 2-й порядок, чтобы понять почему это работает
• **Диффузионные модели (DDPM, Stable Diffusion, FLUX):** форвард-процесс добавляет шум через стохастическое ОДУ. Обратная генерация - интегрирование обратного ОДУ. Без теории ОДУ невозможно понять архитектуру
• **Kalman filter:** оптимальный фильтр для линейных ОДУ с гауссовским шумом. Используется в GPS, Tesla autopilot, роботах Boston Dynamics для fusion данных с датчиков
• **Строительство:** расчёт сейсмостойкости зданий - ОДУ 2-го порядка с периодическим возмущением. Каждый небоскрёб - решённая задача о резонансе

Предварительные знания

• ОДУ первого порядка

Характеристическое уравнение

2018 год. NeurIPS, Монреаль. Tian Qi Chen представляет Neural ODE - непрерывную нейронную сеть, где скрытое состояние описывается дифференциальным уравнением $dh/dt = f(h, t, \theta)$. ResNet - это дискретная версия этого уравнения: $h_{t+1} = h_t + F(h_t)$ - шаг метода Эйлера с $\Delta t = 1$. Одно озарение - и дискретная архитектура превратилась в численный метод решения ОДУ. Чтобы понять, почему это работает, нужно сначала понять второй порядок.

Линейное ОДУ 2-го порядка с постоянными коэффициентами: $y'' + ay' + by = 0$. Подставляем пробное решение $y = e^{rx}$: производные дают $y' = re^{rx}$, $y'' = r^2 e^{rx}$. После подстановки и деления на $e^{rx} \neq 0$ остаётся **характеристическое уравнение** $r^2 + ar + b = 0$. Дифференцирование заменилось умножением на $r$ - это зародыш преобразования Лапласа.

Подстановка $y = e^{rx}$ превращает дифференциальное уравнение в алгебраическое. Это не трюк - это принцип, на котором стоит всё операционное исчисление. Инженеры используют преобразование Лапласа именно по этой причине: сложные ОДУ превращаются в полиномиальные уравнения относительно $r$.

Три режима: переходный, критический, колебательный

Мост Такома-Нэрроуз, 7 ноября 1940 года. Ветер 64 км/ч - ничего особенного по нагрузке. Мост начинает раскачиваться и через 4 часа рассыпается. Причина: ветер попал в резонанс с собственной частотой конструкции. Три режима ОДУ 2-го порядка - это три сценария для любой колебательной системы от моста до электрической цепи.

**Случай D > 0** - два различных вещественных корня $r_1, r_2$. Решение: $y = C_1 e^{r_1 x} + C_2 e^{r_2 x}$. Сумма двух экспонент - переходный процесс. Если оба корня отрицательные, система затухает без колебаний. Именно этот режим описывает переходные процессы в RLC-цепях: заряд конденсатора после подачи напряжения.

**Случай D = 0** - кратный корень $r$. Одного $e^{rx}$ недостаточно - нужны два линейно независимых решения. Второе: $xe^{rx}$. Общее: $y = (C_1 + C_2 x)e^{rx}$. Это **критическое демпфирование** - возврат в равновесие без единого колебания, максимально быстро. Именно этот режим ищут инженеры для дверных доводчиков и амортизаторов автомобиля.

**Случай D < 0** - комплексные корни $\alpha \pm \beta i$. Формула Эйлера $e^{i\theta} = \cos\theta + i\sin\theta$ превращает комплексную экспоненту в вещественное решение: $y = e^{\alpha x}(C_1 \cos(\beta x) + C_2 \sin(\beta x))$. При $\alpha < 0$ - затухающие колебания. При $\alpha = 0$ - чистые незатухающие. При $\alpha > 0$ - нарастающий резонанс, как у Такомы.

Параметр затухания $\zeta$ (дзета) определяет режим: $\zeta < 1$ - колебания, $\zeta = 1$ - критический, $\zeta > 1$ - передемпфирование. В градиентном спуске есть прямая аналогия: momentum $\beta_1 = 0.9$ в Adam - это система с $\zeta \approx 0.16$, слегка недодемпфированная, что помогает проходить седловые точки.

Метод неопределённых коэффициентов и резонанс

Диффузионные модели - Stable Diffusion, DALL-E 3, FLUX - добавляют шум по уравнению $dx = -x\,dt + \sigma\,dW$. Это стохастическое ОДУ. Обратный процесс генерации - интегрирование обратного ОДУ. Детерминированная часть этого уравнения - неоднородное ОДУ: $y' + y = f(t)$, где $f(t)$ - «управляющий сигнал». Метод неопределённых коэффициентов отвечает на вопрос: как найти частное решение для конкретной правой части.

Для неоднородного уравнения $y'' + ay' + by = f(x)$ общее решение = однородная часть + **частное решение**. Метод неопределённых коэффициентов: угадываем форму частного решения по виду $f(x)$, подставляем и находим коэффициенты. Угадывание здесь - не случайное: форма жёстко определяется типом правой части.

**Резонанс.** Если $\alpha$ - корень характеристического уравнения кратности $k$, умножаем пробное решение на $x^k$. Без этого коэффициенты обнулятся и система не разрешится. Физически: внешняя сила попадает в собственную частоту - энергия накапливается без потерь. Так разрушился мост Такома-Нэрроуз.

**Принцип суперпозиции:** если $y_1$ - частное решение для $f_1(x)$, а $y_2$ - для $f_2(x)$, то $y_1 + y_2$ - частное решение для $f_1 + f_2$. Линейность позволяет разбивать сложные правые части на простые. В ML аналог: loss = reconstruction_loss + KL_divergence - это тот же принцип суперпозиции для градиентов.

Метод вариации постоянных

Метод неопределённых коэффициентов работает только для «угадываемых» правых частей. Physics-Informed Neural Networks (PINN) - DeepMind GraphCast, климатические модели, моделирование турбулентности - требуют решать ОДУ с произвольными данными в правой части. Для этого нужен универсальный метод.

**Метод вариации постоянных (Лагранж, 1774).** Берём общее решение однородного $C_1 y_1 + C_2 y_2$ и «расконстантиваем» - позволяем $C_1(x)$, $C_2(x)$ зависеть от $x$. Подставляем $y = C_1(x)y_1 + C_2(x)y_2$ и накладываем условие $C_1'y_1 + C_2'y_2 = 0$ (иначе система переопределена). Получаем систему из двух уравнений для $C_1'$ и $C_2'$, решаемую через определитель Вронского.

**Вронскиан W != 0** гарантирует, что $y_1$ и $y_2$ линейно независимы и система для $C_1'$, $C_2'$ имеет единственное решение. Если W = 0 - решения линейно зависимы. Вронский (1778-1853) - польский математик, который ввёл этот определитель за полвека до того, как его применение к ОДУ стало стандартным.

Полная картина: $y'' + ay' + by = f(x)$ - это «$F = ma$» в математической форме. Характеристическое уравнение показывает, будет ли система колебаться или затухать. Неопределённые коэффициенты дают частное решение для стандартных воздействий. Вариация постоянных - для произвольного $f(x)$. Этот же принцип работает в adjoint method - способе вычисления градиентов через Neural ODE, который описан в статье Chen et al. 2018.

Ключевые идеи

• **Характеристическое уравнение** $r^2 + ar + b = 0$ сводит ОДУ к алгебраическому - зародыш преобразования Лапласа
• **Три режима:** переходные процессы (D>0), критическое демпфирование (D=0) - дверные доводчики и амортизаторы, колебания (D<0) - от квантового осциллятора до RLC-цепей
• **Неопределённые коэффициенты:** угадываем форму y_p по правой части; если alpha - корень - умножаем на x^k (резонанс)
• **Вариация постоянных:** универсальный метод через Вронскиан для любой правой части. Adjoint method в Neural ODE - его непрерывный аналог

Связанные темы

ОДУ 2-го порядка - центральная тема анализа колебательных систем:

• ОДУ первого порядка — Фундамент: методы 1-го порядка используются при решении 2-го
• Системы ОДУ — ОДУ 2-го порядка эквивалентно системе двух ОДУ 1-го порядка
• Динамические системы — Фазовые портреты и аттракторы - геометрия решений ОДУ

Вопросы для размышления

• Критическое демпфирование (D = 0) - самое быстрое возвращение без колебаний. Почему передемпфированная система (D > 0, два отрицательных корня) возвращается медленнее, хотя тоже не колеблется?
• Neural ODE заменяет дискретные слои ResNet непрерывным ОДУ. Какой из трёх режимов (D>0, D=0, D<0) описывает поведение скрытого состояния в стабильно обученной сети?
• Мост Такома разрушился от резонанса при ветре 64 км/ч. Инженеры теперь рассчитывают собственные частоты конструкций заранее. Как характеристическое уравнение позволяет это сделать аналитически?

Связанные уроки

• de-01 — Методы 1-го порядка - база перед 2-м
• de-03 — ОДУ 2-го порядка эквивалентно системе двух ОДУ 1-го
• dyn-01 — Фазовые портреты и аттракторы для колебательных систем
• nm-01 — Численные методы - как решать ОДУ когда нет аналитики
• calc-01-sequences — Предел и сходимость - фундамент для анализа устойчивости
• la-13-eigenvectors