Динамические системы
Нейродинамика
Нобелевская премия по физике 2024 года ушла Хопфилду и Хинтону за нейронные сети - но комитет обосновал её через физику спиновых стёкол и статистическую механику. Нейронные сети всегда были динамическими системами. Теперь это официально признано.
- **Нейронавигация:** клетки «места» в гиппокампе - осцилляторы с фазовым кодированием; их синхронизация создаёт когнитивную карту пространства
- **Нейропротезы:** стимуляция мозга при болезни Паркинсона разрушает патологическую синхронизацию в базальных ганглиях через подачу сигнала «в противофазе»
- **ML архитектуры:** Neural ODE, Continuous Normalizing Flow, Hamiltonian NN - современные архитектуры, явно используюющие теорию динамических систем
Предварительные знания
Hopfield
**Как мозг вспоминает лица по частичной информации?** Сеть Хопфилда - математическая модель ассоциативной памяти: паттерны хранятся как аттракторы динамической системы. Дайте неполный или зашумлённый входной паттерн - система «докатится» до ближайшего сохранённого воспоминания.
**Сеть Хопфилда** - рекуррентная нейронная сеть с симметричными весами W. Динамика: **dσᵢ/dt = −σᵢ + tanh(β Σⱼ Wᵢⱼσⱼ)** (непрерывная версия). Энергия: **E = −(1/2)Σᵢⱼ Wᵢⱼσᵢσⱼ** монотонно убывает - система всегда сходится к локальному минимуму E. Ёмкость памяти: ≈ 0.14N паттернов при N нейронах.
| Параметр | Сеть Хопфилда | Биологический аналог |
|---|---|---|
| Нейроны σᵢ = ±1 | Бинарные спины | Паттерны активности |
| Веса Wᵢⱼ = WⱼI | Симметричные связи | Синапсы (упрощение) |
| Энергия E | Монотонно убывает | «Ландшафт» памяти |
| Аттрактор | Локальный минимум E | Воспоминание |
Джон Хопфилд, 1982
Джон Хопфилд опубликовал свою модель в 1982 году в PNAS, используя аналогию с физикой спинового стекла. Статья стала одной из самых цитируемых в истории нейронауки. В 2024 году Хопфилд разделил Нобелевскую премию по физике с Джеффри Хинтоном «за фундаментальные открытия и изобретения, позволившие создать машинное обучение с использованием искусственных нейронных сетей».
Почему динамика сети Хопфилда всегда сходится к аттрактору (не может осциллировать)?
Oscillators
**Нейрон - это не просто «да/нет» элемент.** Реальные нейроны генерируют ритмические импульсы: нейроны сердечного ритма бьются ~60 раз в минуту, гамма-осцилляторы в гиппокампе - 40 Гц. Математически такой нейрон - нелинейный осциллятор, и вся нейросеть - система связанных осцилляторов.
**Модель нейрона Ходжкина-Хаксли (1952):** четыре уравнения описывают потенциал действия: C·dV/dt = I − gₙₐm³h(V−Eₙₐ) − g_K n⁴(V−E_K) − g_L(V−E_L). Упрощённые модели: **FitzHugh-Nagumo** (2D): dv/dt = v − v³/3 − w + I, dw/dt = ε(v + a − bw). При I > I_порог: нейрон генерирует предельный цикл (постоянная генерация импульсов).
| Модель нейрона | Размерность | Особенности |
|---|---|---|
| Ходжкин-Хаксли (1952) | 4D | Точная биофизика; 4 переменных |
| FitzHugh-Nagumo | 2D | Упрощённая, аналитически удобная |
| Ижикевич (2003) | 2D | 20+ типов нейронного поведения |
| Ван дер Поль | 2D | Классический нелинейный осциллятор |
При каком механизме нейрон начинает генерировать импульсы при увеличении тока I?
Synchronization
**Светлячки в южноазиатских джунглях мигают синхронно - сотни тысяч насекомых, идеально согласованных без дирижёра.** Нейроны в таламусе синхронизируются при эпилептическом приступе. Кардиостимулятор синхронизирует клетки сердца. Синхронизация - универсальное явление в связанных осцилляторах.
**Модель Курамото (1975):** N фазовых осцилляторов с разными собственными частотами ωᵢ, связанных «среднеполевым» образом: **dθᵢ/dt = ωᵢ + (K/N)Σⱼ sin(θⱼ − θᵢ)**. Параметр порядка: r = |(1/N)Σⱼ exp(iθⱼ)|. При K > K_c = 2/πg(0) (g - распределение частот) происходит **фазовый переход**: r > 0 - частичная синхронизация.
| K/K_c | Параметр порядка r | Состояние |
|---|---|---|
| K < K_c | r ≈ 0 (→ 1/√N) | Полная несинхронность |
| K = K_c | r ≈ 0 (фазовый переход) | Нейтральная точка |
| K > K_c | 0 < r < 1 | Частичная синхронизация |
| K >> K_c | r → 1 | Почти полная синхронизация |
В модели Курамото при K > K_c параметр порядка r > 0 означает:
Neural Networks
**Нейронные сети для глубокого обучения - тоже динамические системы.** Прямой проход - это итерация отображения. Обратное распространение - это градиентный поток. ResNet - это дискретизация ОДУ. Эта связь открывает новый взгляд на архитектуры нейросетей через призму теории динамических систем.
**Нейронные ОДУ (Neural ODE, Чэнь и др., 2018):** интерпретация ResNet как дискретизации ОДУ: **dh/dt = f(h(t), t, θ)**, где h(t) - скрытое состояние, θ - параметры сети. Прямой проход решает ОДУ числовым интегратором. Обратный проход использует «метод сопряжённых переменных» (adjoint method) вместо стандартного backprop - O(1) памяти.
| Нейросетевая концепция | Аналог в динамических системах |
|---|---|
| Прямой проход ResNet | Дискретная аппроксимация ОДУ dh/dt = f(h,t,θ) |
| Глубина сети → ∞ | Neural ODE: непрерывное время |
| Пространство активаций | Фазовое пространство |
| Обучение (gradient descent) | Градиентный поток в пространстве параметров |
| Нормализация слоёв | Стабилизация динамики (Ляпунов) |
Neural ODE: Chen et al., NeurIPS 2018
Работа Рики Чэня «Neural Ordinary Differential Equations» получила Outstanding Paper Award на NeurIPS 2018. Идея: ResNet x_{k+1} = x_k + f(x_k) - это метод Эйлера для ОДУ. Если взять предел (бесконечное число слоёв с бесконечно малым шагом), получается непрерывная Neural ODE. Это позволяет использовать адаптивные числовые интеграторы, нормализующие потоки и новые архитектуры. В 2024 году это направление продолжает активно развиваться.
Нейронные сети - это просто матричные операции, не связанные с динамическими системами
Глубокие нейросети - это дискретные динамические системы. ResNet = метод Эйлера, LSTM = управляемая динамическая система, трансформер = дискретное преобразование в пространстве состояний. Теория динамических систем даёт новые инструменты анализа.
Нестабильность обучения (взрывной/затухающий градиент) - это вопрос о показателях Ляпунова системы. BatchNorm, LayerNorm - стабилизация динамики. Adversarial примеры - чувствительность к начальным условиям. Понимание DNN как динамических систем открывает путь к теоретически обоснованным архитектурным решениям.
ResNet с остаточными связями x_{k+1} = x_k + f(x_k, θ_k) соответствует:
Ключевые идеи
- **Сеть Хопфилда** - ассоциативная память как динамическая система: паттерны - аттракторы, вспоминание - спуск по энергетическому ландшафту
- **Нейронные осцилляторы** (FHN, HH): нейрон генерирует импульсы через бифуркацию Хопфа при превышении порогового тока
- **Синхронизация Курамото:** при K > K_c система связанных осцилляторов самоорганизуется; r - параметр порядка синхронизации
- **Neural ODE:** ResNet = метод Эйлера; нейросеть - динамическая система с параметрами θ; теория ОДУ даёт инструменты анализа глубоких сетей
Связанные темы
Нейродинамика объединяет все предыдущие темы курса:
- Бифуркации — Бифуркация Хопфа - механизм возникновения нейронной генерации импульсов
- Гамильтоновы системы — Гамильтонова нейронная сеть (HNN) - архитектура, сохраняющая симплектическую структуру
- Dynamical Systems в ML — Neural ODE, reservoir computing - прямые применения этого урока
Вопросы для размышления
- Эпилепсия - это патологическая гиперсинхронизация. Но нормальная синхронизация (гамма-осцилляции при внимании) полезна. Как мозг регулирует уровень синхронизации?
- Сеть Хопфилда имеет ёмкость памяти ~0.14N. Как увеличить ёмкость? Современные Hopfield Networks (2020) увеличивают её до экспоненциальной - как?
- Если нейронные сети - это динамические системы, то обучение - это изменение «ландшафта» этой системы. Что означает «хорошо обученная» сеть с точки зрения динамики?