Случайные процессы
Резервуарные вычисления
Цели урока
- Построить ESN и обучить линейный ридер через ridge regression
- Объяснить свойство эха (ESP) через спектральный радиус W_res
- Проанализировать компромисс памяти и стабильности через ёмкость памяти MC
- Описать физические реализации резервуаров и нейроморфные вычисления
Предварительные знания
- Сигнатурные методы
- Рекуррентные нейронные сети
- Цепи Маркова
Обучить LSTM на прогнозировании хаоса: 10 часов на GPU. Обучить ESN: 1 секунда на CPU. Качество сопоставимо. Нейросети с обратным распространением - не единственный способ обработки временных рядов.
- Физика: оптоволоконные резервуары со скоростью пикосекундного масштаба
- IBM: spintronic reservoir computing для ultra-low power edge AI
- Нейронаука: кортикальные колонны как Liquid State Machines
- Роботика: ESN для стабилизации нелинейных манипуляторов в реальном времени
Яегер, Маасс и параллельное открытие
Херберт Яегер (GMD Technical Report 148, 2001) и Вольфганг Маасс (Neural Computation, 2002) независимо открыли резервуарные вычисления - под разными именами: Echo State Networks и Liquid State Machines. Обе идеи: фиксированный резервуар, обучается только ридер. Джейгер в 2002 году показал, что ESN обучается за секунды там, где BPTT за часы. Первый hardware-реализатор: Appeltant et al. (2011) - оптическое волокно с задержкой. Spintronic реализации: Torrejon et al. (Nature, 2017).
Echo State Network: динамика и свойство эха
2021 год. Tanaka et al. применяют физические резервуары для прогнозирования аттрактора Лоренца: 1000 раз быстрее LSTM при сопоставимой точности. Никакого backpropagation. Никаких градиентов. Только матричная инверсия - один раз.
ESN vs LSTM на прогнозировании хаоса
Сравнение методов для аттрактора Лоренца
Аттрактор Лоренца: dx/dt = 10*(y-x), dy/dt = x*(28-z)-y, dz/dt = x*y - 8/3*z. Ляпуновское время: 1/0.906 = 1.1 временных единицы. ESN (N=1000, rho=0.9): предсказание до 8 Ляпуновых времён. LSTM (256 units): до 9.2 при обучении 10 часов. ESN: 1 секунда обучения. Для safety-critical задач - ESN выигрывает по надёжности и скорости развёртки.
В чём главное преимущество ESN перед LSTM?
ESN: W_res и W_in случайны и фиксированы. Обучается только W_out через ridge regression - аналитически. Нет BPTT, нет исчезающих градиентов, нет итеративной оптимизации. Это делает ESN детерминированно обучаемыми за O(N^3) операций.
Ёмкость памяти и компромисс памяти-стабильности
Резервуар должен «помнить» прошлое, чтобы предсказывать будущее. Но долгая память требует спектрального радиуса, близкого к 1 - и система становится нестабильной. Это не инженерный компромисс - это математическая теорема о спектре.
Kernel quality measure (Legenstein & Maass, 2007): резервуар хорош, если близкие входы дают близкие состояния (separation property) AND разные входы дают разные состояния (approximation property). Это trade-off - один резервуар не может быть оптимальным для всего.
| rho (спектральный радиус) | Память | Стабильность | Применения |
|---|---|---|---|
| 0.3 - 0.5 | Короткая (~5-10 шагов) | Высокая | Быстрые динамики, классификация |
| 0.7 - 0.9 | Средняя (~20-50 шагов) | Хорошая | Хаотические системы, речь |
| 0.95 - 0.99 | Длинная (~100+ шагов) | Граничная | Медленные тренды, долгие зависимости |
| > 1.0 | Бесконечная (теорет.) | Нестабилен | Нежелательно |
Почему увеличение спектрального радиуса выше 1 делает ESN неприменимым?
ESP требует rho(W_res) < 1. При rho > 1 существуют начальные условия x(0), при которых x(t) расходится при t -> inf. Это значит, что выход зависит от x(0) - резервуар «помнит» начальное состояние бесконечно долго.
Физические резервуары и нейроморфные вычисления
Самый дешёвый резервуар - это физика. Капля воды создаёт рябь при касании - это нелинейная проекция входного сигнала в пространство высокой размерности. Fernando & Sojakka (2003) буквально использовали ёмкость с водой как резервуар для распознавания речи.
Spintronics резервуары (2020-2023): магнитные наноострова как нейроны, спиновые волны как связи. Потребление: нановатты против милливатт у GPU. IBM исследует spintronic reservoir computing для edge AI в сенсорах с ультра-низким потреблением.
Мозг - природный резервуар. Гипотеза Maass (2002): кортикальные колонны работают как Liquid State Machines - входные сигналы проецируются в нелинейное высокомерное пространство, откуда линейный ридер (другие слои коры) извлекает нужную информацию.
Что делает физический объект (вода, оптоволокно, спинтроника) пригодным в качестве резервуара?
Физический резервуар: нелинейность + память. Нелинейность даёт способность различать разные паттерны. Память позволяет учитывать историю входов. При этом линейный ридер извлекает нужную информацию без обучения резервуара.
Связи с другими разделами
Резервуарные вычисления объединяют нелинейную динамику, ML и нейроморфные вычисления
- Сигнатурные методы — Связанная тема
- Neural ODE / CDE — Связанная тема
- Нейроморфные чипы — Связанная тема
- Нейронаука — Связанная тема
Итоги
- ESN: случайный резервуар W_res фиксирован, обучается только линейный ридер W_out через ridge regression
- Свойство эха (ESP): rho(W_res) < 1 гарантирует затухание начальных условий
- Компромисс памяти-стабильности: rho -> 1 даёт длинную память, но граничную стабильность
- Физические резервуары: оптика, спинтроника, вода - нелинейная динамика без чипов
Вопросы для размышления
- Почему теорема об ёмкости памяти MC <= N выполняется для линейного, но не для нелинейного резервуара?
- Как свойство эха ESN связано с теоремой непрерывности Лайонса из теории грубых путей?
- Чем физический резервуар принципиально ограничен по сравнению с программным ESN?