Случайные процессы
Сигнатурные методы для временных рядов
Цели урока
- Вычислить усечённую сигнатуру пути и проверить тождество Чена
- Объяснить теорему универсальной аппроксимации через сигнатуру
- Применить логарифмическую сигнатуру для компактного представления пути
- Использовать сигнатурное ядро для задач классификации временных рядов
Предварительные знания
- Теория грубых путей
- Тензорная алгебра
- Итерированные интегралы
Handwriting recognition с 94.5% точностью - без нейросети, без feature engineering. Только 31 признак из сигнатуры пути. Математическая теорема о плотности линейных функционалов превращается в production-ready ML-метод.
- Oxford Math Finance: сигнатурные стратегии для forex временных рядов
- DeepMind: sig-признаки для нерегулярных медицинских временных рядов
- Sig-Wasserstein GAN: генерация финансовых временных рядов
- UEA Benchmark: лучший результат на 30+ датасетах временных рядов
От грубых путей к ML
Терри Лайонс определил сигнатуру как часть теории грубых путей в 1990-х. Первые ML-применения: Leerik et al. (2014) для классификации жестов. Прорыв: Chevyrev и Oberhauser (2016) показали универсальность. Esig библиотека для Python создана в Oxford (Reizenstein, 2017). Сигнатурное ядро через PDE - Salvi, Cass et al. (2021). Sig-GAN - Ni, Szpruch et al. (2021). Сегодня sig-методы входят в стандартный toolbox для временных рядов.
Сигнатура пути и теорема универсальной аппроксимации
Теодор Лайонс и Харальд Обербауэр в 2016 году показали: сигнатура пути - универсальный признак для любой непрерывной функции на путях. Google DeepMind использует её для обработки медицинских временных рядов с нерегулярными измерениями. Это не очередной трюк feature engineering - это математическая теорема о плотности.
Усечённая сигнатура порядка N: O(d^N) компонент. Для d=5, N=4: (5^5 - 1)/(5-1) = 781 признак. Логарифмическая сигнатура компактнее: O(d^N / N) независимых компонент через скобки Холла.
Почему сигнатура является универсальным признаком для задач на путях?
Универсальная аппроксимация: линейные L(S(X)) dense в C(paths). Это значит, что любую непрерывную функцию на путях можно аппроксимировать линейной комбинацией компонент сигнатуры.
Логарифмическая сигнатура и вычислительная эффективность
Сигнатура порядка N для d-мерного пути имеет (d^{N+1} - 1)/(d-1) компонент. При d=10, N=5 это 111111 числа. Логарифмическая сигнатура через скобки Холла: O(d^N / N) - в 5 раз меньше. И несёт ту же информацию.
| d (размерность) | Порядок N | Размер sig | Размер log-sig | Сжатие |
|---|---|---|---|---|
| 2 | 4 | 31 | 8 | 3.9x |
| 3 | 4 | 121 | 18 | 6.7x |
| 5 | 3 | 156 | 20 | 7.8x |
| 10 | 3 | 1111 | 55 | 20x |
Ядро сигнатуры K(X,Y) = inner product в тензорной алгебре - вычисляется через PDE без явного вычисления компонент. Время: O(N * |X| * |Y|) вместо O(d^N * |X| * |Y|). Метод ядра на путях - это SVM без явного признакового пространства.
Библиотеки: esig (Python/C++, основная), iisignature (PyTorch, быстрее для градиентов), signatory (GPU, backprop). Для production: signatory от James Foster интегрируется с torch.autograd.
Чем логарифмическая сигнатура компактнее обычной при том же объёме информации?
Тождество Чена создаёт структурные зависимости между компонентами sig. Логарифм проецирует на свободную алгебру Ли - пространство без этих зависимостей. Размер: O(d^N/N) vs O(d^N) для sig.
Сигнатурные методы в практике ML
Oxford Math Finance Group: сигнатурные признаки для финансовых временных рядов. Signature trading strategy обгоняет LSTM на forex данных. Причина - инвариантность к перепараметризации: разные частоты семплинга, пропуски, нерегулярные сетки не ломают признаки.
Sig-Wasserstein GAN (Ni et al., 2021): дискриминатор - расстояние между сигнатурами реальных и сгенерированных путей. Позволяет обучать генеративные модели для финансовых временных рядов без нестабильности adversarial training.
Signature as features для handwriting recognition
Классификация рукописных символов
Рукописная буква - 2D путь (x(t), y(t)). Скорость написания не должна влиять на распознавание - это перепараметризация. Сигнатура инвариантна к ней. Усечённая сигнатура порядка 4 (d=2, N=4): 31 признак. Линейный SVM на этих признаках даёт 94.5% точности на UEA Multivariate Time Series Archive - без feature engineering, без нейросетей.
Чем сигнатурное ядро K(X,Y) выгодно для ML на путях по сравнению с явным вычислением признаков?
Ядро K(X,Y) = inner product в тензорной алгебре, вычисляемое через PDE за O(|X|*|Y|). При явных признаках порядка N нужно хранить O(d^N) чисел. Kernel метод даёт доступ к бесконечномерным признакам за конечное время.
Связи с другими разделами
Сигнатурные методы соединяют геометрию путей с практическим ML на временных рядах
- Резервуарные вычисления — Связанная тема
- Kernel methods (SVM, GP) — Связанная тема
- Теория грубых путей — Связанная тема
- Neural CDE — Связанная тема
Итоги
- Сигнатура - бесконечная тензорная серия итерированных интегралов: S(X) = (1, S^1, S^2, ...)
- Тождество Чена: S(X*Y) = S(X) tensor S(Y) - мультипликативность при конкатенации
- Универсальная аппроксимация: линейные L(S(X)) dense в C(paths)
- Log-signature: O(d^N/N) компонент против O(d^N) для sig - в N раз компактнее
Вопросы для размышления
- Почему инвариантность к перепараметризации важна для временных рядов с нерегулярным семплингом?
- Как связаны сигнатурное ядро и Random Fourier Features для аппроксимации kernel матриц?
- Почему усечение сигнатуры до порядка N всё равно даёт хорошие результаты на практике?