Тензорные разложения в алгебре

Умножение двух матриц 2×2 наивно требует 8 умножений. Штрассен в 1969 доказал: достаточно 7. Это эквивалентно нахождению CP-разложения ранга 7 для конкретного тензора умножения матриц. В 2022 году нейросеть AlphaTensor нашла аналогичные рекорды для бо́льших матриц - задача сводится к тензорной алгебре.

• AlphaTensor (DeepMind 2022): нахождение оптимальных алгоритмов умножения матриц = CP-разложение тензора
• Нейросети: матрицы весов - 2-тензоры; attention-механизм - 3-тензор; тензорное сжатие уменьшает размер модели
• Квантовая механика: состояния из нескольких частиц - тензорные произведения; запутанность = ранг 1 недостижим

Предварительные знания

• Group Cohomology

Тензорная алгебра T(V): свободная ассоциативная алгебра

Тензорные разложения движут современную численную линейную алгебру: Tucker (1966) и CANDECOMP/PARAFAC (Harshman, 1970) лежат в основе сжатия данных порядка 3 и выше, а модель Llama-3 405B (2024) использует тензорный параллелизм по 16384 GPU H100 для одного прямого прохода. Конструкции внешней и симметрической алгебры в этом уроке - алгебраический скелет таких разложений.

**Тензорная алгебра** T(V) = ⊕_{n≥0} V^{⊗n} = k ⊕ V ⊕ (V⊗V) ⊕ (V⊗V⊗V) ⊕ ... Элемент T(V) - конечная сумма тензоров разных степеней. Умножение - конкатенация (тензорное произведение): (v₁⊗...⊗vₙ)·(w₁⊗...⊗wₘ) = v₁⊗...⊗vₙ⊗w₁⊗...⊗wₘ. **Универсальное свойство (свободность):** T(V) - «свободная» ассоциативная k-алгебра, порождённая V. Любой линейный f: V → A (A - ассоциативная алгебра) единственным образом продолжается до гомоморфизма алгебр f̃: T(V) → A. Это означает: T(V) - «наибольшая» алгебра из V без дополнительных соотношений. **Если dim(V) = n и {e₁,...,eₙ} - базис:** T(V) ≅ k⟨x₁,...,xₙ⟩ - свободная алгебра некоммутативных многочленов. Степень n тензор: линейная оболочка eᵢ₁⊗...⊗eᵢₙ - размерность nⁿ. **Градуировка:** T(V) = ⊕ T^n(V), deg(v₁⊗...⊗vₙ) = n. Умножение сохраняет степень: T^n · T^m ⊆ T^{n+m}.

**Квантовые группы:** Алгебра Уикла - фактор тензорной алгебры по соотношениям квантовой симметрии: xy - q·yx = 0 для «квантового параметра» q. При q=1 получаем коммутативную симметрическую алгебру, при q=-1 - внешнюю алгебру. Квантовые группы - деформации стандартных алгебр через параметр q.

Внешняя алгебра Λ(V): детерминант и дифференциальные формы

**Внешняя алгебра Λ(V)** = T(V) / ⟨v⊗v : v ∈ V⟩ - факторизация тензорной алгебры по соотношению v∧v = 0 (следствие: v∧w = -w∧v). **Λ^n(V)** = антисимметричные тензоры степени n. dim Λ^n(V) = C(dim V, n). **Базис Λ^n(V)** при dim V = m: {eᵢ₁∧...∧eᵢₙ : i₁ < ... < iₙ}. **Главный пример - детерминант:** Λ^n(V) при dim V = n - одномерное пространство. Линейный оператор f: V → V действует на Λ^n(V) как умножение на скаляр: f*(e₁∧...∧eₙ) = det(f)·(e₁∧...∧eₙ). **Детерминант = Λ^n(f):** det(f) - определитель матрицы f. Это объясняет мультилинейность и антисимметричность det! **Дифференциальные формы:** Ω^n(M) = Γ(Λ^n T*M) - дифференциальные n-формы. Внешний дифференциал d: Ω^n → Ω^{n+1}, d²=0. Это делает (Ω*(M), d) цепным комплексом!

**Формула Стокса = de Rham:** ∫_∂M ω = ∫_M dω. Это обобщение: теорема Грина (n=2), теорема Стокса (n=3), теорема Гаусса (n=3) - всё это частные случаи одной формулы. Внешний дифференциал d и граничный оператор ∂ - двойственны через интегрирование. Теорема де Рама: H^n_{dR}(M) ≅ H^n_{sing}(M; ℝ) - топология через дифференциальные формы.

Симметрическая алгебра S(V) и CP-разложения

**Симметрическая алгебра S(V)** = T(V) / ⟨v⊗w - w⊗v : v,w ∈ V⟩ - факторизация по коммутативности. S(V) ≅ k[x₁,...,xₙ] - кольцо полиномов! При dim V = n: S(V) = k[x₁,...,xₙ], S^d(V) = однородные многочлены степени d. dim S^d(V) = C(n+d-1, d). **Двойственность:** S(V*) = «полиномиальные функции на V» = многочлены в координатных функциях. **CP-разложение тензора T ∈ V₁ ⊗ V₂ ⊗ V₃:** T = ∑_{r=1}^R a_r ⊗ b_r ⊗ c_r (сумма ранг-1 тензоров). Минимальное R = **тензорный ранг** rank(T). **Отличие от матриц:** Матричный ранг = rank(M) = min R в M = ∑ aₗbₗᵀ. Для тензоров ранг 3-го порядка: - rank(T) вычислительно NP-сложен - rank(T) над ℝ и ℂ могут различаться! - Не существует алгоритма, аналогичного SVD для матриц. **Связь с ML:** Матрицы весов нейросети - 2-тензоры. Внимание (attention) и взаимодействие токенов - 3-тензоры. CP-разложение - основа тензорного сжатия нейросетей.

**AlphaCode/AlphaTensor (DeepMind, 2022):** Разложение тензора умножения матриц - классическая задача сложности алгоритмов. AlphaTensor нашёл алгоритм умножения 4×4 матриц за 47 умножений (было 49). Это первое улучшение за 50 лет после Штрассена! Задача сформулирована как нахождение CP-разложения конкретного тензора над конечным полем.

Ключевые идеи

• T(V) = ⊕ V^{⊗n} - свободная ассоциативная алгебра (некоммутативные полиномы)
• Λ(V) = T(V)/(v⊗v) - внешняя алгебра; det = Λ^n(f) - детерминант как внешняя степень
• S(V) = T(V)/(v⊗w - w⊗v) ≅ k[x₁,...,xₙ] - симметрическая алгебра = полиномы
• CP-ранг тензора: NP-трудно вычислить, но важно для эффективных алгоритмов

Дальнейшие пути

Тензорные алгебры - основа теории представлений (символы Юнга, характеры), теории Ли (универсальная обёртывающая алгебра) и ML (тензорные разложения нейросетей). Тензорное произведение связано с произведенными категориями через объекты типа ⊗^L.

• Теория представлений: продвинутые темы — Характеры представлений - функции на группе; теорема Вейля о полной редуцируемости использует внешние степени и тензорные разложения
• Когомологии групп — Когомологии Хохшильда используют стандартный барный комплекс из тензорных произведений: C^n(A,M) = Hom(A^⊗n, M)

Вопросы для размышления

• Докажите, что det(AB) = det(A)·det(B) через внешнюю алгебру: используйте Λ^n(A∘B) = Λ^n(A) ∘ Λ^n(B) как линейные отображения Λ^n(V) → Λ^n(V).
• Постройте явно CP-разложение ранга 2 для тензора T ∈ ℝ²⊗ℝ²⊗ℝ², где T[i,j,k] = δ_{i=j=k} (единицы на «суперглавной диагонали»). Чему равен ранг этого тензора?
• Докажите универсальное свойство симметрической алгебры: любой линейный f: V → A (A - коммутативная алгебра) единственным образом продолжается до гомоморфизма алгебр f̃: S(V) → A.

Связанные уроки

• la-01-vectors-intro