Собственные значения и векторы

PCA, PageRank, спектральная кластеризация, анализ стабильности систем управления - всё это задачи на собственные значения. В нейронных сетях собственные значения матрицы весов связаны с проблемой взрывного/затухающего градиента. Eigendecomposition - рентгеновский снимок линейного оператора.

• **PCA:** собственные векторы ковариационной матрицы - главные компоненты; собственные значения - дисперсия вдоль каждой оси
• **PageRank Google:** доминирующий собственный вектор матрицы переходов = ранг страниц; power iteration - алгоритм вычисления
• **Спектральная кластеризация:** граф Лапласиан L = D − W; k наименьших ненулевых собственных значений указывают k кластеров

Предварительные знания

• Linear Maps

Уравнение собственных значений

Ненулевой вектор v называется собственным вектором матрицы A, если Av = λv для некоторого скаляра λ (собственного значения). Геометрически: собственный вектор - это направление, которое оператор A только растягивает (или сжимает, или отражает), но не поворачивает. λ - коэффициент растяжения.

**Геометрический смысл:** если A - матрица трансформации, её собственные векторы - "оси" трансформации. Любой вектор можно разложить по собственным векторам, и каждая компонента просто масштабируется на λ. Именно поэтому собственное разложение так полезно.

Характеристический полином

Av = λv эквивалентно (A−λI)v = 0. Ненулевое решение существует тогда и только тогда, когда det(A−λI) = 0. Это уравнение называется характеристическим. Для n×n матрицы det(A−λI) - полином степени n от λ: его корни - собственные значения.

**Теорема Гамильтона-Кэли:** каждая матрица удовлетворяет своему характеристическому полиному p(A) = 0. Следствие: Aⁿ можно выразить через A^{n-1}, …, A, I. Это основа эффективного вычисления матричных степеней.

Eigendecomposition и симметричные матрицы

Если у матрицы A есть n линейно независимых собственных векторов v₁,…,vₙ с собственными значениями λ₁,…,λₙ, то A = VΛV⁻¹, где V - матрица из собственных векторов (столбцами), Λ = diag(λ₁,…,λₙ). Для симметричных матриц (A = Aᵀ): все λᵢ вещественны и собственные векторы ортогональны → A = VΛVᵀ.

Используйте np.linalg.eigh для симметричных матриц - он вдвое быстрее и возвращает вещественные собственные значения по возрастанию. np.linalg.eig - для общего случая.

Степенная итерация и применения

Степенная итерация (power iteration): начинаем с произвольного v₀, повторяем v_{k+1} = Av_k / ||Av_k||. При |λ₁| > |λ₂| итерации сходятся к собственному вектору при наибольшем по модулю собственном значении λ₁. Скорость сходимости: |λ₂/λ₁|^k.

Ключевые идеи

• **Av = λv:** собственный вектор - инвариантное направление; λ - коэффициент растяжения
• **det(A−λI) = 0:** характеристический полином степени n даёт n собственных значений (в ℂ)
• **A = VΛV⁻¹:** eigendecomposition; для симметричных A = VΛVᵀ с ортогональным V
• **Power iteration:** сходится к maximal λ за O(n) на шаг; основа PageRank и LLM-мониторинга spektra

Связанные темы

Собственные значения объединяют всю линейную алгебру:

• SVD — Сингулярные числа = √(собственных значений AᵀA); SVD обобщает eigendecomp
• Квадратичные формы — Знаки λ определяют положительную/отрицательную определённость Hessiana
• Линейная алгебра в ML — Спектральный анализ матриц весов, gradients в RNN

Вопросы для размышления

• В RNN задача: если спектральный радиус матрицы весов ρ(W) > 1, градиент взрывается; если < 1 - затухает. Как это следует из eigendecomposition?
• PCA через eigendecomposition и через SVD дают одинаковый результат. Почему SVD численно предпочтительнее?
• Граф Лапласиан имеет n собственных значений, наименьшее всегда 0. Что означает кратность 0 (multiplicity of λ=0) для структуры графа?

Связанные уроки

• la-01-vectors-intro