Собственные векторы: оси, вдоль которых матрица молчит

PageRank Google, PCA для снижения размерности, анализ устойчивости квадрокоптера, квантовые состояния атома - всё это нахождение собственных векторов матрицы. Собственный вектор - направление, которое матрица не поворачивает, только растягивает. Это самая важная концепция в прикладной линейной алгебре.

• Google PageRank: рейтинг страниц - главный собственный вектор матрицы переходов
• PCA: главные компоненты - собственные векторы матрицы ковариации
• Квантовая механика: состояния атома - собственные векторы оператора Гамильтона
• Вибрации: собственные частоты моста или здания - собственные значения матрицы жёсткости
• Рекомендации: матричная факторизация через EVD/SVD - латентные факторы

Собственные векторы: оси, вдоль которых матрица молчит

**Google обрабатывает 8.5 миллиарда поисковых запросов в день.** В основе PageRank - матрица переходов между страницами, и её ~доминирующий собственный вектор~{Eigenvector с наибольшим |λ|} и есть рейтинг каждой страницы. PCA - главный инструмент снижения размерности в ML - работает ровно так же: ищет собственные векторы ковариационной матрицы данных. Eigenfaces для распознавания лиц, spectral clustering графов, квантовые состояния частиц - всё это одна идея: **существуют особые направления, вдоль которых матрица только растягивает, не поворачивая**. Эти направления и называются собственными векторами.

У каждой квадратной матрицы есть **скелет** - несколько направлений, которые она оставляет нетронутыми, просто растягивая их. Найти эти направления - и матрица в руках: что усилит, что сожмёт, как поведёт себя после миллиона применений. Это не абстракция. PCA, PageRank, спектральная кластеризация, эволюция квантовых состояний, устойчивость каждой рекуррентной сети - всё живёт на этом одном наблюдении.

Главное определение

Главное определение

При умножении на матрицу почти все векторы меняют направление. Но у каждой «хорошей» матрицы есть особые направления, которых трансформация не трогает - только масштабирует. Вектор v называется ~собственным~{Eigenvector - от немецкого «eigen» = собственный, присущий} для матрицы A, если:

СОБСТВЕННЫЙ ВЕКТОР v (v ≠ 0): A · v = λ · v где λ - СОБСТВЕННОЕ ЗНАЧЕНИЕ (eigenvalue) Что происходит при умножении: λ > 1 → растяжение вдоль v 0 < λ < 1 → сжатие вдоль v λ < 0 → разворот на 180° + масштаб λ = 0 → вектор «уничтожается» (попадает в ядро) λ = 1 → вектор неподвижен (инвариантная точка) ПРИМЕР - проекция на ось X: A = [[1, 0], [0, 0]] e1 = (1, 0): A·e1 = (1, 0) = 1·e1 → λ = 1 e2 = (0, 1): A·e2 = (0, 0) = 0·e2 → λ = 0

Собственные векторы - это «оси покоя» трансформации. Остальной мир вращается, а они стоят на месте - только вырастают или сжимаются.

Как найти: характеристическое уравнение

Как найти: характеристическое уравнение

Уравнение A·v = λ·v кажется нелинейным - λ неизвестна. Трюк: перепишем его как однородную систему и потребуем непростое решение.

A·v = λ·v A·v - λ·v = 0 (A - λI)·v = 0 Система (A - λI)·v = 0 имеет непростое решение v ≠ 0 ⟺ матрица (A - λI) сингулярна ⟺ det(A - λI) = 0 ХАРАКТЕРИСТИЧЕСКОЕ УРАВНЕНИЕ: det(A - λI) = 0 Для матрицы n×n это полином степени n по λ. Для 2×2: λ² - trace(A)·λ + det(A) = 0 где trace(A) = a₁₁ + a₂₂ - сумма диагональных элементов СВЯЗЬ с коэффициентами матрицы: λ₁ + λ₂ + ... + λn = trace(A) (теорема Виета) λ₁ · λ₂ · ... · λn = det(A) (теорема Виета)

ШАГ 1. Составляем характеристическое уравнение: det(A - λI) = det|4-λ 2 | = 0 | 1 3-λ| (4-λ)(3-λ) - 2·1 = 0 12 - 7λ + λ² - 2 = 0 λ² - 7λ + 10 = 0 (λ - 5)(λ - 2) = 0 λ₁ = 5, λ₂ = 2 Проверка: λ₁ + λ₂ = 5 + 2 = 7 = trace(A) = 4 + 3 = 7 ✓ λ₁ · λ₂ = 5 · 2 = 10 = det(A) = 4·3 - 2·1 = 10 ✓ ШАГ 2. Находим собственные векторы. ДЛЯ λ₁ = 5: (A - 5I)·v = 0 | -1 2 | · |x| = |0| | 1 -2 | |y| |0| -x + 2y = 0 → x = 2y v₁ = (2, 1) (и любой кратный ему) ДЛЯ λ₂ = 2: (A - 2I)·v = 0 | 2 2 | · |x| = |0| | 1 1 | |y| |0| 2x + 2y = 0 → x = -y v₂ = (1, -1) (и любой кратный ему)

PCA: eigenvectors ковариационной матрицы

PCA: eigenvectors ковариационной матрицы

**PCA (Principal Component Analysis)** - первый инструмент, который применяют к любому датасету. Снизить 512 признаков до 2 для визуализации, убрать мультиколлинеарность перед регрессией, сжать данные без потери информации - всё это PCA. И его математическое ядро - eigenvectors.

**Почему это работает**: ковариационная матрица - симметричная. У симметричных матриц собственные векторы гарантированно ортогональны и действительны (спектральная теорема). Собственный вектор с наибольшим λ указывает направление максимальной дисперсии данных.

PageRank: доминирующий собственный вектор

PageRank: доминирующий собственный вектор

Сеть страниц - это граф. PageRank превращает его в матрицу переходов P, где P[i][j] - вероятность перейти со страницы j на страницу i. **Рейтинг страниц - это стационарное распределение этой цепи Маркова**, то есть вектор π такой, что P·π = π = 1·π. Это собственный вектор с λ = 1.

Spectral clustering и eigenfaces

Spectral clustering и eigenfaces

**Spectral clustering** разбивает граф на сообщества через eigenvectors матрицы Лапласиана L = D - W (где W - матрица весов рёбер, D - диагональная матрица степеней). Второй наименьший eigenvector L (Fiedler vector) разрезает граф пополам - это оптимальный разрез. Применяется в community detection в социальных сетях, сегментации изображений.

**Eigenfaces** - классический метод распознавания лиц (Turk & Pentland, 1991), до эпохи нейросетей. Матрица ковариации 10000 изображений лиц (каждое 100×100 = 10000 пикселей). Первые 100-200 eigenvectors - «eigenfaces» - захватывают >95% вариации в датасете. Лицо = набор весов при eigenfaces. **Именно этот подход использовался в системах видеонаблюдения и паспортного контроля 1990-2000-х.**

Особые случаи и ловушки

Особые случаи и ловушки

Матрица поворота на произвольный угол (кроме 0° и 180°) не имеет действительных собственных векторов - ничего не остаётся на своём направлении. Поэтому у матриц поворота характеристическое уравнение даёт комплексные корни.

Практика: PCA на реальных данных

Практика: PCA на реальных данных

Вопросы для собеседования

Ключевые идеи

• **A·v = λ·v**: собственный вектор не меняет направление, только масштаб λ
• **det(A - λI) = 0**: характеристическое уравнение - полином степени n по λ
• **trace(A) = Σλᵢ, det(A) = Πλᵢ**: быстрая проверка вычислений
• **PCA**: eigenvectors ковариационной матрицы = главные компоненты (направления максимальной дисперсии)
• **PageRank**: рейтинг страниц = доминирующий eigenvector матрицы переходов
• **Симметричные матрицы**: eigenvalues всегда вещественные, eigenvectors ортогональны (спектральная теорема)

Связанные темы

Eigenvectors - ключ к пониманию матриц

• Диагонализация — A = PDP⁻¹, где P - матрица из eigenvectors, D = diag(λ₁,...,λn)
• SVD — Обобщение eigenvectors на прямоугольные матрицы; LoRA в fine-tuning LLM
• Векторные пространства — Eigenspace для λ - подпространство, ядро матрицы (A - λI)

Связанные уроки

• ml-19-pca
• stat-14-pca