Облако на плоскости: ковариация 2×2, собственные векторы PC1 и PC2 от среднего, перпендикуляры к прямой PC1 и полоска счетов на первой компоненте.
О модели
Метод главных компонент на плоскости начинается с центрирования данных. Ковариационная матрица 2×2 центрированных точек симметрична и неотрицательно определена; её собственные векторы — взаимно перпендикулярные направления максимальной дисперсии, упорядоченные по собственным числам λ₁ ≥ λ₂ ≥ 0. PC1 — прямая через среднее, вдоль которой ортогональная проекция сохраняет наибольшую долю дисперсии; PC2 перпендикулярен и забирает остаток. Счёт точки на PC1 — скалярное произведение (p − μ)·v₁ с единичным собственным вектором, то есть координата при проецировании на одномерное подпространство. На экране — среднее, стрелки длины порядка √λ, перпендикуляры от точек к прямой PC1 и нижняя полоска тех же счетов. Ковариация считается с делителем n.
Для кого: Линейная алгебра и статистика: собственные векторы ковариации, проекция, объяснённая дисперсия.
Ключевые понятия
метод главных компонент
ковариационная матрица
собственный вектор
собственное число
центрирование
ортогональная проекция
объяснённая дисперсия
аппроксимация ранга 1
Как это работает
После центрирования строится ковариация 2×2; собственные векторы — PC1 (максимум дисперсии) и PC2. Счёт на PC1 равен (p − μ)·v₁ и есть координата ортогональной проекции на прямую PC1. Полоска внизу — те же значения на одной оси; стрелки масштабированы примерно как √λ.
Часто задаваемые вопросы
Почему стрелки крутятся, если сдвинуть одну далёкую точку?
Метод главных компонент глобален: ковариация зависит от всех точек. Сильный выброс может перекосить эллипс инерции и изменить оба собственных направления. Существуют робастные варианты, здесь они не показаны.
Здесь делитель n или n−1?
Делитель n — проще для малых выборок и учебных графиков. Порядок главных компонент тот же, абсолютные λ отличаются от варианта n−1 постоянным множителем.
Что показывает полоска внизу?
Те же счета (p − μ)·v₁, что и ортогональная проекция на прямую PC1. Знак согласован со стрелкой первой компоненты: это одномерная картинка того же облака.