Wolke in der Ebene: 2×2-Kovarianz, Eigenvektoren PC1 und PC2 vom Mittelwert, Lote auf die PC1-Gerade und Streifen der Scores auf der ersten Komponente.
Zum Modell
Die Hauptkomponentenanalyse (PCA) in der Ebene beginnt mit der Zentrierung der Daten. Die 2×2-Kovarianzmatrix der zentrierten Punkte ist symmetrisch und positiv semidefinit; ihre Eigenvektoren sind zueinander senkrechte Richtungen maximaler Varianz, geordnet nach Eigenwerten λ₁ ≥ λ₂ ≥ 0. PC1 ist die Gerade durch den Mittelwert, längs derer die orthogonale Projektion den größten Varianzanteil erhält; PC2 steht senkrecht und nimmt den Rest. Der Score eines Punktes auf PC1 ist das Skalarprodukt (p − μ)·v₁ mit dem Einheits-Eigenvektor, also die Koordinate bei Projektion auf den eindimensionalen Unterraum. Auf dem Bildschirm stehen Mittelwert, Pfeile der Länge etwa √λ, Lote von den Punkten auf die PC1-Gerade und unten der Streifen derselben Scores. Die Kovarianz wird mit Divisor n gerechnet.
Für wen: Lineare Algebra und Statistik: Eigenvektoren der Kovarianz, Projektion, erklärte Varianz.
Wichtige Begriffe
hauptkomponentenanalyse
kovarianzmatrix
eigenvektor
eigenwert
zentrierung
orthogonale projektion
erklärte varianz
rang-1-approximation
So funktioniert es
Nach der Zentrierung bildet die Hauptkomponentenanalyse (PCA) die 2×2-Kovarianz; die Eigenvektoren sind PC1 (maximale Varianz) und PC2. Der Score auf PC1 ist (p − μ)·v₁, die Koordinate der orthogonalen Projektion auf die PC1-Gerade. Der Streifen unten zeigt dieselben Werte auf einer Achse; Pfeile etwa wie √λ skaliert.
Häufige Fragen
Warum drehen sich die Pfeile, wenn man einen fernen Punkt verschiebt?
Die Hauptkomponentenanalyse (PCA) ist global: die Kovarianz hängt von allen Punkten ab. Ein starker Ausreißer kann die Trägheitsellipse verdrehen und beide Eigenrichtungen ändern. Es gibt robuste Varianten, hier sind sie nicht gezeigt.
Hier Divisor n oder n−1?
Divisor n — einfacher für kleine Stichproben und Unterrichtsgrafiken. Die Reihenfolge der Hauptkomponenten bleibt dieselbe, die absoluten λ unterscheiden sich vom Fall n−1 um einen konstanten Faktor.
Was zeigt der Streifen unten?
Dieselben Scores (p − μ)·v₁ wie die orthogonale Projektion auf die PC1-Gerade. Das Vorzeichen stimmt mit dem Pfeil der ersten Komponente überein: das ist dasselbe Wolkenbild auf einer Achse.