Worin unterscheiden sich E-Schritt und M-Schritt?

Im E-Schritt erhält jeder Punkt weiche Gewichte — die Verantwortlichkeiten der Komponenten. Im M-Schritt werden Gewichte, Zentren und Kovarianzen als gewichtete Statistiken neu berechnet. Bei einer Mischung aus zwei Gauß-Komponenten sieht man das an den Ellipsen und am Anstieg der Likelihood.

Findet EM das globale Maximum?

Nein. Bei exakten Schritten fällt die Likelihood nicht, die Fläche kann aber lokale Maxima haben. Ein schlechter Start führt zum Festlaufen der Komponenten oder zu einer entarteten Kovarianz.

Was sind Verantwortlichkeiten?

Eine Verantwortlichkeit ist die A-posteriori-Wahrscheinlichkeit, dass die gegebene Komponente den Punkt bei den aktuellen Mischungsparametern erzeugt hat. Die Punktfarbe kodiert genau diese Gewichte.

EM-Algorithmus: Gauß-Mischung

Algorithmus der Erwartungsmaximierung für zwei Gauß-Komponenten: Verantwortlichkeiten, E- und M-Schritt, Likelihood und Kovarianzellipsen.

EM wechselt weiche Zuordnung und Parameteranpassung; die Likelihood darf im exakten Algorithmus nicht fallen.

Diagramme

Zum Modell

Eine Gauß-Mischung beschreibt Daten als Summe mehrerer Normalverteilungen mit latenten Klassen. Der EM-Algorithmus (Erwartungsmaximierung) wechselt zwischen weicher Zuordnung der Punkte und der Neuberechnung der Parameter. Im E-Schritt entstehen die Verantwortlichkeiten — die A-posteriori-Wahrscheinlichkeiten, dass eine Komponente den Punkt erzeugt hat. Im M-Schritt werden Gewichte, Mittelwerte und der Kovarianzmaßstab aktualisiert. Die Farbe der Punkte kodiert die Verantwortlichkeiten, die Ellipsen die Komponenten; die Log-Likelihood fällt bei exakten Schritten nicht, ein globales Maximum ist aber nicht garantiert: die Startwerte entscheiden.

Für wen: Statistik und maschinelles Lernen: Mischverteilungen, EM, Clusteranalyse.

Wichtige Begriffe

gauß-mischung
em-algorithmus
verantwortlichkeit
likelihood
latente variable
kovarianzellipse

So funktioniert es

EM für die Gauß-Mischung wechselt zwei Schritte. Der E-Schritt berechnet die Verantwortlichkeiten (A-posteriori-Gewichte) γ_ik, also die Wahrscheinlichkeit, dass Punkt i zur Komponente k gehört. Der M-Schritt berechnet Gewichte, Mittelwerte und Kovarianzen aus den mit den Verantwortlichkeiten gewichteten Mitteln. Bei exakten Schritten darf die logarithmische Likelihood nicht fallen; die Initialisierung kann trotzdem in ein lokales Optimum führen.

Wichtige Gleichungen

E-Schritt: γ_ik ∝ π_k N(x_i | μ_k, Σ_k)

M-Schritt: π_k, μ_k, Σ_k aus mit Verantwortlichkeiten gewichteten Mitteln

Häufige Fragen

Worin unterscheiden sich E-Schritt und M-Schritt?: Im E-Schritt erhält jeder Punkt weiche Gewichte — die Verantwortlichkeiten der Komponenten. Im M-Schritt werden Gewichte, Zentren und Kovarianzen als gewichtete Statistiken neu berechnet. Bei einer Mischung aus zwei Gauß-Komponenten sieht man das an den Ellipsen und am Anstieg der Likelihood.
Findet EM das globale Maximum?: Nein. Bei exakten Schritten fällt die Likelihood nicht, die Fläche kann aber lokale Maxima haben. Ein schlechter Start führt zum Festlaufen der Komponenten oder zu einer entarteten Kovarianz.
Was sind Verantwortlichkeiten?: Eine Verantwortlichkeit ist die A-posteriori-Wahrscheinlichkeit, dass die gegebene Komponente den Punkt bei den aktuellen Mischungsparametern erzeugt hat. Die Punktfarbe kodiert genau diese Gewichte.

Machen Sie mit verwandten Themen in dieser Kategorie weiter — oder alle 85 in „Mathematische Visualisierung“.

Ganze Kategorie →

NeuHochschule / Forschung

Geometrie der Hauptkomponentenanalyse (PCA) / SVD

Simulation starten

Kovarianzellipse und Dimensionsreduktion über die Singulärwertzerlegung: Hauptkomponenten, erklärte Varianz und Rekonstruktionsfehler vom Rang 1.

NeuHochschule / Forschung

Kalman-Filter: 2D-Verfolgung

Simulation starten

Vierdimensionaler Filter konstanter Geschwindigkeit: verrauschte Messungen (x,y), Beschleunigungsrauschen Q, Messvarianz R und mitlaufende Kovarianzellipse ≈2σ.

NeuSchule

k-Means (Lloyd-Algorithmus)

Simulation starten

Punkte in der Ebene, Clusterzahl k und Startzentroide. Lloyd-Schritt: Zuordnung zum nächsten Zentrum und Verschiebung des Zentroids in den Schwerpunkt. Demo — Gauß-Mischung; Summe der Quadrate innerhalb der Cluster.

NeuHochschule / Forschung

Stabilitätsgebiete von Runge-Kutta

Simulation starten

Absolute Stabilität in der Ebene z = hλ für explizites Euler-Verfahren, RK2 und RK4: λ und h, Vergleich von |R(z)| und die Beschränkung des expliziten Schritts bei steifen Moden.

NeuHochschule / Forschung

Adaptives Filter LMS / NLMS

Simulation starten

Primärkanal p = s + v, wobei v ein unbekanntes FIR des weißen Referenzrauschens x[n] ist. Adaptives FIR mit L Abgriffen nach LMS oder NLMS: der Fehler e = p − wᵀx strebt gegen das Nutzsignal s.

NeuSchule

Zufallsbewegung

Simulation starten

Schritte auf der Geraden oder in der Ebene: Bahn und laufendes Mittel ⟨r²⟩ als Vorstufe der Diffusion.

EM-Algorithmus: Gauß-Mischung

Diagramme

Zum Modell

So funktioniert es

Wichtige Gleichungen

Häufige Fragen

Ähnliche Simulationen

Geometrie der Hauptkomponentenanalyse (PCA) / SVD

Kalman-Filter: 2D-Verfolgung

k-Means (Lloyd-Algorithmus)

Stabilitätsgebiete von Runge-Kutta

Adaptives Filter LMS / NLMS

Zufallsbewegung

EM-Algorithmus: Gauß-Mischung

Diagramme

Zum Modell

So funktioniert es

Wichtige Gleichungen

Häufige Fragen