En quoi l’étape E diffère-t-elle de l’étape M ?

À l’étape E, chaque point reçoit des poids souples : les responsabilités des composantes. À l’étape M, on recalcule poids, centres et covariances comme des statistiques pondérées. Pour un mélange de deux gaussiennes, cela se lit sur les ellipses et sur la croissance de la vraisemblance.

L’EM trouve-t-il le maximum global ?

Non. Avec des étapes exactes, la vraisemblance ne baisse pas, mais la surface peut avoir des maxima locaux. Un mauvais départ colle les composantes ou dégénère une covariance.

Que sont les responsabilités ?

La responsabilité est la probabilité a posteriori qu’une composante ait engendré le point, pour les paramètres actuels du mélange. La couleur du point code précisément ces poids.

Algorithme EM : mélange de gaussiennes

Algorithme d’espérance-maximisation pour deux composantes gaussiennes : responsabilités, étapes E et M, vraisemblance et ellipses de covariance.

L’EM alterne l’affectation souple et le recalcul des paramètres ; dans l’algorithme exact, la vraisemblance ne doit pas décroître.

Graphiques

À propos du modèle

Le mélange de gaussiennes décrit les données comme somme de plusieurs composantes normales à étiquettes cachées. L’algorithme d’espérance-maximisation (EM) alterne l’affectation souple des points et le recalcul des paramètres. À l’étape E, on calcule les responsabilités — les probabilités a posteriori qu’une composante ait engendré le point. À l’étape M, on met à jour les poids, les moyennes et l’échelle de la covariance. La couleur des points code les responsabilités ; les ellipses, les composantes. Avec des étapes exactes, la log-vraisemblance ne décroît pas, mais le maximum global n’est pas garanti : l’initialisation compte.

Public : Statistique et apprentissage automatique : mélanges de lois, EM, partitionnement.

Notions clés

mélange de gaussiennes
algorithme d’espérance-maximisation
responsabilité
vraisemblance
variable latente
ellipse de covariance

Comment ça marche

L’EM pour un mélange de gaussiennes alterne deux étapes. L’étape E calcule les responsabilités (poids a posteriori) γ_ik : la probabilité que le point i appartienne à la composante k. L’étape M recalcule poids, moyennes et covariances à partir des moyennes pondérées par les responsabilités. Avec des étapes exactes, la log-vraisemblance ne doit pas décroître, mais l’initialisation peut quand même mener à un optimum local.

Formules

Étape E : γ_ik ∝ π_k N(x_i | μ_k, Σ_k)

Étape M : mise à jour de π_k, μ_k, Σ_k par moyennes pondérées par les responsabilités

Questions fréquentes

En quoi l’étape E diffère-t-elle de l’étape M ?: À l’étape E, chaque point reçoit des poids souples : les responsabilités des composantes. À l’étape M, on recalcule poids, centres et covariances comme des statistiques pondérées. Pour un mélange de deux gaussiennes, cela se lit sur les ellipses et sur la croissance de la vraisemblance.
L’EM trouve-t-il le maximum global ?: Non. Avec des étapes exactes, la vraisemblance ne baisse pas, mais la surface peut avoir des maxima locaux. Un mauvais départ colle les composantes ou dégénère une covariance.
Que sont les responsabilités ?: La responsabilité est la probabilité a posteriori qu’une composante ait engendré le point, pour les paramètres actuels du mélange. La couleur du point code précisément ces poids.

Poursuivez avec des thèmes proches de cette catégorie — ou les 85 de «Visualisation mathématique».

Toute la catégorie →

NouveauUniversité

Géométrie ACP / SVD

Lancer la simulation

Ellipse de covariance et réduction de dimension via la décomposition en valeurs singulières : composantes principales, variance expliquée et erreur de reconstruction de rang 1.

NouveauUniversité

Filtre de Kalman : poursuite en 2D

Lancer la simulation

Filtre à quatre dimensions, à vitesse constante : mesures bruitées (x,y), bruit d’accélération de processus Q, variance des mesures R et ellipse de covariance ≈2σ en direct.

NouveauCollège–lycée

k-moyennes (algorithme de Lloyd)

Lancer la simulation

Points du plan, nombre de classes k et centroïdes de départ. Un pas de Lloyd : affectation au centre le plus proche et déplacement du centroïde au barycentre. Démonstration : mélange de gaussiennes ; somme des carrés intra-classes.

NouveauUniversité

Domaines de stabilité de Runge–Kutta

Lancer la simulation

Stabilité absolue dans le plan z = hλ pour Euler explicite, RK2 et RK4 : déplacez λ et h, comparez |R(z)| et voyez pourquoi les modes raides imposent de petits pas explicites.

NouveauUniversité

Filtre adaptatif LMS / NLMS

Lancer la simulation

Voie primaire p = s + v, où v est un RIF inconnu du bruit blanc de référence x[n]. RIF adaptatif à L coefficients, LMS ou NLMS : l’erreur e = p − wᵀx tend vers le signal utile s.

NouveauCollège–lycée

Marche aléatoire

Lancer la simulation

Pas sur une droite ou dans le plan : trajectoire et moyenne cumulée ⟨r²⟩ comme schéma de la diffusion.

Algorithme EM : mélange de gaussiennes

Graphiques

À propos du modèle

Comment ça marche

Formules

Questions fréquentes

Simulations voisines

Géométrie ACP / SVD

Filtre de Kalman : poursuite en 2D

k-moyennes (algorithme de Lloyd)

Domaines de stabilité de Runge–Kutta

Filtre adaptatif LMS / NLMS

Marche aléatoire

Algorithme EM : mélange de gaussiennes

Graphiques

À propos du modèle

Comment ça marche

Formules

Questions fréquentes