Pourquoi pénalise-t-on seulement la pente, et pas l’ordonnée à l’origine ?

Une pénalité sur β₀ rendrait la solution dépendante d’un décalage arbitraire de l’échelle de y. Dans les manuels, on centre en général la réponse, ou l’on laisse l’intersection sans pénalité, pour que le modèle puisse coïncider en niveau avec les données.

Un λ plus grand en ridge est-il toujours meilleur ?

Non : λ fixe le compromis biais–variance. Une pénalité trop forte comprime la pente vers zéro même lorsqu’il faut une tendance raide — c’est du sous-apprentissage. En pratique, on choisit λ, par exemple, par validation croisée.

Pourquoi, avec le lasso, la pente devient-elle parfois exactement nulle ?

La pénalité L₁ peut annuler des coefficients (solution parcimonieuse). Dans un modèle à une seule pente, pour λ assez grand, le β₁ optimal vaut 0 : il reste à peu près la constante y ≈ β₀.

Régression linéaire : MCO, ridge, lasso et R²

Points du plan et modèle y = β₀ + β₁x : moindres carrés ordinaires (MCO), ridge (pénalité L₂ sur la pente) ou lasso (pénalité L₁). Le décalage Δy du point de plus grand |x| est une valeur aberrante à fort levier ; on compare SSE et R².

Modèle

Estimation

λ (ridge / lasso)0.8

Valeur aberrante (décalage en y)

Δy n’est ajouté qu’au point de plus grand |x| (doré si Δy ≠ 0).

Δy au max |x|0

Nuage de démonstration

Points16

Bruit0.38

Vraie pente0.72

Vraie ordonnée à l’origine0.15

Graine11

L’édition retire la droite pointillée « vraie » jusqu’à ce que vous ayez rechargé la démonstration.

Raccourcis clavier

Clic sur le graphique — ajouter un point (jusqu’à 48)
Glisser — déplacer le point le plus proche
Maj+clic — supprimer le plus proche
R — nouvel échantillon de démonstration (graine)

Mesures

Points16

Modèle actif0.710·x + 0.148

SSE (actif)0.504

R² (actif)0.9882

R² (MCO sur les mêmes données)0.9882

À propos du modèle

La régression linéaire simple dans le plan pose le modèle y = β₀ + β₁x. Les moindres carrés ordinaires minimisent la somme des carrés des résidus verticaux. La régression ridge ajoute une pénalité L₂ sur la seule pente (l’ordonnée à l’origine n’est pas pénalisée) : la pente est attirée vers zéro, la variance de l’estimation baisse au prix d’un biais. Le lasso est une pénalité L₁ sur la pente ; les coefficients sont cherchés par descente par coordonnées, et pour λ grand la pente peut devenir exactement nulle. Le curseur Δy ne décale que le point de plus grand |x| — position typique d’un fort levier : les MCO inclinent souvent beaucoup la droite, les solutions régularisées restent plus souvent près du nuage principal. Au panneau : SSE et R² = 1 − SSE/SST, où SST est calculé par rapport à ȳ sur les y courants. En ridge et en lasso, on peut superposer la droite pâle des MCO.

Public : Statistique et apprentissage automatique : MCO, régression ridge, lasso, R², sensibilité aux valeurs aberrantes.

Notions clés

méthode des moindres carrés
régression ridge
lasso
pénalités L₂ et L₁
coefficient de détermination
somme des carrés des résidus
valeur aberrante et levier
descente par coordonnées

Comment ça marche

Pour y = β₀ + β₁x, on compare les MCO, le ridge (pénalité L₂ sur la pente) et le lasso (pénalité L₁). On ajoute et on déplace des points ; Δy sur le point de max |x| est une valeur aberrante verticale à fort levier. On affiche SSE et R² ; pour les estimations régularisées, on peut superposer la droite pâle des MCO.

Questions fréquentes

Pourquoi pénalise-t-on seulement la pente, et pas l’ordonnée à l’origine ?: Une pénalité sur β₀ rendrait la solution dépendante d’un décalage arbitraire de l’échelle de y. Dans les manuels, on centre en général la réponse, ou l’on laisse l’intersection sans pénalité, pour que le modèle puisse coïncider en niveau avec les données.
Un λ plus grand en ridge est-il toujours meilleur ?: Non : λ fixe le compromis biais–variance. Une pénalité trop forte comprime la pente vers zéro même lorsqu’il faut une tendance raide — c’est du sous-apprentissage. En pratique, on choisit λ, par exemple, par validation croisée.
Pourquoi, avec le lasso, la pente devient-elle parfois exactement nulle ?: La pénalité L₁ peut annuler des coefficients (solution parcimonieuse). Dans un modèle à une seule pente, pour λ assez grand, le β₁ optimal vaut 0 : il reste à peu près la constante y ≈ β₀.

Poursuivez avec des thèmes proches de cette catégorie — ou les 85 de «Visualisation mathématique».

Toute la catégorie →

NouveauCollège–lycée

Méthode des moindres carrés

Lancer la simulation

Points bruités et droite y = ax + b qui minimise la somme des carrés des résidus verticaux. On fait varier la pente, l’ordonnée à l’origine et le bruit : résidus et somme des carrés des erreurs.

NouveauCollège–lycée

k-moyennes (algorithme de Lloyd)

Lancer la simulation

Points du plan, nombre de classes k et centroïdes de départ. Un pas de Lloyd : affectation au centre le plus proche et déplacement du centroïde au barycentre. Démonstration : mélange de gaussiennes ; somme des carrés intra-classes.

NouveauCollège–lycée

Enveloppe convexe (Graham et QuickHull)

Lancer la simulation

Points du plan : parcours de Graham avec animation pas à pas, ou QuickHull ; comparaison des ensembles de sommets.

NouveauCollège–lycée

Courbes de Bézier et de Casteljau

Lancer la simulation

Les points de contrôle fixent la courbe de Bézier ; l’algorithme de de Casteljau construit B(t) par interpolation linéaire emboîtée.

NouveauCollège–lycée

DBSCAN : clustering par densité

Lancer la simulation

Rayon ε et seuil minPts : cœur, frontière et bruit. Classes de forme quelconque sans k imposé ; autour des points cœur, on peut afficher les cercles de rayon ε.

NouveauCollège–lycée

Lissage de Savitzky–Golay

Lancer la simulation

Cosinus bruité et convolution SG(7,2) : le filtre polynomial conserve mieux les pics qu’une large fenêtre rectangulaire.

Régression linéaire : MCO, ridge, lasso et R²

À propos du modèle

Comment ça marche

Questions fréquentes

Simulations voisines

Méthode des moindres carrés

k-moyennes (algorithme de Lloyd)

Enveloppe convexe (Graham et QuickHull)

Courbes de Bézier et de Casteljau

DBSCAN : clustering par densité

Lissage de Savitzky–Golay

Régression linéaire : MCO, ridge, lasso et R²

À propos du modèle

Comment ça marche

Questions fréquentes