Warum wird nur die Steigung bestraft, nicht der Achsenabschnitt?

Eine Strafe auf β₀ würde die Lösung von einer willkürlichen Verschiebung der y-Skala abhängig machen. In Lehrbüchern zentriert man gewöhnlich die Zielgröße oder lässt den Achsenabschnitt ohne Strafe, damit das Modell das Niveau der Daten treffen kann.

Ist größeres λ bei Ridge immer besser?

Nein: λ setzt den Kompromiss Verzerrung–Varianz. Eine zu große Strafe drückt die Steigung gegen null, auch wenn ein steiler Trend nötig ist — das ist Unteranpassung. In der Praxis wählt man λ etwa durch Kreuzvalidierung.

Warum wird die Lasso-Steigung manchmal genau null?

Der L₁-Strafterm kann Koeffizienten auf null setzen (dünnbesetzte Lösung). Im Modell mit einer Steigung ist bei hinreichend großem λ das optimale β₁ gleich 0, es bleibt fast die Konstante y ≈ β₀.

Lineare Regression: KQ, Ridge, Lasso und R²

Punkte in der Ebene und das Modell y = β₀ + β₁x: gewöhnliche kleinste Quadrate, Ridge (L₂-Strafterm nur auf die Steigung) oder Lasso (L₁-Strafterm). Die Verschiebung Δy am Punkt mit größtem |x| ist ein Ausreißer mit starker Hebelwirkung; verglichen werden SSE und R².

Zum Modell

Die einfache lineare Regression in der Ebene: Modell y = β₀ + β₁x. Die gewöhnliche Methode der kleinsten Quadrate minimiert die Summe der quadrierten vertikalen Residuen. Die Ridge-Regression fügt einen L₂-Strafterm nur für die Steigung hinzu (der Achsenabschnitt wird nicht geschrumpft): die Steigung wird gegen null gezogen, die Varianz der Schätzung sinkt auf Kosten einer Verzerrung. Lasso ist ein L₁-Strafterm auf die Steigung; die Koeffizienten werden per Koordinatenabstieg gesucht, und bei großem λ kann die Steigung genau null werden. Der Schieberegler Δy verschiebt nur den Punkt mit größtem |x| — typische Lage starker Hebelwirkung: die kleinsten Quadrate kippen die Gerade oft stark, regularisierte Lösungen bleiben häufiger näher an der Hauptwolke. In der Anzeige stehen SSE und R² = 1 − SSE/SST, wobei SST relativ zu ȳ der aktuellen y gerechnet wird. In den Modi Ridge und Lasso lässt sich eine blasse KQ-Gerade überlagern.

Für wen: Statistik und maschinelles Lernen: kleinste Quadrate, Ridge-Regression, Lasso, R², Empfindlichkeit gegen Ausreißer.

Wichtige Begriffe

methode der kleinsten quadrate
ridge-regression
lasso
l₂- und l₁-strafterme
bestimmtheitsmaß
summe der residuenquadrate
ausreißer und hebelwirkung
koordinatenabstieg

So funktioniert es

Für y = β₀ + β₁x werden gewöhnliche kleinste Quadrate, Ridge (L₂-Strafterm auf die Steigung) und Lasso (L₁-Strafterm) verglichen. Punkte lassen sich setzen und ziehen; Δy am Punkt mit max |x| ist ein vertikaler Ausreißer mit starker Hebelwirkung. Angezeigt werden SSE und R²; bei regularisierten Schätzungen lässt sich eine blasse KQ-Gerade überlagern.

Häufige Fragen

Warum wird nur die Steigung bestraft, nicht der Achsenabschnitt?: Eine Strafe auf β₀ würde die Lösung von einer willkürlichen Verschiebung der y-Skala abhängig machen. In Lehrbüchern zentriert man gewöhnlich die Zielgröße oder lässt den Achsenabschnitt ohne Strafe, damit das Modell das Niveau der Daten treffen kann.
Ist größeres λ bei Ridge immer besser?: Nein: λ setzt den Kompromiss Verzerrung–Varianz. Eine zu große Strafe drückt die Steigung gegen null, auch wenn ein steiler Trend nötig ist — das ist Unteranpassung. In der Praxis wählt man λ etwa durch Kreuzvalidierung.
Warum wird die Lasso-Steigung manchmal genau null?: Der L₁-Strafterm kann Koeffizienten auf null setzen (dünnbesetzte Lösung). Im Modell mit einer Steigung ist bei hinreichend großem λ das optimale β₁ gleich 0, es bleibt fast die Konstante y ≈ β₀.

Machen Sie mit verwandten Themen in dieser Kategorie weiter — oder alle 85 in „Mathematische Visualisierung“.

Ganze Kategorie →

NeuSchule

Methode der kleinsten Quadrate

Simulation starten

Verrauschte Punkte und die Gerade y = ax + b, die die Summe der quadrierten vertikalen Residuen minimiert. Ändern Sie Steigung, Achsenabschnitt und Rauschen — Residuen und Summe der Fehlerquadrate werden sichtbar.

NeuSchule

k-Means (Lloyd-Algorithmus)

Simulation starten

Punkte in der Ebene, Clusterzahl k und Startzentroide. Lloyd-Schritt: Zuordnung zum nächsten Zentrum und Verschiebung des Zentroids in den Schwerpunkt. Demo — Gauß-Mischung; Summe der Quadrate innerhalb der Cluster.

NeuSchule