Warum geht man gegen den Gradienten und nicht mit ihm?

Der Vektor ∇f zeigt den steilsten Anstieg. Um f zu verkleinern, braucht man den Schritt in Richtung −∇f.

Was geschieht bei zu großem η?

Der Schritt überspringt das Minimum: Schwingungen um die Mulde oder ein Weglaufen der Bahn. Die Konvergenz fällt aus.

Ist das gefundene Minimum immer das globale?

Das Gradientenverfahren konvergiert gegen ein lokales Minimum. Hier sind die Funktionen konvex, daher fällt das lokale Minimum mit dem globalen zusammen. Auf einem nichtkonvexen Relief kann man in einer höheren Mulde stecken bleiben.

Was hat das mit dem Training von Modellen zu tun?

Das Training läuft oft auf die Minimierung einer Verlustfunktion hinaus. Die Parameter werden in Richtung −∇L verschoben, sodass der Vorhersagefehler sinkt.

Gradientenverfahren (2D)

Niveaulinien von f(x, y) und Bahn (x, y) ← (x, y) − η∇f; Schale oder elliptische Mulde.

Zum Modell

Das Gradientenverfahren sucht das Minimum einer glatten Funktion f(x, y). Niveaulinien sind Kurven f = const, wie Höhenlinien auf einer Karte. Der Schritt: (x, y) ← (x, y) − η ∇f(x, y), wobei ∇f die Richtung des steilsten Anstiegs ist und η > 0 die Schrittweite. Die Bahn steigt zu einem lokalen Minimum hinab. Zu kleines η bremst, zu großes überspringt die Mulde und erzeugt Schwingungen oder Divergenz. Vorlagen: die Schale f = x² + y² und die elliptische Mulde f = x² + 4y²; beide sind konvex, das einzige Minimum liegt im Ursprung. Sattel, Rauschen und hohe Dimension gehören nicht zum Modell.

Für wen: Analysis und Einführung in die Optimierung: Gradient, Niveaulinien, Wahl der Schrittweite.

Wichtige Begriffe

gradientenverfahren
gradient
schrittweite
niveaulinien
konvexe funktion
lokales minimum
steilster abstieg

So funktioniert es

In der Ebene der Niveaulinien von f(x, y) macht der Punkt den Schritt (x, y) ← (x, y) − η ∇f. Schale und elliptische Mulde sind konvex, das Minimum liegt in (0, 0). Zu großes η erzeugt einen Zickzack oder Divergenz; zu kleines η einen langsamen Abstieg.

Häufige Fragen

Warum geht man gegen den Gradienten und nicht mit ihm?: Der Vektor ∇f zeigt den steilsten Anstieg. Um f zu verkleinern, braucht man den Schritt in Richtung −∇f.
Was geschieht bei zu großem η?: Der Schritt überspringt das Minimum: Schwingungen um die Mulde oder ein Weglaufen der Bahn. Die Konvergenz fällt aus.
Ist das gefundene Minimum immer das globale?: Das Gradientenverfahren konvergiert gegen ein lokales Minimum. Hier sind die Funktionen konvex, daher fällt das lokale Minimum mit dem globalen zusammen. Auf einem nichtkonvexen Relief kann man in einer höheren Mulde stecken bleiben.
Was hat das mit dem Training von Modellen zu tun?: Das Training läuft oft auf die Minimierung einer Verlustfunktion hinaus. Die Parameter werden in Richtung −∇L verschoben, sodass der Vorhersagefehler sinkt.

Machen Sie mit verwandten Themen in dieser Kategorie weiter — oder alle 85 in „Mathematische Visualisierung“.

Ganze Kategorie →

NeuHochschule / Forschung

Optimierer des Gradientenverfahrens

Simulation starten

Vergleich von SGD, Momentum und Adam auf einem zweidimensionalen Relief der Verlustfunktion: Schrittweite, Krümmung, Stabilität und Iterationsbahnen.

NeuHochschule / Forschung

Verfahren der konjugierten Gradienten

Simulation starten

S.p.d.-System Ax=b als Minimierung der quadratischen Form: Niveaulinien, konjugierte Gradienten gegen steilsten Abstieg, Residuumsnorm und Konditionszahl.

NeuSchule

Zweischichtiges Netz und Backpropagation

Simulation starten

Zwei Merkmale und eine binäre Klasse: verdeckte Schicht mit tanh und logistischer Ausgang. Vollständiger Gradient zur mittleren binären Kreuzentropie; Wärmekarte der Wahrscheinlichkeit und Grenze zum Niveau 0,5 (XOR oder Spiralen).

NeuSchule

Konvexe Hülle (Graham und QuickHull)

Simulation starten

Punkte in der Ebene: Graham-Scan mit Schrittanimation oder QuickHull; Vergleich der Knotenmengen.

BeliebtSchule

Fourier-Reihen

Simulation starten

Eine periodische Funktion wird in eine Summe von Harmonischen zerlegt — Sinus und Kosinus ganzzahliger Vielfacher der Grundfrequenz. Ändern Sie die Gliederzahl und vergleichen Sie die Partialsumme mit Rechteck, Sägezahn oder Dreieck.

NeuSchule

SIR-Epidemiemodell

Simulation starten

S + I + R = 1: βSI und γI; ℛ₀ ≈ β/γ, Schwelle der Herdenimmunität 1 − 1/ℛ₀; Zeitverlauf mit RK4.

Gradientenverfahren (2D)

Zum Modell

So funktioniert es

Häufige Fragen

Ähnliche Simulationen

Optimierer des Gradientenverfahrens

Verfahren der konjugierten Gradienten

Zweischichtiges Netz und Backpropagation

Konvexe Hülle (Graham und QuickHull)

Fourier-Reihen

SIR-Epidemiemodell

Gradientenverfahren (2D)

Zum Modell

So funktioniert es

Häufige Fragen