Was legt der Kern fest?

Die Korrelation der Funktionswerte an zwei Eingangsstellen. Eine kleine Längenskala lässt die Kurve zwischen nahen Beobachtungen steil wechseln, eine große erzwingt breite glatte Trends. Matérn-Kerne sind weniger glatt als der RBF-Kern.

Warum fällt die Unsicherheit nahe den Beobachtungen?

Die bedingte Normalverteilung zu den beobachteten Werten senkt die a-posteriori-Varianz am stärksten bei diesen Punkten. Ein von null verschiedenes Beobachtungsrauschen lässt die Unsicherheit nicht ganz zusammenfallen und zwingt den Mittelwert nicht, genau durch jeden Punkt zu gehen.

Ist die Wahl nach maximaler Varianz immer optimal?

Nein. Das ist eine einfache Erkundungsstrategie: dorthin gehen, wo das Modell am unsichersten ist. In der bayesschen Optimierung mischt man die Unsicherheit oft mit der erwarteten Verbesserung, den Messkosten und den Nebenbedingungen der Aufgabe.

Gauß-Prozess: Regression

Regression mit einem Gauß-Prozess zu RBF- und Matérn-Kernen: Korrelationslänge und Rauschen, Beobachtungen per Klick, a-posteriori-Mittelwert, Unsicherheitsband und Wahl des Punktes mit der größten Varianz.

Zum Modell

Die Regression mit einem Gauß-Prozess behandelt die unbekannte Funktion als zufällig: beliebige Werte haben eine gemeinsame Normalverteilung, die der Kern festlegt. Punkte werden per Klick ergänzt; die a-posteriori-Verteilung wird aus K(X,X)+σ_n²I über die Cholesky-Zerlegung neu berechnet. Die blaue Kurve ist der a-posteriori-Mittelwert μ(x), das halbtransparente Band die Unsicherheit etwa 95 % μ(x)±2σ(x), die gelben Punkte sind Beobachtungen. Der RBF-Kern setzt eine sehr glatte a-priori-Verteilung, Matérn 3/2 und 5/2 lassen rauere Funktionen zu. Die Schaltfläche der aktiven Auswahl setzt gierig den Punkt mit dem größten a-posteriori-σ — Versuchswahl nach Unsicherheit.

Für wen: Statistik und maschinelles Lernen: Kerne, a-posteriori-Unsicherheit, aktive Punktwahl.

Wichtige Begriffe

gauß-prozess
regression
kern
rbf-kern
matérn-kern
a-posteriori-mittelwert
unsicherheitsband
cholesky-zerlegung

So funktioniert es

Die Regression mit einem Gauß-Prozess legt über einen Kern eine a-priori-Verteilung auf Funktionen fest. Beobachtungen liefern den a-posteriori-Mittelwert μ(x) und die Unsicherheit σ(x) aus K(X,X)+σ_n²I; der RBF-Kern ist glatt, Matérn lässt steilere Funktionen zu. Die aktive Auswahl nimmt den Punkt mit der größten a-posteriori-Varianz.

Wichtige Gleichungen

K_y = K(X,X)+σ_n²I, posterior μ(x*) = k_*ᵀK_y⁻¹y, σ²(x*) = k(x*,x*) − k_*ᵀK_y⁻¹k_*. Active rule: argmax σ(x).

Häufige Fragen

Was legt der Kern fest?: Die Korrelation der Funktionswerte an zwei Eingangsstellen. Eine kleine Längenskala lässt die Kurve zwischen nahen Beobachtungen steil wechseln, eine große erzwingt breite glatte Trends. Matérn-Kerne sind weniger glatt als der RBF-Kern.
Warum fällt die Unsicherheit nahe den Beobachtungen?: Die bedingte Normalverteilung zu den beobachteten Werten senkt die a-posteriori-Varianz am stärksten bei diesen Punkten. Ein von null verschiedenes Beobachtungsrauschen lässt die Unsicherheit nicht ganz zusammenfallen und zwingt den Mittelwert nicht, genau durch jeden Punkt zu gehen.
Ist die Wahl nach maximaler Varianz immer optimal?: Nein. Das ist eine einfache Erkundungsstrategie: dorthin gehen, wo das Modell am unsichersten ist. In der bayesschen Optimierung mischt man die Unsicherheit oft mit der erwarteten Verbesserung, den Messkosten und den Nebenbedingungen der Aufgabe.

Machen Sie mit verwandten Themen in dieser Kategorie weiter — oder alle 85 in „Mathematische Visualisierung“.

Ganze Kategorie →

NeuHochschule / Forschung

Kalman-Filter: 2D-Verfolgung

Simulation starten

Vierdimensionaler Filter konstanter Geschwindigkeit: verrauschte Messungen (x,y), Beschleunigungsrauschen Q, Messvarianz R und mitlaufende Kovarianzellipse ≈2σ.

NeuHochschule / Forschung

Kalman-Filter (1D)

Simulation starten

Rekursive optimale Schätzung: verrauschte Messungen, verborgene Wahrheit, Prädiktion und Korrektur mit Q und R; Zufallsbewegung oder konstante Geschwindigkeit, Band ±2σ und Innovationen.

NeuHochschule / Forschung

Monte-Carlo-Integration und Varianzreduktion

Simulation starten

Gewöhnliches Monte-Carlo-Verfahren, Stichprobe nach Wichtigkeit und Schichtung für ∫f(x) dx: Konvergenzkurven, Standardfehler und die Rate 1/√N.

NeuHochschule / Forschung

Support-Vektor-Maschine: Rand

Simulation starten

Harter und weicher Rand: Strafterm C, Hinge-Verlust, Stützvektoren, Entscheidungsgrenze und Randstreifen.

NeuHochschule / Forschung

Adaptives Filter LMS / NLMS

Simulation starten

Primärkanal p = s + v, wobei v ein unbekanntes FIR des weißen Referenzrauschens x[n] ist. Adaptives FIR mit L Abgriffen nach LMS oder NLMS: der Fehler e = p − wᵀx strebt gegen das Nutzsignal s.

NeuHochschule / Forschung

Geometrie der Hauptkomponentenanalyse (PCA) / SVD

Simulation starten

Kovarianzellipse und Dimensionsreduktion über die Singulärwertzerlegung: Hauptkomponenten, erklärte Varianz und Rekonstruktionsfehler vom Rang 1.

Gauß-Prozess: Regression

Zum Modell

So funktioniert es

Wichtige Gleichungen

Häufige Fragen

Ähnliche Simulationen

Kalman-Filter: 2D-Verfolgung

Kalman-Filter (1D)

Monte-Carlo-Integration und Varianzreduktion

Support-Vektor-Maschine: Rand

Adaptives Filter LMS / NLMS

Geometrie der Hauptkomponentenanalyse (PCA) / SVD

Gauß-Prozess: Regression

Zum Modell

So funktioniert es

Wichtige Gleichungen

Häufige Fragen