Zwei Merkmale und eine binäre Klasse: verdeckte Schicht mit tanh und logistischer Ausgang. Vollständiger Gradient zur mittleren binären Kreuzentropie; Wärmekarte der Wahrscheinlichkeit und Grenze zum Niveau 0,5 (XOR oder Spiralen).
Zum Modell
Zweischichtiges Netz und Backpropagation: das kleinste mehrschichtige Perzeptron hat eine verdeckte Schicht mit tanh und einen logistischen Ausgang σ(z₂) für eine binäre Klasse zu den Merkmalen (x, y). Vorwärtsrechnung: z₁ = W₁x + b₁, a₁ = tanh(z₁), z₂ = w₂ᵀ a₁ + b₂, ŷ = σ(z₂). Das Lernen ist der vollständige Gradient über die gesamte Stichprobe mit der Schrittweite η zur mittleren binären Kreuzentropie. Backpropagation ist die Kettenregel: der Fehler ŷ − y zieht die Ausgangsgewichte, danach über tanh′(z₁) = 1 − tanh²(z₁) die Gewichte der verdeckten Schicht. Die Wärmekarte σ(z₂(x, y)) zeigt die Schätzung P(Klasse 1) und wie sich die Grenze zum Niveau ~0,5 nach Epochenblöcken verschiebt; ein weißer Ring markiert einen Fehler auf den Trainingsdaten. Vorlagen sind die XOR-Aufgabe und zwei Spiralen.
Für wen: Einführung in neuronale Netze: Perzeptron, Kreuzentropie, Backpropagation.
Wichtige Begriffe
mehrschichtiges perzeptron
hyperbolischer tangens
sigmoidfunktion
binäre kreuzentropie
vollständiger gradient über die stichprobe
backpropagation
entscheidungsgrenze
xor-aufgabe
So funktioniert es
Netz 2 → H → 1: z₁ = W₁x + b₁, verdeckte Schicht tanh, Ausgang ŷ = σ(w₂ᵀ a₁ + b₂). Verlust ist die mittlere binäre Kreuzentropie; der Gradient wird über alle Punkte gemittelt. Backpropagation: ŷ − y am Ausgang, danach tanh′ zu den Gewichten der verdeckten Schicht. Die Wärmekarte schätzt P(Klasse 1); die Grenze zum Niveau 0,5 wandert mit den Epochen.
Häufige Fragen
Warum hier tanh und nicht ReLU?
ReLU ist in tiefen Netzen wegen Geschwindigkeit und dünner Aktivierung üblicher, aber tanh ist glatt und beschränkt — für ein winziges Lehrnetz bequemer und näher an den klassischen Rechnungen. Bei Sättigung sieht man trotzdem das Verschwinden der Ableitungen.
Worin unterscheidet sich der vollständige Gradient vom stochastischen?
Der stochastische Schritt nimmt einen Punkt oder eine kleine Zufallsmenge; der vollständige Gradient mittelt über alle Punkte. So liest man einen Schritt klarer, auf einer großen Stichprobe ist er aber schwerer.
Warum bleiben die Spiralen manchmal unfertig?
Spiralen sind schwer und das Netz ist klein: man braucht Breite der verdeckten Schicht, eine stabile Schrittweite und viele Epochen. Die Grenze kann Knicke brauchen, die bei schmaler Schicht langsam entstehen oder in einem schlechten Minimum stecken bleiben.