Pourquoi va-t-on contre le gradient, et non dans son sens ?

Le vecteur ∇f indique la plus grande pente ascendante. Pour diminuer f, il faut un pas vers −∇f.

Que se passe-t-il si η est trop grand ?

Le pas saute le minimum : oscillations autour de la cuvette, ou fuite de la trajectoire. La convergence disparaît.

Le minimum trouvé est-il toujours global ?

La descente de gradient converge vers un minimum local. Ici les fonctions sont convexes, donc le minimum local coïncide avec le global. Sur un relief non convexe, on peut rester coincé dans une cuvette plus haute.

Quel lien avec l’apprentissage de modèles ?

L’apprentissage se ramène souvent à minimiser une fonction de perte. On décale les paramètres vers −∇L, ce qui diminue l’erreur de prédiction.

Descente de gradient (2D)

Lignes de niveau de f(x, y) et trajectoire (x, y) ← (x, y) − η∇f ; cuvette ou puits elliptique.

À propos du modèle

La descente de gradient cherche le minimum d’une fonction régulière f(x, y). Les lignes de niveau sont les courbes f = const, comme les courbes de niveau d’une carte. Le pas : (x, y) ← (x, y) − η ∇f(x, y), où ∇f est la direction de plus grande pente ascendante et η > 0 la longueur du pas (pas d’apprentissage). La trajectoire descend vers un minimum local. Un η trop petit ralentit, un η trop grand saute la cuvette, provoque des oscillations ou une divergence. Cas : la cuvette f = x² + y² et le puits elliptique f = x² + 4y² ; les deux sont convexes, unique minimum à l’origine. Les points selles, le bruit et la grande dimension n’entrent pas dans le modèle.

Public : Analyse et introduction à l’optimisation : gradient, lignes de niveau, choix du pas.

Notions clés

descente de gradient
gradient
pas d’apprentissage
lignes de niveau
fonction convexe
minimum local
plus grande pente

Comment ça marche

Sur le plan des lignes de niveau de f(x, y), le point avance selon (x, y) ← (x, y) − η ∇f. La cuvette et le puits elliptique sont convexes, minimum en (0, 0). Un η trop grand donne un zigzag ou une divergence ; un η trop petit, une descente lente.

Questions fréquentes

Pourquoi va-t-on contre le gradient, et non dans son sens ?: Le vecteur ∇f indique la plus grande pente ascendante. Pour diminuer f, il faut un pas vers −∇f.
Que se passe-t-il si η est trop grand ?: Le pas saute le minimum : oscillations autour de la cuvette, ou fuite de la trajectoire. La convergence disparaît.
Le minimum trouvé est-il toujours global ?: La descente de gradient converge vers un minimum local. Ici les fonctions sont convexes, donc le minimum local coïncide avec le global. Sur un relief non convexe, on peut rester coincé dans une cuvette plus haute.
Quel lien avec l’apprentissage de modèles ?: L’apprentissage se ramène souvent à minimiser une fonction de perte. On décale les paramètres vers −∇L, ce qui diminue l’erreur de prédiction.

Poursuivez avec des thèmes proches de cette catégorie — ou les 85 de «Visualisation mathématique».

Toute la catégorie →

NouveauUniversité

Optimiseurs de descente de gradient

Lancer la simulation

Comparaison de SGD, du moment et d’Adam sur un relief bidimensionnel de la fonction de perte : pas d’apprentissage, courbure, stabilité et trajectoires des itérations.

NouveauUniversité

Méthode du gradient conjugué

Lancer la simulation

Système SDP Ax=b comme minimisation d’une forme quadratique : lignes de niveau, gradient conjugué contre plus grande pente, norme du résidu et conditionnement.

NouveauCollège–lycée

Réseau à deux couches et rétropropagation

Lancer la simulation

Deux caractéristiques et une étiquette binaire : couche cachée à tanh et sortie logistique. Gradient complet sur l’entropie croisée binaire moyenne ; carte de chaleur des probabilités et frontière de niveau 0,5 (XOR ou spirales).

NouveauCollège–lycée

Enveloppe convexe (Graham et QuickHull)

Lancer la simulation

Points du plan : parcours de Graham avec animation pas à pas, ou QuickHull ; comparaison des ensembles de sommets.

PopulaireCollège–lycée

Séries de Fourier

Lancer la simulation

On décompose une fonction périodique en somme d’harmoniques — sinus et cosinus de fréquences multiples. Faites varier le nombre de termes et comparez la somme partielle au créneau, à la dent de scie ou au triangle.

NouveauCollège–lycée

Modèle SIR d’épidémie

Lancer la simulation

S + I + R = 1 : βSI et γI ; ℛ₀ ≈ β/γ, seuil d’immunité collective 1 − 1/ℛ₀ ; graphe temporel RK4.

Descente de gradient (2D)

À propos du modèle

Comment ça marche

Questions fréquentes

Simulations voisines

Optimiseurs de descente de gradient

Méthode du gradient conjugué

Réseau à deux couches et rétropropagation

Enveloppe convexe (Graham et QuickHull)

Séries de Fourier

Modèle SIR d’épidémie

Descente de gradient (2D)

À propos du modèle

Comment ça marche

Questions fréquentes