La corrélation des valeurs de la fonction en deux points d’entrée. Une petite échelle de longueur laisse la courbe changer brusquement entre observations proches ; une grande impose des tendances lisses et larges. Les noyaux de Matérn sont moins lisses que le RBF.

Pourquoi l’incertitude chute-t-elle près des observations ?

La loi normale conditionnelle aux valeurs observées réduit surtout la variance a posteriori auprès de ces points. Un bruit d’observation non nul empêche l’incertitude de s’effondrer tout à fait et n’oblige pas la moyenne à passer exactement par chaque point.

Choisir le point de variance maximale est-il toujours optimal ?

Non. C’est une stratégie simple d’exploration : aller où le modèle est le moins sûr. En optimisation bayésienne, on mélange souvent l’incertitude avec l’amélioration espérée, le coût de la mesure et les contraintes du problème.

Processus gaussien : régression

Régression par processus gaussien à noyaux RBF et de Matérn : longueur de corrélation et bruit, observations par clic, moyenne a posteriori, bande d’incertitude et choix du point de plus grande variance.

À propos du modèle

La régression par processus gaussien traite la fonction inconnue comme aléatoire : toute famille de ses valeurs a une loi normale conjointe, fixée par un noyau. Les points s’ajoutent par clic ; la loi a posteriori se recalcule à partir de K(X,X)+σ_n²I via la factorisation de Cholesky. La courbe bleue est la moyenne a posteriori μ(x), la bande semi-transparente l’incertitude à peu près 95 % μ(x)±2σ(x), les points jaunes les observations. Le noyau RBF impose un a priori très lisse ; Matérn 3/2 et 5/2 admettent des fonctions plus rugueuses. Le bouton d’échantillonnage actif place, de façon gloutonne, le point de plus grand σ a posteriori — choix de l’expérience selon l’incertitude.

Public : Statistique et apprentissage automatique : noyaux, incertitude a posteriori, échantillonnage actif de points.

Notions clés

processus gaussien
régression
noyau
noyau RBF
noyau de Matérn
moyenne a posteriori
bande d’incertitude
factorisation de Cholesky

Comment ça marche

La régression par processus gaussien fixe une loi a priori sur les fonctions via un noyau. Les observations donnent la moyenne a posteriori μ(x) et l’incertitude σ(x) à partir de K(X,X)+σ_n²I ; le RBF est lisse, Matérn admet des fonctions plus abruptes. L’échantillonnage actif choisit le point de plus grande variance a posteriori.

Formules

K_y = K(X,X)+σ_n²I, posterior μ(x*) = k_*ᵀK_y⁻¹y, σ²(x*) = k(x*,x*) − k_*ᵀK_y⁻¹k_*. Active rule: argmax σ(x).

Questions fréquentes

Que fixe le noyau ?: La corrélation des valeurs de la fonction en deux points d’entrée. Une petite échelle de longueur laisse la courbe changer brusquement entre observations proches ; une grande impose des tendances lisses et larges. Les noyaux de Matérn sont moins lisses que le RBF.
Pourquoi l’incertitude chute-t-elle près des observations ?: La loi normale conditionnelle aux valeurs observées réduit surtout la variance a posteriori auprès de ces points. Un bruit d’observation non nul empêche l’incertitude de s’effondrer tout à fait et n’oblige pas la moyenne à passer exactement par chaque point.
Choisir le point de variance maximale est-il toujours optimal ?: Non. C’est une stratégie simple d’exploration : aller où le modèle est le moins sûr. En optimisation bayésienne, on mélange souvent l’incertitude avec l’amélioration espérée, le coût de la mesure et les contraintes du problème.

Poursuivez avec des thèmes proches de cette catégorie — ou les 85 de «Visualisation mathématique».

Toute la catégorie →

NouveauUniversité

Filtre de Kalman : poursuite en 2D

Lancer la simulation

Filtre à quatre dimensions, à vitesse constante : mesures bruitées (x,y), bruit d’accélération de processus Q, variance des mesures R et ellipse de covariance ≈2σ en direct.

NouveauUniversité

Filtre de Kalman (1D)

Lancer la simulation

Estimation optimale récursive : mesures bruitées, vérité cachée, prédiction et mise à jour avec Q et R ; marche aléatoire ou vitesse constante, bande ±2σ et résidus.

NouveauUniversité

Monte-Carlo : intégration et réduction de variance

Lancer la simulation

Monte-Carlo ordinaire, échantillonnage préférentiel et stratification pour ∫f(x) dx : courbes de convergence, erreur-type et loi en 1/√N.

NouveauUniversité

SVM : marge

Lancer la simulation

Marge dure et marge souple : pénalité C, fonction de perte hinge, vecteurs de support, frontière de décision et bandes de marge.

NouveauUniversité

Filtre adaptatif LMS / NLMS

Lancer la simulation

Voie primaire p = s + v, où v est un RIF inconnu du bruit blanc de référence x[n]. RIF adaptatif à L coefficients, LMS ou NLMS : l’erreur e = p − wᵀx tend vers le signal utile s.

NouveauUniversité

Géométrie ACP / SVD

Lancer la simulation

Ellipse de covariance et réduction de dimension via la décomposition en valeurs singulières : composantes principales, variance expliquée et erreur de reconstruction de rang 1.

Processus gaussien : régression

À propos du modèle

Comment ça marche

Formules

Questions fréquentes

Simulations voisines

Filtre de Kalman : poursuite en 2D

Filtre de Kalman (1D)

Monte-Carlo : intégration et réduction de variance

SVM : marge

Filtre adaptatif LMS / NLMS

Géométrie ACP / SVD

Processus gaussien : régression

À propos du modèle

Comment ça marche

Formules

Questions fréquentes