La réduction de variance améliore-t-elle la loi en 1/√N ?

Pour les estimateurs de Monte-Carlo indépendants ordinaires, la vitesse asymptotique reste 1/√N. La réduction de variance diminue la constante, donc à N égal l’erreur peut être bien plus petite.

Quand l’échantillonnage préférentiel aide-t-il ?

Lorsque la densité q(x) place des points là où l’apport de f(x) est grand, et que les poids f(x)/q(x) ne sautent pas trop. Une mauvaise q peut au contraire augmenter la variance.

En quoi la stratification diffère-t-elle de l’échantillonnage ordinaire ?

La stratification découpe le domaine en couches et tire des points dans chacune, donc le recouvrement est plus régulier et la variance de la moyenne est en général plus petite que pour un échantillonnage uniforme entièrement indépendant.

Monte-Carlo : intégration et réduction de variance

Monte-Carlo ordinaire, échantillonnage préférentiel et stratification pour ∫f(x) dx : courbes de convergence, erreur-type et loi en 1/√N.

Les trois estimateurs sont sans biais pour cette intégrale unidimensionnelle, mais leur variance diffère. L’échantillonnage préférentiel aide lorsque q(x) ressemble à la forme de l’intégrand ; la stratification réduit l’amas aléatoire en forçant les tirages à couvrir tout l’intervalle.

Graphiques

À propos du modèle

La méthode de Monte-Carlo estime l’intégrale ∫f(x) dx comme une moyenne sur des points aléatoires ; l’erreur typique décroît comme 1/√N. On compare trois estimateurs sans biais d’une intégrale unidimensionnelle : l’échantillonnage uniforme ordinaire, l’échantillonnage préférentiel avec une densité q(x) en enveloppe exponentielle, et la stratification, qui force le recouvrement des sous-intervalles. Le graphe de convergence montre l’erreur absolue contre N ; l’erreur-type montre comment la réduction de variance change le facteur devant la même vitesse asymptotique 1/√N. L’échantillonnage préférentiel aide lorsque q est proche de la forme de la fonction à intégrer et que les poids f/q ne sautent pas trop ; la stratification réduit les vides aléatoires. La loi 1/√N pour des tirages indépendants ne change pas — c’est la constante de variance qui diminue.

Public : Méthodes numériques et statistique computationnelle : estimation d’intégrales et incertitude.

Notions clés

méthode de Monte-Carlo
échantillonnage préférentiel
stratification
erreur-type
loi en 1/√N
estimateur sans biais

Comment ça marche

La méthode de Monte-Carlo remplace l’intégrale par une moyenne : I=∫_0^1 f(x)dx≈(1/N)Σf(U_i), où les U_i sont uniformes ; l’erreur du MC ordinaire décroît à peu près comme 1/√N. L’échantillonnage préférentiel tire selon une densité q(x) et utilise les poids f(x)/q(x) pour tomber plus souvent dans les régions qui comptent. L’échantillonnage stratifié découpe l’intervalle en strates et tire à l’intérieur de chacune, ce qui réduit les vides et les amas aléatoires. Les deux procédés diminuent en général la constante de variance, sans changer la loi asymptotique elle-même.

Formules

MC ordinaire : I ≈ (1/N) Σ f(U_i), U_i ~ Uniform(0,1)

Préférentiel : I = E_q[f(X)/q(X)], stratifié : tirage dans chaque intervalle

Questions fréquentes

La réduction de variance améliore-t-elle la loi en 1/√N ?: Pour les estimateurs de Monte-Carlo indépendants ordinaires, la vitesse asymptotique reste 1/√N. La réduction de variance diminue la constante, donc à N égal l’erreur peut être bien plus petite.
Quand l’échantillonnage préférentiel aide-t-il ?: Lorsque la densité q(x) place des points là où l’apport de f(x) est grand, et que les poids f(x)/q(x) ne sautent pas trop. Une mauvaise q peut au contraire augmenter la variance.
En quoi la stratification diffère-t-elle de l’échantillonnage ordinaire ?: La stratification découpe le domaine en couches et tire des points dans chacune, donc le recouvrement est plus régulier et la variance de la moyenne est en général plus petite que pour un échantillonnage uniforme entièrement indépendant.

Poursuivez avec des thèmes proches de cette catégorie — ou les 85 de «Visualisation mathématique».

Toute la catégorie →

NouveauUniversité

Géométrie ACP / SVD

Lancer la simulation

Ellipse de covariance et réduction de dimension via la décomposition en valeurs singulières : composantes principales, variance expliquée et erreur de reconstruction de rang 1.

NouveauEnfants

Estimation de π par Monte-Carlo

Lancer la simulation

Points aléatoires uniformes dans un carré ; estimation π ≈ 4·(points dans le disque)/N.

NouveauUniversité

Processus gaussien : régression

Lancer la simulation

Régression par processus gaussien à noyaux RBF et de Matérn : longueur de corrélation et bruit, observations par clic, moyenne a posteriori, bande d’incertitude et choix du point de plus grande variance.

NouveauUniversité

Mise à jour bayésienne : a priori conjugués

Lancer la simulation

Mise à jour bêta-binomiale : courbes des lois a priori et a posteriori, probabilité prédictive a posteriori et intervalles de crédibilité.

NouveauUniversité

Optimiseurs de descente de gradient

Lancer la simulation

Comparaison de SGD, du moment et d’Adam sur un relief bidimensionnel de la fonction de perte : pas d’apprentissage, courbure, stabilité et trajectoires des itérations.

NouveauUniversité

Itération en puissance : convergence de la valeur propre

Lancer la simulation

Convergence vers le vecteur propre dominant : rapport d’écart spectral, quotient de Rayleigh, résidu et itérations normées.

Monte-Carlo : intégration et réduction de variance

Graphiques

À propos du modèle

Comment ça marche

Formules

Questions fréquentes

Simulations voisines

Géométrie ACP / SVD

Estimation de π par Monte-Carlo

Processus gaussien : régression

Mise à jour bayésienne : a priori conjugués

Optimiseurs de descente de gradient

Itération en puissance : convergence de la valeur propre

Monte-Carlo : intégration et réduction de variance

Graphiques

À propos du modèle

Comment ça marche

Formules

Questions fréquentes