Снижение дисперсии улучшает скорость 1/√N?

Для обычных независимых оценок Монте-Карло асимптотическая скорость остаётся 1/√N. Снижение дисперсии уменьшает константу, поэтому при том же N ошибка может быть намного меньше.

Когда помогает выборка по важности?

Когда плотность q(x) кладёт точки туда, где вклад f(x) велик, а веса f(x)/q(x) не слишком скачут. Плохая q может наоборот увеличить дисперсию.

Чем стратификация отличается от обычной выборки?

Стратификация делит область на слои и берёт точки в каждом, поэтому покрытие равномернее и дисперсия среднего обычно меньше, чем у полностью независимой равномерной выборки.

Монте-Карло: интегрирование и снижение дисперсии

Обычный метод Монте-Карло, выборка по важности и стратификация для ∫f(x) dx: кривые сходимости, стандартная ошибка и скорость 1/√N.

Все три estimator unbiased для этого одномерного интеграла, но их variance различается. Importance sampling помогает, когда q(x) похожа на форму integrand; stratification уменьшает случайное скучивание, заставляя samples покрывать весь interval.

Графики

О модели

Метод Монте-Карло оценивает интеграл ∫f(x) dx как среднее по случайным точкам; типичная ошибка убывает как 1/√N. Сравниваются три несмещённые оценки одномерного интеграла: обычная равномерная выборка, выборка по важности с плотностью q(x) в виде экспоненциальной огибающей и стратификация, которая принудительно покрывает подынтервалы. График сходимости показывает абсолютную ошибку против N; стандартная ошибка показывает, как снижение дисперсии меняет множитель при той же асимптотической скорости 1/√N. Выборка по важности помогает, когда q близка к форме подынтегральной функции и веса f/q не слишком скачут; стратификация уменьшает случайные пустоты. Сам закон 1/√N при независимых выборках не меняется — уменьшается константа дисперсии.

Для кого: Численные методы и вычислительная статистика: оценка интегралов и неопределённости.

Ключевые понятия

метод Монте-Карло
выборка по важности
стратификация
стандартная ошибка
скорость 1/√N
несмещённая оценка

Как это работает

Метод Монте-Карло заменяет интеграл средним: I=∫_0^1 f(x)dx≈(1/N)Σf(U_i), где U_i равномерны; ошибка обычного MC убывает примерно как 1/√N. Выборка по значимости берёт выборки из плотности q(x) и использует веса f(x)/q(x), чтобы чаще попадать в существенные области. Стратифицированная выборка делит интервал на страты и берёт выборки внутри каждой, уменьшая случайные пустоты и скучивание. Оба приёма обычно уменьшают константу дисперсии, не меняя сам асимптотический закон.

Основные формулы

Plain MC: I ≈ (1/N) Σ f(U_i), U_i ~ Uniform(0,1)

Importance: I = E_q[f(X)/q(X)], stratified: sample внутри каждого interval

Часто задаваемые вопросы

Снижение дисперсии улучшает скорость 1/√N?: Для обычных независимых оценок Монте-Карло асимптотическая скорость остаётся 1/√N. Снижение дисперсии уменьшает константу, поэтому при том же N ошибка может быть намного меньше.
Когда помогает выборка по важности?: Когда плотность q(x) кладёт точки туда, где вклад f(x) велик, а веса f(x)/q(x) не слишком скачут. Плохая q может наоборот увеличить дисперсию.
Чем стратификация отличается от обычной выборки?: Стратификация делит область на слои и берёт точки в каждом, поэтому покрытие равномернее и дисперсия среднего обычно меньше, чем у полностью независимой равномерной выборки.

Продолжите с близкими темами в этой категории — или все 85 в «Визуализация математики».

Вся категория →

НовоеУниверситет / научные

Геометрия PCA / SVD

Запустить симулятор

Эллипс ковариации и понижение размерности через сингулярное разложение: главные компоненты, объяснённая дисперсия и ошибка восстановления ранга 1.

НовоеДети

Оценка числа π методом Монте-Карло

Запустить симулятор

Равномерные случайные точки в квадрате; оценка π ≈ 4·(точки в круге)/N.

НовоеУниверситет / научные

Гауссовский процесс: регрессия

Запустить симулятор

Регрессия гауссовского процесса с ядрами RBF и Матерна: длина корреляции и шум, наблюдения кликом, апостериорное среднее, полоса неопределённости и отбор точки с наибольшей дисперсией.

НовоеУниверситет / научные

Байесовское обновление: сопряжённые априори

Запустить симулятор

Бета-биномиальное обновление: кривые априорного и апостериорного распределений, апостериорная предсказательная вероятность и интервалы достоверности.

НовоеУниверситет / научные

Оптимизаторы градиентного спуска

Запустить симулятор

Сравнение SGD, момента и Adam на двумерном рельефе функции потерь: шаг обучения, кривизна, устойчивость и траектории итераций.

НовоеУниверситет / научные

Степенной метод: сходимость собственного значения

Запустить симулятор

Сходимость к доминирующему собственному вектору: отношение спектральной щели, частное Рэлея, невязка и нормированные итерации.

Монте-Карло: интегрирование и снижение дисперсии

Графики

О модели

Как это работает

Основные формулы

Часто задаваемые вопросы

Похожие симуляторы

Геометрия PCA / SVD

Оценка числа π методом Монте-Карло

Гауссовский процесс: регрессия

Байесовское обновление: сопряжённые априори

Оптимизаторы градиентного спуска

Степенной метод: сходимость собственного значения

Монте-Карло: интегрирование и снижение дисперсии

Графики

О модели

Как это работает

Основные формулы

Часто задаваемые вопросы