Исходное распределение плоское (или скошенное, или двугорбое) — почему средние всё равно образуют колокол?

Выборочное среднее складывает n независимых вкладов, и сумма многих малых независимых частей определяется тем, как эти части сочетаются, а не формой одной отдельной части. Математически характеристическая функция стандартизованной суммы стремится к характеристической функции стандартного нормального, если у исходного распределения конечная дисперсия. Форма исходного распределения задаёт лишь скорость: у равномерного гистограмма средних уже близка к нормальной при n = 5, экспоненциальному нужно около n = 30, чтобы правый хвост сошёл на нет, а двугорбое выглядит нормальным, когда n достаточно велико, чтобы одно среднее усредняло оба горба. При n = 1 гистограмма средних — это само исходное распределение, поэтому с этой настройки естественно начинать.

Почему разброс средних убывает как σ/√n, а не как σ/n?

Дисперсии независимых величин складываются. Сумма x₁ + … + xₙ имеет дисперсию nσ², а деление суммы на n делит дисперсию на n², и остаётся σ²/n. Корень даёт стандартное отклонение среднего, σ/√n, его называют стандартной ошибкой. Поэтому увеличение n вчетверо лишь вдвое уменьшает разброс: сравните n = 5 и n = 20 или прочитайте теоретическую стандартную ошибку и эмпирическое СКО средних в показаниях — они совпадают, когда собрано несколько сотен средних.

Чем объём выборки n отличается от числа собранных средних?

Роли разные. Объём выборки n — сколько значений исходного распределения усредняют в одно среднее; он задаёт форму и ширину выборочного распределения через стандартную ошибку σ/√n и центральную предельную теорему. Число собранных средних задаёт, насколько хорошо гистограмма показывает это выборочное распределение: при 20 средних гистограмма рваная, при 1000 — гладкая. Рост числа средних никогда не делает гистограмму уже; её сужает только рост n.

Откуда берутся точные значения μ и σ у каждого исходного распределения?

Они следуют из определений E[X] = ∫x f(x) dx (или Σx p(x)) и σ² = E[X²] − μ². Для U(0,1) E[X] = 1/2 и E[X²] = 1/3, поэтому σ² = 1/12. Для экспоненциального с интенсивностью 1 μ = 1 и E[X²] = 2, поэтому σ = 1. Для биномиального μ = np и σ² = np(1 − p), что даёт 2 и 1,6 при n = 10, p = 0,2. Для честной кости μ = 3,5 и E[X²] = 91/6, поэтому σ² = 91/6 − 49/4 = 35/12. Для смеси с равными весами N(−1,5; 0,5²) и N(1,5; 0,5²) μ = 0 и σ² = 0,5² + 1,5² = 2,5, потому что дисперсия смеси — это средняя дисперсия внутри компонент плюс дисперсия средних компонент.

Центральная предельная теорема

Выберите исходное распределение (равномерное, экспоненциальное, биномиальное, кость), берите выборки объёма n = 1, 5, 30; гистограмма средних становится нормальной, а разброс убывает как σ/√n.

Опыт с выборками

Исходное распределение

Объём выборки n5

Скорость автонабора4 выборок/с

Наложить нормальное N(μ, σ²/n)

Каждая выборка — n независимых наблюдений из выбранного исходного распределения; её среднее x̄ — одно значение нижней гистограммы. Смена исходного распределения или n начинает новый набор средних. Ось x гистограммы фиксирована по диапазону исходного, поэтому разброс средних наглядно убывает как σ/√n, когда n растёт. «Сброс» задаёт новое случайное зерно.

Горячие клавиши

Пробел / Enter — взять одну выборку
P — автонабор вкл / выкл
R — сброс (новое зерно)

Измеренные величины

Среднее исходного μ0.5000 (1/2)

СКО исходного σ0.2887 (1/√12)

Объём выборки n5

Собрано средних0

Последнее среднее x̄—

Среднее средних—

СКО средних (эмпирическое)—

σ/√n (теория)0.1291

Асимметрия средних—

О модели

Симулятор берёт выборки объёма n из выбранного исходного распределения, сводит каждую выборку к среднему x̄ = (x₁ + … + xₙ)/n и собирает эти средние в гистограмму. Доступны пять исходных распределений, у каждого среднее μ и стандартное отклонение σ в замкнутом виде: равномерное U(0,1) (μ = 1/2, σ = 1/√12 ≈ 0,2887), экспоненциальное с интенсивностью 1 (μ = 1, σ = 1), биномиальное Bin(10; 0,2) (μ = np = 2, σ = √(np(1−p)) = √1,6 ≈ 1,265), честная шестигранная кость (μ = 3,5, σ = √(35/12) ≈ 1,708) и смесь с равными весами двух нормальных с центрами в ±1,5 и стандартным отклонением 0,5 (μ = 0, σ = √(0,5² + 1,5²) = √2,5 ≈ 1,581). Наблюдения независимы и одинаково распределены и берутся из псевдослучайного генератора с зерном (mulberry32), поэтому сеанс воспроизводим, пока «Сброс» не выберет новое зерно; экспоненциальное получают методом обращения, биномиальное — как сумму десяти испытаний Бернулли, смесь — преобразованием Бокса–Мюллера. Для любого исходного распределения с конечной дисперсией E[x̄] = μ и СКО[x̄] = σ/√n точно, при любом n. Центральная предельная теорема добавляет форму: с ростом n распределение (x̄ − μ)/(σ/√n) стремится к стандартному нормальному, поэтому гистограмма средних стремится к N(μ, σ²/n). Наложенная кривая — это нормальное, масштабированное на число собранных средних и ширину столбца; пунктир отмечает μ и μ ± σ/√n, а показания сравнивают теоретическую стандартную ошибку σ/√n с выборочным стандартным отклонением собранных средних (делитель N − 1). Асимметрия средних, m₃/m₂^{3/2}, указывается потому, что по ней видно, как асимметрия скошенного исходного распределения (экспоненциальное, биномиальное с p = 0,2) убывает примерно как 1/√n. Ширина столбца около σ/(3√n), поэтому колокол в ±3 стандартные ошибки всегда занимает около восемнадцати столбцов; для дискретных исходных распределений ширину округляют до кратного 1/n, чтобы каждое возможное среднее k/n попало в центр столбца. Ось x фиксирована по диапазону исходного распределения, поэтому сужение гистограммы с ростом n видно сразу. Упрощения: исходное распределение известно полностью, наблюдения независимы и одинаково распределены, поправки на конечную совокупность нет, и скорость сходимости не оценивается (граница Берри–Эссеена не рисуется). Сопутствующие симуляторы: statistics/law-of-large-numbers (сходимость одного текущего среднего), statistics/normal-distribution (предельная кривая и z-оценки), statistics/galton-board и statistics/binomial-distribution (биномиальное, переходящее в нормальное), statistics/confidence-interval (где σ/√n применяют на практике).

Для кого: Старшие классы и вводный университетский курс статистики (AP Statistics, первый курс теории вероятностей и статистики).

Ключевые понятия

центральная предельная теорема
выборочное среднее
стандартная ошибка σ/√n
исходное распределение (генеральная совокупность)
выборочное распределение
нормальное приближение
асимметрия
независимые и одинаково распределённые

Как это работает

Выберите исходное распределение — плоское, скошенное, дискретное или даже двугорбое — и берите из него выборки по n значений. Каждая выборка сводится к одному числу, её выборочному среднему x̄, и это среднее попадает в нижнюю гистограмму. Каким бы ни было исходное распределение, средние скапливаются вокруг его среднего μ, и с приходом новых средних гистограмма принимает форму нормального распределения N(μ, σ²/n): это центральная предельная теорема. Её ширина — стандартная ошибка σ/√n, поэтому увеличение n вчетверо вдвое уменьшает разброс — сравните n = 1, 5 и 30 на фиксированной оси x. Модель идеализирована: наблюдения независимы и одинаково распределены, а μ и σ исходного распределения известны точно в замкнутом виде.

Основные формулы

x̄ = (x₁ + … + xₙ)/n, E[x̄] = μ

СКО[x̄] = σ/√n (стандартная ошибка среднего)

ЦПТ: (x̄ − μ)/(σ/√n) → N(0, 1) при n → ∞, т. е. x̄ ≈ N(μ, σ²/n)

μ, σ: U(0,1): 1/2, 1/√12 · Exp(1): 1, 1 · Bin(10; 0,2): 2; √1,6 · кость: 3,5; √(35/12) · двухмод. ½N(−1,5; 0,5²)+½N(1,5; 0,5²): 0; √2,5

Часто задаваемые вопросы

Исходное распределение плоское (или скошенное, или двугорбое) — почему средние всё равно образуют колокол?: Выборочное среднее складывает n независимых вкладов, и сумма многих малых независимых частей определяется тем, как эти части сочетаются, а не формой одной отдельной части. Математически характеристическая функция стандартизованной суммы стремится к характеристической функции стандартного нормального, если у исходного распределения конечная дисперсия. Форма исходного распределения задаёт лишь скорость: у равномерного гистограмма средних уже близка к нормальной при n = 5, экспоненциальному нужно около n = 30, чтобы правый хвост сошёл на нет, а двугорбое выглядит нормальным, когда n достаточно велико, чтобы одно среднее усредняло оба горба. При n = 1 гистограмма средних — это само исходное распределение, поэтому с этой настройки естественно начинать.
Почему разброс средних убывает как σ/√n, а не как σ/n?: Дисперсии независимых величин складываются. Сумма x₁ + … + xₙ имеет дисперсию nσ², а деление суммы на n делит дисперсию на n², и остаётся σ²/n. Корень даёт стандартное отклонение среднего, σ/√n, его называют стандартной ошибкой. Поэтому увеличение n вчетверо лишь вдвое уменьшает разброс: сравните n = 5 и n = 20 или прочитайте теоретическую стандартную ошибку и эмпирическое СКО средних в показаниях — они совпадают, когда собрано несколько сотен средних.
Чем объём выборки n отличается от числа собранных средних?: Роли разные. Объём выборки n — сколько значений исходного распределения усредняют в одно среднее; он задаёт форму и ширину выборочного распределения через стандартную ошибку σ/√n и центральную предельную теорему. Число собранных средних задаёт, насколько хорошо гистограмма показывает это выборочное распределение: при 20 средних гистограмма рваная, при 1000 — гладкая. Рост числа средних никогда не делает гистограмму уже; её сужает только рост n.
Откуда берутся точные значения μ и σ у каждого исходного распределения?: Они следуют из определений E[X] = ∫x f(x) dx (или Σx p(x)) и σ² = E[X²] − μ². Для U(0,1) E[X] = 1/2 и E[X²] = 1/3, поэтому σ² = 1/12. Для экспоненциального с интенсивностью 1 μ = 1 и E[X²] = 2, поэтому σ = 1. Для биномиального μ = np и σ² = np(1 − p), что даёт 2 и 1,6 при n = 10, p = 0,2. Для честной кости μ = 3,5 и E[X²] = 91/6, поэтому σ² = 91/6 − 49/4 = 35/12. Для смеси с равными весами N(−1,5; 0,5²) и N(1,5; 0,5²) μ = 0 и σ² = 0,5² + 1,5² = 2,5, потому что дисперсия смеси — это средняя дисперсия внутри компонент плюс дисперсия средних компонент.

Продолжите с близкими темами в этой категории — или все 10 в «Статистика и вероятность».

Вся категория →

НовоеПопулярноеДети

Доска Гальтона (ящик с шариками)

Запустить симулятор

Шарики отскакивают влево/вправо сквозь ряды штырьков; ячейки заполняют биномиальное, которое переходит в колокол. Мало рядов и много рядов.

НовоеШкольные

Симулятор доверительного интервала

Запустить симулятор

Возьмите выборку, постройте интервал 90/95/99 % для μ; повторите 100 раз и посчитайте, сколько интервалов накрывают истинное среднее.

НовоеДети

Закон больших чисел

Запустить симулятор

Монета или кость: текущее среднее x̄ₙ нескольких прогонов сходится к μ; полоса ±σ/√n показывает, как медленно.

НовоеДети

Биномиальное распределение

Запустить симулятор

Столбцы P(K = k) для n испытаний с успехом p; среднее np, дисперсия np(1−p); заготовки «монета» и «редкое событие»; нормальная кривая при большом n.

НовоеДети

Нормальное распределение и z-оценки

Запустить симулятор

Колоколообразная кривая с μ и σ; закрашенные хвосты, правило 68–95–99.7 и встроенный перевод в z-оценку x → z = (x − μ)/σ.

НовоеШкольные

Что такое p-значение

Запустить симулятор

Статистика критерия на плотности при нулевой гипотезе; закрашенный одно- или двусторонний хвост — это p-значение. Почему это не вероятность того, что H₀ верна.

Центральная предельная теорема

О модели

Как это работает

Основные формулы

Часто задаваемые вопросы

Похожие симуляторы

Доска Гальтона (ящик с шариками)

Симулятор доверительного интервала

Закон больших чисел

Биномиальное распределение

Нормальное распределение и z-оценки

Что такое p-значение

Центральная предельная теорема

О модели

Как это работает

Основные формулы

Часто задаваемые вопросы