- Если p-значение равно 0,03, значит ли это, что нулевая гипотеза верна с вероятностью 3 %?
- Нет. p-значение считают в предположении, что H₀ верна: это вероятность данных не менее крайних, чем ваши, в этом гипотетическом мире, P(данные столь крайние | H₀). Вероятность того, что H₀ верна при полученных данных, P(H₀ | данные), зависела бы ещё и от того, насколько правдоподобна была H₀ до опыта, а p-значение этого совсем не использует. Симулятор делает это видимым: каждый из 1000 смоделированных опытов приходит из мира, где H₀ верна в точности, и около 3 % из них всё равно оказываются дальше z_obs. Малое p говорит, что данные необычны при H₀, а не что H₀ маловероятна.
- Почему одно и то же наблюдаемое среднее даёт меньшее p-значение при большем n?
- Потому что стандартная ошибка σ/√n убывает с ростом n. При n = 25 и σ = 15 среднее класса 104 — это лишь 1,33 стандартной ошибки выше 100, и в двустороннем критерии так бывает случайно примерно в 18 % случаев; при n = 100 те же 4 балла — это 2,67 стандартной ошибки, и p падает примерно до 0,008. Исходный эффект тот же, но среднее многих наблюдений при H₀ колеблется меньше, поэтому то же отклонение труднее объяснить случаем. Поэтому одна лишь статистическая значимость не измеряет, насколько эффект велик или важен.
- Чем одностороннее p-значение отличается от двустороннего?
- Двусторонний критерий спрашивает, как часто H₀ даёт статистику, отстоящую от μ₀ не меньше, чем наблюдённая, в любую сторону, поэтому p = 2·Φ(−|z|), и закраска лежит в обоих хвостах. Односторонний критерий заранее задаёт направление — например, что препарат снижает давление, — и считает только отклонения в эту сторону: p = 1 − Φ(z) для правосторонней альтернативы. При том же z одностороннее p ровно вдвое меньше двустороннего, а критическое значение сдвигается с ±1,96 на 1,645 при α = 0,05. Направление нужно выбрать до просмотра данных; если выбрать хвост, который подошёл уже после данных, настоящая доля ложноположительных удваивается.
- Почему в примере с монетой нормальная кривая, хотя число орлов биномиально?
- Число орлов в n бросках честной монеты — это Bin(n; 0,5), дискретное распределение, но при большом n его хорошо приближает нормальная кривая со средним np₀ и стандартным отклонением √(np₀(1−p₀)); для доли p̂ = орлы/n это среднее p₀ и SE = √(p₀(1−p₀)/n). При n = 100 приближение хорошее: 60 орлов дают z = 2,0 и двустороннее p = 0,046, а точная двусторонняя биномиальная вероятность 60 и более (или 40 и менее) орлов равна 0,057. Смоделированные опыты бросают настоящие монеты, поэтому их гистограмма ступенчатая, и эмпирическая доля следует точному биномиальному, а не гладкой кривой. При малом n или при p₀ далеко от 0,5 приближение хуже, и вместо него нужен точный биномиальный критерий.