- Wenn der p-Wert 0,03 ist: besteht dann eine Chance von 3 %, dass die Nullhypothese wahr ist?
- Nein. Der p-Wert wird unter der Annahme berechnet, dass H₀ wahr ist: er ist die Wahrscheinlichkeit für Daten, die mindestens so extrem sind wie die eigenen, in dieser hypothetischen Welt, P(Daten so extrem | H₀). Die Wahrscheinlichkeit, dass H₀ angesichts der Daten wahr ist, P(H₀ | Daten), hinge auch davon ab, wie plausibel H₀ vor dem Experiment war, und genau das nutzt ein p-Wert überhaupt nicht. Der Simulator macht das sichtbar: jedes der 1000 simulierten Experimente kommt aus einer Welt, in der H₀ exakt wahr ist, und etwa 3 % von ihnen liegen trotzdem jenseits von z_obs. Ein kleiner p-Wert sagt, dass die Daten unter H₀ ungewöhnlich sind, nicht dass H₀ unwahrscheinlich ist.
- Warum liefert dasselbe beobachtete Mittel einen kleineren p-Wert, wenn n größer ist?
- Weil der Standardfehler σ/√n mit n schrumpft. Bei n = 25 und σ = 15 liegt ein Klassenmittel von 104 nur 1,33 Standardfehler über 100, das tritt in einem zweiseitigen Test zufällig in etwa 18 % der Fälle auf; bei n = 100 entspricht dieselbe Differenz von 4 Punkten 2,67 Standardfehlern, und p fällt auf etwa 0,008. Der rohe Effekt ist derselbe, ein Mittel aus vielen Beobachtungen schwankt unter H₀ aber weniger, dieselbe Abweichung lässt sich also schwerer durch Zufall erklären. Deshalb misst statistische Signifikanz allein nicht, wie groß oder wichtig ein Effekt ist.
- Was ist der Unterschied zwischen einem einseitigen und einem zweiseitigen p-Wert?
- Ein zweiseitiger Test fragt, wie oft H₀ eine Statistik erzeugt, die in irgendeiner Richtung mindestens so weit von μ₀ entfernt ist, also p = 2·Φ(−|z|), und die schattierte Fläche liegt in beiden Flanken. Ein einseitiger Test legt die Richtung vorher fest — etwa dass das Medikament den Blutdruck senkt — und zählt nur Abweichungen in diese Richtung, mit p = 1 − Φ(z) bei einer rechtsseitigen Alternative. Bei demselben z ist der einseitige p-Wert genau halb so groß wie der zweiseitige, und der kritische Wert wandert bei α = 0,05 von ±1,96 auf 1,645. Die Richtung muss festliegen, bevor man die Daten ansieht; wählt man danach die Flanke, die gerade passt, verdoppelt sich die echte Rate falsch positiver Entscheidungen.
- Warum nutzt das Münzbeispiel eine Normalkurve, obwohl die Zahl der Köpfe binomial ist?
- Die Zahl der Köpfe in n fairen Würfen ist binomialverteilt, Binomial(n; 0,5), eine diskrete Verteilung, für großes n aber eng durch eine Normalkurve mit Mittel np₀ und Standardabweichung √(np₀(1−p₀)) genähert; für den Anteil p̂ = Köpfe/n sind das Mittel p₀ und SE = √(p₀(1−p₀)/n). Bei n = 100 ist die Näherung gut: 60 Köpfe geben z = 2,0 und einen zweiseitigen p-Wert von 0,046, während die exakte zweiseitige Binomialwahrscheinlichkeit für 60 oder mehr (oder 40 oder weniger) Köpfe 0,057 beträgt. Die simulierten Experimente werfen echte Münzen, ihr Histogramm ist daher gestuft, und der empirische Anteil folgt der exakten Binomialverteilung statt der glatten Kurve. Bei kleinem n oder einem p₀ weit weg von 0,5 wird die Näherung schlechter, dann sollte man den exakten Binomialtest verwenden.