Signifikanzniveau: α und p-Wert verstehen

Bei einem Hypothesentest formulierst du zunächst eine Nullhypothese H_0. Sie beschreibt meist, dass kein Unterschied, kein Effekt oder keine Veränderung vorliegt. Die Gegenhypothese H_1 beschreibt die untersuchte Abweichung. Noch bevor du die Daten auswertest, legst du das Signifikanzniveau \alpha fest. Häufig wird \alpha=0{,}05 gewählt. Das entspricht 5 %. Für \alpha=0{,}05 bedeutet das langfristig: Werden viele gleichartige Tests durchgeführt, bei denen H_0 tatsächlich gilt, soll der Anteil falscher Ablehnungen höchstens ungefähr 5 % betragen. Die passende Wahrscheinlichkeitsaussage lautet: P(H_0\text{ ablehnen}\mid H_0\text{ wahr})\leq 0{,}05 Entsprechend wird eine wahre Nullhypothese mit einer Wahrscheinlichkeit von mindestens 1-\alpha=0{,}95 nicht abgelehnt.

Der p-Wert wird aus den Daten und dem gewählten Test bestimmt. Er gibt unter der Annahme von H_0 an, wie wahrscheinlich das beobachtete oder ein noch extremeres Ergebnis wäre. Vergleiche den p-Wert mit der vorher festgelegten Grenze: p<\alpha: Lehne H_0 ab. Das Ergebnis ist statistisch signifikant. p\geq\alpha: Lehne H_0 nicht ab. Das Ergebnis ist nicht statistisch signifikant.

Ein kleineres \alpha macht die Ablehnung von H_0 schwieriger. Du verlangst stärkere Evidenz und verringerst damit das zugelassene Risiko eines Fehlers 1. Art. Das hat einen Zielkonflikt zur Folge: Bleiben Stichprobengröße, tatsächlicher Effekt und übrige Bedingungen gleich, kann ein kleineres \alpha die Wahrscheinlichkeit erhöhen, eine falsche Nullhypothese nicht abzulehnen. Ein kleineres Signifikanzniveau kann deshalb eine größere Stichprobe oder einen größeren beobachteten Unterschied erfordern. Die Wahl hängt davon ab, welche Folgen die beiden Fehler hätten. Bei schwerwiegenden Folgen einer falschen positiven Entscheidung kann etwa ein strengeres Niveau von 1 % angemessen sein. Das Signifikanzniveau wird vor der Auswertung festgelegt. Würdest du es erst nach Sichtung des p-Werts ändern, könntest du dieselben Daten nach Wunsch als signifikant oder nicht signifikant einstufen.

Das Wort „signifikant“ klingt im Alltag nach „wichtig“ oder „deutlich“. In der Statistik bezeichnet es zunächst nur eine Entscheidung nach der vorher festgelegten Testregel. Ein signifikantes Ergebnis zeigt nicht automatisch, dass H_0 mit hoher Wahrscheinlichkeit falsch ist oder dass H_1 bewiesen ist. Es zeigt auch nicht, dass der Effekt groß oder praktisch wichtig ist, dass ein beobachteter Zusammenhang ursächlich ist oder dass das Ergebnis auf andere Situationen übertragbar ist. Ein nicht signifikantes Ergebnis beweist umgekehrt nicht, dass H_0 wahr ist. Vielleicht ist der Effekt klein, die Stichprobe zu klein oder die Streuung zu groß, um ihn mit dem Test zuverlässig zu erkennen.