Normal-Approximation

Grundidee und mathematische Formulierung

Die Normal-Approximation nähert eine Binomialverteilung bei einer großen Zahl von Versuchen durch eine Normalverteilung an. Sie ist eine Anwendung des Satzes von Moivre-Laplace und damit des Zentralen Grenzwertsatzes. Die Methode ist besonders nützlich, weil Wahrscheinlichkeiten dann über die Verteilungsfunktion der Normalverteilung berechnet werden können, statt viele Binomialkoeffizienten auszuwerten.

Für eine binomialverteilte Zufallsvariable Sₙ ∼ Bin(n,p) gelten der Erwartungswert μₙ = E[Sₙ] = np und die Standardabweichung σₙ = √Var[Sₙ] = √(np(1−p)) > 0. Bezeichnet Φ die Verteilungsfunktion der Standardnormalverteilung, so gilt nach dem Satz von Moivre-Laplace für x ∈ ℝ:

limₙ→∞ (P(Sₙ ≤ x) − Φ((x−μₙ)/σₙ)) = 0.

Für ein endliches, aber hinreichend großes n verwendet man daher die Näherung

P(Sₙ ≤ x) ≈ Φ((x−μₙ)/σₙ).

Die Binomialverteilung wird also durch die Normalverteilung N(μₙ,σₙ²) mit demselben Erwartungswert und derselben Varianz angenähert. Für k₁,k₂ ∈ {0,1,…,n} mit k₁ < k₂ folgt

P(k₁ < Sₙ ≤ k₂) ≈ Φ((k₂−μₙ)/σₙ) − Φ((k₁−μₙ)/σₙ).

Die exakte Binomialwahrscheinlichkeit lautet dagegen

P(k₁ < Sₙ ≤ k₂) = Σₖ₌ₖ₁₊₁^k₂ C(n,k)pᵏ(1−p)ⁿ⁻ᵏ.

Voraussetzungen und Genauigkeit

Als Faustregel gilt die Normal-Approximation für viele Anwendungen als hinreichend genau, wenn np(1−p) ≥ 9 ist. Ist diese Bedingung nicht erfüllt, sollten zumindest np ≥ 5 und n(1−p) ≥ 5 gelten. Je asymmetrischer die Binomialverteilung ist, also je stärker sich p und 1−p unterscheiden, desto größer sollte n sein.

Für p nahe 0 eignet sich häufig die Poisson-Approximation besser. Dabei wird Bin(n,p) durch eine Poissonverteilung mit dem Parameter np angenähert. Für p nahe 1 sind sowohl die gewöhnliche Normal- als auch die direkte Poisson-Approximation schlecht. Dann kann man Erfolge und Misserfolge vertauschen und S′ₙ = n−Sₙ betrachten. Diese Zufallsvariable ist binomialverteilt mit den Parametern n und 1−p und kann bei kleinem 1−p durch eine Poissonverteilung angenähert werden.

Stetigkeitskorrektur

Die Binomialverteilung ist diskret und nimmt nur die ganzzahligen Werte 0,1,…,n an, während die Normalverteilung stetig ist. Die Stetigkeitskorrektur soll diesen Unterschied ausgleichen. Verwendet wird die Normalverteilung N(μ,σ²) mit μ = np und σ² = np(1−p).

Jedem Binomialwert k wird ein Intervall der Breite 1 um k zugeordnet. Für k = 1,…,n−1 ist dies (k−1/2,k+1/2); an den Rändern gelten I₀ = (−∞,1/2) und Iₙ = (n−1/2,∞). Dadurch entstehen folgende Näherungen:

• P(Sₙ = k) ≈ Φ((k+1/2−μ)/σ) − Φ((k−1/2−μ)/σ)

• P(Sₙ ≤ k) ≈ Φ((k+1/2−μ)/σ)

• P(Sₙ ≥ k) ≈ 1 − Φ((k−1/2−μ)/σ)

Für k₁ ≤ k₂ gilt entsprechend

P(k₁ ≤ Sₙ ≤ k₂) ≈ Φ((k₂+1/2−μ)/σ) − Φ((k₁−1/2−μ)/σ).

Die Grenzen werden somit bei einer eingeschlossenen unteren Grenze um 0,5 nach unten und bei einer eingeschlossenen oberen Grenze um 0,5 nach oben verschoben.

Würfelbeispiel

Ein fairer Würfel wird 1000-mal geworfen. Gesucht ist die Wahrscheinlichkeit, dass die Sechs mindestens 100- und höchstens 150-mal fällt. Für die Anzahl S₁₀₀₀ der Sechsen gilt S₁₀₀₀ ∼ Bin(1000,1/6). Die exakte Berechnung ergibt

P(100 ≤ S₁₀₀₀ ≤ 150) = Σₖ₌₁₀₀^150 C(1000,k)(1/6)ᵏ(5/6)¹⁰⁰⁰⁻ᵏ ≈ 0,0837.

Die gesuchte Wahrscheinlichkeit beträgt somit ungefähr 8,4 %. Da np(1−p) = 1000·(1/6)·(5/6) = 138,8̅ > 9 ist, ist die Faustregel für eine ausreichend genaue Normal-Approximation erfüllt. Es gelten μ = np = 1000/6 und σ = √(np(1−p)) = √(5000/36).

Ohne Stetigkeitskorrektur wird das Ereignis als P(S₁₀₀₀ ≤ 150) − P(S₁₀₀₀ ≤ 99) geschrieben. Die Näherung liefert

Φ((150−μ)/σ) − Φ((99−μ)/σ) ≈ Φ(−1,4142) − Φ(−5,74171) ≈ 0,0786.

Mit Stetigkeitskorrektur werden die Grenzen 99,5 und 150,5 verwendet:

Φ((150,5−μ)/σ) − Φ((99,5−μ)/σ) ≈ Φ(−1,3718) − Φ(−5,6993) ≈ 0,0851.

Hier liegt das korrigierte Ergebnis näher am exakten Wert 0,0837. Die Werte von Φ werden numerisch berechnet oder aus einer Tabelle abgelesen, da keine explizite Stammfunktion existiert.

Seltene Randwahrscheinlichkeit und Grenzen der Korrektur

Für X ∼ Bin(48,1/4) gelten μ = np = 12, σ² = np(1−p) = 9 und damit σ = 3. Gesucht ist P(0 ≤ X ≤ 3). Weil 3 = μ−3σ ist, liegt das Ereignis weit im linken Verteilungsende und besitzt nur eine kleine Wahrscheinlichkeit.

Die exakte Binomialrechnung ergibt

P(0 ≤ X ≤ 3) = Σₖ₌₀^3 C(48,k)(1/4)ᵏ(3/4)⁴⁸⁻ᵏ ≈ 0,0007882.

Ohne Stetigkeitskorrektur erhält man

P(0 ≤ X ≤ 3) ≈ Φ((3−12)/3) − Φ((−1−12)/3) = Φ(−3) − Φ(−13/3) ≈ 0,001343.

Mit Stetigkeitskorrektur ergibt sich

P(0 ≤ X ≤ 3) ≈ Φ((3,5−12)/3) − Φ((−0,5−12)/3) = Φ(−8,5/3) − Φ(−12,5/3) ≈ 0,00229.

Beide Näherungen überschätzen hier den exakten Wert; die Stetigkeitskorrektur verschlechtert das Ergebnis sogar, weil sie zusätzliche Wahrscheinlichkeitsmasse einbezieht. Ursache ist die Schiefe der Binomialverteilung bei dieser Parameterwahl. Der absolute Fehler der unkorrigierten Näherung beträgt 0,001343−0,0007882 und liegt unter 0,001. Das kann etwa bei Anwendungen mit groben Konfidenz- oder Signifikanzniveaus α ∈ {10 %,5 %,1 %} akzeptabel sein. Der relative Fehler beträgt jedoch 70,39 % und kann deshalb für andere Anwendungen unvertretbar groß sein. Die Stetigkeitskorrektur führt also nicht bei jeder Parameterkonstellation zu einer besseren Näherung.