Schwaches Gesetz der großen Zahlen

Kernaussage und Bedeutung

Das schwache Gesetz der großen Zahlen ist ein Grenzwertsatz der Wahrscheinlichkeitstheorie. Es beschreibt, dass sich die Mittelwerte vieler Zufallsvariablen unter geeigneten Voraussetzungen immer stärker um ihre Erwartungswerte konzentrieren.

Gegeben sei eine Folge von Zufallsvariablen (Xₙ)ₙ∈ℕ mit E(|Xₙ|) < ∞ für alle n ∈ ℕ. Die Folge genügt dem schwachen Gesetz der großen Zahlen, wenn die zentrierten Mittelwerte

X̄ₙ := (1/n) ∑ᵢ₌₁ⁿ (Xᵢ − E(Xᵢ))

in Wahrscheinlichkeit gegen 0 konvergieren. Das bedeutet für jedes ε > 0:

limₙ→∞ P(|X̄ₙ| ≥ ε) = 0.

Die Wahrscheinlichkeit, dass der Mittelwert um mindestens ε von dem Mittelwert der Erwartungswerte abweicht, wird somit für wachsendes n beliebig klein. Dabei bezeichnet Konvergenz in Wahrscheinlichkeit genau diese Form des Annäherns.

Verhältnis zum starken Gesetz und alternative Formen

Das starke Gesetz der großen Zahlen verwendet die fast sichere Konvergenz, also einen stärkeren Konvergenzbegriff. Aus dem starken Gesetz folgt deshalb immer das schwache Gesetz der großen Zahlen.

Eine allgemeinere Formulierung arbeitet mit der Partialsumme Sₙ := ∑ᵢ₌₁ⁿ Xᵢ. Eine Folge genügt danach dem schwachen Gesetz, wenn reelle Folgen (bₙ) mit limₙ→∞ bₙ = ∞ und (aₙ) existieren, sodass

Sₙ/bₙ − aₙ → 0

in Wahrscheinlichkeit gilt. Diese Form erlaubt auch Aussagen, wenn die Erwartungswerte der Zufallsvariablen nicht existieren.

In einer spezielleren Formulierung betrachtet man die Konvergenz der gemittelten Partialsummen (1/n)∑ᵢ₌₁ⁿ Xᵢ gegen E(X₀). Dafür müssen alle Zufallsvariablen denselben Erwartungswert besitzen.

Wichtige Versionen und Voraussetzungen

Mehrere Fassungen unterscheiden sich vor allem darin, wie stark ihre Voraussetzungen sind:

• Bernoullis Gesetz: Sind die Xₙ unabhängig und identisch Bernoulli-verteilt mit Parameter p ∈ (0,1), also Xₙ ∼ Ber(p), dann konvergiert ihr Mittelwert in Wahrscheinlichkeit gegen p.

• Tschebyscheffs schwaches Gesetz: Sind die Xₙ unabhängig und identisch verteilt und besitzen sie einen endlichen Erwartungswert sowie eine endliche Varianz, dann gilt das schwache Gesetz.

• L²-Version: Die Xₙ müssen nur paarweise unkorreliert sein, also Cov(Xᵢ,Xⱼ) = 0 für i ≠ j. Außerdem muss

limₙ→∞ (1/n²) ∑ᵢ₌₁ⁿ Var(Xᵢ) = 0

gelten. Diese Bedingung ist insbesondere erfüllt, wenn supₙ∈ℕ Var(Xₙ) < ∞ ist. Diese Version verlangt weder vollständige Unabhängigkeit noch identische Verteilungen. Die Bezeichnung L² verweist auf die benötigte Quadratintegrierbarkeit beziehungsweise die Existenz endlicher Varianzen.

• Khinchins schwaches Gesetz: Sind die Xₙ unabhängig und identisch verteilt und besitzen sie einen endlichen Erwartungswert, dann gilt das schwache Gesetz auch ohne die Voraussetzung einer endlichen Varianz.

• L¹-Version: Es genügen paarweise unabhängige, identisch verteilte Zufallsvariablen mit endlichem Erwartungswert. Dies ist allgemeiner als Khinchins Fassung, weil paarweise Unabhängigkeit nicht die Unabhängigkeit der gesamten Folge nach sich zieht.

Grundideen der Beweise

Für Versionen mit endlicher Varianz ist die Tschebyscheff-Ungleichung entscheidend. Für eine Zufallsvariable Y lautet sie:

P(|Y − E(Y)| ≥ ε) ≤ Var(Y)/ε².

Bei Bernoulli-Variablen mit Xₙ ∼ Ber(p) ist Sₙ := ∑ᵢ₌₁ⁿ Xᵢ binomialverteilt: Sₙ ∼ Bin(n,p). Für Mₙ := Sₙ/n gilt

E(Mₙ) = p und Var(Mₙ) = p(1−p)/n.

Daraus folgt

P(|Mₙ − E(Mₙ)| ≥ ε) ≤ p(1−p)/(ε²n) → 0.

Für unabhängige, identisch verteilte Variablen mit E(Xₙ) = μ und Var(Xₙ) = σ² < ∞ erhält man entsprechend E(Mₙ) = μ und Var(Mₙ) = σ²/n. Die Varianzformel beruht auf der Gleichung von Bienaymé und der Unabhängigkeit.

In der L²-Version reicht paarweise Unkorreliertheit aus. Nach Zentrierung auf Erwartungswert 0 gilt

Var(Mₙ) = [∑ᵢ₌₁ⁿ Var(Xᵢ)]/n².

Die vorausgesetzte Varianzbedingung und die Tschebyscheff-Ungleichung liefern dann P(|Mₙ| ≥ ε) → 0.

Ohne endliche Varianz kann diese Beweisstrategie nicht verwendet werden. Der Beweis von Khinchins Gesetz arbeitet stattdessen mit charakteristischen Funktionen. Für E(Xₙ) = μ konvergiert die charakteristische Funktion von Mₙ gegen exp(iμt), die charakteristische Funktion einer Dirac-verteilten, also im Punkt μ konzentrierten Zufallsvariablen. Damit konvergiert Mₙ zunächst in Verteilung und wegen des konstanten Grenzwerts auch in Wahrscheinlichkeit gegen μ.

Relative Häufigkeiten als typisches Beispiel

Das empirische Gesetz der großen Zahlen beschreibt die relative Häufigkeit eines Ereignisses A. Ein Zufallsexperiment werde n-mal unabhängig durchgeführt; bei jedem Versuch wird beobachtet, ob A eintritt. Mit p := P(A) entsteht eine Bernoulli-Kette der Länge n.

Die Anzahl X der Erfolge ist zugleich die absolute Häufigkeit Hₙ(A) und erfüllt X ∼ Bin(n,p). Die relative Häufigkeit ist

hₙ(A) = X/n.

Da E(X) = np und Var(X) = np(1−p), gilt

E(hₙ(A)) = p

und

Var(hₙ(A)) = p(1−p)/n.

Damit ist der Erwartungswert der relativen Häufigkeit genau die Wahrscheinlichkeit P(A), während

limₙ→∞ Var(hₙ(A)) = 0

gilt. Bei einer großen Zahl unabhängiger Wiederholungen streut die relative Häufigkeit daher immer weniger um die zugrunde liegende Wahrscheinlichkeit.