Gesetz der großen Zahlen

Grundidee und Beispiel

Die Gesetze der großen Zahlen (GGZ) sind Grenzwertsätze der Stochastik. In ihrer einfachsten Form besagen sie: Wird ein Zufallsexperiment immer wieder unter denselben Voraussetzungen durchgeführt, stabilisiert sich die relative Häufigkeit eines Ergebnisses in der Regel bei dessen theoretischer Wahrscheinlichkeit. Diese Annäherung ist jedoch nicht monoton; auch bei vielen Wiederholungen sind Ausreißer möglich.

Formal geht es um die Konvergenz des arithmetischen Mittels von Zufallsvariablen. Man unterscheidet vor allem das schwache Gesetz der großen Zahlen, also Konvergenz in Wahrscheinlichkeit, und das starke Gesetz der großen Zahlen, also fast sichere Konvergenz.

Beim Wurf einer Münze mit Wahrscheinlichkeit ½ für Kopf wird die Wahrscheinlichkeit, dass die relative Häufigkeit von Kopf um mehr als einen beliebig vorgegebenen Wert von ½ abweicht, bei wachsender Versuchszahl immer kleiner. Die absolute Differenz zwischen der Anzahl der Kopf-Würfe und der halben Gesamtzahl kann dagegen weiter anwachsen.

Beginnt eine Serie mit Kopf, Zahl, Kopf, Kopf, so wurde Kopf dreimal und Zahl einmal geworfen. Nach vier Würfen beträgt die relative Häufigkeit von Kopf ¾ = 0,75. Nach 96 weiteren Würfen seien insgesamt 53-mal Kopf und 47-mal Zahl gefallen. Kopf hat dann seinen absoluten Vorsprung sogar vergrößert, aber die relative Häufigkeit 53/100 = 0,53 liegt deutlich näher beim Erwartungswert 0,5 als 0,75.

Schwaches Gesetz für relative Häufigkeiten

Der einfachste Fall ist das schwache Gesetz für relative Häufigkeiten, das Hauptergebnis von Jakob I Bernoullis Ars Conjectandi (1713). Ein Zufallsexperiment mit genau zwei Ausgängen, Erfolg und Misserfolg, werde als Bernoulli-Experiment n-mal unabhängig wiederholt. Die Erfolgswahrscheinlichkeit eines einzelnen Versuchs sei p ∈ (0,1).

Die Anzahl Xₙ der Erfolge ist binomialverteilt mit den Parametern n und p. Für sie gilt:

E(Xₙ) = np und Var(Xₙ) = np(1 − p).

Für die relative Häufigkeit Rₙ = Xₙ/n folgt:

E(Rₙ) = p,

Var(Rₙ) = (1/n²) Var(Xₙ) = p(1 − p)/n.

Mit der Tschebyscheff-Ungleichung erhält man für jedes ε > 0:

P(|Rₙ − p| ≥ ε) ≤ p(1 − p)/(nε²).

Die rechte Seite geht für n → ∞ gegen null. Daher gilt:

limₙ→∞ P(|Rₙ − p| ≥ ε) = 0.

Für jedes noch so kleine ε wird also die Wahrscheinlichkeit immer kleiner, dass die relative Häufigkeit der Erfolge außerhalb des Intervalls (p − ε, p + ε) liegt.

Allgemeine Form des schwachen Gesetzes

Eine Folge von Zufallsvariablen X₁, X₂, X₃, … mit E(|Xᵢ|) < ∞ genügt dem schwachen Gesetz der großen Zahlen, wenn für

X̄ₙ = (1/n) Σᵢ₌₁ⁿ (Xᵢ − E(Xᵢ))

für jede positive Zahl ε gilt:

limₙ→∞ P(|X̄ₙ| > ε) = 0.

Das bedeutet, dass die arithmetischen Mittel der zentrierten Zufallsvariablen Xᵢ − E(Xᵢ) in Wahrscheinlichkeit gegen 0 konvergieren. Zentriert bedeutet dabei, dass vom jeweiligen Zufallswert sein Erwartungswert abgezogen wird.

Das schwache Gesetz gilt unter verschiedenen Voraussetzungen. Wichtige Fälle sind:

• Sind die Xᵢ paarweise unabhängig, identisch verteilt und existiert ihr Erwartungswert, so gilt das Gesetz.
• Sind die Xᵢ paarweise unabhängig und besitzen sie denselben existierenden Erwartungswert sowie dieselbe Varianz, so gilt es ebenfalls.
• Sind die Xᵢ paarweise unkorreliert und ist die Folge ihrer Varianzen beschränkt, gilt das Gesetz auch.

Starkes Gesetz der großen Zahlen

Eine Folge von Zufallsvariablen (Xₙ)ₙ∈ℕ mit E(|Xₙ|) < ∞ genügt dem starken Gesetz der großen Zahlen, wenn für

X̄ₙ = (1/n) Σᵢ₌₁ⁿ (Xᵢ − E(Xᵢ))

gilt:

P(lim supₙ→∞ |X̄ₙ| = 0) = 1.

Damit konvergieren die arithmetischen Mittel der zentrierten Zufallsvariablen fast sicher gegen 0. Das starke Gesetz gilt beispielsweise in diesen Fällen:

• Die Xᵢ sind paarweise unabhängig und identisch verteilt und haben einen endlichen Erwartungswert.
• Die Xᵢ sind paarweise unkorreliert und supᵢ∈ℕ Var(Xᵢ) < ∞.

Das starke Gesetz impliziert das schwache Gesetz. Eine allgemeinere Form für abhängige Zufallsvariablen sind der individuelle Ergodensatz und der Lᵖ-Ergodensatz; beide gelten für stationäre stochastische Prozesse.

Bedeutung der Aussagen und Anwendungen

Bei klassischen Zahlenfolgen kann man meist absolut über Konvergenz sprechen. Bei Zufallsfolgen ist das nicht möglich, weil auch Folgen wie 6, 6, 6, … bei Würfelversuchen nicht ausgeschlossen sind. Ihre arithmetischen Mittel würden nicht gegen den Erwartungswert 3,5 konvergieren. Das starke Gesetz sagt jedoch, dass das Ereignis, bei dem die Mittelwerte nicht gegen 3,5 konvergieren, die Wahrscheinlichkeit 0 besitzt. Ein solches Ereignis heißt fast unmöglich.

Für X₁, X₂, X₃, … betrachtet man die Mittelwerte der zentrierten Zufallsvariablen, zum Beispiel:

X̄₁ = X₁ − E(X₁),

X̄₂ = ½((X₁ − E(X₁)) + (X₂ − E(X₂))),

X̄₃ = ⅓((X₁ − E(X₁)) + … + (X₃ − E(X₃))).

Beim schwachen Gesetz werden ein Toleranzabstand ε > 0 und eine beliebig kleine Toleranzwahrscheinlichkeit pₘₐₓ > 0 festgelegt. Für genügend großes n überschreitet |X̄ₙ| den Abstand ε höchstens mit Wahrscheinlichkeit pₘₐₓ. Das starke Gesetz bezieht sich dagegen darauf, ob irgendeiner der späteren Werte |X̄ₙ|, |X̄ₙ₊₁|, |X̄ₙ₊₂|, … den Toleranzabstand überschreitet.

Die GGZ begründen nicht die Vorstellung, dass ein bislang seltenes Ereignis seinen Rückstand später ausgleichen muss. Es gibt daher kein „Gesetz des Ausgleichs“, wie es etwa von Roulette- und Lottospielern angenommen wird.

Praktische Bedeutung haben die Gesetze unter anderem im Versicherungswesen: Bei einer größeren Zahl von Personen, Gütern und Sachwerten, die derselben Gefahr ausgesetzt sind, wird der Einfluss des Zufalls auf den gesamten Schadensverlauf geringer. Das Gesetz sagt jedoch nicht voraus, wer im Einzelnen geschädigt wird. Unvorhersehbare Großereignisse und Trends wie der Klimawandel können die Berechnungsgrundlage von Durchschnittswerten verändern. In der Medizin helfen viele Beobachtungen, Zufallseinflüsse beim Wirksamkeitsnachweis von Verfahren auszuschalten. In den Naturwissenschaften lassen sich nicht systematische Messfehler durch häufige Versuchswiederholungen verringern.

Historische Entwicklung

Jakob I Bernoulli formulierte 1689 erstmals ein Gesetz der großen Zahlen; veröffentlicht wurde es posthum 1713. Seine Version des schwachen Gesetzes bezeichnete Bernoulli als „Goldenes Theorem“.

Émile Borel veröffentlichte 1909 die erste Version eines starken Gesetzes für den Spezialfall eines Münzwurfs. Francesco Cantelli bewies 1917 als Erster eine allgemeine Version des starken Gesetzes.

Einen gewissen Abschluss der Entwicklung bildete der 1981 bewiesene Satz von N. Etemadi. Er zeigt, dass das starke Gesetz gilt, wenn die Zufallsvariablen integrierbar sind, also einen endlichen Erwartungswert besitzen, jeweils dieselbe Verteilung haben und je zwei Zufallsvariablen unabhängig sind. Die Existenz einer Varianz wird dabei nicht vorausgesetzt.