Grenzwertsätze der Stochastik

Grundidee der Grenzwertsätze

Grenzwertsätze der Stochastik sind Aussagen über das Grenzwertverhalten von Folgen von Zufallsvariablen (X_n)_{n\in \mathbb{N}} oder ihrer Partialsummen S_n:=\sum_{i=1}^n X_i. Sie beschreiben also, was passiert, wenn immer mehr zufällige Größen zusammenkommen. Wichtig sind sie überall dort, wo viele zufällige Einflüsse überlagert werden, zum Beispiel in Finanzmathematik, Versicherungsmathematik und Statistik.

Die zentralen Fragen lauten: Was ist ein typischer Wert? Wie groß sind Abweichungen von diesem Wert? Welche Wahrscheinlichkeiten haben solche Abweichungen? Und welche maximalen Schwankungen können auftreten? Die klassischen Grenzwertsätze beantworten diese Fragen mit unterschiedlichen Konvergenzarten, also unterschiedlichen Bedeutungen davon, dass eine Folge „gegen etwas geht“. Die Theorie der Zufallsmatrizen liefert zusätzlich Grenzwertsätze für Situationen, in denen klassische stochastische Grenzwertsätze nicht mehr passen.

Typische Werte und große Zahlen

Die Gesetze der großen Zahlen untersuchen, welcher Wert für eine Summe von Zufallsvariablen typisch ist und wie groß die Abweichungen davon sind. Man unterscheidet schwache und starke Gesetze der großen Zahlen. Schwache Gesetze verwenden Konvergenz in Wahrscheinlichkeit, auch stochastische Konvergenz genannt. Starke Gesetze verwenden fast sichere Konvergenz, eine stärkere Form der Konvergenz.

Die Grundidee lässt sich mit der Ordnung einer Folge erklären. Für eine Zahlenfolge (a_n)_{n\in\mathbb{N}} sucht man eine Funktion f(n), sodass a_n/f(n)\to 0 für n\to\infty. Dann wächst die Folge langsamer als f(n). Wenn man außerdem einen typischen Vergleichswert g(n) betrachtet, untersucht man (a_n-g(n))/f(n)\to 0. Auf Summen von Zufallsvariablen übertragen fragt man, für welche f(n) und g(n) gilt: (S_n-g(n))/f(n)\to 0, fast sicher oder in Wahrscheinlichkeit.

Unter gewissen Voraussetzungen liefern die Gesetze der großen Zahlen: Der typische Wert der Summe ist g(n)=n\operatorname{E}(X_1), und die Abweichungen sind von der Ordnung n, also f(n)=n. Anders gesagt: Der Erwartungswert ist der typische Wert für das arithmetische Mittel von Zufallsvariablen.

Historisch wurde ein erstes schwaches Gesetz der großen Zahlen für unabhängig identisch Bernoulli-verteilte Zufallsvariablen von Jakob I Bernoulli bewiesen und 1713 posthum in der Ars conjectandi veröffentlicht. Siméon Denis Poisson formulierte 1837 eine erste Verallgemeinerung und verwendete als Erster die Bezeichnung „Gesetz der großen Zahlen“. Pafnuti Lwowitsch Tschebyschow bewies 1867 ein schwaches Gesetz für Zufallsvariablen beliebiger Verteilung. Ein erstes starkes Gesetz bewies Émile Borel 1909 für unabhängig identisch Bernoulli-verteilte Zufallsvariablen mit Parameter p=0{,}5. Spätere Verallgemeinerungen stammen unter anderem von Francesco Paolo Cantelli und Andrei Nikolajewitsch Kolmogorow.

Abweichungen und Normalverteilung

Die zentralen Grenzwertsätze bauen auf den Gesetzen der großen Zahlen auf. Während diese den Erwartungswert als typischen Wert des arithmetischen Mittels bestimmen, fragen zentrale Grenzwertsätze nach den Wahrscheinlichkeiten für Abweichungen vom Erwartungswert.

Nach dem schwachen Gesetz der großen Zahlen gilt für alle \varepsilon>0: P(|\tfrac{1}{n}S_n-\operatorname{E}(X_1)|\geq\varepsilon)\to 0. Die Wahrscheinlichkeit konzentriert sich also immer stärker um den Erwartungswert. Die Verteilung des arithmetischen Mittels konvergiert in Verteilung gegen die Dirac-Verteilung auf dem Erwartungswert. Diese Grenzverteilung ist aber nicht geeignet, um die Wahrscheinlichkeiten von Abweichungen genauer zu beschreiben.

Deshalb sucht man eine passende Reskalierung f(n), sodass \frac{1}{f(n)}\sum_{i=1}^n(X_i-\operatorname{E}(X_i)) in Verteilung gegen eine nicht degenerierte Wahrscheinlichkeitsverteilung Q konvergiert. Für die Verteilungsfunktion F_Q bedeutet das: P(\frac{1}{f(n)}\sum_{i=1}^n(X_i-\operatorname{E}(X_i))\leq t)\to F_Q(t) an jedem Stetigkeitspunkt von F_Q.

Wenn die Grenzverteilung Varianz 1 haben soll, ergibt sich unter gewissen Umständen f(n)=\sqrt{n\operatorname{Var}(X_1)}. Die Grenzverteilung ist dann die Standardnormalverteilung. Damit sind die „mittelgroßen“ Abweichungen vom Erwartungswert von der Ordnung \sqrt{n}, während die großen Abweichungen nach den Gesetzen der großen Zahlen von der Ordnung n sind.

Der erste zentrale Grenzwertsatz war der Satz von de Moivre-Laplace für Summen Bernoulli-verteilter Zufallsvariablen. Abraham de Moivre zeigte ihn 1730 für p=\tfrac{1}{2}, Pierre-Simon Laplace formulierte 1812 den allgemeinen Fall. Weitere wichtige Beiträge stammen von Tschebyschow, Markow, Ljapunow, Lindeberg und Feller.

Maximale Schwankungen

Die Gesetze des iterierten Logarithmus untersuchen nicht die typischen Abweichungen, sondern die maximalen Abweichungen über den gesamten Verlauf. Betrachtet wird der Pfad n\mapsto S_n(\omega), also für ein festes Ergebnis \omega die Folge der Partialsummen. Wegen der zufälligen Natur dieses Pfades erwartet man nach einer Reskalierung im Allgemeinen keinen eindeutigen nichttrivialen Grenzwert, also keinen Grenzwert ungleich 0 oder \pm\infty.

Stattdessen fragt man, welche Werte ein reskalierter Pfad unendlich oft erreicht. Für die größten Werte sucht man eine Funktion f(n), sodass \limsup_{n\to\infty}(S_n(\omega)/f(n))=1. Der Limes superior ist der größte Häufungspunkt einer Folge. Entsprechend beschreibt der Limes inferior die kleinsten Werte, die unendlich oft erreicht werden.

Die Reskalierung gibt an, welche Größenordnung die maximalen Fluktuationen haben. Diese Größenordnung kann zwar überschritten werden, aber nur endlich oft. Unter gewissen Voraussetzungen zeigen die Gesetze des iterierten Logarithmus, dass f(n)=\sqrt{2n\ln\ln(n)} für fast alle \omega\in\Omega gilt. Daher kommt der Name „iterierter Logarithmus“.

Ein erstes Gesetz des iterierten Logarithmus für unabhängig Bernoulli-verteilte Zufallsvariablen mit Parameter p=0{,}5 zeigte Alexander Jakowlewitsch Chintschin 1922. Eine allgemeinere Fassung für Zufallsvariablen mit zwei möglichen Werten folgte zwei Jahre später. Andrei Nikolajewitsch Kolmogorow bewies 1929 eine erste allgemeine Version. Eine gängige Fassung ist der Satz von Hartman-Wintner, bewiesen 1941 von Philip Hartman und Aurel Wintner.

Weitere Grenzwertsätze

Neben den klassischen Grenzwertsätzen gibt es weitere Konvergenzsätze mit spezielleren Fragestellungen. Die Theorie großer Abweichungen betrachtet, wie schnell die Wahrscheinlichkeit gegen Null geht, dass das arithmetische Mittel vom Erwartungswert abweicht. Sie verfeinert damit die Aussage des schwachen Gesetzes der großen Zahlen.

Lokale Grenzwertsätze schließen an die zentralen Grenzwertsätze an. Sie untersuchen, unter welchen Bedingungen die Wahrscheinlichkeitsdichten der Zufallsvariablen gegen die Wahrscheinlichkeitsdichte der Grenzverteilung konvergieren.

In der Theorie der Zufallsmatrizen gibt es Grenzwertsätze für Zufallsmatrizen, also zufällige Matrizen. Sie werden wichtig, wenn klassische Grenzwertsätze für Zufallsvariablen nicht mehr anwendbar sind. Der Artikel nennt in diesem Zusammenhang das Wignersche Halbkreisgesetz und das Marchenko-Pastur-Gesetz, führt sie aber nicht weiter aus.