Stochastisch unabhängige Zufallsvariablen

Grundidee und Definition

Stochastisch unabhängige Zufallsvariablen sind Zufallsvariablen, deren gemeinsame Wahrscheinlichkeiten sich als Produkt ihrer Einzelwahrscheinlichkeiten berechnen lassen. Das Konzept ist zentral in Wahrscheinlichkeitstheorie und Statistik, weil es die stochastische Unabhängigkeit von Ereignissen und die Unabhängigkeit von Mengensystemen verallgemeinert. Es wird zum Beispiel bei der Formulierung des Zentralen Grenzwertsatzes benötigt.

Für zwei Zufallsvariablen seien ein Wahrscheinlichkeitsraum (Ω, A, P), zwei Messräume (E1, Σ1) und (E2, Σ2) sowie Zufallsvariablen X1: (Ω, A, P) → (E1, Σ1) und X2: (Ω, A, P) → (E2, Σ2) gegeben. X1 und X2 heißen stochastisch unabhängig, wenn für alle B1 ∈ Σ1 und B2 ∈ Σ2 gilt:

P(X1 ∈ B1, X2 ∈ B2) = P(X1 ∈ B1) · P(X2 ∈ B2).

Die Schreibweise P(X1 ∈ B1, X2 ∈ B2) ist eine Kurzform für die Wahrscheinlichkeit der Menge aller ω ∈ Ω, für die gleichzeitig X1(ω) ∈ B1 und X2(ω) ∈ B2 gilt.

Man kann dieselbe Definition auch über Ereignisse formulieren: Zu B1 und B2 gehören die Ereignisse A^1_B1 = {ω ∈ Ω : X1(ω) ∈ B1} und A^2_B2 = {ω ∈ Ω : X2(ω) ∈ B2}. Die Zufallsvariablen sind genau dann unabhängig, wenn diese Ereignisse für alle solchen B1 und B2 unabhängig sind, also P(A^1_B1 ∩ A^2_B2) = P(A^1_B1)P(A^2_B2) gilt.

Familien von Zufallsvariablen

Für eine beliebige Familie von Zufallsvariablen Xi: (Ω, A, P) → (Ei, Σi) mit i ∈ I heißt die Familie stochastisch unabhängig, wenn jede endliche Auswahl daraus unabhängig ist. Genauer: Für jede endliche Teilmenge J von I muss für alle Bj ∈ Σj gelten:

P(∩j∈J {Xj ∈ Bj}) = ∏j∈J P(Xj ∈ Bj).

Die Definition verlangt also nicht nur paarweise Unabhängigkeit, sondern eine gemeinsame Produktregel für jede endliche Teilfamilie.

Mit Hilfe von Mengensystemen kann man die Definition auch so ausdrücken: Eine Familie von Zufallsvariablen ist genau dann stochastisch unabhängig, wenn ihre Initial-σ-Algebren voneinander unabhängig sind. Die Initial-σ-Algebra σ(X) einer Zufallsvariable X enthält genau die Ereignisse, die durch X beobachtbar gemacht werden.

Diese Definition gilt auch für Zufallsvektoren, also für R^n-wertige Zufallsvariablen. An die Unabhängigkeit der Komponentenabbildungen werden dabei keine zusätzlichen Forderungen gestellt.

Kriterien zum Nachweisen

Um Unabhängigkeit zu prüfen, muss man oft nicht alle Mengen einer σ-Algebra einzeln betrachten. Wenn zu jeder σ-Algebra Σi ein durchschnittsstabiler Erzeuger Ei existiert, also σ(Ei) = Σi gilt, reicht es aus, die Produktformel auf diesen Erzeugern zu überprüfen:

P(∩j∈J {Xj ∈ Bj}) = ∏j∈J P(Xj ∈ Bj)

für alle Bj ∈ Ej und alle endlichen Teilmengen J von I. Ein Erzeuger ist ein Mengensystem, aus dem die ganze σ-Algebra erzeugt wird. Bei diskreten Wahrscheinlichkeitsräumen nutzt man meist Punktmengen {xk}; bei reellen Zufallsvariablen nutzt man halboffene Intervalle als Erzeuger der Borelschen σ-Algebra.

Ist die Familie endlich, zum Beispiel I = {1, …, n}, reicht es, die Produktformel für die gesamte Familie zu prüfen:

P(∩i∈I {Xi ∈ Bi}) = ∏i∈I P(Xi ∈ Bi)

für alle Bi ∈ Σi. Die Prüfung kleinerer Teilmengen J ⊂ I ist dann nicht mehr nötig, weil man für alle i ∈ I \ J einfach Bi = Ei setzen kann; dann ist {Xi ∈ Ei} = Ω.

Diskrete und reelle Fälle

Für endliche Familien diskreter Zufallsvariablen vereinfacht sich das Kriterium besonders stark. Sei I = {1, …, n}, und jede Zufallsvariable Xi nehme Werte in einem diskreten Messraum Ei an, also in einem endlichen oder abzählbar unendlichen Raum. Dann sind X1, …, Xn genau dann unabhängig, wenn für alle xi ∈ Ei gilt:

P(X1 = x1, …, Xn = xn) = ∏i=1^n P(Xi = xi).

Für endliche Familien reellwertiger Zufallsvariablen kann man Unabhängigkeit über Verteilungsfunktionen prüfen. Die Zufallsvariablen (Xi)i∈I sind genau dann stochastisch unabhängig, wenn für alle x1, …, xn ∈ R gilt:

P(X1 ≤ x1, …, Xn ≤ xn) = ∏i=1^n P(Xi ≤ xi).

Schreibt man FXi(x) = P(Xi ≤ x) für die Verteilungsfunktion von Xi und FI(x1, …, xn) := P(X1 ≤ x1, …, Xn ≤ xn) für die gemeinsame Verteilungsfunktion, dann lautet das Kriterium:

FI(x1, …, xn) = ∏i=1^n FXi(xi).

Falls die Xi eine gemeinsame Dichtefunktion fI besitzen, sind sie genau dann unabhängig, wenn sich auch diese Dichte als Produkt der Randdichten schreiben lässt:

fI(x1, …, xn) = ∏i=1^n fXi(xi).

Dabei ist fXi die Randdichte von Xi.

Beispiele und Existenz

Ein einfaches Beispiel nutzt Ω = {1, 2, 3, 4}, A = P(Ω) und die Gleichverteilung. Es seien E1 = E2 = {0, 1} und Σ1 = Σ2 = P({0, 1}). Die Zufallsvariablen sind definiert durch X1(ω) = 1 für ω ∈ {1, 2} und X1(ω) = 0 für ω ∈ {3, 4}; außerdem X2(ω) = 1 für ω ∈ {2, 3} und X2(ω) = 0 für ω ∈ {1, 4}.

Eigentlich gibt es 16 Kombinationen von Mengen B1 und B2 zu prüfen. Fälle mit leerer Menge oder Obermenge können ausgelassen werden, weil jede Menge von diesen beiden unabhängig ist. Es bleiben vier Fälle mit B1, B2 ∈ {{0}, {1}}. In jedem Fall ist der Schnitt ein einzelnes Element von Ω und hat Wahrscheinlichkeit 1/4, während die beiden beteiligten Ereignisse jeweils Wahrscheinlichkeit 1/2 haben. Also gilt jeweils 1/4 = 1/2 · 1/2. Damit sind alle nötigen Ereignisse unabhängig, also auch die Zufallsvariablen.

Für abzählbar unendliche Familien stellt sich die Frage, ob ein genügend großer Wahrscheinlichkeitsraum existiert, auf dem alle Zufallsvariablen unabhängig sein können. Das lässt sich mit dem Produktmaß positiv beantworten. Betrachtet man das unendliche Produktmodell (∏i=1^∞ Ωi, ⊗i=1^∞ Ai, ⊗i=1^∞ Pi) und definiert Xi als Projektion πi auf die i-te Komponente, dann ist die Familie (Xi)i∈N = (πi)i∈N unabhängig. Jede Projektion πi hat genau die Verteilung Pi auf (Ωi, Ai). Die Existenz unendlicher Produktmaße ist nicht selbstverständlich; sie wird zum Beispiel durch den Satz von Andersen-Jessen für beliebige Indexmengen, durch den Satz von Ionescu-Tulcea für abzählbare Indexmengen oder für Borel’sche Räume durch den Erweiterungssatz von Kolmogorov gesichert.

Unkorreliertheit und Verallgemeinerungen

Unabhängigkeit ist stärker als Unkorreliertheit. Zwei Zufallsvariablen X und Y heißen unkorreliert, wenn ihre Kovarianz Cov(X, Y) gleich null ist. Diese Definition setzt nicht voraus, dass der Korrelationskoeffizient existiert oder dass beide Varianzen positiv sind.

Aus der Unabhängigkeit von X und Y folgt ihre Unkorreliertheit, sofern E(XY), E(X) und E(Y) endlich sind. Dann gilt E(XY) = E(X)E(Y), und mit dem Verschiebungssatz für die Kovarianz folgt:

Cov(X, Y) = E(XY) − E(X)E(Y) = E(X)E(Y) − E(X)E(Y) = 0.

Umgekehrt folgt aus Unkorreliertheit nicht stochastische Unabhängigkeit. Das zeigt das Beispiel, in dem X gleichverteilt auf [-1, 1] ist und Y = X^2 gilt. Dann ist Cov(X, Y) = E(X^3) − E(X)E(X^2) = 0 − 0 · E(X^2) = 0. Trotzdem sind X und Y nicht unabhängig, denn P(X ∈ [0, 1/2], Y ∈ [0, 1/9]) = 1/6, während P(X ∈ [0, 1/2]) = 1/4 und P(Y ∈ [0, 1/9]) = 1/3 gilt. Da 1/4 · 1/3 ≠ 1/6, liegt Abhängigkeit vor.

Bei der Analyse auf Abhängigkeit kann man prüfen, ob der Korrelationskoeffizient null ist. Wird die Hypothese abgelehnt, geht man von stochastischer Abhängigkeit aus. Der Umkehrschluss ist jedoch nicht erlaubt, weil es Abhängigkeitsstrukturen geben kann, die der Korrelationskoeffizient nicht erfasst. Eine wichtige Ausnahme im Artikel: Unkorrelierte, gemeinsam normalverteilte Zufallsvariablen sind stochastisch unabhängig.

Man spricht außerdem von der Unabhängigkeit einer Zufallsvariable X und eines Mengensystems E, wenn E und die Initial-σ-Algebra σ(X) unabhängige Mengensysteme sind. Mit dem bedingten Erwartungswert lässt sich die Unabhängigkeit von Mengensystemen und Zufallsvariablen zur bedingten Unabhängigkeit verallgemeinern.