Wahrscheinlichkeitsmaß

Begriff und Definition

Ein Wahrscheinlichkeitsmaß quantifiziert Wahrscheinlichkeit: Es ordnet Ereignissen, die als Mengen modelliert werden, Zahlen aus dem Intervall [0,1] zu. Die Schreibweise P(B)=c bedeutet, dass das Ereignis B mit der Wahrscheinlichkeit c eintritt. Wahrscheinlichkeitsmaße sind normierte endliche Maße und bilden die mathematische Grundlage der Wahrscheinlichkeitsrechnung.

Gegeben sind ein Ergebnisraum Ω, also die Menge aller möglichen Ergebnisse, und eine σ-Algebra Σ auf Ω, das sogenannte Ereignissystem. Eine σ-Algebra ist ein Mengensystem, das insbesondere mit jedem Ereignis auch dessen Gegenereignis und abzählbare Vereinigungen enthält. Eine Abbildung P:Σ→[0,1] heißt Wahrscheinlichkeitsmaß, wenn sie zwei Bedingungen erfüllt:

• Normiertheit: P(Ω)=1.

• σ-Additivität: Für jede abzählbare Folge paarweise disjunkter Ereignisse A₁,A₂,… gilt P(⋃ᵢ₌₁^∞ Aᵢ)=∑ᵢ₌₁^∞ P(Aᵢ).

Zusammen mit der Forderung, dass alle Werte zwischen 0 und 1 liegen, heißen diese Bedingungen Kolmogorow-Axiome.

Beim fairen Würfel ist Ω={1,2,3,4,5,6} und Σ die Potenzmenge 𝒫(Ω), also die Menge aller Teilmengen von Ω. Für jedes i∈{1,…,6} gilt P({i})=1/6. Das Ereignis „gerade Augenzahl“ ist {2,4,6}; deshalb folgt aus der Additivität P({2,4,6})=3·1/6=1/2. Ein Wahrscheinlichkeitsmaß nimmt Mengen als Argumente: Streng genommen ist daher P(2) falsch und P({2}) richtig.

Verteilungen und Zufallsvariablen

Eine Wahrscheinlichkeitsverteilung, kurz Verteilung oder Wahrscheinlichkeitsgesetz, kann als eigenständiges Wahrscheinlichkeitsmaß oder als Verteilung einer Zufallsvariable betrachtet werden. Beide Sichtweisen fallen zusammen, weil man sich zu einem Wahrscheinlichkeitsmaß stets eine passende Zufallsvariable im Hintergrund vorstellen kann.

Auf einem messbaren Raum (E,Σ′) ist eine Verteilung μ ein Wahrscheinlichkeitsmaß. E ist häufig ℝ, eine diskrete Menge oder ℝᵈ. Auf ℝ verwendet man üblicherweise die borelsche σ-Algebra 𝓑(ℝ). Falls eine Dichte f existiert, gilt μ(B)=∫_B f(x) dx; insbesondere μ([a,b])=∫ₐᵇ f(x) dx. Bei einer diskreten Verteilung mit Wahrscheinlichkeitsfunktion p gilt stattdessen μ(B)=∑ᵢ∈B p(i). Über eine Verteilungsfunktion F erhält man μ((a,b])=F(b)−F(a). Nicht jede Verteilung besitzt eine Dichte.

Ist X eine Zufallsvariable auf dem Wahrscheinlichkeitsraum (Ω,Σ,P) mit Werten in (E,Σ′), dann ist ihre Verteilung P_X das Bildmaß von P. Für B∈Σ′ gilt P_X(B)=P(X⁻¹(B))=P({ω∈Ω | X(ω)∈B}). Damit wird ein Ereignis im Wertebereich auf das zugehörige Ereignis im ursprünglichen Ergebnisraum zurückgeführt.

Für reellwertige Zufallsvariablen schreibt man P(X≤k)=P_X((−∞,k]). Die Funktion F_X(k)=P(X≤k) ist die Verteilungsfunktion von X. Da die Halbintervalle (−∞,k] einen schnittstabilen Erzeuger von 𝓑(ℝ) bilden, bestimmt die Verteilungsfunktion nach dem Maßeindeutigkeitssatz die gesamte Verteilung eindeutig.

Rechenregeln und Konstruktion

Aus den Axiomen folgen grundlegende Rechenregeln:

• P(∅)=0.

• Für B⊆A gilt die Subtraktivität P(A∖B)=P(A)−P(B) und die Monotonie P(B)≤P(A).

• Für endlich viele paarweise disjunkte Ereignisse gilt P(⋃ₙ₌₁ᵐ Aₙ)=∑ₙ₌₁ᵐ P(Aₙ).

• Für beliebige A₁,A₂,… gilt die σ-Subadditivität P(⋃ₙ₌₁^∞ Aₙ)≤∑ₙ₌₁^∞P(Aₙ).

• Bei Aₙ↑A beziehungsweise Aₙ↓A gilt limₙ→∞P(Aₙ)=P(A). Dies heißt σ-Stetigkeit von unten beziehungsweise oben.

Das Prinzip von Inklusion und Exklusion berücksichtigt Überschneidungen. Für zwei Ereignisse lautet es P(A∪B)+P(A∩B)=P(A)+P(B).

Auf einer endlichen oder abzählbar unendlichen Menge M mit Σ=𝒫(M) konstruiert man P durch eine Wahrscheinlichkeitsfunktion f:M→[0,1] mit ∑ᵢ∈M f(i)=1. Dann gilt P({i})=f(i) und P(A)=∑ᵢ∈A f(i). Bei der geometrischen Verteilung ist beispielsweise f(i)=(1−q)qⁱ für i=0,1,2,… und q∈(0,1). Anders als ein Maß nimmt f einzelne Elemente als Argumente. Solche Funktionen heißen auch Zähldichten, weil sie Dichten bezüglich des Zählmaßes sind.

Auf ℝ kann eine nichtnegative integrierbare Funktion f mit ∫_ℝ f(x)dλ(x)=1 ein Wahrscheinlichkeitsmaß durch P(A)=∫_A f(x)dλ(x) definieren. λ bezeichnet das Lebesgue-Maß. Die Exponentialverteilung besitzt für λ>0 die Dichte f_λ(x)=λe^(−λx) für x≥0 und f_λ(x)=0 für x<0. Daraus folgt P((−1,1])=1−e^(−λ). Nur bezüglich des Lebesgue-Maßes absolutstetige Verteilungen besitzen eine solche Dichte.

Alternativ definiert eine monoton wachsende, rechtsseitig stetige Funktion F:ℝ→[0,1] mit limₓ→−∞F(x)=0 und limₓ→∞F(x)=1 eindeutig ein Maß durch P((−∞,x])=F(x). Dann ist P((a,b])=F(b)−F(a). Die Zuordnung zwischen Verteilungsfunktionen und Wahrscheinlichkeitsmaßen auf ℝ ist bijektiv.

Allgemein lassen sich Maße außerdem durch Bildmaße, Normierung und Produktmaße konstruieren. Jedes endliche Maß außer dem Nullmaß kann normiert werden. Produktmaße verbinden Maße auf kleineren Räumen; unendliche Produktmaße sind besonders für die Existenz stochastischer Prozesse wichtig. Der Maßeindeutigkeitssatz sichert die Eindeutigkeit: Stimmen zwei Wahrscheinlichkeitsmaße auf einem durchschnittsstabilen Erzeuger der σ-Algebra überein, stimmen sie überall überein. Typische Erzeuger sind einelementige Mengen auf abzählbaren Räumen, die Intervalle (−∞,a] auf ℝ und Zylindermengen in Produkträumen.

Arten und wichtige Beispiele

Diskrete Verteilungen liegen auf endlichen oder abzählbar unendlichen Grundräumen und werden meist durch Wahrscheinlichkeitsfunktionen beschrieben. Eingebettet in ℝ besitzen ihre Verteilungsfunktionen Sprungstellen. Stetige Verteilungen auf ℝ haben dagegen stetige Verteilungsfunktionen. Sie zerfallen in absolutstetige Verteilungen mit einer Dichte und stetigsinguläre Verteilungen mit stetiger Verteilungsfunktion, aber ohne Dichte. Ein seltenes, gezielt konstruiertes Beispiel der zweiten Art ist die Cantor-Verteilung.

Daneben gibt es Mischformen, etwa Konvexkombinationen diskreter und stetiger Verteilungen. Nach dem Darstellungssatz lässt sich jede Wahrscheinlichkeitsverteilung eindeutig in einen absolutstetigen, einen stetigsingulären und einen diskreten Anteil zerlegen.

Eindimensionale Verteilungen heißen univariat, Verteilungen auf mehrdimensionalen Räumen multivariat. Die Zahl ihrer Parameter bestimmt diese Einteilung nicht: Die gewöhnliche Normalverteilung ist trotz der beiden Parameter μ und σ² univariat. Daneben existieren matrixvariate Verteilungen wie die Wishart-Verteilung.

Wichtige diskrete Beispiele sind die Bernoulli-Verteilung für einen Versuch mit zwei Ausgängen und die Binomialverteilung für die Anzahl von k Erfolgen bei n entsprechenden Versuchen. Die diskrete Gleichverteilung modelliert einen fairen n-flächigen Würfel. Über Urnenmodelle lassen sich daraus unter anderem die hypergeometrische, geometrische und negative Binomialverteilung gewinnen.

Unter den stetigen Verteilungen ist die Normalverteilung besonders wichtig. Nach dem zentralen Grenzwertsatz nähert sich unter gewissen Umständen eine Überlagerung zufälliger Ereignisse der Normalverteilung. Aus ihr werden die Chi-Quadrat-Verteilung und die Studentsche t-Verteilung abgeleitet, die in der statistischen Parameterschätzung verwendet werden. Verteilungsklassen fassen Maße mit gemeinsamen Eigenschaften zusammen; Beispiele sind die Exponentialfamilie, unendlich teilbare Verteilungen und alpha-stabile Verteilungen.

Kennzahlen und Konvergenz

Kennzahlen beschreiben Verteilungen kompakt. Der Erwartungswert kennzeichnet ihre mittlere Lage. Varianz und Standardabweichung messen die Streuung, die Schiefe ihre Asymmetrie und die Wölbung ihre „Spitzigkeit“. Der Median lässt sich über die verallgemeinerte inverse Verteilungsfunktion bestimmen; Quantile unterteilen eine Verteilung, beispielsweise in Terzile, Quartile oder Dezile. Allgemein unterscheidet man Lagemaße für typische Werte und Dispersionsmaße für die Streuung um diese Werte.

Die Konvergenz von Wahrscheinlichkeitsmaßen heißt schwache Konvergenz oder Konvergenz in Verteilung. Auf ℝ konvergiert P₁,P₂,… genau dann schwach gegen P, wenn die zugehörigen Verteilungsfunktionen F_{Pₙ} an jeder Stetigkeitsstelle von F_P punktweise gegen F_P konvergieren. Entsprechend konvergieren Zufallsvariablen Xₙ in Verteilung gegen X, wenn F_{Xₙ} dort gegen F_X konvergiert. Diese Charakterisierung folgt aus dem Satz von Helly-Bray; weitere äquivalente Aussagen sammelt das Portmanteau-Theorem.

Auf einem metrischen Raum Ω mit borelscher σ-Algebra gilt allgemein Pₙ→P schwach, wenn für jede beschränkte stetige Funktion f∈C_b(Ω) limₙ→∞∫_Ω f dPₙ=∫_Ω f dP. Für Zufallsvariablen lautet die entsprechende Bedingung limₙ→∞E(f∘Xₙ)=E(f∘X). Diese Konvergenz ist von der Konvergenz in Wahrscheinlichkeit, im p-ten Mittel und der fast sicheren Konvergenz zu unterscheiden.

Räume von Wahrscheinlichkeitsmaßen

Die Menge 𝓜₁⁺(Ω,Σ) aller Wahrscheinlichkeitsmaße ist in die Mengen der Sub-Wahrscheinlichkeitsmaße, der endlichen positiven Maße und der endlichen signierten Maße eingebettet: 𝓜₁⁺⊂𝓜≤1⁺⊂𝓜_f⁺⊂𝓜_f. Sie ist kein Vektorraum, kann aber mit dem Totalvariationsabstand d_TV(P₁,P₂)=‖P₁−P₂‖_TV als metrischer Raum betrachtet werden. In einer dominierten Verteilungsklasse, deren Maße alle Dichten bezüglich desselben σ-endlichen Maßes besitzen, ist Konvergenz im Totalvariationsabstand zur Konvergenz im Hellingerabstand äquivalent.

Auf metrischen Grundräumen erzeugt die schwache Konvergenz eine Hausdorff-Topologie auf den Wahrscheinlichkeitsmaßen. Der schwache Grenzwert von Wahrscheinlichkeitsmaßen ist wieder ein Wahrscheinlichkeitsmaß. Konvergenz im Totalvariationsabstand impliziert schwache Konvergenz, aber im Allgemeinen nicht umgekehrt. Auch die Prochorow-Metrik kann verwendet werden; auf allgemeinen metrischen Räumen impliziert ihre Konvergenz die schwache Konvergenz.

Ist Ω separabel, ist auch der Raum der Wahrscheinlichkeitsmaße mit der Prochorow-Metrik separabel. Zudem sind dann Prochorow-Konvergenz und schwache Konvergenz äquivalent; die Prochorow-Metrik metrisiert also die schwache Topologie. Ist Ω ein polnischer Raum, also separabel und vollständig metrisierbar, dann ist auch der Raum der endlichen positiven Maße mit der Prochorow-Metrik polnisch. Da die Wahrscheinlichkeitsmaße darin eine abgeschlossene Teilmenge bilden, ist auch ihr Raum polnisch.