Wahrscheinlichkeitsdichtefunktion

Kernidee und Definition

Eine Wahrscheinlichkeitsdichtefunktion, kurz Dichtefunktion, Wahrscheinlichkeitsdichte, Verteilungsdichte oder Dichte, ist eine reellwertige Funktion der Stochastik. Sie wird genutzt, um Wahrscheinlichkeitsverteilungen mit Integralen zu beschreiben und zu untersuchen. Wichtig ist: Der einzelne Funktionswert ist nicht direkt eine Wahrscheinlichkeit. Entscheidend ist die Fläche unter dem Graphen der Funktion. Die Wahrscheinlichkeit, dass eine Zufallsvariable einen Wert zwischen a und b annimmt, entspricht dem Integral der Dichte über dieses Intervall.

Im stetigen Fall kann jeder einzelne konkrete Wert die Wahrscheinlichkeit 0 haben, obwohl ganze Intervalle positive Wahrscheinlichkeit besitzen. Zum Beispiel kann man die Wahrscheinlichkeit für eine Körpergröße zwischen 1,80 m und 1,81 m bestimmen, obwohl unendlich viele Werte in diesem Intervall liegen.

Zur Konstruktion einer Wahrscheinlichkeitsverteilung gilt: Eine Funktion f: R → R heißt Wahrscheinlichkeitsdichtefunktion, wenn f(x) ≥ 0 für alle x ∈ R gilt, f integrierbar ist und ∫ von −∞ bis ∞ f(x) dx = 1 erfüllt ist. Dann definiert sie durch P([a,b]) := ∫ von a bis b f(x) dx eine Wahrscheinlichkeitsverteilung auf den reellen Zahlen.

Umgekehrt kann eine Dichte aus einer Wahrscheinlichkeitsverteilung P oder einer reellwertigen Zufallsvariable X abgeleitet werden. Existiert eine Funktion f, sodass für alle a ∈ R gilt: P((−∞,a]) = ∫ von −∞ bis a f(x) dx beziehungsweise P(X ≤ a) = ∫ von −∞ bis a f(x) dx, dann heißt f die Wahrscheinlichkeitsdichtefunktion von P beziehungsweise von X.

Existenz, Eindeutigkeit und Integrale

Streng genommen ist das Integral in der Definition ein Lebesgue-Integral bezüglich des Lebesgue-Maßes λ. In vielen Anwendungen reicht das gewöhnliche Riemann-Integral aus, weshalb meist dx geschrieben wird. Der maßtheoretische Hintergrund ist wichtig, weil Wahrscheinlichkeitsdichten allgemein Dichtefunktionen bezüglich des Lebesgue-Maßes sind.

Eine durch eine Dichte konstruierte Wahrscheinlichkeitsverteilung ist tatsächlich eine Wahrscheinlichkeitsverteilung: Aus der Normierung folgt P(R) = 1, aus der Nichtnegativität der Funktion folgen nichtnegative Wahrscheinlichkeiten, und die σ-Additivität folgt aus maßtheoretischen Sätzen. Die so definierte Wahrscheinlichkeitsverteilung ist eindeutig.

Nicht jede Wahrscheinlichkeitsverteilung besitzt eine Wahrscheinlichkeitsdichtefunktion. Nach dem Satz von Radon-Nikodým besitzt eine Wahrscheinlichkeitsverteilung P genau dann eine Wahrscheinlichkeitsdichtefunktion, wenn sie absolut stetig bezüglich des Lebesgue-Maßes λ ist. Das bedeutet: Aus λ(A) = 0 muss immer P(A) = 0 folgen.

Eine Dichte ist nicht eindeutig als konkrete Funktion an jedem Punkt: Mehrere Dichten können dieselbe Verteilung beschreiben, wenn sie sich nur auf einer Menge vom Lebesgue-Maß 0 unterscheiden. Sie sind dann fast überall identisch. Deshalb ändern einzelne Punktwerte nichts an der beschriebenen Verteilung. Diskrete Wahrscheinlichkeitsverteilungen besitzen keine Wahrscheinlichkeitsdichtefunktion, weil sie für mindestens einen Punkt {k} eine positive Wahrscheinlichkeit P({k}) > 0 haben, während solche Punktmengen Lebesgue-Maß 0 besitzen.

Wahrscheinlichkeiten und Verteilungsfunktion

Für eine Zufallsvariable X mit Dichte f berechnet man Intervallwahrscheinlichkeiten durch Integration: P(X ∈ [a,b]) = ∫ von a bis b f(x) dx. Diese Formel gilt ebenso für (a,b), (a,b] und [a,b), weil bei stetigen Zufallsvariablen für jeden einzelnen Wert x gilt: P(X = x) = 0. Daher ist P(a ≤ X ≤ b) = P(a < X ≤ b) = P(a ≤ X < b) = P(a < X < b).

Für allgemeinere Mengen A schreibt man P(X ∈ A) = ∫_A f(x) dx. Sind A1, A2, A3, ... paarweise disjunkte Intervalle und ist A ihre Vereinigung, dann kann man wegen der σ-Additivität die Einzelwahrscheinlichkeiten addieren. Für Intervalle Ai = (ai,bi) gilt dann P(A) = Σ von i=1 bis ∞ ∫ von ai bis bi f(x) dx.

Die Verteilungsfunktion F einer Zufallsvariablen oder Wahrscheinlichkeitsverteilung mit Dichte wird ebenfalls durch Integration gebildet: F_X(x) = ∫ von −∞ bis x f_X(t) dt beziehungsweise F_P(x) = ∫ von −∞ bis x f_P(t) dt. Solche Verteilungsfunktionen sind immer stetig.

Ist eine Verteilungsfunktion F differenzierbar, dann ist ihre Ableitung eine Dichtefunktion: F′(x) = dF(x)/dx = f(x). Dieser Zusammenhang bleibt auch gültig, wenn F stetig ist und höchstens abzählbar viele Stellen nicht differenzierbar sind; die Werte der Dichte an diesen Stellen sind unerheblich. Allgemein existiert eine Dichtefunktion genau dann, wenn F absolut stetig ist. Eine nur stetige und fast überall differenzierbare Verteilungsfunktion reicht nicht immer aus; die Cantor-Verteilung ist ein Beispiel ohne Wahrscheinlichkeitsdichte.

Kennzahlen aus der Dichte

Viele Kennzahlen einer Verteilung lassen sich direkt aus der Dichte bestimmen. Der Modus ist ein Wert x_mod, an dem die Dichte f ein lokales Maximum besitzt. Das heißt: Für ein ε > 0 gilt f(x) ≤ f(x_mod) für alle x im Intervall (x_mod − ε; x_mod + ε). Eine Verteilung kann einen, mehrere oder sogar unendlich viele Modi haben.

Ein Median ist ein Wert x_med, für den links und rechts jeweils die Wahrscheinlichkeit 1/2 liegt: ∫ von −∞ bis x_med f(x) dx = 1/2 und ∫ von x_med bis +∞ f(x) dx = 1/2. Wegen der Stetigkeit der zugehörigen Verteilungsfunktion existiert in diesem Fall immer ein Median, er ist aber nicht immer eindeutig.

Der Erwartungswert einer Zufallsvariable X mit Dichte f_X ist E(X) = ∫ von −∞ bis +∞ x f_X(x) dx, falls dieses Integral existiert. Ist μ = E(X), dann lautet die Varianz Var(X) = E((X − μ)^2) = ∫ von −∞ bis +∞ (x − μ)^2 f_X(x) dx. Alternativ gilt der Verschiebungssatz: Var(X) = E(X^2) − (E(X))^2 = ∫ von −∞ bis ∞ x^2 f_X(x) dx − μ^2. Die Standardabweichung ist die Wurzel aus der Varianz.

Auch höhere Momente werden durch Integrale beschrieben. Das k-te Moment ist m_k = ∫ von −∞ bis +∞ x^k f_X(x) dx, das k-te absolute Moment M_k = ∫ von −∞ bis +∞ |x|^k f_X(x) dx. Zentrale Momente verwenden statt x die Abweichung x − μ; über sie können Schiefe und Wölbung bestimmt werden.

Für nichtlineare Transformationen Y = g(X) gilt E(Y) = E(g(X)) = ∫ von −∞ bis ∞ g(x) f(x) dx. Man muss dafür die Dichte von Y selbst nicht berechnen. Sind X und Y stochastisch unabhängig und besitzen Dichten f_X und f_Y, dann hat die Summe X + Y die Dichte f_X+Y = f_X * f_Y, also die Faltung der beiden Dichten.

Typische Beispiele und mehrdimensionale Fälle

Ein wichtiges Beispiel ist die Exponentialverteilung mit Parameter λ > 0. Ihre Dichte lautet f_λ(x) = λ e^(−λx) für x ≥ 0 und f_λ(x) = 0 für x < 0. Für λ > 1 ist der Funktionswert bei x = 0 größer als 1. Das ist erlaubt, weil nicht der Funktionswert, sondern die Fläche unter der Dichte eine Wahrscheinlichkeit ist.

Bei der stetigen Gleichverteilung auf [0,1] gilt P([a,b]) = b − a für a ≤ b und a,b ∈ [0,1]. Eine passende Dichte ist f(x) = 1 für x ∈ [0,1] und f(x) = 0 sonst. Auch f(x) = 1 für x ∈ (0,1) und f(x) = 0 sonst beschreibt dieselbe Verteilung, weil sich beide Funktionen nur auf einer Lebesgue-Nullmenge unterscheiden.

Ein Anwendungsbeispiel ist die Zeit zwischen zwei Anrufen in einem Callcenter. Sie wird ungefähr exponentialverteilt mit Parameter λ modelliert; λ entspricht der mittleren Anzahl von Anrufen pro Zeiteinheit. Die Wahrscheinlichkeit, dass der nächste Anruf zwischen 1 und 2 Zeiteinheiten nach dem vorherigen eintritt, ist P(X ∈ [1,2]) = ∫ von 1 bis 2 λ e^(−λx) dx = −e^(−2λ) + e^(−λ). Die Wahrscheinlichkeit, dass in den nächsten 5 Zeiteinheiten kein Anruf verpasst wird, also X ≥ 5 gilt, ist P(X ≥ 5) = e^(−5λ).

Ein weiteres Beispiel ist f(x) = 3x^2 für x ∈ [0,1] und f(x) = 0 sonst. Diese Funktion ist nichtnegativ und erfüllt ∫ von −∞ bis ∞ f(x) dx = ∫ von 0 bis 1 3x^2 dx = 1. Für 0 ≤ x ≤ 1 ist die Verteilungsfunktion F(x) = x^3; daher gilt P(X ≤ 1/2) = F(1/2) = 1/8. Der Erwartungswert ist E(X) = ∫ von 0 bis 1 3x^3 dx = 3/4.

Dichten gibt es auch für mehrdimensionale Zufallsvariablen, also Zufallsvektoren. Für eine R^n-wertige Zufallsvariable X heißt f: R^n → [0,∞) Dichte, wenn für alle Borelmengen A gilt: P(X ∈ A) = ∫_A f(x) d^n x. Für mehrdimensionale Intervalle berechnet man Wahrscheinlichkeiten durch Mehrfachintegrale. Ist die mehrdimensionale Verteilungsfunktion F n-mal stetig differenzierbar, erhält man die Dichte durch partielle Differentiation. Die Komponenten X1, ..., Xn sind genau dann unabhängig, wenn die gemeinsame Dichte als Produkt f1(x1) · ... · fn(xn) der Dichten der Komponenten geschrieben werden kann.

Aus diskreten Messdaten, die eigentlich stetige Größen beschreiben, kann man Dichten schätzen. Ein Histogramm ist eine stückweise konstante Schätzung der Dichtefunktion. Alternativ können Kerndichteschätzer eine stetige Funktion liefern; der verwendete Kern sollte dem erwarteten Messfehler entsprechen.