Bernoulli-Verteilung

Grundidee und Definition

Die Bernoulli-Verteilung beschreibt Zufallsexperimente mit genau zwei möglichen Ausgängen. Meist heißt der eine Ausgang Erfolg und wird als 1 codiert, der andere heißt Misserfolg und wird als 0 codiert. Die Erfolgswahrscheinlichkeit ist p, die Misserfolgswahrscheinlichkeit q = 1 − p.

Eine diskrete Zufallsgröße X mit Werten in {0,1} ist Bernoulli-verteilt mit dem Parameter p ∈ (0,1), wenn

P(X = x) = 1 − p für x = 0, P(X = x) = p für x = 1, P(X = x) = 0 sonst.

Ihre Verteilungsfunktion F(x) = P(X ≤ x) lautet:

F(x) = 0 für x < 0, F(x) = 1 − p für 0 ≤ x < 1, F(x) = 1 für x ≥ 1.

Übliche Schreibweisen sind X ∼ B(p), X ∼ Ber(p) und X ∼ Berₚ. Eine solche Zufallsvariable heißt Bernoulli-Variable; das zugehörige Zufallsexperiment heißt Bernoulli-Experiment oder Bernoulli-Versuch. Eine Folge stochastisch unabhängiger, identisch verteilter Bernoulli-Versuche mit demselben Parameter heißt Bernoulli-Prozess oder bernoullisches Versuchsschema.

Für einige statistische Anwendungen wird der Parameterraum auf [0,1] erweitert. Bei p = 0 liegt sicher eine 0 vor, also P(X = 0) = 1. Bei p = 1 liegt sicher eine 1 vor, also P(X = 1) = 1. Die Verteilung ist dann jeweils zu einer Einpunktverteilung degeneriert.

Typische Beispiele sind ein Münzwurf mit Kopf als Erfolg, wobei p = 1/2 und q = 1/2 gilt, sowie ein Würfelwurf, bei dem nur eine 6 als Erfolg zählt: Dann ist p = 1/6 und q = 5/6.

Lage, Streuung und Form

Für X ∼ Ber(p) mit 0 < p < 1 ist der Erwartungswert, also der langfristige mittlere Wert,

E(X) = p.

Denn E(X) = P(X = 1) · 1 + P(X = 0) · 0 = p. Die Varianz, ein Maß für die Streuung, ist

Var(X) = p(1 − p) = pq.

Dabei gilt E(X²) = p und deshalb Var(X) = E(X²) − E(X)² = p − p² = pq. Die Standardabweichung ist σₓ = √(pq), der Variationskoeffizient ist VarK(X) = √(q/p).

Bei p = 1/2 ist die Verteilung symmetrisch um a = 1/2. Ihre Schiefe, die die Asymmetrie beschreibt, beträgt

v(X) = (1 − 2p)/√(pq) = (q − p)/√(pq).

Der Exzess ist γ(X) = (1 − 6pq)/(pq), die Wölbung β₂(X) = (1 − 3pq)/(pq).

Der Modus ist der wahrscheinlichste Wert: Er ist 0, wenn q > p, und 1, wenn q < p. Für q = p sind 0 und 1 beide Modi. Der Median ist 0 für q > p und 1 für q < p. Falls p = q gilt, ist jeder Wert im Intervall [0,1] ein Median.

Die Entropie als Maß für die Unsicherheit der Verteilung lautet, gemessen in Bit,

H = −q log₂(q) − p log₂(p).

Momente und erzeugende Funktionen

Alle k-ten Momente der Bernoulli-Verteilung sind gleich:

mₖ = E(Xᵏ) = p · 1ᵏ + q · 0ᵏ = p.

Die kumulantenerzeugende Funktion ist

gₓ(t) = ln(peᵗ + q).

Die ersten Kumulanten sind κ₁ = p und κ₂ = pq. Weitere Kumulanten erfüllen die Rekursionsgleichung

κₙ₊₁ = p(1 − p) · dκₙ/dp.

Die wahrscheinlichkeitserzeugende Funktion ist

mₓ(t) = 1 − p + pt.

Die charakteristische Funktion lautet

φₓ(t) = 1 − p + peⁱᵗ,

und die momenterzeugende Funktion ist

Mₓ(t) = 1 − p + peᵗ.

Beziehungen zu anderen Verteilungen

Die Bernoulli-Verteilung steht in enger Beziehung zu mehreren anderen diskreten Wahrscheinlichkeitsverteilungen:

• Sie ist der Spezialfall n = 1 der Binomialverteilung. Die Summe von n unabhängigen Bernoulli-Variablen mit demselben Parameter p ist binomialverteilt. Entsprechend ist die Binomialverteilung die n-fache Faltung der Bernoulli-Verteilung bei gleichem p. Da eine solche Summe im Allgemeinen nicht wieder Bernoulli-verteilt ist, ist die Bernoulli-Verteilung nicht reproduktiv.

• Haben n unabhängige Bernoulli-Variablen unterschiedliche Parameter pᵢ, so ist ihre Summe verallgemeinert binomialverteilt.

• Für n → ∞, pₙ → 0 und limₙ→∞ npₙ = λ > 0 nähert sich die Verteilung der Summe einer Poisson-Verteilung mit dem Parameter λ. Dies folgt aus der Poisson-Approximation der Binomialverteilung.

• Die Bernoulli-Verteilung ist ein Spezialfall der Zweipunktverteilung mit a = 0 und b = 1. Umgekehrt verallgemeinert die Zweipunktverteilung sie auf beliebige Mengen aus zwei Punkten.

• Die Bernoulli-Verteilung mit p = q = 0,5 und die Rademacher-Verteilung können beide einen fairen Münzwurf oder eine faire Ja-Nein-Entscheidung modellieren. Sie unterscheiden sich lediglich in der Codierung der beiden Ergebnisse.

• Bei wiederholten Bernoulli-Versuchen ist die Wartezeit bis zum ersten Erfolg – oder je nach Definition bis zum letzten Misserfolg – geometrisch verteilt.

• Für p = q = 1/2 ist die Bernoulli-Verteilung zugleich die diskrete Gleichverteilung auf {0,1}.

Urnenmodell und Simulation

Ist p = k/n mit k,n ∈ ℕ, kann die Bernoulli-Verteilung durch ein Urnenmodell dargestellt werden. In einer Urne liegen n Kugeln, davon sind genau k rot. Beim einmaligen Ziehen wird eine rote Kugel als Erfolg gewertet. Die Erfolgswahrscheinlichkeit beträgt dann p = k/n.

Zur Computersimulation verwendet man eine stetig gleichverteilte Zufallsvariable U auf [0,1]. Die Variable

Y = 1_{ {U ≥ 1 − p} }

ist Bernoulli-verteilt mit dem Parameter p. Dabei ist die Indikatorvariable gleich 1, wenn die Bedingung erfüllt ist, und sonst gleich 0. Praktisch geht man so vor:

• Erzeuge eine Standardzufallszahl uᵢ aus [0,1].
• Falls uᵢ ≤ 1 − p gilt, gib 0 aus; ansonsten gib 1 aus.

Dieses Verfahren entspricht der Inversionsmethode. Weil sich Bernoulli-Variablen so einfach simulieren lassen, können durch Summieren unabhängiger simulierter Variablen auch binomialverteilte oder verallgemeinert binomialverteilte Zufallsvariablen erzeugt werden.