Formelsammlung Stochastik

Grundlagen und Schreibweisen

Die Stochastik umfasst Wahrscheinlichkeitsrechnung, Kombinatorik, Zufallsvariablen, Wahrscheinlichkeitsverteilungen und Statistik. Ein Wahrscheinlichkeitsraum wird als (\Omega,\Sigma,P) geschrieben: \Omega ist der nichtleere Ergebnisraum, \Sigma eine σ-Algebra von Ereignissen und P ein Wahrscheinlichkeitsmaß.

Wichtige Schreibweisen: Zufallsvariablen heißen meist X,Y, ihre beobachteten Werte x_1,\ldots,x_n. Wahrscheinlichkeitsfunktionen und Dichten werden etwa mit f(x), Verteilungsfunktionen mit F(x) bezeichnet. Bei der Standardnormalverteilung heißen Dichte und Verteilungsfunktion \varphi(z) und \Phi(z). Unbekannte Parameter tragen oft griechische Buchstaben wie \theta oder \beta; eine Schätzfunktion wird beispielsweise \hat\theta geschrieben. Das arithmetische Mittel heißt \bar x.

Die Wahrscheinlichkeitsaxiome lauten: 0\le P(A)\le1, P(\Omega)=1, und für paarweise disjunkte Ereignisse ist die Wahrscheinlichkeit ihrer Vereinigung gleich der Summe ihrer Wahrscheinlichkeiten. Daraus folgen P(\emptyset)=0, für A\subset B die Beziehung P(B\setminus A)=P(B)-P(A), ferner P(\bar A)=1-P(A) und P(A\cup B)=P(A)+P(B)-P(A\cap B).

Bei einem Laplace-Experiment sind alle Ergebnisse gleich wahrscheinlich: P(A)=|A|/|\Omega|. Die bedingte Wahrscheinlichkeit ist P(A\mid B)=P(A\cap B)/P(B). Der Satz von Bayes lautet P(B\mid A)=\frac{P(B)P(A\mid B)}{P(B)P(A\mid B)+P(\bar B)P(A\mid\bar B)}. Zwei Ereignisse sind genau dann unabhängig, wenn P(A\cap B)=P(A)P(B).

Kombinatorisches Zählen

Die Fakultät n!=n(n-1)\cdots2\cdot1=n(n-1)! zählt die Anordnungen von n verschiedenen Elementen; dabei gilt 0!=1!=1. Sind unter insgesamt n=r+s+\cdots+t Elementen jeweils r,s,\ldots,t ununterscheidbar, gibt es \frac{n!}{r!s!\cdots t!} Permutationen.

Der Binomialkoeffizient ist \binom nk=\frac{n!}{k!(n-k)!}. Beim Auswählen von k aus n Elementen hängt die Anzahl davon ab, ob die Reihenfolge wichtig ist und Wiederholungen zugelassen sind:

• Variation ohne Wiederholung: \frac{n!}{(n-k)!}=\binom nk k!.
• Variation mit Wiederholung: n^k.
• Kombination ohne Wiederholung: \binom nk.
• Kombination mit Wiederholung: \left(\!\binom nk\!\right)=\binom{n+k-1}{k}=\frac{(n+k-1)!}{(n-1)!k!}.

Zufallsvariablen und Kennwerte

Eine diskrete Zufallsvariable besitzt eine Wahrscheinlichkeitsfunktion f mit f(x)\ge0, \sum_{x\in\mathbb Z}f(x)=1 und P(X=x)=f(x). Ihr Erwartungswert und ihre Varianz sind E(X)=\mu=\sum_x x f(x) und V(X)=\sigma^2=\sum_x(x-\mu)^2f(x). Allgemeiner gilt E(g(X))=\sum_xg(x)f(x).

Eine stetige Zufallsvariable besitzt eine Dichte f mit f(x)\ge0 und \int_{-\infty}^{\infty}f(x)\,dx=1. Dann ist P(a\le X\le b)=\int_a^bf(x)\,dx. Einzelne Werte haben Wahrscheinlichkeit null, weshalb offene und geschlossene Intervallgrenzen dieselbe Wahrscheinlichkeit liefern. Erwartungswert und Varianz entstehen durch die entsprechenden Integrale: E(X)=\int_{-\infty}^{\infty}xf(x)\,dx und V(X)=\int_{-\infty}^{\infty}(x-\mu)^2f(x)\,dx.

Es gelten E(aX+b)=aE(X)+b, E(X+Y)=E(X)+E(Y), V(X)=E(X^2)-E(X)^2 und V(aX+b)=a^2V(X). Für unabhängige Variablen sind die Erwartungswerte eines Produkts und die Varianzen einer Summe jeweils Produkte beziehungsweise Summen der Einzelwerte.

Die Kovarianz misst den gemeinsamen linearen Verlauf: \operatorname{Cov}(X,Y)=E(XY)-E(X)E(Y). Es gilt V(X+Y)=V(X)+V(Y)+2\operatorname{Cov}(X,Y). Die normierte Korrelation ist \varrho(X,Y)=\frac{\operatorname{Cov}(X,Y)}{\sqrt{V(X)}\sqrt{V(Y)}}. Die Tschebyschow-Ungleichung lautet im Artikel P(|X-E(X)|\ge\alpha)\le V(x)/\alpha^2.

Wichtige Verteilungen

Bei einer Binomialverteilung wird ein Bernoulli-Versuch n-mal unabhängig mit konstanter Erfolgswahrscheinlichkeit p und q=1-p wiederholt. Für die Anzahl X der Erfolge gilt P(X=k)=\binom nkp^kq^{n-k}, E(X)=np, V(X)=npq und \sigma=\sqrt{npq}. Falls \sigma>3, liegen ungefähr 0{,}68, 0{,}955 und 0{,}997 der Wahrscheinlichkeit in Radien von 1\sigma, 2\sigma beziehungsweise 3\sigma um den Erwartungswert. Umgekehrt entsprechen 0{,}90, 0{,}95 und 0{,}99 den Radien 1{,}64\sigma, 1{,}96\sigma und 2{,}58\sigma.

Durch X^*=(X-\mu)/\sigma wird eine Verteilung standardisiert; anschließend hat X^* Erwartungswert 0 und Standardabweichung 1. Für eine Binomialverteilung mit n\ge100 und p\le0{,}1 liefert die Poisson-Näherung mit \mu=np: P(X=k)\approx\frac{\mu^k}{k!}e^{-\mu}. Dieselbe Formel definiert die Poisson-Verteilung.

Die Standardnormalverteilung besitzt die Dichte \varphi(x)=\frac1{\sqrt{2\pi}}e^{-x^2/2} und die Verteilungsfunktion \Phi(z)=\int_{-\infty}^z\varphi(x)\,dx. Eine binomialverteilte Variable kann bei \sigma>4, besser bei \sigma>9, nach Moivre und Laplace angenähert werden. Mit Kontinuitätskorrektur gilt etwa P(X=k)\approx\Phi(\frac{k+0{,}5-\mu}{\sigma})-\Phi(\frac{k-0{,}5-\mu}{\sigma}) und P(X\le k)\approx\Phi(\frac{k+0{,}5-\mu}{\sigma}).

Die hypergeometrische Verteilung beschreibt Ziehen ohne Zurücklegen: Unter N Elementen seien K positiv, und eine Stichprobe habe Umfang n. Dann ist P(X=k)=\frac{\binom Kk\binom{N-K}{n-k}}{\binom Nn}. Mit p=K/N gelten E(X)=np und V(X)=np(1-p)\frac{N-n}{N-1}.

Die geometrische Verteilung beschreibt die Zahl W der Versuche bis zum ersten Erfolg: P(W=k)=pq^{k-1}, P(W>k)=q^k, P(W\le k)=1-q^k und E(W)=1/p.

Approximationen und kritische Werte

Verteilungen können unter Bedingungen angenähert werden, wobei die Grenzwerte je nach Lehrbuch etwas abweichen. Eine Binomialverteilung wird für n>10, p<0{,}05 durch Po(\lambda) mit \lambda=np und bei np(1-p)\ge9 durch eine Normalverteilung mit \mu=np, \sigma^2=np(1-p) angenähert. Eine hypergeometrische Verteilung kann bei n/N<0{,}05 binomial angenähert werden. Weitere Bedingungen sind im Artikel: Poisson-Näherung bei n>10 und M/N<0{,}05, Normalapproximation bei n\frac MN(1-\frac MN)\ge9. Für Po(\lambda) gilt die Normalapproximation bei \lambda>9. Chi-Quadrat- und t-Verteilungen werden bei n>30 normal angenähert.

Beim Übergang von diskret zu stetig kommt insbesondere bei \sigma^2\le9 oder n\le60 eine Stetigkeitskorrektur in Betracht: P(a\le X_{diskret}\le b)\approx P(a-0{,}5\le X_{stetig}\le b+0{,}5).

Ein kritischer Wert x_\alpha erfüllt F(x_\alpha)=\alpha. Übliche Bezeichnungen sind z_\alpha für die Standardnormalverteilung, t_{\alpha,\nu} für die t-Verteilung, \chi^2_{\alpha,\nu} für die Chi-Quadrat-Verteilung und F_{\alpha,\nu_1,\nu_2} für die F-Verteilung; \nu bezeichnet Freiheitsgrade.

Beschreibende und schließende Statistik

Die beschreibende Statistik fasst Daten zusammen. Das arithmetische Mittel ist \bar x=\frac1n\sum_{i=1}^nx_i. Der Modus ist die häufigste Ausprägung. Der Median ist bei sortierten Daten der mittlere Wert; bei geradem n ist er der Mittelwert von x_{(n/2)} und x_{(n/2+1)}. Weitere Mittelwerte sind das geometrische Mittel \sqrt[n]{\prod x_i}, das harmonische Mittel \frac n{\sum 1/x_i} und das quadratische Mittel \sqrt{\frac1n\sum x_i^2}.

Die empirische Varianz und Standardabweichung sind s^2=\frac1n\sum(x_i-\bar x)^2=\frac1n\sum x_i^2-\bar x^2 und s=\sqrt{s^2}. Für zwei Merkmale gilt die empirische Kovarianz s_{xy}=\frac1n\sum(x_i-\bar x)(y_i-\bar y) und die Korrelation r_{xy}=s_{xy}/(s_xs_y). Die Regressionsgerade y=ax+b hat a=s_{xy}/s_x^2 und b=\bar y-a\bar x.

Die schließende Statistik verwendet Stichproben, um unbekannte Parameter der Grundgesamtheit zu schätzen: Mittelwert \mu, Varianz \sigma^2, Anteil \pi sowie Regressionsparameter \beta_0,\beta_1. Eine Schätzfunktion beruht auf den Stichprobenvariablen X_1,\ldots,X_n. Für \mu dient \bar X=\frac1n\sum X_i; bei normalverteilten X_i gilt \bar X\sim N(\mu;\sigma^2/n), näherungsweise auch unter den Bedingungen des zentralen Grenzwertsatzes. Ist \mu unbekannt, wird \sigma^2 durch S_n^2=\frac1{n-1}\sum(X_i-\bar X)^2 geschätzt; bei Normalverteilung gilt \frac{(n-1)S_n^2}{\sigma^2}\sim\chi^2_{n-1}.

Punktschätzer liefern einzelne Schätzwerte, etwa \hat\mu=\bar x, \hat\sigma^2=s_n^2 und \hat\pi=p=\frac1n\sum x_i. Ein (1-\alpha)-Konfidenzintervall für \mu ist bei bekanntem \sigma: [\bar X-z_{1-\alpha/2}\sigma/\sqrt n;\bar X+z_{1-\alpha/2}\sigma/\sqrt n]. Bei unbekanntem \sigma werden z und \sigma durch t_{n-1;1-\alpha/2} und S ersetzt. Für Anteilswerte werden approximative Normalintervalle verwendet; beim Ziehen ohne Zurücklegen kommt der Korrekturfaktor (N-n)/(N-1) hinzu. In aus Stichprobendaten berechneten Intervallen wird das unbekannte \pi durch p ersetzt.