Likelihood-Quotienten-Test

Grundidee und Bedeutung

Der Likelihood-Quotienten-Test (LQT), auch Plausibilitätsquotiententest, ist ein statistischer Hypothesentest für parametrische Modelle. Parametrisch bedeutet: Die betrachteten Wahrscheinlichkeitsverteilungen hängen von einem unbekannten Parameter \theta ab. Der Test prüft, ob die beobachteten Daten besser zur Nullhypothese oder zur allgemeineren Parametermenge passen.

Viele klassische Tests können als Likelihood-Quotienten-Tests verstanden werden, etwa der F-Test für den Varianzenquotienten oder der Zwei-Stichproben-t-Test. Ein besonders einfaches Beispiel ist der Neyman-Pearson-Test. Der Artikel weist außerdem darauf hin, dass er nicht ausreichend mit Belegen ausgestattet ist.

Formale Definition

Gegeben ist eine Familie von Wahrscheinlichkeitsverteilungen P_{\theta}, wobei der unbekannte Parameter \theta aus einem bekannten Parameterraum \Theta stammt. Die Nullhypothese lautet

H_0: \theta \in \Theta_0,

wobei \Theta_0 eine echte Teilmenge von \Theta ist. Die Alternative lautet

H_1: \theta \in \Theta_1,

wobei \Theta_1 das Komplement von \Theta_0 in \Theta ist.

Die Daten bestehen aus unabhängigen Zufallsvariablen X_1,\dotsc,X_n, die jeweils die unbekannte Verteilung P_{\theta} besitzen. Für beobachtete Daten x=(x_1,\dotsc,x_n) betrachtet man die zu den Parametern gehörenden Dichtefunktionen f^{X_1,\dotsc,X_n}(\cdot;\theta). Der Likelihood-Quotient ist

\Lambda(x):=\frac{\sup_{\theta\in\Theta_0} f^{X_1,\dotsc,X_n}(x_1,\dotsc,x_n;\theta)}{\sup_{\theta\in\Theta} f^{X_1,\dotsc,X_n}(x_1,\dotsc,x_n;\theta)}.

Dabei steht im Zähler die bestmögliche Anpassung der Daten unter der Nullhypothese, im Nenner die bestmögliche Anpassung unter dem gesamten Parameterraum. Ein Wert von \Lambda(x) nahe bei 1 bedeutet: Die Daten sprechen nicht stark gegen H_0. Je größer der Quotient ist, desto schwächer ist also die Evidenz gegen die Nullhypothese.

Entscheidungsregel

Ein Likelihood-Quotienten-Test zum Niveau \alpha verwirft die Nullhypothese H_0, wenn

\Lambda(x)<k_{\alpha}^{*}

gilt. Der kritische Wert k_{\alpha}^{*} muss so gewählt werden, dass

\sup_{\theta\in\Theta_0} P_{\theta}(\Lambda(X)<k_{\alpha}^{*})=\alpha

gilt. Das Niveau \alpha begrenzt also die maximale Wahrscheinlichkeit, die Nullhypothese fälschlich zu verwerfen, wenn sie tatsächlich gilt. Die konkrete Bestimmung des kritischen Werts ist laut Artikel in der Regel problematisch.

Normalverteiltes Beispiel

Ein Beispiel betrachtet unabhängige Zufallsvariablen X_1,\dotsc,X_n, die jeweils normalverteilt sind. Die Varianz \sigma^2 ist bekannt, der Erwartungswert \mu ist unbekannt. Getestet wird

H_0: \mu=\mu_0

gegen

H_1: \mu=\mu_1

mit \mu_0<\mu_1. Der Likelihood-Quotient lautet

\Lambda(X)=\exp\left(\frac{1}{\sigma^2}\sum_{l=1}^{n}X_l(\mu_1-\mu_0)\right)k(\mu_0,\mu_1,\sigma^2),

wobei

k(\mu_0,\mu_1,\sigma^2)=\exp\left(-\frac{n}{2\sigma^2}(\mu_1^2-\mu_0^2)\right)

eine Konstante ist, die nicht von den konkreten Daten abhängt. Daraus folgt, dass \Lambda(X)>\tilde c äquivalent ist zu

\frac{1}{n}\sum_{i=1}^{n}X_i>c.

Damit erhält man den bekannten Gauß-Test. Der kritische Wert wird gewählt als

c=\mu_0+\frac{\sigma}{\sqrt n}u_{1-a},

wobei u_{1-a} das (1-\alpha)-Quantil einer Standardnormalverteilung bezeichnet.

Chi-Quadrat-Approximation

Da die Teststatistik \Lambda(X) oft schwer direkt zu behandeln ist, kann sie unter bestimmten Voraussetzungen durch eine Chi-Quadrat-Verteilung angenähert werden. Dadurch lassen sich asymptotische Tests herleiten, also Tests, deren Begründung für große Stichproben gilt.

Eine wichtige Voraussetzung ist, dass die Nullhypothese als Spezialfall der Alternativhypothese darstellbar ist, häufig durch eine lineare Parameter-Transformation. Präziser: Der Parameterraum der Alternative sei \Theta\subset\mathbb R^d, der Parameterraum der Nullhypothese sei \Delta\subset\mathbb R^c, beide Mengen seien offen, und es gelte c<d. Außerdem gebe es eine zweimal stetig differenzierbare Abbildung h:\Delta\rightarrow\Theta mit h(\Delta)=\Theta_0, deren Jacobi-Matrix h'(\eta) für jedes \eta\in\Delta vollen Rang besitzt.

Dann gilt

T_n:=-2\log\Lambda(X)\rightarrow\chi^2_{d-c},

wobei die Zufallsvariablen in Verteilung konvergieren. Die Freiheitsgrade der Chi-Quadrat-Verteilung sind also d-c. Die Beweisidee nutzt Aussagen über Maximum-Likelihood-Schätzer und deren Konvergenz gegen eine normalverteilte Zufallsvariable, deren Varianz das Inverse der Fisher-Information ist.

Münzwurf-Beispiel

Ein zweites Beispiel prüft, ob zwei Münzen dieselbe Wahrscheinlichkeit für Kopf haben. Die Nullhypothese lautet p=q, die Alternativhypothese lautet p\neq q. Die erste Münze wird N-mal geworfen und zeigt n-mal Kopf; die zweite Münze wird M-mal geworfen und zeigt m-mal Kopf.

Unter der Nullhypothese haben beide Münzen dieselbe Kopf-Wahrscheinlichkeit r. Die Likelihood-Funktion ist

L_{H0}(n,m)=r^n(1-r)^{N-n}r^m(1-r)^{M-m}=r^{n+m}(1-r)^{N-n+M-m}.

Mit der Log-Likelihood-Funktion erhält man die Schätzung

\hat r=(n+m)/(N+M).

Unter der Alternativhypothese haben die Münzen unterschiedliche Kopf-Wahrscheinlichkeiten p und q. Die Likelihood-Funktion ist

L_{H1}(n,m)=p^n(1-p)^{N-n}q^m(1-q)^{M-m}.

Daraus folgen die Schätzungen

\hat p=n/N und \hat q=m/M.

Damit ergibt sich der Likelihood-Quotient

\Lambda(n,m)=\frac{\left(\frac{n+m}{N+M}\right)^{n+m}\left(1-\frac{n+m}{N+M}\right)^{N-n+M-m}}{\left(\frac nN\right)^n\left(1-\frac nN\right)^{N-n}\left(\frac mM\right)^m\left(1-\frac mM\right)^{M-m}}.

Als Prüfwert verwendet man -2\log(\Lambda(m,n)) und vergleicht ihn mit einem kritischen Wert aus der \chi^2_1-Verteilung. Die Anzahl der Freiheitsgrade ist 2-1=1, weil die Alternativhypothese zwei Parameter p,q und die Nullhypothese einen Parameter r besitzt.