Effizienz (Statistik)

Kernbedeutung und Einordnung

Effizienz ist ein zentrales Gütekriterium der mathematischen Statistik. Sie dient dazu, Punktschätzer miteinander zu vergleichen. Ein Punktschätzer ist eine Schätzfunktion, die anhand einer Stichprobe einen unbekannten Parameter schätzt. Neben Konsistenz, Suffizienz und (asymptotischer) Erwartungstreue gehört die Effizienz zu den vier gebräuchlichen Gütekriterien von Punktschätzern.

Die verwendete Definition ist in der Literatur nicht einheitlich. Deshalb muss stets geprüft werden, wie der jeweilige Autor den Begriff definiert. Wichtige Unterscheidungen sind:

• Effizienz kann für endliche Stichprobengrößen oder erst asymptotisch, also im Grenzwert, betrachtet werden.
• Manche Definitionen gelten nur für erwartungstreue Schätzer, andere auch für verzerrte Schätzer.
• Wird die Cramér-Rao-Ungleichung verwendet, gilt die Betrachtung nur in regulären statistischen Modellen; man spricht dann von Cramér-Rao-Effizienz.
• Absolute Effizienz bedeutet, dass ein Schätzer in einer festgelegten Klasse besser ist als alle anderen Schätzer. Relative Effizienz bedeutet, dass er nur gegenüber einem bestimmten Vergleichsschätzer besser ist.

Im erwartungstreuen Fall ist die Varianz das zentrale Vergleichskriterium. Bei nicht erwartungstreuen Schätzern verwendet man den mittleren quadratischen Fehler oder allgemeiner Risikofunktionen, die aus vorgegebenen Verlustfunktionen gewonnen werden.

Idee: Vergleich über die Varianz

Die Effizienz bezieht sich grundsätzlich auf die Varianz einer Schätzfunktion. Je kleiner ihre Varianz ist, desto näher liegt ein aus einer Stichprobe berechneter Schätzwert im Mittel am wahren Parameter.

Sind T₁ und T₂ zwei erwartungstreue Schätzfunktionen für denselben unbekannten Parameter, so heißt der Schätzer mit der kleineren Varianz relativ effizienter. Für das Schätzproblem würde man diesen Schätzer bevorzugen. Die Cramér-Rao-Ungleichung besagt, dass es für viele Schätzprobleme eine untere Grenze für die Varianz einer erwartungstreuen Schätzfunktion gibt. Wird diese minimale Varianz erreicht, kann kein anderer erwartungstreuer Schätzer eine kleinere Varianz besitzen. Ein solcher Schätzer heißt absolut effizient; bei Bezug auf die Cramér-Rao-Ungleichung genauer Cramér-Rao-effizient.

Beispiel mit drei Beobachtungen

Für unabhängige Stichprobenvariablen Xᵢ mit E(Xᵢ) = μ und Var(Xᵢ) = σ² werden zwei Schätzfunktionen für den unbekannten Parameter μ verglichen:

T₁(X₁, X₂, X₃) = 1/3 · (X₁ + X₂ + X₃)

T₂(X₁, X₂, X₃) = 1/3 · (X₁ + 2 · X₃)

Beide Schätzfunktionen sind erwartungstreu, denn E(Tⱼ(X₁, X₂, X₃)) = μ. Ihre Varianzen unterscheiden sich jedoch. Für T₁ gilt:

Var(T₁) = 1/9 · (Var(X₁) + Var(X₂) + Var(X₃)) = 1/3 · σ².

Für T₂ gilt:

Var(T₂) = 1/9 · (Var(X₁) + 4 · Var(X₃)) = 5/9 · σ².

Damit ist Var(T₁) = 1/3 · σ² < 5/9 · σ² = Var(T₂). Folglich ist T₁ effizienter als T₂, weil seine Varianz kleiner ist.

Formale Definitionen

Sei T(X) ein erwartungstreuer Schätzer für den unbekannten Parameter ϑ in einer Familie von Wahrscheinlichkeitsdichten. Sei I(ϑ) die zur Dichte ∏ᵢ₌₁ⁿ fϑ(xᵢ) gehörige Fisher-Information. Dann ist die Effizienz definiert als

e(T(X)) = 1 / (I(ϑ) · Varϑ(T(X))).

Beim Vergleich zweier erwartungstreuer Schätzer ist derjenige effizienter, der den höheren Wert e(Tᵢ(X)) und damit die kleinere Varianz besitzt. Unter den Regularitätsbedingungen der Cramér-Rao-Ungleichung ist e(T(X)) nach oben durch 1 beschränkt. Ein Schätzer ist dann effizient beziehungsweise Cramér-Rao-effizient, wenn e(T(X)) = 1 gilt. Dies entspricht Varϑ(T(X)) = I(ϑ)⁻¹ und stellt unter den erforderlichen Bedingungen die bestmögliche Varianz eines Schätzers dar.

Für einen nicht erwartungstreuen Schätzer T wird die Effizienz definiert durch

e(T(X)) = ((∂/∂ϑ) Eϑ[T(X)])² / (I(ϑ) · Varϑ(T(X))).

Die Definition für erwartungstreue Schätzer ergibt sich daraus als Spezialfall, weil bei Erwartungstreue Eϑ[T(X)] = ϑ gilt und die Ableitung des Erwartungswerts nach ϑ gleich 1 ist.

Asymptotische Effizienz

Oft genügt es, dass ein Schätzer asymptotisch effizient ist. Das bedeutet, dass die optimale Varianz erst im Grenzwert für wachsende Stichprobengröße erreicht wird. Formal soll gelten:

√n · (T(X) − ϑ) →ᴰ 𝒩(0, I₁(ϑ)⁻¹).

Dabei bezeichnet →ᴰ die Konvergenz in Verteilung gegen eine normalverteilte Zufallsvariable, 𝒩(0, I₁(ϑ)⁻¹) die Normalverteilung mit Erwartungswert 0 und Varianz I₁(ϑ)⁻¹ und I₁(ϑ) die Fisher-Information der Dichte fϑ(x) für eine einzelne Beobachtung. Für die gesamte Stichprobe gilt I(ϑ) = n · I₁(ϑ).

Für asymptotisch effiziente Schätzer gilt limₙ→∞ e(T) = 1. Typische Beispiele sind Schätzer, die mithilfe der Maximum-Likelihood-Methode gewonnen werden.