Störgröße und Residuum

Störgröße und Residuum: der grundlegende Unterschied

Störgrößen und Residuen beschreiben beide vertikale Abstände in einem Regressionsmodell, sind aber nicht dasselbe.

• Die unbeobachtbare zufällige Störgröße εᵢ misst den vertikalen Abstand zwischen dem Beobachtungspunkt und der theoretischen, „wahren“ Regressionsgeraden der Grundgesamtheit. Sie ist eine Zufallsvariable und wird auch Störvariable, Störterm, Fehlerterm oder kurz Fehler genannt. Störgrößen dürfen nicht mit Störparametern oder Störfaktoren verwechselt werden.
• Das Residuum ε̂ᵢ = yᵢ − ŷᵢ ist eine berechnete Größe. Es misst den vertikalen Abstand zwischen dem beobachteten Wert yᵢ und dem durch die geschätzte Regressionsgerade vorhergesagten Wert ŷᵢ.

Störgrößen enthalten unbeobachtete Faktoren, die sich auf die abhängige Variable auswirken. Sie können außerdem Messfehler in den beobachteten abhängigen oder unabhängigen Variablen enthalten. Für Störgrößen wird gewöhnlich angenommen, dass sie unkorreliert sind, einen Erwartungswert von Null und eine homogene Varianz haben. Diese Voraussetzungen heißen Gauß-Markow-Annahmen.

Die Gauß-Markow-Annahmen beziehen sich jedoch auf die Störgrößen, nicht auf die Residuen. Residuen haben zwar ebenfalls einen Erwartungswert von Null, sind aber nicht unkorreliert und besitzen keine homogene Varianz. Deshalb werden Residuen für die Regressionsdiagnostik häufig angepasst, zum Beispiel zu studentisierten Residuen.

Residuen in der einfachen linearen Regression

Bei der einfachen linearen Regression wird der Zusammenhang zwischen einer abhängigen Variable und einem Regressor durch das Modell

Yᵢ = β₀ + β₁xᵢ + εᵢ

beschrieben. β₀ ist der Achsenabschnitt, β₁ die Steigung, xᵢ der Regressor und εᵢ die Störgröße.

Die gewöhnlichen Residuen lauten:

ε̂ᵢ = yᵢ − ŷᵢ = yᵢ − β̂₀ − β̂₁xᵢ.

Dabei sind ŷᵢ = β̂₀ + β̂₁xᵢ die angepassten Werte (englisch: fitted values). Das Residuum entsteht also, indem vom beobachteten Wert yᵢ ein geschätzter Wert abgezogen wird.

Die Abweichung des beobachteten Wertes vom Mittelwert lässt sich zerlegen:

yᵢ − ȳ = (ŷᵢ − ȳ) + (yᵢ − ŷᵢ).

Dabei ist yᵢ − ȳ die „zu erklärende Abweichung“, ŷᵢ − ȳ die „erklärte Abweichung“ und yᵢ − ŷᵢ das Residuum.

Die Residuen können als Funktion der Störgrößen geschrieben werden:

ε̂ᵢ = εᵢ − (β̂₀ − β₀) − (β̂₁ − β₁)xᵢ.

Enthält das Modell einen von Null verschiedenen Achsenabschnitt, so gilt bei der Kleinste-Quadrate-Regressionsgleichung:

∑ᵢ₌₁ⁿ ε̂ᵢ = 0.

Das bedeutet, dass sich positive und negative Abweichungen von der Regressionsgeraden ausgleichen. Die Kleinste-Quadrate-Regressionsgleichung wird so bestimmt, dass die Residuenquadratsumme minimal ist.

Residualvarianz und Standardfehler

Die Residualvarianz, auch Restvarianz genannt, ist eine Schätzung der Varianz der Regressionsfunktion in der Grundgesamtheit. Unter der Annahme einer konstanten Varianz gilt:

Var(y | X = x) = Var(β₀ + β₁x + ε) = σ² = konst.

Eine durch Maximum-Likelihood-Schätzung gefundene Schätzung ist in der einfachen linearen Regression:

s̃²ε = (1/n) ∑ᵢ₌₁ⁿ ε̂ᵢ² = (1/n) ∑ᵢ₌₁ⁿ (yᵢ − β̂₀ − β̂₁xᵢ)².

Dieser Schätzer erfüllt jedoch nicht die üblichen Qualitätskriterien für Punktschätzer und ist insbesondere nicht erwartungstreu für σ². Erwartungstreu bedeutet hier, dass sein Erwartungswert σ² entspricht.

Unter den Voraussetzungen des klassischen Modells der linearen Einfachregression ist die um die Anzahl der Freiheitsgrade korrigierte Schätzung erwartungstreu:

σ̂² = (1/(n − 2)) ∑ᵢ₌₁ⁿ (yᵢ − β̂₀ − β̂₁xᵢ)².

Sie erfüllt E(σ̂²) = σ². Die positive Quadratwurzel dieser erwartungstreuen Schätzfunktion wird als Standardfehler der Regression bezeichnet.

Residuen in der multiplen linearen Regression

Bei der multiplen linearen Regression wird die einfache Regression auf p Regressoren erweitert. Statt einer Geraden wird eine Hyperebene bestimmt, die durch die Punktwolke verläuft. Bei zwei Regressoren liegen die Beobachtungen bildlich über oder unter der Regressionsebene. Die Differenz zwischen beobachtetem und vorhergesagtem y-Wert ist das Residuum.

Für eine Beobachtung gilt:

ε̂ᵢ = yᵢ − ŷᵢ = yᵢ − β̂₀ − β̂₁xᵢ₁ − β̂₂xᵢ₂ − … − β̂ₖxᵢₖ.

Die durch die Kleinste-Quadrate-Schätzung gewonnenen Residuen heißen gewöhnliche Residuen. Bei n Beobachtungen lassen sie sich in Matrixform schreiben:

ε̂ = y − ŷ = y − Xb = (I − X(XᵀX)⁻¹Xᵀ)y = (I − P)y.

Dabei ist b = (XᵀX)⁻¹Xᵀy der Kleinste-Quadrate-Schätzer. P ist die Prädiktionsmatrix, und Q := (I − P) ist eine Projektionsmatrix, genauer die idempotente und symmetrische Residualmatrix. Mit der Residualmatrix lassen sich die Residuen erzeugen.

Eigenschaften und angepasste Residuen

Die gewöhnlichen Residuen haben im Mittel den Wert 0:

E(ε̂) = 0.

Ihre Kovarianzmatrix ist

Cov(ε̂) = σ²(I − P) = σ²Q.

Sie ist nicht gleich σ²I. Deshalb sind die gewöhnlichen Residuen heteroskedastisch, das heißt, ihre Varianzen sind nicht für alle Beobachtungen gleich. Die Gauß-Markow-Annahme Cov(ε) = σ²I gilt für gewöhnliche Residuen somit nicht. Außerdem sind Residuen mit den vorhergesagten Werten unkorreliert; in Matrixschreibweise gilt ε̂ᵀŷ = 0.

Partielle Residuen werden für partielle Residuen-Streudiagramme verwendet. Für den j-ten Regressor sind sie definiert durch:

ε̂ₓⱼ,ᵢ := yᵢ − β̂₁ − β̂₂xᵢ₂ − … − β̂ⱼ₋₁xᵢ,ⱼ₋₁ − β̂ⱼ₊₁xᵢ,ⱼ₊₁ − … − β̂ₖxᵢ,ₖ = yᵢ − xₜᵀβ̂ + β̂ⱼxᵢⱼ.

Eine wichtige Anpassung sind studentisierte Residuen. Für das einfache Modell sei die Versuchsplanmatrix

X = ((1, x₁), …, (1, xₙ))ᵀ

definiert. Die Prädiktionsmatrix lautet P = X(XᵀX)⁻¹Xᵀ. Die statistischen Hebelwerte pᵢᵢ sind die i-ten Diagonalelemente von P. Für die Varianz des i-ten Residuums gilt:

Var(ε̂ᵢ) = σ²(1 − pᵢᵢ).

Im einfachen Modell mit zwei Spalten der Versuchsplanmatrix ergibt sich:

Var(ε̂ᵢ) = σ²(1 − 1/n − (xᵢ − x̄)² / ∑ᵢ₌₁ⁿ(xᵢ − x̄)²).

Die studentisierten Residuen sind definiert als:

tᵢ = ε̂ᵢ / (σ̂√(1 − pᵢᵢ)).

Sie sind identisch, aber nicht unabhängig verteilt und damit insbesondere homoskedastisch. Sie können daher eine Lösung für die Verletzung der Homoskedastizitätsannahme darstellen.

Residuenquadratsumme

Die Residuenquadratsumme ist die Summe der quadrierten Residuen aller Beobachtungen:

SQR := ∑ᵢ₌₁ⁿ ε̂ᵢ² = ∑ᵢ₌₁ⁿ(yᵢ − ŷᵢ)².

Ihre Minimierung führt zum Kleinste-Quadrate-Schätzer. Die Residuenquadratsumme wird unter anderem beim Bestimmtheitsmaß, bei der F-Statistik und bei verschiedenen Standardfehlern, zum Beispiel dem Standardfehler der Regression, verwendet.