Stichproben-Regressionsfunktion

Grundidee der Stichproben-Regressionsfunktion

Eine Stichproben-Regressionsfunktion (englisch: sample regression function, SRF), auch empirische Regressionsfunktion, ist die geschätzte Version der Regressionsfunktion der Grundgesamtheit. Sie wird aus einer Stichprobe bestimmt. Die Regressionsfunktion der Grundgesamtheit ist dabei fix, aber unbekannt.

Ist die geschätzte Funktion eine Gerade, heißt sie Stichproben-Regressionsgerade oder empirische Regressionsgerade. Sie wird aus Beobachtungspaaren, die Datenpunkte darstellen, als Kleinste-Quadrate-Regressionsgerade (KQ-Regressionsgerade) gewonnen. Nach dem Kleinste-Quadrate-Kriterium ist sie die bestmögliche Anpassung an die Daten.

Einfache lineare Regression

Bei der einfachen linearen Regression lautet die KQ-Regressionsgerade:

ŷ = Ê(y | X = x) = β̂₀ + β̂₁x.

Sie schätzt die theoretische Regressionsfunktion der Grundgesamtheit:

E(y | X = x) = β₀ + β₁x.

Die geschätzten Parameter heißen empirische Regressionskoeffizienten. Für die Steigung und das Absolutglied gelten:

β̂₁ = SPxy/SQx

β̂₀ = ȳ − β̂₁x̄.

Eine neue Stichprobe kann andere Werte für die Steigung β̂₁ und das Absolutglied β̂₀ liefern. Meist lässt sich die Steigung auch als β̂₁ = Δŷ/Δx schreiben. Sie gibt dann an, wie stark sich die Zielgröße y verändert, wenn sich die Einflussgröße x um eine Einheit erhöht.

Multiple lineare Regression

Für ein multiples lineares Regressionsmodell gilt:

y = Xβ + ε.

Dabei ist β ein p × 1-Vektor unbekannter Regressionsparameter, X eine n × p-Versuchsplanmatrix, y ein n × 1-Vektor der abhängigen Variablen und ε ein n × 1-Vektor der Störgrößen.

Die KQ-Stichproben-Regressionsfunktion, auch Stichproben-Regressionshyperebene, ist:

ŷ = Xβ̂ = X(XᵀX)⁻¹Xᵀy = Py.

Die Matrix P = X(XᵀX)⁻¹Xᵀ heißt Prädiktionsmatrix.