Lineares Modell

Bedeutung des Begriffs

Ein lineares Modell (LM) bezeichnet in der Statistik eine bestimmte Modellklasse. Am häufigsten wird der Begriff in der Regressionsanalyse verwendet und dort meist gleichbedeutend mit „linearem Regressionsmodell“ gebraucht. Auch in der Zeitreihenanalyse kommt die Bezeichnung vor, dort jedoch mit einer anderen Bedeutung.

„Linear“ bedeutet bei der linearen Regression nicht unbedingt, dass die Einflussgrößen selbst nur linear auftreten. Entscheidend ist vielmehr, dass das Modell linear in seinen Regressionsparametern ist.

Aufbau eines linearen Regressionsmodells

Gegeben ist eine Zufallsstichprobe (Y_i;X_{i1},\ldots,X_{ip}),\ i=1,\ldots,n. Die abhängige Variable Y_i wird durch unabhängige Variablen und einen Störterm beschrieben:

Y_i=\beta_0+\beta_1\phi_1(x_{i1})+\ldots+\beta_p\phi_p(x_{ip})+\varepsilon_i,\quad i=1,\ldots,n.

Die \beta_j sind Regressionsparameter, also die zu bestimmenden Koeffizienten. \varepsilon_i sind Störterme und damit Zufallsvariablen. Die Funktionen \phi_1,\ldots,\phi_p dürfen nichtlinear sein. Nicht zulässig wäre dagegen beispielsweise ein Parameter in quadratischer Form wie \beta_j^2, weil das Modell dann nicht mehr linear in den Parametern wäre.

Vorhergesagte Werte der abhängigen Variablen werden geschrieben als:

\widehat{Y}_i=b_0+b_1\phi_1(x_{i1})+\ldots+b_p\phi_p(x_{ip}),\quad i=1,\ldots,n.

Dabei sind b_0,\ldots,b_p Schätzwerte für die Regressionsparameter.

Schätzung mit kleinsten Quadraten

Werden Regressionsparameter und Fehlervarianz mit der Methode der kleinsten Quadrate geschätzt, wird die Summe der quadrierten Abweichungen minimiert:

Q=\sum_{i=1}^{n}\left(Y_i-\beta_0-\beta_1\phi_1(x_{i1})-\ldots-\beta_p\phi_p(x_{ip})\right)^2\rightarrow\mathrm{Min!}

Die Linearität zeigt sich dabei in drei Eigenschaften: Die zu minimierende Funktion ist quadratisch in den Regressionskoeffizienten \beta_j. Ihre Ableitungen sind lineare Funktionen von \beta_j, wodurch sich die Parameterschätzer einfach bestimmen lassen. Außerdem sind die Parameterschätzer b_0,\ldots,b_p lineare Funktionen der Zufallsvariablen Y_i.