Regressionsparameter – einfach erklärt

Grundidee

Regressionsparameter, auch Regressionskoeffizienten oder Regressionsgewichte genannt, sind die Parameter einer Regressionsgleichung. In einem linearen Regressionsmodell beschreiben die Koeffizienten der Regressoren, wie sich der bedingte Erwartungswert der abhängigen Variablen verändert, wenn sich ein bestimmter Regressor ändert und die übrigen Regressoren konstant gehalten werden.

Bei einer multiplen linearen Regression können neben unstandardisierten auch standardisierte Regressionskoeffizienten betrachtet werden. Das ist besonders hilfreich, wenn Regressoren in unterschiedlichen Einheiten gemessen werden, weil standardisierte Koeffizienten nicht mehr von diesen Maßeinheiten abhängen.

Lineares Modell und Schätzung

Ein multiples lineares Modell kann geschrieben werden als y_i = β_0 + x_i1β_1 + ... + x_ikβ_k + ε_i = x_i^Tβ + ε_i. In Matrixschreibweise lautet es y = Xβ + ε.

Der Parameter β_0 heißt Niveauparameter, Achsenabschnitt, Absolutglied, Regressionskonstante oder Konstante. Die Parameter β_1, ..., β_k heißen Steigungsparameter oder Steigungskoeffizienten. Die ε_i sind Störgrößen.

Die β_j sind unbekannte Parameter der Grundgesamtheit. Sie werden anhand einer Stichprobe geschätzt; Schätzwerte werden zum Beispiel als β̂_j oder b_j geschrieben. Bei der Methode der kleinsten Quadrate werden die Koeffizienten so bestimmt, dass die Summe der quadrierten Residuen minimiert wird. Residuen sind die Abweichungen zwischen beobachteten und durch das Modell vorhergesagten Werten.

Untransformierte Variablen

Wenn die abhängige Variable und die erklärenden Variablen untransformiert in das Modell eingehen, gilt E(y_i | x_i) = β_0 + x_i1β_1 + ... + x_ikβ_k.

Für den Niveauparameter gilt β_0 = E(y_i | x_i1 = x_i2 = ... = x_ik = 0). Er gibt also den erwarteten Wert der abhängigen Variable an, wenn alle Regressoren den Wert null haben. Diese Interpretation ist aber nur inhaltlich sinnvoll, wenn null für die betreffenden Regressoren eine sinnvolle Ausprägung ist.

Für einen Steigungsparameter gilt β_j = ∂ E(y_i | x_i) / ∂ x_ij für j = 1, ..., k. Das bedeutet: Erhöht sich x_ij ceteris paribus, also bei konstant gehaltenen übrigen Regressoren, um eine Einheit, verändert sich der bedingte Erwartungswert von y_i um β_j Einheiten.

Logarithmierte Variablen

Werden sowohl die abhängige Variable als auch die betrachteten erklärenden Variablen logarithmiert, kann ein Log-Log-Modell zum Beispiel als ln(y_i) = β_0 + β_1 ln(x_i1) + ... + β_k ln(x_ik) + ε_i geschrieben werden. Die logarithmierten Variablen müssen positive Werte annehmen.

In einem solchen Modell lässt sich der Steigungsparameter β_j als Elastizität interpretieren. Eine Erhöhung von x_ij um ein Prozent ist ceteris paribus mit einer Änderung von y_i um ungefähr β_j Prozent verbunden.

Standardisierte Koeffizienten

Standardisierte Regressionskoeffizienten, auch Beta-Gewichte genannt, entstehen aus einer linearen Regression, bei der die abhängige Variable und die metrischen unabhängigen Variablen standardisiert werden. Dadurch hängen die Koeffizienten nicht mehr von den ursprünglichen Maßeinheiten ab.

Bortz und Schuster bezeichnen die standardisierten Stichprobenkoeffizienten mit B_j, um sie von den mit β_j bezeichneten Parametern der Grundgesamtheit zu unterscheiden. Ein standardisierter Regressionskoeffizient kann aus dem unstandardisierten Koeffizienten berechnet werden als B_j = b_j · s_xj / s_y. Dabei ist b_j der unstandardisierte Regressionskoeffizient, s_xj die Standardabweichung des jeweiligen Regressors und s_y die Standardabweichung der abhängigen Variable.

Ein standardisierter Koeffizient von B_j = 0,5 bedeutet: Eine Erhöhung des betreffenden Regressors um eine Standardabweichung ist bei konstant gehaltenen übrigen Regressoren mit einer Erhöhung der abhängigen Variable um 0,5 Standardabweichungen verbunden. Da standardisierte Koeffizienten keine Maßeinheit besitzen, lassen sich verschiedene Koeffizienten innerhalb eines Modells leichter vergleichen.

Der Betrag eines standardisierten Regressionskoeffizienten ist nicht auf eins begrenzt. Ein Koeffizient außerhalb des Intervalls von −1 bis 1 ist deshalb für sich genommen kein Nachweis für Multikollinearität. Multikollinearität wird anhand der Abhängigkeiten zwischen Regressoren oder daraus abgeleiteten Größen wie der Toleranz untersucht. Auch die Deutung standardisierter Koeffizienten als Maß für die relative Bedeutung einzelner Regressoren ist vorsichtig vorzunehmen, weil ihre Größe unter anderem von den Verteilungen der Regressoren in der untersuchten Stichprobe abhängt.

BMI-Beispiel

Bortz und Schuster erläutern die multiple Regression mit einer fiktiven Untersuchung zum Zusammenhang zwischen Body-Mass-Index (BMI), Trainingsintensität und Ernährungsqualität. Die Trainingsintensität wird durch den täglichen Energieverbrauch in Einheiten von 100 Kilojoule gemessen. Die Ernährungsqualität wird durch ein Expertenrating auf einer Skala von 1 bis 10 gemessen.

Für die Trainingsintensität ergibt sich bei konstant gehaltener Ernährungsqualität der unstandardisierte Regressionskoeffizient b_1 = −0,750. Für die Ernährungsqualität beträgt der Koeffizient bei konstanter Trainingsintensität b_2 = −1,032. Die Konstante beträgt 30,2. Die Standardfehler sind 0,281 für die Trainingsintensität und 0,294 für die Ernährungsqualität. Die standardisierten Koeffizienten sind B = −0,454 für die Trainingsintensität und B = −0,597 für die Ernährungsqualität.

Der Wert b_1 = −0,750 bedeutet hier: Eine Erhöhung der Trainingsintensität um eine Einheit, also um einen zusätzlichen Energieverbrauch von 100 Kilojoule pro Tag, ist bei unveränderter Ernährungsqualität mit einer Verringerung des vorhergesagten BMI um 0,75 Punkte verbunden.

Für die Trainingsintensität ergibt sich aus b_1 = −0,750, s_x1 = 2,121 und s_y = 3,504 der standardisierte Koeffizient B_1 = −0,750 · 2,121 / 3,504 = −0,454. Für die Ernährungsqualität ergibt sich gerundet B_2 = −0,597. Die standardisierten Werte sind besser vergleichbar als die unstandardisierten Koeffizienten; aus einem größeren Beta-Gewicht kann aber nicht ohne Weiteres auf eine entsprechend größere inhaltliche Bedeutung des Regressors geschlossen werden.