Wikipedia · einfach zusammengefasst · Stand
Bestimmtheitsmaß
Das Bestimmtheitsmaß gibt allerdings nur Auskunft über die Stärke des Zusammenhangs, nicht über Kausalität. Das Bestimmtheitsmaß zeigt zwar die „Qualität …
Inhalt5 Abschnitte
Grundidee und Definition
Das Bestimmtheitsmaß, auch Determinationskoeffizient genannt, ist eine dimensionslose Kennzahl zur Beurteilung der globalen Anpassungsgüte eines Regressionsmodells. Es wird meist als R² („R-Quadrat“) bezeichnet. Es misst, welcher Anteil der Streuung der abhängigen Variablen durch das Regressionsmodell erklärt wird. R² ist jedoch ein reines Zusammenhangsmaß: Es weist weder einen kausalen Zusammenhang nach noch zeigt es, ob der Zusammenhang statistisch signifikant ist.
Bei n Messungen (xᵢ, yᵢ) beschreibt ŷᵢ den vom Modell geschätzten Wert und ε̂ᵢ = yᵢ − ŷᵢ das Residuum, also die Abweichung zwischen Messwert und Schätzwert. Bei der einfachen linearen Regression lautet die Regressionsfunktion ŷ = β₀ + β₁x. β₀ ist das Absolutglied, β₁ die Steigung; beide werden typischerweise mit der Kleinste-Quadrate-Methode geschätzt.
Für ein Modell mit Absolutglied gilt die Quadratsummenzerlegung SQT = SQE + SQR. Dabei ist SQT = Σ(yᵢ − ȳ)² die totale Quadratsumme, SQE = Σ(ŷᵢ − ȳ)² die erklärte Quadratsumme und SQR = Σ(yᵢ − ŷᵢ)² die Residuenquadratsumme. Die Standarddefinition lautet R² = SQE/SQT. Sie gibt den Anteil der Gesamtstreuung an, der durch das Modell erklärt wird. Äquivalent gilt bei einem linearen Modell mit geschätztem Absolutglied: R² = 1 − SQR/SQT.
In der einfachen linearen Regression entspricht R² dem Quadrat des Bravais-Pearson-Korrelationskoeffizienten: R² = rₓᵧ². In der multiplen linearen Regression mit yᵢ = β₀ + xᵢ₁β₁ + … + xᵢₖβₖ + εᵢ ist R² dagegen das Quadrat der Korrelation zwischen den beobachteten Werten yᵢ und den geschätzten Werten ŷᵢ.
Quadratsummen, Wertebereich und Sonderfall Ursprung
Die Konstruktion beruht auf der Zerlegung jeder Gesamtabweichung:
(yᵢ − ȳ) = (ŷᵢ − ȳ) + (yᵢ − ŷᵢ).
Nach dem Quadrieren und Summieren über alle Beobachtungen ergibt sich SQT = SQE + SQR. Die Kleinste-Quadrate-Schätzung nutzt dabei, dass die Residuen mit den geschätzten Werten unkorreliert sind und bei einem Modell mit Absolutglied ihre Summe null ist. Durch Division durch SQT folgt R² = SQE/SQT = 1 − SQR/SQT. Die Kleinste-Quadrate-Schätzung minimiert die Residuenquadratsumme und maximiert dadurch automatisch R².
Bei der ersten Definition gilt 0 ≤ R² ≤ 1. R² = 1 bedeutet eine perfekte Anpassung: Alle Residuen sind null und alle Beobachtungspunkte liegen auf der Regressionsgeraden. R² = 0 bedeutet, dass das Modell keine Streuung gegenüber dem Mittelwert erklärt. Die alternative Formel 1 − SQR/SQT kann dagegen Werte im Bereich −∞ < R² ≤ 1 liefern, wenn Modellannahmen verletzt sind oder kein Absolutglied verwendet wird.
Bei einer Regression durch den Ursprung wird β₀ nicht geschätzt; die Gerade lautet ŷ = β̃₁x mit β̃₁ = Σxᵢyᵢ/Σxᵢ². Die gewöhnliche zentrierte Quadratsummenzerlegung gilt dann im Allgemeinen nicht. Ein negatives R² nach der Formel 1 − SQR/SQT bedeutet in diesem Fall, dass der Mittelwert ȳ die Daten besser anpasst als die Regression durch den Ursprung. Alternativ verwendet man die nicht korrigierte Zerlegung SQT₀ = Σyᵢ² = SQE₀ + SQR und das unzentrierte Bestimmtheitsmaß R² = SQE₀/SQT₀ = 1 − SQR/SQT₀, das nichtnegativ ist.
Für hierarchisch geordnete Modelle gilt: Enthält ein Teilmodell weniger erklärende Variablen als ein vollständiges Modell, dann ist R²_full ≥ R²_sub. Das unadjustierte R² kann durch zusätzliche Variablen also nicht sinken, selbst wenn diese keinen sinnvollen Beitrag leisten.
Interpretation und Beispiel
Multipliziert man R² mit 100 %, erhält man den prozentualen Anteil der Streuung in y, der durch das lineare Modell erklärt wird. Ein Wert nahe 1 bedeutet eine hohe Anpassung an die beobachteten Daten; ein Wert nahe 0 bedeutet eine geringe lineare Erklärungskraft. Die Interpretation muss sich auf die konkrete Modellierung und die Streuung der abhängigen Variablen beziehen. Ein kleines R² macht eine Regressionsgleichung nicht automatisch nutzlos, etwa wenn ein ceteris-paribus-Zusammenhang trotzdem gut geschätzt wird.
Im Beispiel mit zehn zufällig ausgewählten Kriegsschiffen werden Länge und Breite in Metern untersucht. Die Kleinste-Quadrate-Regression ergibt b₀ = −8,6450715 und b₁ = 0,1612340, also ŷ = −8,6450715 + 0,1612340 · Länge. Der Mittelwert der Breite beträgt ȳ = 18,41 m, die totale Quadratsumme SQT = 574,8490 m² und die Residuenquadratsumme SQR = 44,7405 m². Damit gilt:
R² = 1 − 44,7405/574,8490 = 0,92217.
Rund 92 % der Streuung der Schiffsbreite werden in diesem Datensatz durch die lineare Regression der Breite auf die Länge erklärt. Das Unbestimmtheitsmaß U² = 1 − R² beträgt ungefähr 8 % und bezeichnet den nicht erklärten Anteil.
Das Bestimmtheitsmaß kann mit dem Standardfehler der Regression ergänzt werden. Im Kriegsschiffbeispiel beträgt der Standardfehler der Residuen bei Division durch n: s̃ = √(SQR/n) = 2,1152. Wegen des Verlusts von zwei Freiheitsgraden durch die Schätzung von β₀ und β₁ beträgt der erwartungstreue Standardfehler der Regression σ̂ = √(SQR/(n−2)) = 2,3649. Er beschreibt die durchschnittliche Größe der Abweichungen von der Regressionsgeraden; je größer er ist, desto schlechter beschreibt die Gerade die Messwerte.
Adjustiertes Bestimmtheitsmaß
Das unadjustierte R² steigt mit jeder zusätzlich aufgenommenen erklärenden Variablen oder bleibt gleich. Dadurch kann ein Modell scheinbar besser werden, obwohl irrelevante Variablen aufgenommen wurden; zugleich gehen Freiheitsgrade verloren und es kann zu Überanpassung kommen. Deshalb wird häufig das adjustierte, bereinigte oder korrigierte Bestimmtheitsmaß verwendet. Es wird als R̄², R²_adj. oder R²_a bezeichnet.
Bei p = k + 1 geschätzten Parametern lautet die Definition:
R̄² = 1 − (MQR/MQT) = 1 − (SQR/SQT) · (n−1)/(n−p) = 1 − (1−R²) · (n−1)/(n−p).
Dabei sind MQR = SQR/(n−p) das mittlere Residuenquadrat und MQT = SQT/(n−1) das mittlere Gesamtabweichungsquadrat. Äquivalent gilt R̄² = R² − (1−R²) · k/(n−p). Das adjustierte Bestimmtheitsmaß berücksichtigt damit die Modellkomplexität. Es steigt nur, wenn R² ausreichend zunimmt, kann sinken und kann negative Werte annehmen. Es gilt R̄² ≤ R²; Gleichheit besteht insbesondere bei R² = 1. Bei wachsendem Stichprobenumfang n nähert sich R̄² dem unadjustierten R².
Das adjustierte R² ist als Modellvergleichsmaß nützlicher als R², aber zur Modellselektion nicht immer ausreichend streng: Es steigt bereits, wenn eine zusätzliche Variable einen t-Wert größer als Eins besitzt. Deshalb werden auch Informationskriterien wie das Akaike-Informationskriterium und das bayessche Informationskriterium verwendet. Als alternativer Schätzer des Bestimmtheitsmaßes in der Grundgesamtheit ρ² wird besonders der Olkin-Pratt-Schätzer genannt; er ist ein unverzerrter und gleichmäßig bester unverzerrter Schätzer.
Grenzen, Tests und Erweiterungen
Ein hohes R² beweist weder, dass der wahre Zusammenhang linear ist, noch dass die Regressionsgerade überall eine gute Approximation darstellt. Ein R² nahe null schließt einen nichtlinearen oder deterministischen Zusammenhang nicht aus. Im Artikel werden dafür unter anderem f(x) = −4/3|x−0,9| + 1,4 und g(x) = 1,1x² − 1,1 genannt. Auch Scheinkorrelationen, ausgelassene Variablen, Trends, Transformationen und Multikollinearität werden durch R² nicht zuverlässig beurteilt. R² sagt außerdem nichts über statistische Signifikanz, Verzerrungen durch ausgelassene Variablen oder die richtige Modellspezifikation aus. Für Signifikanztests sind Stichprobengröße und geeignete Tests erforderlich.
Der globale F-Test prüft H₀: β₁ = β₂ = … = βₖ = 0 gegen die Alternative, dass mindestens ein Steigungsparameter ungleich null ist. Mit p = k + 1 lautet die Teststatistik F = [R²/(1−R²)] · [(n−p)/k], die unter H₀ F-verteilt mit k und n−p Freiheitsgraden ist. Im Mittel gilt unter H₀ E(R²) = k/(n−1); bei n = k + 1 kann daher allein wegen der kleinen Stichprobe E(R²) = 1 sein. Für Restriktionen lässt sich die F-Statistik über die R²-Werte des unrestringierten und restringierten Modells schreiben: F = [(R² − R²_H₀)/q] / [(1−R²)/(n−p)]. Bei q = 1 gilt t² = F.
Für heteroskedastische Fehler und verallgemeinerte Kleinste-Quadrate-Schätzung gibt es ein gewichtetes Maß R²_GSQ = 1 − GSQR/GSQT, wobei GSQR die gewichtete Residuenquadratsumme und GSQT die gewichtete totale Quadratsumme ist. Bei nominaler oder ordinaler abhängiger Variable existiert keine gewöhnliche Varianz; deshalb werden Pseudo-Bestimmtheitsmaße verwendet, etwa McFaddens R² = 1 − ln L₁/ln L₀. Ein universelles Pseudo-Bestimmtheitsmaß gibt es nicht.
Das Prognose-Bestimmtheitsmaß bewertet nicht nur die Anpassung, sondern die Vorhersage auf einem externen Testdatensatz. Zuerst wird PRESS = Σ(yᵢ,test − ŷᵢ,test)² berechnet, anschließend R²_prog. = 1 − PRESS/Σ(yᵢ,test − ȳ)². Es ist im Allgemeinen kleiner als das gewöhnliche R². Für Mehrgleichungsmodelle und andere Zielfunktionen existieren weitere verallgemeinerte Definitionen.
