Varianzanalyse

Kernidee und Grundbegriffe

Die Varianzanalyse (VA; englisch analysis of variance, ANOVA), auch Streuungsanalyse oder Streuungszerlegung genannt, ist eine Gruppe statistischer Verfahren. Sie untersucht, ob eine oder mehrere Einflussvariablen, sogenannte Faktoren, die Varianz einer oder mehrerer Zielvariablen erklären. Dazu wird verglichen, wie stark sich Gruppenmittelwerte unterscheiden und wie groß die Streuung innerhalb der Gruppen ist.

Die Zielvariable ist die metrische Zufallsvariable, deren Messwerte erklärt werden sollen. Die Einflussvariable oder der Faktor ist eine kategoriale, nominalskalierte Variable, die die Gruppen festlegt. Die Kategorien eines Faktors heißen Faktorstufen. Bei einer univariaten Varianzanalyse liegt eine Zielvariable vor (ANOVA), bei einer multivariaten Varianzanalyse mehrere Zielvariablen (MANOVA). Gibt es einen Faktor, spricht man von einer einfachen oder einfaktoriellen Varianzanalyse; bei mehreren Faktoren von einer mehrfachen oder mehrfaktoriellen Varianzanalyse.

Enthalten alle Faktorstufen gleich viele Beobachtungen, liegt ein balanciertes oder orthogonales Modell vor. Unterschiedlich große Gruppen oder fehlende Werte führen zu einem unbalancierten Modell, dessen Auswertung und Interpretation schwieriger ist. Außerdem unterscheidet man feste Effekte und zufällige Effekte: Feste Effekte liegen vor, wenn alle für die Untersuchung interessierenden Faktorstufen erfasst wurden. Zufällige Effekte liegen vor, wenn nur eine Auswahl aus allen möglichen Faktorstufen untersucht werden kann.

Einfaktorielle Varianzanalyse

Die einfache Varianzanalyse, auch Einweg-Varianzanalyse (one-way ANOVA) genannt, untersucht den Einfluss eines Faktors mit k Faktorstufen beziehungsweise Gruppen auf eine metrische Zufallsvariable. Sie vergleicht die Varianz zwischen den Gruppen mit der Varianz innerhalb der Gruppen. Für k = 2 ist sie äquivalent zum t-Test und stellt für mehr als zwei Gruppen dessen Verallgemeinerung dar.

Die Grundidee lautet: Die Gesamtvarianz lässt sich sinnvoll in Gruppen zerlegen, wenn die Unterschiede zwischen den Faktorstufen groß und die Unterschiede innerhalb derselben Faktorstufe klein sind. Ein signifikanter Unterschied bedeutet, dass mindestens zwei Gruppen verschiedene Erwartungswerte haben. Die Nullhypothese lautet H₀: μ₁ = μ₂ = … = μₖ. Die Alternativhypothese lautet H₁: ∃ i,j: μᵢ ≠ μⱼ.

Wird H₀ verworfen, weiß man zunächst nur, dass sich mindestens zwei Gruppen unterscheiden, nicht aber, zwischen welchen Gruppen oder wie viele Unterschiede bestehen. Dafür werden nach einem signifikanten Ergebnis multiple Vergleichsverfahren eingesetzt, beispielsweise der Bonferroni-Test auf kleinsten signifikanten Unterschied oder der Scheffé-Test. Paarweise t-Tests sind bei mehr als zwei Gruppen zur Prüfung der globalen Nullhypothese nicht zulässig, weil sich dabei der Alphafehler kumuliert beziehungsweise erhöht.

Als Beispiel kann untersucht werden, ob Rauchen die Aggressivität beeinflusst. Der Faktor Rauchen hat drei Stufen (k = 3): Nichtraucher, schwache Raucher und starke Raucher. Die Aggressivität wird durch einen Fragebogen als Zielvariable gemessen. Die allgemeinen Voraussetzungen sind normalverteilte Fehlerkomponenten, gleiche Fehlervarianzen in allen k Gruppen (Homoskedastizität) und unabhängige Messwerte beziehungsweise Faktorstufen.

Rechnung, Modell und Prüfgröße

Zunächst werden alle Messwerte zusammengefasst und Gesamtmittelwert sowie Gesamtvarianz berechnet. Um den durch den Faktor erklärten Anteil zu bestimmen, ersetzt man gedanklich alle Werte innerhalb einer Faktorstufe durch deren Gruppenmittelwert. Die verbleibende Varianz zwischen den Faktorstufen ist die Behandlungs- oder Treatment-Varianz. Die Varianz innerhalb der Gruppen ist die Fehlervarianz; sie entsteht durch Zufall oder nicht untersuchte Störvariablen. Das Verhältnis von Behandlungsvarianz zu Gesamtvarianz beschreibt den relativen Anteil der durch den Faktor erklärten Varianz.

Im Modell gilt für i = 1,…,k und j = 1,…,nᵢ: Yᵢⱼ = μᵢ + εᵢⱼ = μ + τᵢ + εᵢⱼ. Dabei ist μ das von der Faktorwirkung unabhängige Gesamtmittel, τᵢ die Wirkung der i-ten Faktorstufe und εᵢⱼ der Versuchsfehler. Es gilt μᵢ = μ + τᵢ. Die Fehler werden als unabhängig und identisch normalverteilt angenommen: εᵢⱼ ~ N(0, σ²). Ihre Erwartungswerte sind null und ihre unbekannte Varianz σ² ist in allen Gruppen gleich.

Für die i-te Faktorstufe gelten das Mittel ȳᵢ· = (1/nᵢ) Σⱼ yᵢⱼ und die Varianz sᵢ·² = (1/(nᵢ−1)) Σⱼ (yᵢⱼ−ȳᵢ·)². Das Gesamtmittel ist das nach den Gruppengrößen nᵢ gewichtete Mittel: ȳ·· = (1/N) ΣᵢΣⱼ yᵢⱼ = (1/N) Σᵢ nᵢȳᵢ·, wobei N = Σᵢ nᵢ gilt. Die Effektkodierung verwendet die Bedingung Σᵢ nᵢτᵢ = 0. Dadurch sind die Effekte eindeutig schätzbar. Geschätzt werden μ durch ȳ··, μᵢ durch ȳᵢ· und τᵢ durch ȳᵢ· − ȳ··. Das Residuum ist die Abweichung eines Messwertes vom Gruppenmittel: ε̂ᵢⱼ = yᵢⱼ − ȳᵢ·.

Die Quadratsummen zerlegen die Gesamtstreuung: SQT = SQA + SQR. Dabei ist SQT = ΣᵢΣⱼ (yᵢⱼ−ȳ··)² die totale Quadratsumme, SQA = Σᵢ nᵢ(ȳᵢ·−ȳ··)² = Σᵢ nᵢτ̂ᵢ² die durch den Faktor erklärte Quadratsumme und SQR = ΣᵢΣⱼ (yᵢⱼ−ȳᵢ·)² = Σᵢ(nᵢ−1)sᵢ·² die Residuenquadratsumme innerhalb der Gruppen.

Die mittleren Abweichungsquadrate lauten MQA = SQA/(k−1) und MQR = SQR/(N−k). Die Prüfgröße ist F = MQA/MQR = [Σᵢ nᵢ(ȳᵢ·−ȳ··)²/(k−1)] / [Σᵢ(nᵢ−1)sᵢ²/(N−k)]. Bei gleich großen Gruppen ist F unter H₀ F-verteilt mit k−1 Freiheitsgraden im Zähler und N−k Freiheitsgraden im Nenner. Ist F größer als das zum gewählten Signifikanzniveau gehörende F-Quantil, wird H₀ verworfen.

Beispiel mit zwei Gruppen

In einem Versuch erhalten zwei Gruppen von jeweils 10 Tieren unterschiedliche Nahrung. Die Gewichtszunahmen lauten für Gruppe 1: 45, 23, 55, 32, 51, 91, 74, 53, 70, 84; für Gruppe 2: 64, 75, 95, 56, 44, 130, 106, 80, 87, 115.

Die Gruppenmittelwerte und empirischen Varianzen sind: ȳ₁· = 57,8 und s₁·² = 479,7, ȳ₂· = 85,2 und s₂·² = 728,6. Mit k = 2 und n₁ = n₂ = 10 ergibt sich MQA = 5(ȳ₁·−ȳ₂·)² = 3753,8 sowie MQR = [(n₁−1)s₁·² + (n₂−1)s₂·²]/(n₁+n₂−2) = 604,18.

Damit ist F = 3753,8/604,15 ≈ 6,21. Das Modell setzt normalverteilte Gewichte und gleiche Varianzen in beiden Gruppen voraus. Für F₁,₁₈ beträgt das F-Quantil bei einem Fehler 1. Art von 5 % ungefähr 4,41. Da 6,21 > 4,41, wird die Nullhypothese gleicher Mittelwerte verworfen. Es kann daher angenommen werden, dass die Tiere im Mittel wirklich unterschiedliche Gewichte aufweisen; die Wahrscheinlichkeit, einen Unterschied anzunehmen, obwohl keiner vorliegt, liegt unter 5 %.

Zweifaktorielle und mehrfaktorielle Verfahren

Die zweifache oder zweifaktorielle Varianzanalyse (two-way ANOVA) berücksichtigt zwei Faktoren A und B. Ein Beispiel ist die Untersuchung des Einflusses von Rauchen und Kaffeetrinken auf Nervosität. Rauchen kann drei Stufen haben: Nicht-Raucher, leichte Raucher und Kettenraucher. Kaffeetrinken kann in 0 Tassen, 1–3 Tassen, 4–8 Tassen und mehr als 8 Tassen eingeteilt werden. Dadurch entstehen 3 · 4 = 12 Gruppen entsprechend den Kombinationen der Faktorstufen.

Das Modell für feste Effekte lautet: Yᵢⱼₖ = μ + αᵢ + βⱼ + (αβ)ᵢⱼ + εᵢⱼₖ, mit εᵢⱼₖ ~ N(0,σ²), i = 1,…,I, j = 1,…,J, k = 1,…,K. αᵢ ist der Effekt der i-ten Stufe von A, βⱼ der Effekt der j-ten Stufe von B. (αβ)ᵢⱼ bezeichnet die Interaktion, also einen besonderen Effekt, der nur bei der Kombination der Stufen i und j auftritt. Die Fehler sind unabhängig, normalverteilt, haben Erwartungswert 0 und gleiche Varianzen.

Die totale Quadratsumme wird in vier unabhängige Teile zerlegt: SQT = SQA + SQB + SQAB + SQR. SQA beschreibt den Einfluss von A, SQB den Einfluss von B, SQAB die Interaktion und SQR die nicht erklärte Reststreuung. Die mittleren Abweichungsquadrate erhält man durch Division durch die jeweiligen Freiheitsgrade: MQR = SQR/[IJ(K−1)], MQAB = SQAB/[(I−1)(J−1)], MQA = SQA/(I−1), MQB = SQB/(J−1). Die F-Prüfgrößen sind jeweils MQAB/MQR, MQA/MQR und MQB/MQR. Ist eine Prüfgröße größer als das passende F-Quantil, wird die zugehörige Nullhypothese verworfen. Für die Interaktion bedeutet dies, dass ein gemeinsamer Wechselwirkungseffekt von A und B vorliegt.

Die Ergebnisse werden in einer Tafel der Varianzanalyse mit den Spalten Variationsquelle, Quadratsumme (SQ), Freiheitsgrade (FG), mittleres Abweichungsquadrat (MQ) und F-Statistik zusammengefasst. Für Faktor A gelten SQA und I−1, für Faktor B SQB und J−1, für die Interaktion SQAB und (I−1)(J−1), für die Residuen SQR und IJ(K−1) sowie insgesamt SQT und IJK−1 Freiheitsgrade.

Auch mehr als zwei Faktoren sind möglich. Mit jeder weiteren Faktorvariable steigt der Datenbedarf für die Schätzung der Modellparameter stark an; außerdem werden Modell und Tabellen zunehmend unübersichtlich. Mehr als drei Faktoren sind nur noch schwer darstellbar.

Voraussetzungen und Alternativen

Die Zuverlässigkeit der Signifikanztests hängt von den Voraussetzungen ab. Allgemein sollen die Messabweichungen über alle Werte der unabhängigen Variablen gleich verteilt sein (Varianzhomogenität oder Homoskedastizität), und die Residuen sollen aus einer normalverteilten Grundgesamtheit stammen. Die Normalverteilung kann unter anderem mit dem Shapiro-Wilk-Test, die Varianzhomogenität mit dem Levene-Test geprüft werden.

Varianzanalysen gelten gegenüber Abweichungen von der Normalverteilung als robust, besonders bei größeren Stichproben. Ungleiche Varianzen sind vor allem bei ungleichen Gruppengrößen problematisch. Bei einfachen Varianzanalysen kann dann gegebenenfalls der Brown-Forsythe-Test verwendet werden. Alternativ kann die Zielvariable transformiert werden, beispielsweise durch Logarithmierung, um die Gruppenvarianzen anzugleichen.

Sind die Voraussetzungen nicht ausreichend erfüllt, kommen verteilungsfreie, nichtparametrische Verfahren infrage. Sie sind robust, besitzen aber geringere Teststärke und prüfen wegen ihrer Rangdaten andere Parameter als die Varianzanalyse. Für gepaarte Daten mit zwei Stichproben gibt es den Wilcoxon-Vorzeichen-Rang-Test, für ungepaarte Daten den Mann-Whitney-U-Test. Bei drei oder mehr Stichproben werden für gepaarte Daten der Friedman-Test oder Quade-Test und für ungepaarte Daten der Kruskal-Wallis-Test, Jonckheere-Terpstra-Test, Umbrella-Test oder bei gleichzeitig verletzter Normalverteilungs- und Varianzhomogenitätsannahme der Median-Test genannt. Für mehrfaktorielle Analysen gibt es den Scheirer-Ray-Hare-Test; PERMANOVA ist ein Permutationstest.