Verzerrung-Varianz-Dilemma

Kernidee: Verzerrung, Varianz und Generalisierung

Das Verzerrung-Varianz-Dilemma (englisch bias-variance tradeoff) beschreibt beim überwachten Lernen den Zielkonflikt zwischen zwei Fehlerquellen. Es erschwert, aus Trainingsdaten ein Modell zu gewinnen, das auch für unbekannte Testdaten gute Vorhersagen macht. Es gilt für Klassifikation, Regression und strukturiertes Lernen.

Verzerrung (Bias) ist ein Fehler durch falsche oder zu vereinfachende Annahmen des Lernalgorithmus. Hohe Verzerrung kann dazu führen, dass wichtige Beziehungen zwischen Eingabe und Ausgabe nicht modelliert werden; dies heißt Unteranpassung. Varianz ist die Empfindlichkeit eines Modells gegenüber kleinen Änderungen der Trainingsdaten. Hohe Varianz führt zur Überanpassung: Das Modell lernt auch Rauschen in den Trainingsdaten statt der vorgesehenen Ausgabe.

Komplexe Modelle, etwa Regressionen mit Polynomen hoher Ordnung, erfassen Trainingsdaten oft sehr genau und haben dadurch geringere Verzerrung. Sie können aber auch Rauschen nachbilden und bei neuen Daten ungenauer werden. Einfache Modelle, etwa lineare Regression oder Polynome niedriger Ordnung, haben meist höhere Verzerrung, können auf neuen Daten jedoch Vorhersagen mit niedrigerer Varianz liefern.

Zerlegung des quadratischen Fehlers

Für Trainingspunkte x₁, …, xₙ mit reellen Zielwerten y₁, …, yₙ wird ein rauschbehafteter Zusammenhang angenommen:

yᵢ = f(xᵢ) + ε.

Dabei ist ε normalverteilt, hat den Erwartungswert Null und die Varianz σ². Gesucht ist eine Schätzfunktion f̂(x), die die wahre Funktion y = f(x), genauer den bedingten Erwartungswert f(x) = E_{y|x}[y], möglichst gut annähert. Als Maß dient die mittlere quadratische Abweichung (y − f̂(x))², die sowohl auf Trainingspunkten als auch außerhalb der Stichprobe klein sein soll.

Für neue Testpunkte (X,Y) ∼ P(X,Y) und eine Trainingsmenge 𝒟 = {(X₁,Y₁), …, (Xₙ,Yₙ)} ∼ P(X,Y)ⁿ lautet die Zerlegung des erwarteten Fehlers:

E_{𝒟,(x,y)}[(y − f̂(x))²] = Bias²[f̂(x)] + Var[f̂(x)] + σ².

Der Erwartungswert bezieht sich dabei auf verschiedene Trainingsdatensätze 𝒟 und auf davon unabhängige, gepaarte Testpunkte (x,y). Die drei Bestandteile sind:

• Bias²[f̂(x)]: der Fehler durch vereinfachende Annahmen. Ein lineares Lernverfahren erzeugt beispielsweise Fehler, wenn die wahre Funktion f(x) nichtlinear ist.
• Var[f̂(x)]: die Schwankungsbreite der geschätzten Funktion f̂(x) um ihren Erwartungswert, wenn auf unterschiedlichen Trainingsdatensätzen trainiert wird.
• σ² = E_{x,y}[(f(x) − y)²] = E[ε²]: der irreduzible Fehler durch das Rauschen selbst.

Da alle Terme nicht negativ sind, ist σ² eine untere Schranke für die erwartete Abweichung auf ungesehenen Testdaten. Mit steigender Modellkomplexität sinkt gewöhnlich die Verzerrung, während die Varianz steigt.

Herleitung unter den Modellannahmen

Die Herleitung nutzt den Verschiebungssatz für jede Zufallsvariable X:

E[X²] = Var[X] + E[X]².

Für festes x wird kurz f = f(x) und f̂ = f̂(x) geschrieben. Da f deterministisch ist, gilt E[f] = f. Aus y = f + ε und E[ε] = 0 folgt E[y] = f. Außerdem gilt wegen Var[ε] = σ²:

Var[y] = E[(y − f)²] = E[ε²] = σ².

Wenn ε und f̂ unabhängig sind, ergibt sich:

E[(y − f̂)²] = Var[y] + Var[f̂] + (f − E[f̂])² = σ² + Var[f̂] + Bias[f̂]².

Damit wird der Gesamtfehler genau in irreduziblen Fehler, Varianz und das Quadrat der Verzerrung aufgeteilt.

Klassifikation und Möglichkeiten zur Steuerung

Die ursprüngliche Zerlegung stammt aus der Regressionsanalyse mit der Methode der kleinsten Quadrate. Bei Klassifikationsproblemen ist eine ähnliche Zerlegung möglich, wenn das Problem als probabilistischer Klassifikator formuliert werden kann: Dann wird die erwartete quadratische Abweichung der vorhergesagten von den wahren Wahrscheinlichkeiten zerlegt.

Zur Verringerung der Varianz können Dimensionsreduktion, Feature Selection und ein größerer Trainingsdatensatz beitragen. Das Hinzufügen von Features beziehungsweise Prädiktoren verringert dagegen die Verzerrung, erhöht aber zusätzlich die Varianz.

Wichtige Stellschrauben einzelner Verfahren sind:

• (Generalisierte) lineare Modelle können regularisiert werden. Die Regularisierung erhöht ihre Verzerrung und verringert ihre Varianz; genannt werden Shrinkage-Schätzer.
• Bei künstlichen neuronalen Netzen erhöht eine größere Zahl versteckter Knoten die Varianz und senkt die Verzerrung. Auch hier wird typischerweise regularisiert.
• Bei k-nächsten-Nachbarn-Modellen bewirkt ein großes k niedrige Varianz und hohe Verzerrung.
• Beim gedächtnisbasierten Lernen kann eine Kombination aus Prototypenmethoden und Nächste-Nachbarn-Methoden regularisieren.
• Bei Entscheidungsbäumen bestimmt die Baumtiefe die Varianz; Bäume werden häufig beschnitten, um sie zu kontrollieren.

Auch Kombinationen von Lernalgorithmen können den Zielkonflikt beeinflussen. Boosting verbindet viele „schwache“ Modelle mit hoher Verzerrung zu einem Modell mit größerer Varianz als die Einzelmodelle. Bagging kombiniert dagegen „starke“ Klassifikatoren mit hoher Varianz so, dass die Varianz des konstruierten Klassifikators sinkt.

Beispiel: k-nächste Nachbarn und menschliches Lernen

Für den k-nächste-Nachbarn-Algorithmus gilt:

E[(y − f̂(x))²] = (f(x) − 1/k ∑ᵢ₌₁ᵏ f(Nᵢ(x)))² + σ²/k + σ².

N₁(x), …, Nₖ(x) sind die k nächsten Nachbarn von x in den Trainingsdaten. Der erste Term ist die Verzerrung und steigt monoton mit k. Der zweite Term ist die Varianz und sinkt, wenn k erhöht wird. Unter „vernünftigen Annahmen“ verschwindet die Verzerrung des 1-nächster-Nachbarn-Schätzers vollständig, wenn die Größe des Trainingsdatensatzes gegen unendlich strebt.

Das Dilemma wurde auch auf menschliches Lernen bezogen. Gerd Gigerenzer und Kollegen argumentieren für spärliche und schlecht charakterisierte Trainingsdaten, dass das Gehirn Erfahrungen mithilfe von Heuristiken hoher Verzerrung und niedriger Varianz nutzen kann. Solche Heuristiken sind relativ einfach und sollen bessere Erklärungen für mehr Situationen liefern. Ein Ansatz mit Verzerrung gleich Null hätte dagegen schlechte Generalisierbarkeit auf neue Situationen und setzte genaue Kenntnis des wahren Zustands der Welt voraus.

Nach Geman und anderen können Fähigkeiten wie generische Objekterkennung deshalb nicht vollständig von Grund auf neu gelernt werden. Sie erfordern ein Maß vorhandener „Vernetzung“, das später durch Erfahrung angepasst wird, weil modellfreie Ansätze mit niedriger Varianz unpraktisch große Trainingsdatensätze benötigen.