Delta-Regel: Gewichte im neuronalen Netz anpassen

Ein Neuron gewichtet seine Eingaben und gibt eine Ausgabe aus. Beim überwachten Lernen kennt ein externer Lehrer zu jeder Eingabe die gewünschte Ausgabe, den Zielwert. Die Abweichung zwischen gewünschter und tatsächlicher Ausgabe ist der Fehler. Beim Lernen soll dieser Fehler kleiner werden. Dazu werden die Gewichte angepasst.

Die Delta-Regel ist eine solche Lernregel. Sie heißt auch Widrow-Hoff-Regel oder Least-Mean-Squares-Algorithmus (LMS). Sie beruht auf dem Gradientenverfahren, das auch Methode des steilsten Abstiegs heißt. Dabei schätzt sie den Gradienten auf einfache Art.

So funktioniert das Gradientenverfahren: Stell dir den Fehler als Höhe in einer Berglandschaft vor (ein Bild zum Verstehen, keine Messung). Der Gradient zeigt in die Richtung, in der es am steilsten bergauf geht. Um den Fehler kleiner zu machen, gehst du einen Schritt in die entgegengesetzte Richtung, also bergab. Das wiederholst du Schritt für Schritt. Bei der Delta-Regel wird mit jedem neuen Datensatz der Algorithmus einmal durchlaufen und die Lösung aktualisiert.

Eine Grenze gibt es: Im Allgemeinen konvergiert das Gradientenverfahren weder zu einem globalen noch zu einem lokalen Minimum. Garantiert werden kann nur die Konvergenz zu einem stationären Punkt, also einem Punkt, an dem der Gradient 0 ist. Beim LMS-Algorithmus kommt hinzu: Unter ungünstigen Umständen (schnelle zeitliche Änderungen der Eingangsdaten) findet er möglicherweise keine Lösung.

Hier geht es um die Perzeptron-Lernregel für ein Neuron mit binären Ein- und Ausgabewerten, also nur 0 oder 1. Das Neuron gibt 1 aus, wenn die gewichtete Summe der Eingaben plus Bias größer als 0 ist, sonst 0. Der Bias ist ein zusätzlicher Wert, den das Neuron zur Summe addiert.

Die Regel lautet: \Delta w = \alpha \cdot (t - o) \cdot x. Dabei ist Δw die Änderung des Gewichts, α die Lernrate (mit α > 0), t die gewünschte Ausgabe, o die tatsächliche Ausgabe und x die Eingabe. Das neue Gewicht ist: w_{neu} = w_{alt} + \Delta w.

So gehst du vor: Erstens bildest du den Fehler t − o (gewünscht minus tatsächlich). Zweitens multiplizierst du Lernrate, Fehler und Eingabe. Drittens addierst du das Ergebnis zum alten Gewicht. Auch beim LMS-Algorithmus steht im Kern ein Faktor, ein Fehler und die Eingabe, die miteinander multipliziert werden.

Die Perzeptron-Lernregel unterscheidet drei Fälle. Erstens: Die Ausgabe ist richtig, also t = o. Dann ist t − o = 0, und die Gewichte werden nicht geändert. Zweitens: Die Ausgabe ist 0, soll aber 1 sein. Dann ist t − o = 1 und das Gewicht steigt um α · x. Drittens: Die Ausgabe ist 1, soll aber 0 sein. Dann ist t − o = −1 und das Gewicht sinkt um α · x.

Ist die Eingabe x = 0, ändert sich das Gewicht nicht, auch wenn die Ausgabe falsch ist. Denn Δw = α · (t − o) · 0 = 0.

Die Lernrate α legt die Geschwindigkeit des Einlernens fest. Sie bestimmt, wie stark ein Gewicht bei einem Fehler verändert wird. Ob das Gewicht größer oder kleiner wird, entscheidet dagegen der Fehler t − o.

Auch beim Gradientenverfahren kann die Schrittweite großen Einfluss auf die Konvergenz haben. Ist ein Schritt so klein, dass kein nennenswerter Fortschritt mehr gemacht wird, kommt das Verfahren praktisch zum Stillstand. Was bei einer sehr großen Lernrate passiert, behandeln wir hier nicht.