Forward Propagation einfach erklärt und berechnet

Ein künstliches neuronales Netz besteht in der Regel aus mehreren Schichten von künstlichen Neuronen. Die erste Schicht heißt Eingabeschicht, die letzte Ausgabeschicht. Dazwischen liegen möglicherweise eine oder mehrere versteckte Schichten.

Bei der Vorwärtspropagation (englisch Forward Propagation) werden die Eingabewerte durch das Netz geleitet, um Vorhersagen zu erzeugen. Die Signale wandern von der Eingabeschicht zur Ausgabeschicht. Jedes Neuron in den versteckten Schichten und in der Ausgabeschicht berechnet eine gewichtete Summe seiner Eingangswerte. Diese Summe schickt es durch eine Aktivierungsfunktion. Das Ergebnis ist der Ausgangswert des Neurons.

In einem Multi-Layer-Perzeptron ist jedes Neuron einer Schicht mit jedem Neuron der nächsten Schicht verbunden. In einem reinen feedforward-Netz („feedforward“ ist englisch für „vorwärts“) werden die Neuronenausgaben nur in Verarbeitungsrichtung weitergeleitet. Sie werden nicht zurückgeführt.

Ein einzelnes künstliches Neuron rechnet in drei Schritten. Schritt 1: Jede Eingabe wird mit ihrem Gewicht multipliziert. Schritt 2: Die Produkte werden aufsummiert. Das Zeichen Σ steht für „alles zusammenzählen“. Du erhältst die gewichtete Summe x₁·w₁ + x₂·w₂ + … . Von ihr ziehst du den Schwellenwert θ ab: v = gewichtete Summe − θ.

Schritt 3: Die Aktivierungsfunktion macht aus v die Ausgabe. Bei der Schwellenwertfunktion gilt: Die Ausgabe ist 1, wenn v ≥ 0 ist, sonst 0. Das Neuron kennt dann nur „an“ oder „aus“.

In einem Netz geschieht das Schicht für Schicht. Die Eingaben eines Neurons können von außen kommen oder aus den Ausgaben anderer Neuronen stammen. Jedes Neuron hat ein Gewicht für jede Verbindung zu den Neuronen der vorherigen Schicht. Die Ausgaben der ersten Schicht sind also die Eingaben der nächsten Schicht. So geht es weiter bis zur Ausgabeschicht.

Das Gewicht gehört zu einer Verbindung. Es bestimmt, wie stark die zugehörige Eingabe in die Rechnung eingeht. Je nach Vorzeichen kann eine Eingabe hemmend oder erregend wirken. Ein Gewicht von 0 markiert eine nicht existente Verbindung. Die Gewichte sind die Parameter des Netzes, sie werden beim Training angepasst.

Der Schwellenwert θ verschiebt die gewichteten Eingaben. Bei der Schwellenwertfunktion wird das Neuron nur aktiviert, wenn der Schwellenwert überschritten ist. Statt θ einzeln anzugeben, nimmt man oft einen Bias: einen konstanten Eingang mit dem Wert 1 und einem eigenen Gewicht w₀ = −θ. Der Bias ist also der Schwellenwert mit umgekehrtem Vorzeichen.

Die Aktivierungsfunktion macht aus der gewichteten Summe die Ausgabe des Neurons. Sie sorgt für Nichtlinearität, denn nicht alle Aufgaben neuronaler Netze lassen sich mit linearen Funktionen lösen. Lineare Funktionen sind für mehrschichtige Netze nicht geeignet: Hintereinandergeschaltet ergeben sie wieder nur eine einzige lineare Funktion. Beispiele sind die Schwellenwertfunktion (0 oder 1), die Sigmoidfunktion (Ausgabe zwischen 0 und 1) und die ReLU-Funktion max(0, v). In den verdeckten Schichten wird meist ReLU verwendet.

Die Vorwärtspropagation berechnet aus den Eingaben die Vorhersage des Netzes. Die Backpropagation (Fehlerrückführung) ist dagegen ein verbreitetes Verfahren zum Einlernen künstlicher neuronaler Netze. In der einfachen Form gehört sie zu den überwachten Lernverfahren, es gibt also einen Zielwert.

Beim Training läuft es so ab: Ein Eingabemuster wird vorwärts durch das Netz propagiert. Die Ausgabe wird mit der gewünschten Ausgabe verglichen. Die Differenz wird als Fehler des Netzes erachtet. Dieser Fehler wird dann von der Ausgabeschicht zur Eingabeschicht zurück propagiert. Dabei werden die Gewichte abhängig von ihrem Einfluss auf den Fehler geändert. So lässt sich der Fehler verringern.

Beide Schritte gehören zusammen: Während des Trainings werden die Vorwärtspropagation und der Backpropagation-Algorithmus wiederholt ausgeführt. Die Vorwärtspropagation liefert die Vorhersage, die Backpropagation verbessert die Gewichte.