Probabilistisches neuronales Netz

Grundidee und Bedeutung

Probabilistische neuronale Netze (PNNs) sind Modelle des maschinellen Lernens, die nicht nur Vorhersagen erzeugen, sondern zugleich deren Unsicherheit beschreiben. Während traditionelle neuronale Netze im Artikel als deterministisch bezeichnet werden, liefert ein PNN Wahrscheinlichkeiten beziehungsweise Wahrscheinlichkeitsverteilungen. Dadurch lässt sich ausdrücken, wie sicher oder unsicher eine Vorhersage ist.

PNNs verbinden zwei Fähigkeiten: Neuronale Netze können komplexe nichtlineare Beziehungen in Daten abbilden; probabilistische Modelle können Unsicherheit berücksichtigen. Diese Verbindung ermöglicht quantifizierte Vorhersagen und statistische Inferenz, also das Ableiten von Aussagen über unbekannte Größen aus beobachteten Daten.

Der zugrunde liegende Wikipedia-Artikel weist darauf hin, dass seine Angaben nicht hinreichend mit Belegen ausgestattet sind. Die dargestellten Aussagen sollten daher als Überblick verstanden und bei Bedarf anhand zusätzlicher Quellen überprüft werden.

Aufbau des Netzes

Die grundlegende Architektur ähnelt der eines traditionellen neuronalen Netzes. Sie umfasst eine Eingabeschicht, eine oder mehrere verdeckte Schichten und eine Ausgabeschicht. Die Eingabeschicht nimmt die Daten auf, die verdeckten Schichten verarbeiten sie, und die Ausgabeschicht stellt das Ergebnis bereit.

Der wesentliche Unterschied liegt laut Artikel in der Behandlung der Aktivierungsfunktionen und Gewichtungen. Bei einem probabilistischen Ansatz können insbesondere die Gewichtungen nicht nur als einzelne feste Werte, sondern mithilfe von Wahrscheinlichkeitsverteilungen beschrieben werden. Auch Unsicherheitsparameter werden in die Modellierung einbezogen. Das Netz gibt deshalb nicht lediglich einen einzelnen Schätzwert aus, sondern eine Verteilung möglicher Ausgaben.

Arten und Modellierung von Unsicherheit

Das zentrale Merkmal eines PNN ist die Quantifizierung von Unsicherheit. Dazu schätzt das Netz eine Wahrscheinlichkeitsverteilung über seinen Ausgaben. Die Form und Streuung dieser Verteilung spiegeln wider, welche Ergebnisse möglich sind und wie unsicher die Vorhersage ist.

Ein grundlegender Ansatz sind Bayessche Verfahren. Zunächst werden Wahrscheinlichkeitsverteilungen über die Gewichtungen und Unsicherheitsparameter festgelegt. Diese Ausgangsverteilungen heißen Priors. Nachdem beobachtete Daten berücksichtigt wurden, entstehen aktualisierte Verteilungen, die Posteriors. Ihre Berechnung wird als Bayessche Inferenz bezeichnet.

Der Artikel unterscheidet zwei Unsicherheitsarten:

• Epistemic Uncertainty oder Modellunsicherheit entsteht durch mangelnde Daten oder Unsicherheit über die Modellstruktur.
• Aleatoric Uncertainty oder Datenunsicherheit bezeichnet die Unsicherheit, die den Daten selbst innewohnt.

Durch die getrennte Modellierung beider Typen sollen PNNs robustere und zuverlässigere Vorhersagen ermöglichen. Eine zuverlässige Unsicherheitsschätzung setzt jedoch eine sorgfältige Kalibrierung voraus. Dabei wird geprüft und angepasst, ob die vom Modell angegebene Unsicherheit zur tatsächlichen Unsicherheit in den Daten passt. Dafür nennt der Artikel Kalibrierungssätze sowie Platt's Scaling und Isotonic Regression.

Näherungsverfahren und Training

Beim Training werden sowohl die Gewichtungen als auch die Unsicherheitsparameter optimiert. Ziel sind eine möglichst hohe Vorhersagegenauigkeit und eine möglichst zuverlässige Schätzung der Unsicherheit. Die Anpassung geschieht iterativ über mehrere Epochen. Eine Epoche ist ein Trainingsdurchlauf, in dem die Trainingsdaten zur Anpassung des Modells verwendet werden.

Die exakte analytische Berechnung der Posteriors ist bei neuronalen Netzen oft nicht möglich. Deshalb kommen Approximationsverfahren zum Einsatz. Eine häufig verwendete Methode ist die Monte-Carlo-Simulation. Dabei werden zufällige Realisierungen der Gewichtungen und Unsicherheitsparameter gezogen. Das Netzwerk wird mehrfach mit unterschiedlichen Kombinationen dieser Werte durchlaufen. Anschließend werden die einzelnen Vorhersagen zusammengefasst, um Wahrscheinlichkeitsverteilungen über die Ausgaben beziehungsweise Schätzungen der Posteriors zu erhalten.

Eine Alternative ist die Variationsinferenz. Sie sucht eine parametrisierte Verteilung, welche die tatsächlichen Posteriors möglichst gut approximiert. Die Parameter dieser Verteilung werden während des Trainings angepasst. Dazu minimiert das Verfahren eine geeignete Verlust- oder Divergenzmaßfunktion. Als Beispiel nennt der Artikel die Kullback-Leibler-Divergenz, welche die Abweichung zwischen der approximierten und der tatsächlichen Posteriorverteilung erfasst.

Das Training probabilistischer neuronaler Netze ist häufig rechenintensiver als das Training traditioneller deterministischer Netze. Die Modellierung der Unsicherheit erfordert zusätzliche Berechnungen und kann die Trainingszeit verlängern. Daher werden Effizienzsteigerungen und spezialisierte Hardwarelösungen erforscht, um den praktischen Einsatz zu erleichtern.

Typische Einsatzgebiete

PNNs werden vor allem dort eingesetzt, wo nicht nur eine Vorhersage, sondern auch eine Einschätzung ihrer Verlässlichkeit wichtig ist. Als Beispiel nennt der Artikel die medizinische Diagnose: Hier kann ein Modell die Wahrscheinlichkeit einer Erkrankung auf Grundlage der verfügbaren Daten abschätzen, anstatt lediglich eine eindeutige Ja-oder-Nein-Aussage auszugeben.

Weitere genannte Anwendungsgebiete sind selbstfahrende Kraftfahrzeuge, die Finanzanalyse und die Computerlinguistik. Gemeinsam ist diesen Bereichen, dass Entscheidungen unter Unsicherheit getroffen werden und die Angabe einer Wahrscheinlichkeitsverteilung deshalb zusätzliche Informationen gegenüber einer einzelnen deterministischen Vorhersage liefern kann.