Wikipedia · einfach zusammengefasst · Stand
Sigmoidfunktion
Eine Sigmoidfunktion, Schwanenhalsfunktion, Fermifunktion oder S-Funktion ist eine mathematische Funktion mit einem S-förmigen Graphen.
Inhalt4 Abschnitte
Begriff und allgemeine Eigenschaften
Eine Sigmoidfunktion, auch Schwanenhalsfunktion, Fermifunktion oder S-Funktion genannt, ist eine mathematische Funktion mit einem S-förmigen Graphen. Allgemein ist sie eine beschränkte und differenzierbare reelle Funktion. Ihre erste Ableitung ist entweder überall positiv oder überall negativ, und sie besitzt genau einen Wendepunkt, also eine Stelle, an der sich die Krümmungsrichtung des Graphen ändert.
Zu den Sigmoidfunktionen gehören neben der logistischen Funktion auch der Arkustangens, der Tangens hyperbolicus und die Fehlerfunktion. Diese Funktionen sind transzendent. Ein algebraisches Beispiel ist
f(x) = x/√(1+x²).
Auch das Integral jeder stetigen, positiven Funktion mit genau einem lokalen Maximum und keinem lokalen Minimum ist eine Sigmoidfunktion. Ein Beispiel für eine solche Ausgangsfunktion ist die gaußsche Glockenkurve. Deshalb sind viele kumulierte Verteilungsfunktionen, die Wahrscheinlichkeiten bis zu einem bestimmten Wert aufsummieren, sigmoidal.
Logistische Funktion und Logit
Häufig bezeichnet „Sigmoidfunktion“ speziell die logistische Funktion. Sie wird durch gleichwertige Formeln beschrieben:
sig(t) = 1/(1 + e^(−t)) = e^t/(1 + e^t) = 1/2 · (1 + tanh(t/2)),
wobei e die Eulersche Zahl ist. Die logistische Funktion ist damit eine skalierte und verschobene Tangens-hyperbolicus-Funktion und besitzt entsprechende Symmetrien.
Ihre Umkehrfunktion lautet:
sig⁻¹(y) = −ln(1/y − 1) = ln(y/(1 − y)) = 2 · artanh(2y − 1).
Diese Umkehrfunktion heißt besonders in Anwendungen, in denen y eine Wahrscheinlichkeit darstellt, Logit-Funktion.
Einsatz in neuronalen Netzen
In künstlichen neuronalen Netzen werden Sigmoidfunktionen als Aktivierungsfunktionen eingesetzt. Eine Aktivierungsfunktion verarbeitet bei einem künstlichen Neuron die Summe der gewichteten Eingabewerte und bestimmt daraus die Ausgabe des Neurons.
Ihre Differenzierbarkeit ermöglicht Lernverfahren wie den Backpropagation-Algorithmus. Dabei werden Ableitungen verwendet, um die Gewichte des neuronalen Netzes anzupassen. Die logistische Funktion ist besonders einfach abzuleiten:
sig′(t) = sig(t) · (1 − sig(t)).
Für den Tangens hyperbolicus gilt entsprechend:
tanh′(t) = (1 + tanh(t)) · (1 − tanh(t)) = 1 − tanh²(t).
Näherungsweise Berechnung
Die logistische Funktion kann mit Unums vom Typ III näherungsweise effizient berechnet werden. Dabei wird die Darstellung der Gleitkommazahl-Eingabe auf geschickte Weise genutzt.