Das Video kommt von YouTube: erst beim Abspielen verbindet sich die Seite mit YouTube (Google).
Deep Learning: Feedforward-Netz mit mehreren Schichten
Das Wichtigste aus dem Video
Tipp auf eine Zeit – das Video springt genau dorthin.
Transkriptautomatisch erstellt · 55 Zeilen
- in diesem Video gehen wir von einem einfachen perzeptron zu einem neuronalen Netzwerk über das mehrere Schichten hat man nennt diese Art von Netzen auch Feed
- forward Netz oder fnn wir sehen jetzt hier ein einfaches perzeptron mit drei eingabeneuronen und einem ausgabeneuron als erstes überlegen wir uns was denn
- passiert wenn wir ein weiteres Neuron hier haben dann hab wir auch weitere Verbindungen hier so jetzt haben wir hier sechs
- Verbindungen und wir haben drei eingangsneuronen und zwei ausgangsneuronen wie können wir jetzt das mathematisch einigermaßen elegant
- formulieren wir nennen mal die ausgabeneuronen Z1 und Z2 jetzt zeige ich ih ein System wie man die
- Gewichte beschreibt mit dem kleinen Buchstaben W wie wir es kennen und jetzt mit zwei Indizes und zwar 1 1 die eine Zahl bedeutet das
- zielneuron und die zweite Zahl bedeutet das quellneuron bei diesem Gewicht ist es egal weil das quellneuron hat den Index 1 und das zielneuron hat den Index
- 1 bei diesem Gewicht wird's interessanter da haben wir W2 weil wir auf Z2 zeigen komm 1 weil wir von X1 kommen entsprechend haben wir
- hier W Ziel 1 Quelle 2 W Ziel 2 Quelle 2 W Ziel 1 Quelle 3 und hier W Ziel 2
- Quelle 3 so jetzt haben wir hier also tatsächlich eine Matrix und wenn wir die Einträge dieser Matrix jetzt hier aufschreiben dann sieht das so aus
- der erste Index ist die Zeile und jetzt schauen wir mal wir haben hier W1 das heißt Ziel ist Neuron 1 und wir haben Gewichte von quellneuron 1 W11
- quellneuron 2 W12 und quellneuron 3 W13 und jetzt haben wir eine zweite Zeile für zielneuron 2 und da kommen wir auch von allen drei quellneuronen das
- heißt die Anzahl der Zeilen in dieser Matrix entspricht der Anzahl der zielneuronen wohingegen die Anzahl der Spalten der Anzahl der quellneuronen
- entspricht so jetzt können wir z also die zielneuronen als Vektor auffassen und wir können natürlich x als Vektor auffassen wie können wir jetzt aus x und
- W das Z berechnen das sieht so aus z= Matrix W multipliziert mit Vektor
- x und wenn wir uns das anschauen dann sehen wir dass das korrekt ist wir rechnen Z
- = W mal X ist gleich ist gleich diese Matrix mal X1 X2 X3 hier haben wir
- eine 2 x 3 Matrix hier haben wir eine 3 x 1 Matrix sozusagen sodass offensichtlich eine 2 x 1 Matrix
- rauskommen muss ja bzw ein Spaltenvektor wie sieht er aus erste Komponente ist
- dieses hier ich multipliziere W11 mit X1 und adiere W12 mit
- X2 W13 X3 und in der zweiten Zeile mache ich das mit diesen Werten
- hier also w21 X1 + W 2 2 X2 + w23 X3 und wenn Sie das mal überprüfen
- hier z.B das ist ja Z1 hier oben das hier ist Z2 dann können Sie schauen ob das korrekt ist ja sie möchten das hier mit dem
- multiplizieren das hier mit dem und das hier mit dem ja und das spricht genau dem was hier steht und genauso können Sie das für Z2
- kontrollieren da möchten Sie das hier mit dem multiplizieren das hier mit dem und das hier mit dem ja und das ist genau das
- was hier steht so was fehlt jetzt noch es fehlt noch das bias Neuron im Gegensatz zu dem was wir beim perzeptron gemacht haben werden wir hier einen
- neuen Vektor hinzuziehen dieser Vektor heißt B und enthält in diesem Fall zwei Komponenten s dass wir schreiben können z = W ja das ist unsere gewichtsmatrix W
- mal X + B wenn wir jetzt hier in diesem Fall die Komponenten ausschreiben würden wäre das Z1 Z2 ist GLE mat x W die schreibe ich
- jetzt nicht aus mal den Vektor x1 x2 X3 + dem Vektor B1 B2 ja sie erinnern sich das hier resultiert in einem 2 x 1 Spaltenvektor so dass das zusammenpasst
- aber die maßgebliche Formulierung ist eben dieses hier und jetzt haben wir den R Input für diese Schicht hier jetzt wissen Sie ja beim perzeptor haben wir
- noch eine Aktivierungsfunktion die haben wir auch hier und die wenden wir auf das Z an und diese Aktivierungsfunktion heißt
- g und was bedeutet das wenn z in diesem Fall zwei Komponenten hat also was ist eine Anwendung der Funktion g auf so einen Vektor und das ist ganz
- einfach die Anwendung der Funktion auf die einzelnen Komponenten und wie sieht g aus g ist die sogenannte logistische
- Funktion g von Z = 1 ge dur 1 + E hoch- Z wenn das ein Koordinatensystem ist und das ist die 1 dann sieht die logistische Funktion so
- aus die macht so einen sanften Übergang von 0 auf 1 und wir hatten ja gesagt das Ergebnis nennen wir a das heißt hier
- haben wir dann A1 und A2 und das nennen wir auch die Aktivierung so jetzt hatte ich ihn ja
- angekündigt dass es hier darum geht dass wir mehrere Schichten haben wir haben ja bislang nur eine Schicht wie können wir das ganze jetzt auf mehrere Schichten
- anwenden ich habe das Netzwerk jetzt noch mal erweitert um eine weitere Schicht wir haben also eine eingabeschicht wir haben eine
- ausgabeschicht und wir haben etwas was wir manchmal die versteckte Schicht nennen oder im englischen hinlayer so und was wir jetzt machen ist wir
- nummerieren diese Schichten durch das hier ist die erste Schicht und die Schicht bezeichnen wir mit einem kleinen l das hier ist die
- zweite Schicht und die Ausgabe ist in diesem Fall die dritte Schicht l = 3 und die Anzahl der Schichten bezeichnen wir auch mit einem großen
- l groß L ist in diesem Fall 3 so jetzt können wir den R Input Z1 und Z2 definieren den müssen wir aber unterscheiden von diesem R Input Z1 und
- Z2 und das machen wir indem wir hier ein hochgestellten Index in Klammern setzen Z1 und Z2 in der zweiten Schicht und Z1 und z 2 in der dritten Schicht und
- genauso versehen wir hier diese gewichtsmatrix W mit einem Index und diese gewichtsmatrix W mit einem Index um zu zeigen zu welcher Schicht die
- jeweils gehören jetzt haben wir hier an den Schichten noch die Aktivierung A1 in Schicht 2 und A2 in Schicht 2 und genauso haben wir
- hier A1 in Schicht 3 und A2 in Schicht 3 das ist außerdem gleich
- y 1 und Y 2 und den berechneten y Wert kennzeichnen wir auch hier mit einem kleinen Dach so und jetzt haben wir die komplette Nomenklatura und können jetzt
- definieren die Berechnung des rinputs und zwar ganz allgemein ist das Z in Schicht L ist g W in Schicht l- 1 multipliziert mit a in Schicht
- l-1+ der bei in Schicht L-1 genau den habe ich hier vergessen den füge ich aussweise mal unten an ich hoffe sie verzeihen mir das wir haben
- hier zwei basneuronen und die haben natürlich auch Verbindungen hier und die bezeichnen wir auch
- mit dem Index für die jeweilige Schicht so jetzt zurück zu unserem zu unserer Berechnung wir haben den roh Input Z und jetzt haben wir die Aktivierung in
- Schicht L A von L ist ganz einfach die Anwendung der Aktivierungsfunktion g auf das Z von L und jetzt müssen wir noch definieren dass der Input also in der
- ersten Schicht ist die Aktivierung von 1 entspricht dem Vektor x und wir müssen noch definieren der Output also y Dach entspricht der
- Aktivierung der letzten Schicht also a von Groß l so damit haben wir es erstmal definiert wie ein Feed forward Netz mit beliebig vielen Schichten funktioniert
- und wie die Berechnungen durchgeführt werden
Zum Nachlesen
Multi-Layer-PerzeptronDer Backpropagation-Algorithmus wird oft verwendet, um die Gewichtsaktualisierung zu berechnen. Der Backpropagation-Algorithmus nutzt das Konzept der …
BackpropagationFehlerrückführung bzw. Rückpropagierung ist ein verbreitetes Verfahren zum Einlernen künstlicher neuronaler Netze. Es gehört in der einfachen Form zur Gruppe …
Künstliches neuronales NetzEin künstliches neuronales Netz besteht aus mehreren künstlichen Neuronen, die miteinander verbunden sind und in der Regel in Schichten organisiert werden. Im …
Deep LearningDeep Learning erlaubt die Verarbeitung und Analyse komplexer Datenmuster; dazu verwendet Deep Learning tiefe hierarchische neuronale Netze, die automatisch …