Das Video kommt von YouTube: erst beim Abspielen verbindet sich die Seite mit YouTube (Google).
Neuronale Netze [013] - Delta-Lernregel und MNIST - One Hot Encoding - Theorie
Das Wichtigste aus dem Video
Tipp auf eine Zeit – das Video springt genau dorthin.
Transkriptautomatisch erstellt · 37 Zeilen
- halli hallo eine weitere episode mannes neuronalen netze tutorials in dieser episode werden wir beginnen die delta lernen regel im zusammenhang mit den
- mist datensatz zu analysieren das heißt wir werden also mit hilfe der der der delta lernen regel den mist datensatz lernen und dann gucken okay wie gut
- eignet sich das dafür eigentlich in dieser episode schauen wir uns den netzaufbau an und in der nächsten episode werden wir das ganze dann
- implementieren und eben auch evaluieren was dabei dann am ende eigentlich rauskommt so zunächst mal zunächst ein netzaufbau hier haben wir die inputs die
- inputs sind relativ simpel dass daneben 28 mal 28 stück also 784 stück an im putz das sind die einzelnen pixel daten das sind zwar viele aber es ist nicht
- wirklich schwer wir brauchen dafür auch kein bayers oder sonst irgendwas alles was wir brauchen ist sind diese pixel daten ja die haben wir hier drin
- wir müssten theoretisch nicht mal geordnet sein könnte dass neuronale netz genauso gut damit umgehen also weder schlechter noch besser wenn die
- ungeordnet bären hauptsache ist nur dass zwischen den unterschiedlichen tests jeder einzelne von diesen input neuronen den gleichen pixel sozusagen übernimmt
- so okay das ist es soweit zu dem input jetzt kommen wir zum output und jetzt zunächst mal eine triviale herangehensweise an das ganze und zwar
- könnte man sich jetzt überlegen okay wir haben einfach einen output das ist ein neuron und dieses neuron soll eine zahl zwischen null und neun dann ausgeben
- das ganze ist aber falsch warum ist das ganze so falsch in dieser diesem netzaufbau das würde bedeuten dass die zahlen 2 und 3 näher
- beieinander liegen als zb 2 und 7 klar auf dem zahlen strahl ist es so aber wenn er jetzt mal einfach nur die grafische repräsentation einer zahl
- anguckt dann liegt vermutlich die zwei und die sieben sogar näher beieinander als die zwei und drei ja wenn ihr einfach nur zahlen zwischen 0 und 9 in
- einem solchen euro hier ausgeben würde ja wie gesagt dann wäre die distanz zwischen diesen beiden bildern kleiner je näher der zahlenwert
- beieinander liegt aber das ist nicht das was wir wollen deswegen machen wir eine andere strategie und zwar heißt dass sowohl hot
- encoding und zwar machen wir dann nicht einen output sondern so viele outputs wir unterschiedliche labels haben also in unserem fall zehn stück das sind also
- diese zehn output neuronen und der soll aus put ist dann von dem neuron welches tatsächlich die zahl ist ist 1 und von anderen von allen anderen ist 0
- ja das ist also der sollwert der daten am ende herauskommt und auf die art und weise liegen dann alle bilder zunächst mal gleich weit voneinander weg so also
- beim training ist es so dass das was tatsächlich richtig ist dass es 1 und alle anderen sind 0 aber wenn wir das dann anwenden dann
- haben wir irgendwelche zahlen werde natürlich zwischen 0 und 1 als output und das ist unheimlich nützlich denn das können wir benutzen als sozusagen die
- sicherheit von unserem netz also wie sicher ist sich dieses netz das jetzt diese zahl tatsächlich eine 3 ist oder nicht wird der zahlenwert höher
- dann ist er sich sicherer ist niedriger ist es sich unsicherer und wir haben sogar auch noch einen platz zwei also ich bin mir relativ sicher dass es eine
- 2 ist aber es könnte auch das und das seien ja also wir haben eine hierarchie von allen zahlen zueinander was am wahrscheinlichsten von unserem
- neuronalen netze entsprechend eingestuft wird ok worauf können wir bei diesem test eigentlich hoffen
- das netz ist sehr simpel das muss man dazu sagen also das sind zwar viele neuronen und dementsprechend auch viele verbindungen deswegen sieht es für uns
- jetzt zunächst mal komplex aus aber wir haben zum beispiel nicht mal hätten schicht da drin das heißt alles was das netz am ende des
- tages eigentlich machen kann ist einzelne pixel anzugucken und zu analysieren wie wahrscheinlich ist es dass dieser pixel bei der
- der zahl vorkommt was das neuronale netz nicht machen kann ist zusammenhänge zwischen unterschiedlichen pixeln herzustellen
- das kann das neuronale netz nicht denn dafür bräuchten wir eine zusätzliche hinten schicht welche dann eben diese zusammen liegenden pixel irgendwie
- zusammenfasst und dann auf dieser basis weiter analysiert dementsprechend werden wir auf keinen fall hier ein ergebnis erwarten können welches wir sozusagen in
- der produktion tatsächlich benutzen können aber wir werden zumindest mal ein messwert haben sozusagen eine base line
- auf die wir dann alle kommenden lern algorithmen darauf aufbauen können also es muss mindestens so gut sein wie die delta lernen regel und der zahlenwert
- denn wir hier bekommen werden und dafür wird die sogenannte r rating brigens auch wurde ins leben gerufen sie gibt an wie viel prozent liegt
- unsere unser neuronales netz falsch das heißt am anfang werden es 90 prozent seien das m10 zahlen und es wird am anfang zunächst mal nur raten können das
- heißt in 90 prozent der fälle ist unser neuronales netz liegt daneben also im durchschnitt das natürlich ein bisschen ab aber im durchschnitt sind es dann 20
- prozent und danach mit dem kommenden lärm durchgang wird dann entsprechend auch besser genau und das gucken wir uns in der nächsten episode an und da geht
- es dann wie gesagt um die täter lernen regel und um den mist datensatz gut bis zum nächsten mal
Zum Nachlesen
Künstliches neuronales NetzEin künstliches neuronales Netz besteht aus mehreren künstlichen Neuronen, die miteinander verbunden sind und in der Regel in Schichten organisiert werden. Im …
Deep LearningDeep Learning erlaubt die Verarbeitung und Analyse komplexer Datenmuster; dazu verwendet Deep Learning tiefe hierarchische neuronale Netze, die automatisch …
PerzeptronDas Perzeptron (nach engl. perception, „Wahrnehmung“) ist ein vereinfachtes künstliches neuronales Netz, das zuerst von Frank Rosenblatt 1957 vorgestellt …
Convolutional Neural NetworkIm Jahr 1987 trainierte Alex Waibel ein CNN namens TDNN durch Backpropagation und erzielte damit Bewegungsinvarianz. Auch Yann LeCun publizierte ab dem …