Das Video kommt von YouTube: erst beim Abspielen verbindet sich die Seite mit YouTube (Google).
Maschinelles Lernen: Der K-Nearest-Neighbours-Algorithmus
Das Wichtigste aus dem Video
Tipp auf eine Zeit – das Video springt genau dorthin.
Transkriptautomatisch erstellt · 89 Zeilen
- [Musik] wir kommen bei hatten trocken es geht um kane juristen neighbours was wir heute besprechen lässt sich relativ einfach
- darstellen wir betrachten objekte in zwei dimensionen xy
- da haben wir einmal punkte die wir blau kategorisiert haben und die hier liegen und dann rote punkte die hier liegen und die zweite kategorie
- darstellen die frage ist jetzt folgende wenn ich einen neuen punkt hier platzieren zum beispiel an der stelle hier zum
- beispiel an der stelle hier zum beispiel an der stelle hier gehören diese punkte in die blaue oder rote kategorie für menschen ist das relativ leicht der
- punkt rechts gehört in die rote kategorie warum weil die punkte drumherum auch roth sind der punkt hier gehört in
- die blaue kategorie weil das erst der blaue bereich das sind vor allem blaue punkte wie es mit dem punkt in der mitte da ist
- die situation nicht so ganz klar es gibt blaue punkte in der nähe es gibt rote punkte in der nähe hier entfällt die entscheidung ist viel
- schwerer hier muss man sich ein bisschen genauer überlegen wie man zu einer entscheidung kommen kann
- das ist aber jetzt wirklich schon die grundidee von kanye west neighbours die wir jetzt noch ein bisschen ausarbeiten werden wir wollen also und
- prognoseverfahren entwickeln anhand historischer daten wir haben historische daten aufgezeichnet wir haben beobachtungen
- gemacht wir kennen merkmale und wir kennen kategorien woher kommen die kandidaten kommen das kann zum beispiel sein dass wir
- kundendaten haben und wir wissen ob diese kunden ihre rechnungen pünktlich bezahlt haben oder nicht das können kreditkarten transaktionen seien waren
- die transaktionen unauffällig wurde da wirklich geld überwiesen hat es funktioniert oder steckt vielleicht dahinter kritik
- karten betrug wir können besucher einer website beobachten und eine prognose machen ob die wohl was kaufen werden oder für was die sich vielleicht
- interessieren könnten das heißt in allen fällen haben wir beobachtet was sind die merkmale der kunden und in welchen kategorien gehören die kunden das ganze
- gehört in den bereich des maschinellen lernens und da in das so genannte super weist learning jetzt schauen wir uns die situation
- nochmal an wir haben hier wieder daten relativ wenige daten und die sind eingeteilt in zwei kategorien blau und rot bzw
- ein teil der daten hier die schlechten daten oder schlechten kunden und ein teil der daten hier das sind die blauen sind eher die guten
- kunden die merkmale die wir beobachtet haben sind das alter der kunden und das einkommen der kunden diese merkmale liegen uns auch von neuen
- kunden immer vor wenn also jetzt ein neuer kunde dazu kommt an dieser stelle dann möchten wir gerne wissen ob dieser neue kunde in den
- blauen bereich gehört oder er in den roten bereich die idee ist jetzt folgende wir schauen uns einfach an wie sieht denn die
- nachbarschaft dieses kunden hier ausliegen in dieser nachbarschaft er blaue werte oder er rote werte wenn mehr blaue werte da sind dann wird ein blauer
- kunde wenn mehr rote werte da sind ritzen roter kunde was müssen wir dazu machen wir müssen alle abstände berechnen wir müssen die abstände
- berechnen von dem neuen grünen punkt zu allen anderen punkten zu allen blauen punkten und zu allen roten punkten und im nächsten schritt können wir uns dann
- anschauen was sind zum beispiel die fünf nächsten nachbarn daher kommt auch schon der name diese fünf ist genau dieser werte k das heißt
- wir schauen uns hier die fühlen von nächsten nachbarn an und die entscheiden darüber was diese neue punkt für eine farbe bekommt noch ein bisschen rein wir
- haben hier in dem fall 123 blaue punkte wir haben zwei rote punkte das heißt hier entscheiden wir uns drei zu zwei dafür dass dieser neue punkt ein blauer
- punkt wird wie sieht jetzt der algorithmus insgesamt aus zunächst ich muss mir überlegen wie ich die abstände zwischen den punkten berechnet
- was ich vorher gezeigt haben zwei dimensionen ist relativ einfach dann nimmt man einfach den kürzesten abstand zwischen diesen punkten
- aber es gibt auch noch speziellere situationen dazu gleich noch ein paar worte dann unter teile ich die daten in trainings und testdaten der grund ist er
- wenn ich einfach alle meine daten nehmen und dann für neue punkte die sind algorithmus anwendet dann weiß ich nicht ob der algorithmus funktioniert oder
- nicht das heißt ich zerlege die daten einmal ihre trainingsdaten und dann in testdaten aus diesen test daten nämlich jetzt punkte
- lasst den algorithmus entscheiden anhand der trainingsdaten in welche kategorie der punkt gehört und jetzt kann ich vergleichen ob die prognose richtig war
- oder nicht und wenn ich häufig gute prognose mache dann funktioniert der algorithmus wenn ich häufig eine gute prognose machen klingt irgendwie etwas
- schwammig das ganze könnte aber vielleicht ein bisschen konkreter haben ja wer eine gute idee dazu brauche ich ein bewertungsschema
- dieses bewertungsschema sollen wir sagen ob ich einen guten algorithmus gefunden habe ob der im wesentlichen richtig liegt oder ob er ziemlich häufig daneben
- liegt und eigentlich nicht viel besser ist also mal zufällig rede von diesen bewertungsschema hängt dann auch ab welchen wert ich für mein kwl ich nehme
- jetzt nämlich unterschiedliche werte von k von kleinen werten bis zu großen werten und prüfe dann mit diesen bewertungsschema welches am besten
- funktioniert das weiß ich vorher nicht es gibt keine möglichkeit von vorneherein zu sagen k gleich 70 funktioniert gut oder gar gleich 7000
- wenn ich viele daten habe oder gar gleich 9 das muss ich ausprobieren und es kommt sehr auf das bewertungsschema an ob ich
- mich richtig entscheide das bewertungsschema ist ein ganz zentraler punkt ich nehme also dass k mit dem besten
- wert in bewertungsschema und kann dann diesen algorithmus diesen kern algorithmus auf neue objekte an wänden und hoffentlich funktioniert aber den
- neuen objekten dann auch so gut wie er auf den test daten funktioniert hat wenn das bewertungsschema sagt verfahren funktioniert insgesamt nicht gut ich bin
- kaum besser als raten dann muss ich es verwerfen dann muss ich einen anderen algorithmus verwenden es gibt ein paar praktische punkte die
- wichtig sind bei kn der erste ist in dem beispiel vorher habe ich eine zeichnung gemacht die ich so eigentlich ein bisschen irreführend
- ist ich habe alter und einkommen als merkmal verwendet und alter und einkommen liegen eigentlich auf völlig unterschiedliche
- skalen alter liegt meinetwegen zwischen 20 und 70 einkommen zwischen 20.000 und 100.000 zum beispiel das heißt in einem realistischen beispiel ist es so dass
- eigentlich nur das einkommen entscheidend ist weil 50 jahre unterschied im alter was ein riesen unterschied ist fallen eigentlich nicht
- ins gewicht gegenüber 100 euro unterschiede im einkommen was ziemlich schnell zustande kommt eigentlich sieht das bild also so aus und da habe ich
- immer noch untertrieben das ganze ist eigentlich noch viel gequetschter was muss ich tun ich muss die daten auf den ehrlichen
- maßstab skalieren typischerweise ist es so dass wir das dann immer zwischen 0 und 1 skaliert ich muss aber wirklich gut aufpassen dass
- die verschiedenen skalen zusammenpassen die nächste frage ist welchen wert hat k ich bin vorher schon ein bisschen darauf eingegangen wie man das feststellen kann
- die wahl von katar hat natürlich große auswirkungen auf das ergebnis wenn ich k gleich drei wehle und das beispiel hier unten habe das heißt ich habe hier rote
- punkte ich habe hier blaue punkte dann bekomme ich mit gleich drei folgendes ergebnis auf der rechten seite ich sehe ich habe zwar eine unterteilung
- die grob sinn ergibt aber ich habe hier mehrere inseln in meinen gebieten die ein bisschen ungewöhnlich sind das ist eine art von eur fitting das
- ganze sieht er so ein bisschen aus wie adriaküste oder so ich würde urlaub machen ich würde es aber nicht als prognose verfahren verwenden wenn ich km
- höhe auf 5 sieht es verfahren etwas besser aus ich habe nicht mehr ganz so viele inseln hier aber die küstenlinie ist immer noch relativ zerfurcht dh das
- hängt so ein bisschen von einzelnen punkten ab warum jetzt hier gerade eine ausbuchtung ist oder nicht das heißt ich erhöhe man kann auch mal
- die auch gleich sieben sieht nicht wirklich besser aussieht eigentlich war fast ein bisschen schlechter aus mit der stelle hier der stelle da das heißt es
- hat nicht so richtig viel gebracht ich muss noch mal hoch schrauben das ist jetzt der richtige wert für k wissen wir nicht so genau muss man
- rumprobieren wenn ich gleich 13 nehme als ein beispiel dann kriege ich ein ergebnis was jetzt optisch eigentlich schon ganz gut
- aussieht aber es sieht halt optisch gut aus es ist wirklich ein gutes prognoseverfahren schon oder nicht das ist eine schwierige frage
- das heißt das verfahren an sich ist einfach aber das richtige zu finden ist nicht so einfach eine weitere wichtige frage in der
- praxis ist wie berechne ich den abstand zwischen kategorialen merkmalen wenn ich zum beispiel das merkmal familienstand habe ledig verheiratet geschieden und
- verwitwet was ist denn der abstand zwischen ledig und geschieden ist er größer als zwischen verheiratet und verwitwet oder ledig und verwitwet das
- ganze ist nicht ganz trivial ich kann es auch hier keine schnelle lösung präsentieren es gibt aber lösungen dafür war das ein sehr häufiges
- problem ist ich habe eigentlich in fast allen relevanten daten setzen irgendwelche kategorien das heißt ich muss mir irgendwas schlaues überlegen
- wie ich diesen abstand hier messen kann wir sind auch ein paar fragen offen bleiben das nächste ist welches abstands maß
- nehme ich es gibt wirklich viele abstands maße ich habe hier mal eine liste gemacht und man sieht das ist eine ganze menge neuer kritische distanz
- das ist das was wir verwendet hatten da kommt aber noch deutlich mehr dazu ja noch eins ja nicht am ende sind erst bisschen erst bei kl
- ja ok ja so langsam noch eins okay das war's das sind alles abstands maße welches abstands mars ist für mein problem das richtige auch das ist eine
- frage die nicht ganz leicht zu entscheiden ist manche abstands maße eignet sich nicht für alles da ist es dann relativ leicht zu sagen das können
- auf keinen fall verwenden aber es ist wirklich nicht trivial zu sagen dass das eine abstands maß besser ist als das andere von vornherein es gibt abstoß
- maße die relativ kompliziert zu berechnen sind wohl die berechnung schwierig ist es gibt abstands maße da ist die berechnung sehr einfach zum
- beispiel hier diese taxi cab oder manhattan distance dies sehr einfach zu berechnen das heißt wenn ich große datenmengen habe dann ist es praktisch
- aber auch hier wieder der algorithmus ist einfach aber die details sind nicht einfach was man das ganze noch mal ein bisschen zusammen kennen ist ein schöner
- weil einfacher und nachvollziehbarer algorithmus die entscheidende frage ist welcher wert von k ist der richtige dazu mussten wir überlegen welche abstände
- sind die richtigen und wie berechneten abstand bei kategorialen merkmalen außerdem braucht ein bewertungskriterium ich muss entscheiden können ob mein
- verfahren gut funktioniert oder nicht gut funktioniert damit ist kein typisches maschinelles lernen verfahren die grundidee ist relativ einfach die
- details machen die sache ein bisschen kompliziert ist aber auch das schöne an diesem verfahren die grundidee ist einfach und dann kann ich herum
- experimentieren dann kann ich irgendeine gute idee haben dann kann ich ein bisschen was ausprobieren dann kann ich mir was schlaues überlegen für die
- abstands maße usw und dadurch mein algorithmus besser machen außerdem sind diese einfachen verfahren deswegen wichtig weil sie häufig halt
- echt gut funktionieren wenn ich mir was schön kompliziertes überlege was auf dem papier gut aussieht und vielversprechend klingt und dann vergleiche option
- einfach algorithmus weekend vielleicht genauso gut funktioniert dann ist es am ende natürlich relativ peinlich wenn ich mir da was kompliziertes überlegt habe
- und mit dem einfachen algorithmus alles genauso gut funktioniert deswegen ist es wichtig sich immer von vornherein auch diese einfachen algorithmen anzuschauen
- häufig sind wir schon so gut dass man gar nicht so sehr bei den komplizierteren nachschauen muss es klappt aber auch nicht immer es gibt
- einfach probleme die kompliziert sind bei denen eigentlich alle algorithmen große schwierigkeiten haben das war kanye west bis zum nächsten mal
- [Musik]
Zum Nachlesen
KlassifikationsverfahrenDas Erzeugen von Strukturen aus vorhandenen Daten wird auch als Mustererkennung, Diskriminierung oder überwachtes Lernen bezeichnet. Dabei werden …
ClusteranalyseUnter Clusteranalyse (Clustering-Algorithmus, gelegentlich auch: Ballungsanalyse) versteht man ein Verfahren zur Entdeckung von Ähnlichkeitsstrukturen in …
Maschinelles LernenMaschinelles Lernen (ML) entwickelt, untersucht und verwendet statistische Algorithmen, auch Lernalgorithmen genannt. Solche Algorithmen können lernen, …
Überwachtes LernenÜberwachtes Lernen (englisch supervised learning) ist eine wichtige Kategorie des Maschinellen Lernens. Dabei wird ein Lernalgorithmus mit Datensätzen …