Mit RAGs faktentreue TutorBots für die Lehre selbst erstellen – in der Informatik und darüber hinaus
KIT Lehre und Wissen
https://www.youtube.com/watch?v=fsaTA6Y9Kz8

Transkript (automatisch erstellt)

0:03 Die Aufzeichnung ist gestartet und ich darf Sie noch einmal ganz offiziell willkommen heißen zum heutigen Workshop mit "RAGs
0:11 Faktentreue TutorBots für die Lehre selbst erstellen - in der Informatik und darüber hinaus". Mein Name ist Matthias Bandtel, ich bin Geschäftsführer des Hochschulnetzwerks Digitalisierung der
0:20 Lehre Baden-Württemberg. Wir freuen uns sehr über das große Interesse an diesem Workshop, der zum zweiten Mal stattfindet,
0:28 zweitmal ausgebucht ist und, liebe Ulrike, liebe Barbara, auch schon die Nachfrage besteht zu einer dritten Ausgabe, das werden wir im Nachgang ja nochmal
0:36 besprechen müssen. Diese Workshop-Reihe "FOKI - Fortbildung künstliche Intelligenz in der Hochschullehre" können wir Ihnen anbieten mit großzügiger Unterstützung
0:46 des Wissenschaftsministeriums Baden-Württemberg und des Stifterverbandes. Wir haben in dieser Reihe eine Vielzahl von Workshops zu den Schwerpunktthemen
0:55 Infrastrukturen, mediendidaktische Konzepte, rechtliche Fragestellungen, ethische Gesichtspunkte und Buchschulstrategieentwicklung. Heute geht
1:05 es um ein Querschnittsthema aus Infrastruktur und Mediendidaktik, das uns unsere Referentinnen, die ich gleich vorstelle, präsentieren werden.
1:15 Wir beschäftigen uns mit der Frage, wie Chatbots vor allem Selbstlernphasen unterstützen können. Die Herausforderung bei den Chatbots, Sie
1:25 Sie alle kennen die Problematiken des Bias, der Halluzination, die mit Chatbots und Sprachmodellen verbunden sind.
1:33 Deswegen liegt die Herausforderung, wie bekommt man faktentreue gemäß einer kuratierten Wissensbasis gesichert und auch eine Kontrollmöglichkeit für die Lehrperson.
1:45 Das werden wir heute im Workshop intensiv diskutieren und praktisch erproben. Wir werden Grundlagen von Chatbots kennenlernen und vor allem das Thema Retrieval Augmented Generation,
1:57 RAGs, kennenlernen und uns da mit auseinandersetzen. Das wird nicht nur theoretisch passieren, sondern Sie werden dann als Teilnehmende auch die Möglichkeit bekommen,
2:08 einen eigenen Tutor-Bot mit Ihren Inhalten und Ihren eigenen System-Drums zu erstellen. Wir haben jetzt noch zwei Teile dieses Workshops vor uns.
2:17 zunächst eine Einführung in die theoretischen Hintergründe und dann, wie versprochen, den Raum zum Experimentieren. Vorab noch eine kleine Information. Wenn Sie Fragen haben, dann können Sie die Q&A-Funktion von Zoom nutzen.
2:32 Wir werden das fortlaufend monitoren und auch versuchen, die Fragen dann aufzugreifen oder zu beantworten. Und wenn Sie eine Teilnahmebescheinigung an diesem Workshop wünschen, dann geben Sie mir gerne im Chat oder per Mail ein Zeichen,
2:43 dann stellen wir Ihnen gerne eine Teilnahmebescheinigung aus. Ich darf unsere beiden Referenten vorstellen. Ich begrüße ganz herzlich zum zweiten Mal in diesem Kontext Professor Dr. Ulrike Padó.
2:55 Sie ist Informatikprofessorin an der Hochschule für Technik Stuttgart, hat in der Computer Linguistik promoviert und forscht zu KI in der Hochschullehre sowie Natural Language Processing. Sie ist Fellow des Stifterverbandes für Lehrinnovation in der digitalen Hochschullehre und zwar im
3:14 Tandem mit Dr. Barbara Pampel, die ich ebenfalls sehr herzlich begrüße.
3:19 Frau Pampel ist Tenure-Track-Professorin mit Schwerpunkt Lehre in den Grundlagen und der Didaktik der Informatik an der Universität Konstanz.
3:28 Sie hat Mathematik und Sportwissenschaft studiert und in der Informatik promoviert. Ihre Forschungsinteressen liegen in den Bereichen Zeichnen von Graphen,
3:37 Informationsvisualisierung, Netzwerkanalyse und Didaktik der Informatik. Und wie schon eben angesprochen, eben ganz aktuell ausgezeichnet mit einem Fellowship
3:48 des Stifterverbandes für Lehrinnovation und wir freuen uns sehr, dass ihr beide uns heute einen Einblick gebt in dieses Fellowship-Programm und in eure Forschung zum Thema
3:58 faktentreue Chatbots. Ich übergebe an euch. Ja, vielen Dank von mir auch. Guten Morgen. Schön, dass so viele heute da sind. Ich bin
4:11 perfekt vorgestellt. Barbara, ich kann gleich an dich weiterreichen. Genau, also auch guten Morgen von mir und vielen Dank für die Vorstellung und wir freuen uns
4:23 riesig, dass wieder so viele da sind und das so großes Interesse hervorruft. Wir würden Sie können einsteigen mit einer ganz kleinen Befragung,
4:35 warum Sie heute hier sind, also was Ihre Wünsche sind. Das bedeutet für uns,
4:40 dass wir hinterher ein bisschen besser einschätzen können, wie viel Raum müssen wir jetzt für Eigenes experimentieren,
4:46 auch zeitmäßig bereitstellen. Und wie sehr sind Sie vielleicht auch vorwiegend
4:50 an verschiedenen konzeptionellen Ausführungen dafür interessiert. Wir haben für alles Lösungen vorbereitet.
4:57 Das heißt, je nachdem, wie das jetzt gleich ausfällt, bisschen anpassen. Was ich vorbereitet habe, ist einfach ein ganz kleines Menti. Ich gebe das
5:06 gerade mal frei und dann können Sie bitte einmal ganz kurz uns, ich kopiere auch mal den Link rein, uns ganz kurz Feedback dazu geben, was Sie denn eigentlich hier heute machen wollen. Ich poste
5:22 auch mal in den Chat den Link zum Menti und dann sind wir sehr gespannt. Oh super, ich glaube, das gibt uns schon den perfekten Eindruck und ist auch das,
5:43 mit dem wir gerechnet hatten. Also wir werden auf jeden Fall am Schluss Freiraum zum Experimentieren geben. Wir werden aber auch einen Raum bereitstellen, in dem Sie mit mir so ein bisschen an meinem
5:51 Experimentieren können, insbesondere diejenigen, die jetzt nichts installieren konnten oder wo der Schluss der Installation nicht ganz geklappt hat und werden aber auch einen Einstieg bieten zu
6:03 generativer KI und RAC-Systemen insgesamt. Und das macht jetzt wieder die Ulrike und deshalb gebe ich ihr jetzt wieder das Wort. Vielen Dank. Genau. Wir fangen also an,
6:18 so ein bisschen zu erklären, wo wir uns heute bewegen. Ich zeige Ihnen auch meine Folien, das erleichtert manches. So, und Sie sehen jetzt auch nicht etwa meine Presenter-Tools,
6:33 sondern meine Folien. Gut, das ist immer das Erste. Wunderbar. Wir sind also ganz klar im Bereich der künstlichen Intelligenz unterwegs. Ich habe noch was vergessen. Einmal wieder zurück.
6:46 Ich werde auch gleich noch mal ein bis zwei Publikumsfragen stellen, wo wir gern von Ihnen ein bisschen Rückmeldung haben möchten.
6:51 So ein bisschen so ähnlich wie das Menti. Aber wir brauchen da eine textuelle Rückmeldung.
6:57 Das heißt einfach Antworten, kurze Sätze, kurze Stichworte von Ihnen. Wir möchten das gerne über das Q&A-Tool, also das F&A-Fragen-und-Antworten-Tool hier
7:07 in Zoom machen. Und diese Antworten dann tatsächlich auch für uns für die Auswertung verwenden, für
7:13 unsere weitere Forschung, auch gerade in dem Rahmen von diesem Fellowship, das wir jetzt gerade ausfüllen dürfen. Und würden aber Ihnen da gern die Möglichkeit geben, sich da auch rauszunehmen,
7:24 wenn Sie sagen, nee, ich möchte das eigentlich nicht quasi da in diese Nachnutzung geben, dann können Sie auch gern Ihre Beiträge in den Chat schreiben. Aber Sie unterstützen uns dann
7:33 natürlich sehr, wenn Sie bereit sind, anonym, der Name wird nicht mitgeloggt, uns da entsprechend Inhalte auch zur Nachnutzung zu geben. Das würde uns sehr freuen. Genau. Dann ein neuer Anfang.
7:48 Jetzt geht's in den inhaltlichen Impuls. Wir befinden uns klar im Bereich der künstlichen Intelligenz. Der Bereich der künstlichen Intelligenz ist aber sehr groß. Nach einem
7:58 Lehrbuch in der Informatik ist etwas künstlich Intelligentes ein rationaler Agent, der versucht, in seiner aktuellen Situation optimale Entscheidungen zu treffen. Also, das ist denkbar
8:11 weit. Also, da sind wir vom Chatbot noch wirklich sehr, sehr weit weg. Innerhalb der künstlichen Intelligenz ist ein sehr großes Teilgebiet das Machine Learning, wo wir also versuchen,
8:21 Systeme zu bauen, die aus Daten lernen und dann in der Lage sind, auf sich selbst gestellt, in einer neuen Situation zu reagieren. Da nähern wir uns diesem "Beste Entscheidung
8:31 in der aktuellen Situation treffen, so langsam entsprechend auch an. Und innerhalb diesem maschinellen Lernen, also Daten rein, Modell lernt was, Modell kann nachher agieren, gibt es dann
8:42 den Bereich des Deep Learning. Das ist ja seit einigen Jahren ein ganz wichtiger Begriff. Das Deep bezieht sich darauf, dass man sehr tiefe Lernalgorithmen hat, die also in sich sehr,
8:54 sehr viele Teilkomponenten haben, diese neuronalen Netze mit vielen, vielen Netzwerkschichten. die tatsächlich auch jetzt so populär sind, weil man sie vorher gar nicht rechnen konnte.
9:05 Und dieses Deep Learning erlaubt uns jetzt also im Bereich des Machine Learnings im Endeffekt auch die generative KI zu nutzen. Diese generative KI zeichnet sich dadurch aus,
9:19 dass sie jetzt nicht bloß Entscheidungen treffen kann, wie gehe ich nach rechts, gehe ich nach links, ist diese E-Mail ein Spam oder keine, sondern sie kann auch tatsächlich
9:27 selbst Inhalte erzeugen. Zum Beispiel Texte oder Bilder, wie hier die Abbildung rechts, die ist aus so einem generativen KI-Programm rausgefallen. Es haben sicherlich einige von
9:36 Ihnen da auch schon mit experimentiert. Das ist manchmal sehr unterhaltsam, teilweise aber auch sehr schön und sehr überraschend, was man da rausbekommt. Und dasselbe gibt es auch für Sprache.
9:47 Dann heißt es ein Large Language Model, ein großes Sprachmodell, weil man darauf hinaus möchte, dass diese KI-Methoden im Prinzip sehr viel Wissen über Sprache erworben haben im Training. Also die
10:01 wissen, wie Deutsch funktioniert und sind deshalb in der Lage, deutsche Sätze zu bauen. Beispiele dafür ist GPT, wo unser Chat-GPT herkommt. Vielleicht hat auch schon mal jemand von BERT
10:11 oder von Lama gehört. Das sind also alles Namen von spezifischen Modellen, spezifischen Architekturen, die dieses Sprachwissen abbilden und aus diesem Sprachwissen heraus dann Texte
10:23 bilden können. Wie funktioniert das jetzt? Ich habe zum Beispiel als so ein Sprachmodell im Training sehr oft den Satz gelesen "der Einsatz von KI in Forschung und..." und kann deshalb,
10:34 wenn ich die Aufgabe bekomme, wie geht es denn hier weiter? Der Einsatz von KI in Forschung und... Wahrscheinlich nicht in Forschung und Küche, sondern wahrscheinlich eher in Forschung und
10:45 Lehre, zumindest im Hochschulkontext ist das immer so die natürliche Ergänzung für Forschung und... hat das Modell gelernt, würde es mit hoher Wahrscheinlichkeit an dieser Stelle einsetzen.
10:56 Es hat aber auch vielleicht eine gewisse Wahrscheinlichkeit für Forschung und Industrie und eine ganz ganz kleine für Forschung und Gartenforschung und Kücheforschung und alle
11:04 möglichen anderen. Das heißt, das Modell weiß aus der Erfahrung, was quasi in diese Lücke reingehört und kann deshalb generieren. Also das ist so die ganz grob gesagt die Grundlage des
11:16 der Dutch Language Modes. Das bedeutet aber, dass wir wirklich eigentlich hier nur Wortsequenzen bilden, also Wörter aneinanderreihen und wenn da dann Dinge rauskommen, die auch faktisch richtig
11:29 und sachlich sinnvoll sind, dann kommt es daher, dass das Modell einfach diese Wortreihenfolgen oft genug im Training gesehen hat. Das heißt, es gibt uns Antworten voller implizitem Wissen,
11:40 ohne dass es einen Faktencheck gäbe. Man kann nicht sagen, zeig mir das Dokument, aus dem du du das hast, denn das war eins von Millionen von Trainingsdokumenten, ist nicht mehr individuell
11:49 identifiziert war. Man kann nicht sagen, gib mir die Quelle an oder begründe das. Also man kann das zwar prompten, man kriegt dann auch eine Antwort, aber das hat nichts damit zu tun,
12:02 wie das Modell tatsächlich selber auf diese Lösung gekommen ist. Das heißt, wir haben da sehr, sehr viel Wissen drin, aber es ist halt schwierig, die Zuverlässigkeit einzuschätzen. Und wir kennen
12:13 das Problem der Halluzinationen, insbesondere dann auch, wenn es an wissenschaftliches Arbeiten geht, was von den Dingen, die so ein Modell erzählt oder auch die Quellen, die es vorschlägt,
12:23 sind überhaupt richtig und existieren überhaupt. So, jetzt sollten wir aber eigentlich heute gar nicht so sehr nur über diese LLMs sprechen, sondern wir wollten eine Anwendung und eine
12:33 Spezialisierung der LLMs anschauen. Das sind die Chatbots. Chatbots gab es auch schon vor den LLMs, um mit Benutzern zu kommunizieren. Früher waren die regelbasiert, mittlerweile benutzen die
12:43 natürlich diese LLMs, weil die so schöne Sprache und so schöne sinnvolle Antworten geben können. Einfach aufgrund der Tatsache, dass die eine riesige Erfahrung davon haben, was Sprache
12:53 überhaupt ist und was als nächstes kommen könnte. Kennen Sie bestimmt im Kundenservice irgendwo und natürlich ist das für uns hier in der Bildung auch sehr interessant. Wie kommt jetzt,
13:06 Die wird aus einem LLM ein Chatbot. Wir trainieren quasi dieses LLM noch weiter.
13:12 Im Urzustand kann das das nächste Wort vorhersagen. Das ist schon mal schön, aber wir möchten ja auch,
13:16 dass es sich im Dialog angemessen verhält. Also wenn ich mich bedanke, dann soll das LLM
13:21 "Bitteschön" sagen. Wenn ich das LLM begrüße, dann, oder den Bot begrüße,
13:24 soll der antworten. Der soll auf eine Art und Weise sich in diesem Dialog äußern,
13:30 die für mich angemessen erscheint. Und das müssen die Dinger natürlich lernen.
13:33 Sie an sehr, sehr vielen Dialoginteraktionen und Bewertungstraining im Endeffekt. Und dann, wenn wir das alles erledigt haben, dann haben wir ein Chat-LLM, sowas wie ein
13:46 Chat-GPT. Und das generiert uns immer noch den wahrscheinlichsten Output, das ist also quasi geerbt von dem LLM, was dahinter steckt, gegeben die Anfrage des Users, den bisherigen Chatverlauf,
14:01 den bekommen die Bots normalerweise auch in den Zugriff. Und einen Systemprompt, wo allgemeine Vorgaben drinstehen,
14:07 wie sich das Ding verhalten soll. Also welche Rolle soll es spielen?
14:09 Soll es hilfreich sein? Soll es unhöflich sein?
14:12 Was soll es tun? Und diesen Systemprompt bekommen wir halt bei käuflichen Systemen
14:19 sowie ChatGPT nicht zu Gesicht. Der ist von der Firma vorgegeben und wir wissen nicht,
14:26 was zu unseren weiteren Vorgaben hier, User-Anfrage, unseren Zusatzprompts, Chatverlauf, da noch alles dem System mitgegeben wird. Aber das
14:35 ist eine Sache, die wir gerne kontrollieren möchten, insbesondere im Einsatz in der Bildung, weil wir natürlich bestimmte Vorstellungen haben, was für eine Aufgabe dieser Chatbot erfüllen
14:44 soll. Und mit dem Prompt können wir das Verhalten an der Stelle am besten steuern. Deshalb möchten wir da eigentlich den vollen Zugriff haben. Deshalb sind Sie auch alle hier, um zu sehen,
14:54 wie Sie da Ihren eigenen Bot bauen können, wo Sie den System prompt kontrollieren im Prinzip. Okay, wir sind also da bei der generativen KI, die sich ganz stark im Bereich des Deep Learning
15:07 ansiedelt und mit den Large Language Models entsprechend bei den Channels. So, genau, da sind Sie. Wunderbar, sind wir angekommen. Ausgezeichnet. Dann würde ich Sie doch bitten,
15:24 Mal ganz schnell in einer Minute in das Q&A-Tool, in das Frage- und Antwort-Tool, uns reinzuschreiben, was Sie denn an Bedenken hätten, wenn ich jetzt so ein Chatbot für die
15:40 Lehre ansetze. Was sind Ihre Sorgen, was für Einschränkungen sehen Sie im Augenblick? Wir würden das dann gleich kurz zusammentragen und dann entsprechend auch diskutieren oder ganz
15:52 diskutieren. Ich weiß, da müssen wir jetzt an der Stelle, weil wir ja nachher mehr Zeit zum Experimentieren geben möchten, ein klein bisschen Zeit einsparen. Da können wir längst nicht so
16:06 schön diskutieren, wie wir das vielleicht alle gerne jetzt auch möchten. Aber ein bisschen Zeit werden wir haben. Super, ich sehe schon, es kommen schon ganz viele Reaktionen. Wie gesagt,
16:17 Wenn Sie also Ihre Reaktion da nicht sehen möchten, dann sehr gerne auch in den Chat. Aber dann können wir es halt nachher nicht auswerten.
16:25 Ich sehe, wenn ich hier durchschaue, ganz, ganz viel Bedenken in Richtung Halluzinationen, Zuverlässigkeit. Das ist auch tatsächlich einer unserer ganz großen Beweggründe.
16:35 Hier gibt es einen Aspekt, der geht so ein bisschen in Richtung Interaktion von Lehrenden und Lernenden. Wie ist denn das, wenn der die Lehrperson quasi, er wird hier ersetzt,
16:44 Das sind Bedenken. Datenschutz, Datenspeicherung, wunderbar, passt auch sehr gut zu dem, was wir Ihnen heute zeigen wollen. Ja, wo gehen die Daten hin? Und das sind ja auch immerhin die
16:54 Daten meiner Studierenden, nicht nur meine, über die ich selbst entscheide. Genau, fachliche Passung, unangebrachter Themenwechsel sind so Bedenken. Das finde ich auch sehr,
17:05 sehr wichtig. Man möchte ja nicht, dass der Bot den Studierenden irgendwas erzählt, sondern man möchte ihn eigentlich tatsächlich genauso einschränken, dass er sich fachlich
17:14 korrekt äußert und hilfreich ist, aber nichts sonst darüber hinaus sagt. Diskriminierende Eigenschaften, reagiert er auf unterschiedliche Personen unterschiedlich zum Beispiel,
17:28 werden in Bedenken. Ich gucke genau, das sind die Biases. Haben alle Studierenden Zugang, ist ganz wichtig. Das wäre natürlich jetzt hier für uns auch heute, würden wir da eine Lösung
17:41 anbieten, ja, wenn Sie den Bot selber erstellen, dann können Sie natürlich all Ihren Studierenden auf diesen Bot Zugang geben. Die Sache mit der Autorität von Mensch zur Maschine ist ähnlich
17:52 wie der Punkt oben, wie verändert das die Beziehung zwischen Lehrpersonen und Lernenden? Genau. Falsche, irreführende Informationen haben wir. Möglicherweise Missbrauch. Also das sind
18:11 ganz tolle Antworten, die da kommen, die uns auch alle schon umgetrieben haben. Ich mache jetzt hier ganz schnell, dass ich durchgucke. Genau. Wie ist es mit Rechtssicherheit,
18:20 falls die Studierenden Halluzinationen, sich auf Halluzinationen berufen in der Klausur? Das hat aber der Bot so gesagt, ich will meine 1, ja. Was ist mit Urheberrecht, ja, wenn ich da Daten
18:32 eingebe, das ist natürlich tatsächlich eine wichtige Frage. Da gilt, wie es immer in der Lehre ist, ich muss das Vervielfältigungsrecht besitzen, um da Daten eingeben zu können. Ich
18:43 gehe mal auf unsere Folie, die, glaube ich, tatsächlich viele von Ihren Punkten auch bringt. Die haben Sie dann entsprechend auch im Nachgang zur Verfügung. Da steht ganz vieles
18:53 drauf. Und Sie sehen da auch, dass wir an einigen Stellen auch tatsächlich da aus der Literatur Quellen gefunden haben, gerade zu den Halluzinationen, dass die Anpassung an Lernziele
19:05 nicht gut funktioniert. Also da kommen zu viele falsche, völlig vom Weg abgekommene Antworten zurück. Es gibt durchaus auch die Möglichkeit, das System quasi bewusst irre zu leiten. Das sind
19:16 diese böswilligen Prompts. Datenschutz, Kosten, Abhängigkeiten von Drittanbietern haben wir hier unten auch drauf. Also das sind alles Dinge, die uns auch so in den Kopf gekommen sind. Okay,
19:28 super. Jetzt haben wir alle keine Lust mehr. Dann können wir es ja eigentlich auch lassen. Wir haben ganz viele Gründe gefunden, auf gar keinen Fall das zu machen. Aber so soll es ja
19:37 nicht sein. Wir möchten eigentlich Ihnen einen Weg zeigen, auf dem wir denken, dass man ganz gut gut viele von diesen Risiken ausschalten kann. Sicherlich nicht 100 Prozent, aber viele,
19:47 viele Dinge kann man da sehr gut adressieren. Und das tun wir mit Hilfe der Strategie Retrieval Augmented Generation. Dafür kombinieren wir diese LLM-Chatbots, die es ja gibt, mit zusätzlichen
20:00 externen Datenquellen, die verlässlich sind. Retrieval bedeutet in dem Zusammenhang, dass wir Daten abrufen, die relevant sind für die User-Anfrage und Augmented Generation,
20:10 wir diese Daten dann dem LLM geben und sagen, das sind die Fakten, die jetzt bitte in eine Antwort verpacken. Das Ganze sieht dann so aus, dass wir also hier die Anfrage des Benutzers
20:21 haben und statt dass wir die Antwort direkt generieren, schicken wir die hier auf den Rundlauf. Es wird zunächst mal aus einer Datenbank mit verlässlichem Wissen, das wir zur Verfügung
20:30 gestellt haben, entsprechend relevanter Kontext rausgesucht, der zu dieser Frage passt, der diese Frage gegebenenfalls beantwortet und diesen Kontext bekommt das LLM dann zusammen mit der
20:41 Frage und antwortet jetzt aus diesem Kontext, also die Aufgabe des LLMs ist dadurch im Prinzip nur noch, diese externen Daten zu verbalisieren. Wir benutzen überhaupt nicht mehr das implizite
20:53 Wissen des LLMs, so wie vorher, sondern wir sagen ihm, das ist die Antwort, baue da einen schönen deutschen Satz draus. Das bedeutet, dass wir die LLMs natürlich sehr stark einschränken. Die
21:08 sondern dadurch, dass wir das LLM zwingen, quasi unsere verlässlichen Informationen zu verbalisieren und auch mal zu sagen, dazu weiß ich nichts, fühlt sich das tatsächlich eingeschränkter an. Aber wir
21:20 haben den Vorteil, dass wir gerade diese Verlässlichkeit herstellen, die uns sehr wichtig ist, die auch wirklich sehr, sehr vielen von Ihnen ja wichtig war, und dass wir auch einen
21:29 gewissen Schutz haben gegen Missbrauch des Systems in dem Sinne, dass man das irgendwelche anderen Sachen fragt, die im Hochschulkontext nicht angemessen sind. Meine Studierenden versuchen das
21:41 immer wieder, die Systeme zu hacken und fragen dann alle möglichen Dinge, aber im Allgemeinen sind diese Systeme da recht störrisch und sagen, dazu steht nichts in meiner Datenbasis. Weiß ich
21:52 nicht. Also das kann da viele unserer Sorgen entsprechend schon so ein bisschen beruhigen an der Stelle. Die Nutzungsszenarien im Hochschulumfeld, Barbara, wollen wir kurz abfragen?
22:08 Ja, ich glaube, wir sind deutlich schneller unterwegs als letztes Mal, als hinterher so wenig Zeit zum Experimentieren blieb. Wir würden ganz gerne mit diesem Wissen, Sie hatten ja vorher
22:16 diese ganzen Bedenken, was ist mit Datenschutz, was ist mit Halluzinationen, was ist mit Wissen, das ich eigentlich noch gar nicht verraten will, also didaktisch im Alignment sagen wir dazu,
22:26 dass die nur die Informationen nutzen sollen, die ich denen jetzt schon beigebracht hab
22:32 und nicht gleich irgendwelche Konzepte benutzen wollen, die sie noch gar nicht benutzen sollen.
22:37 Das haben sie ja alles angebracht. Und jetzt hat Ulrike auch gerade gesagt,
22:41 der kann dann weniger als Chet-GPT. Und deshalb kriegen wir ganz oft,
22:45 warum nimmt man nicht einfach Chet-GPT, wenn der eh weniger kann? Und jetzt würden wir ganz gerne mal von Ihnen Ideen
22:51 für ganz konkrete Beispielanwendungen im Hochschulumfeld haben, wo Sie sagen,
22:55 brauche ich nicht die volle Macht von Chachibitty, sondern hier für diese Situation wäre es mir ganz wichtig, dass ich Systeme habe, die nicht halluzinieren, dass die datensicher sind,
23:06 dass sie keine Konversationen speichern und für neues Training benutzen und so weiter. Das heißt, wenn Sie ins Q&A noch mal gehen und da mal so Ihr Szenario, was Ihnen vorschwebt, vielleicht
23:16 sind Sie mit dem im Kopf sogar hierher gekommen, ich möchte ein Bot für ddd, dass Sie das da mal reinschreiben. Weil dann können wir nämlich hinterher, wenn wir uns in der Forschung und
23:25 in der Entwicklung weiterentwickeln, können wir ein bisschen spezifischer in diese Richtungen reinstupsen und vielleicht ihnen da Lösungen anbieten. Oder, was wir auch schon hatten,
23:34 aus dem vergangenen, aus einem vergangenen Workshop ist eine ganz konkrete Zusammenarbeit entstanden und tatsächlich hat sich jetzt ein Bot entstanden, der jetzt auch ausgebracht wird.
23:44 Ja, also ich, wir kriegen tatsächlich auch gleich die Sachen, die uns schon so ein bisschen ein bisschen vorschweben, was Ulrike auch schon versucht und was wir auch schon testen,
23:53 Prüfungsvorbereitungen. Da soll man natürlich die Antworten dann geben und die Fragen reinschieben können, die ganz spezifisch für meine Lerninhalte sind und nicht das ganze Weltwissen abbilden
24:03 sollen. Dann auch so dienstliche Abläufe, da weiß natürlich Jadjipi-Di gar nichts drüber. Genau, das ist alles korrekt zusammengeführte Chatbot für Services der Unibibliothek, da
24:14 wir auch tatsächlich immer wieder Anfragen. Fragen zu organisatorischen Sachen, wahrscheinlich der Lehrveranstaltung allgemein. Vorlesungsfolien, organisatorische Fragen. Also hier geht es ganz
24:31 viel um spezifisches Wissen, was natürlich ChatGPT nicht haben kann oder auch andere kommerzielle Systeme. Wir nehmen jetzt ChatGPT mal als Beispiel, aber das kann natürlich auch
24:39 Co-Pilot oder sonst was sein. Genau, Diskussionen aus dem Textkorpus, interessant, genau, Mockexams. Und die sind ganz wichtig, keine direkten Lösungen, das ist, sprich dieses didaktische
24:54 Alignment an, also der soll nicht gleich die Lösung verraten, sondern gegebenenfalls nur Hints geben, da haben wir auch experimentiert mit so einem Erklärbot, der nicht rechnen darf,
25:02 sondern nur erklären darf, wie so eine Rechnung funktioniert und die Studierenden müssen es dann aber wirklich noch selber machen, wenn sie es dann machen. Wir kriegen dann oft auch
25:12 schöner Gruß, jetzt gehe ich zu Chachipiti, aber das ist dann halt so. Ja, super, vielen, vielen Dank. Wir werden das alles sammeln und werden dann in die Richtung auch noch
25:25 weitersuchen. Genau, wir lassen es noch offen im Hintergrund, werden aber jetzt weitermachen. Genau, wunderbar. Ganz vielen Dank. Viele spannende Ideen an der Stelle.
25:41 Gut, Barbara, du übernimmst tatsächlich gleich als nächstes, uns so ein bisschen vorzustellen mit unserem Projekt, soll ich dir?
25:47 Genau. Du darfst einfach immer klicken und ich erzähle. Also natürlich müssen wir ganz kurz auch erwähnen, aus welchen Projekten diese Arbeit finanziert wird. Das sind im Grunde zwei Projekte,
25:56 eins mit dem so ein bisschen alles angefangen hat, weil wir versucht haben, mit Chatlösungen anzubieten, die auch Lehrkräfte, affine Lehrkräfte, muss man immer dazu sagen,
26:05 an dem Punkt sind wir im Moment noch, dass wir sagen, okay, wer jetzt gar nicht mit IT-Systemen umgehen kann, der wird Schwierigkeiten haben. Die größte Hürde ist übrigens die Installation und
26:13 gar nicht der Umgang mit dem System, das haben Sie auch schon gemerkt. Sobald Sie die Installation gemeistert haben, wird alles viel, viel einfacher. Wir arbeiten auch schon an Lösungen, dass man auf
26:21 fertigen Oberflächen dann arbeiten kann, dass man es nicht mehr selbst installieren muss, aber die sind noch nicht so weit. Genau, und diese Vorarbeiten in Richtung, was kann ich da
26:29 überhaupt nehmen. Langchain, das ist so die Python-Bibliothek, auf der das alles aufbaut. Und Flowwise, das waren so die ersten Tests mit diesen Systemen, auch Pilotierungen damit,
26:41 das war in Mint Prunet. Und jetzt kann Ulrike einmal weiterklicken, das haben wir vorhin schon gehört, wo wir gerade sind. Wir sind in diesem Fellowship-Programm vom Stifterverband,
26:50 wo es jetzt mit Fokus auf der Hochschullehre weitergeht und auch noch spezifischer geht. Und wir experimentieren mittlerweile nicht nur noch mit Open Source LLMs, sondern wir
27:00 arbeiten ausschließlich mit Open Source LLMs. Das war ein ganz, ganz, ganz wichtiger Schritt, der übrigens auch aus der Zusammenarbeit
27:07 mit anderen Projekten aus diesen Fellows, also mit anderen Fellows entstanden ist, dass wir mittlerweile nicht mehr angewiesen sind auf kommerzielle LLMs, sondern wir arbeiten mit
27:18 der GWDG zusammen, Gesellschaft für wissenschaftliche Datenverarbeitung in Göttingen, die zur Verfügung stellen, dass man deren LLMs zu Forschungszwecken nutzen kann. Auch da kriegen Sie heute einen
27:29 Key für, der leider nur heute gilt. Aber aus der Hochschule heraus können Sie eine Zusammenarbeit mit der GWDG jederzeit beantragen. Die ist auch auf vielen Hochschulen schon
27:36 angebahnt. Und dann können auch Sie diese kostenlosen und Open Source LLMs mit datensicherer Kommunikation nutzen.
27:47 Genau, da steht auch Ergebnissicherung und Dissemination, also ganz schwieriges Wort. Das heißt einfach nur, dass wir alles, was wir rausfinden, gleich der großen Allgemeinheit
28:00 zur Verfügung stellen möchten und fleißig publizieren, möglichst mit kurzen Wartezeiten. Und wir haben tatsächlich auch schon das erste Paper platziert.
28:09 Da war ich jetzt in Portugal Anfang April und habe das vorgestellt. Wir haben da auch eine honorable mention für den best paper award, best position paper
28:20 award, weil es war ein position paper noch, bekommen für. Das heißt, es zeigt nochmal, wie heiß dieses Thema ist.
28:27 Und auch die Publikationen stellen wir zur Verfügung. Da postet die Ulrike jetzt gleich einen Link im Chat.
28:33 Da können Sie sich nochmal in Ruhe alles durchlesen. Wir haben schon verschiedene weitere Publikationen eingereicht und schreiben gerade auch noch
28:41 an weiteren. Das heißt, da können Sie dann alles nachlesen.
28:46 Und so, wie wir das als Universität natürlich gerne möchten, soll gleich die Allgemeinheit von dem profitieren können,
28:52 was wir jetzt alles rausgefunden haben. Gut, dann geht's weiter, Ulrike.
28:59 Genau, ich hatte schon gesagt, wir haben nach Lösungen gesucht. Der erste Schritt war "Langchain".
29:04 Da muss man aber tatsächlich noch Textcode schreiben. Das war uns dann eine Nummer, also war für uns natürlich geeignet,
29:10 aber wir wollten ja nach was suchen, was wir anderen beibringen können, die maximal affin sind. Das war erst "Langchain" und dann haben wir "Flowwise" gefunden. Damit arbeiten wir jetzt.
29:20 Einmal noch mal klick, Ulrike. Genau, das ist so eine "Drag- und Drop-Umgebung" und genau die möchte ich Ihnen gleich zeigen. Jetzt darfst du noch mal einmal klicken. Da sieht man das einmal.
29:31 Oh, nee, das haben wir schon rausgenommen, die Folie, weil ich das jetzt live zeige. So, jetzt übernehme ich das Kommando auch über die Präsentation und zeige Ihnen das,
29:39 was Sie hoffentlich sehen, wenn die Installation geklappt hat, so oder so ähnlich. Ich mache das mal so klein, dass ich da drin arbeiten kann. Genau. Und zwar ist es diese Oberfläche von
29:49 Flowwise im Browser. Das war in der Installationsanleitung drin. Wenn Sie da nicht angekommen sind, dann lehnen Sie sich jetzt entspannt zurück und schauen mir einfach zu,
29:58 weil der Schritt dahin ist wahrscheinlich nicht mehr groß und wir helfen Ihnen da auch gerne bei. Dann schauen Sie sich jetzt einfach mal an, wie wir es machen, weil Sie werden trotzdem auch beim
30:05 Zuschauen ganz viel darüber lernen, wie solche Systeme funktionieren und was für Komponenten die brauchen. Das heißt, selbst wenn Sie jetzt nicht gleich mitspielen können, können Sie uns
30:17 schön zuschauen. Und es ist auch im Moment so gedacht, dass Sie mir einmal kurz zuschauen und mich alle Komponenten erklären lassen und dann im Nachgang lassen wir das alles offen,
30:26 sodass Sie dann sehen, wie Sie das selber nachmachen können. Wir haben da auch noch wirklich genug Zeit für. Genau. Also, ganz kurz, warum ist das überhaupt im Browser? Also, ich
30:36 meine, es könnte ja auch schön sein, dass ich auf so ein installiertes Tool einfach doppelklicke und dann geht eine schöne User-Interface auf. Das ist hier nicht so, weil die Anwendung eigentlich
30:47 dafür gedacht ist, auf einem Server zu laufen und dass ich dann online drauf zugreife, weil später sollen die Studierenden oder die Lernenden ja auch mal auf diesen Board zugreifen können. Das heißt,
31:00 Wir brauchen den Browser als Fenster zur Anwendung sozusagen. Da oben an diesem Localhost sehen Sie,
31:06 dass wir nicht online drauf zugreifen, sondern wir greifen auf einen Port zu,
31:12 auf dem diese Anwendung gerade gestreamt wird sozusagen. So können Sie sich das vorstellen.
31:16 D.h. das ist unser Fenster zu im Hintergrund laufenden Anwendungen, die gestartet ist.
31:21 Das sehen Sie jetzt wahrscheinlich nicht, weil ich nicht dieses Fenster geteilt habe.
31:25 Aber ich mach es mal ganz kurz. Auch wenn das jetzt... Genau.
31:28 So sieht es bei Ihnen aus, wenn es schön läuft. Dann steht da "Flowwise Server Listening Add"
31:34 und dann konnte ich im Vordergrund diesen "Localhost" aufmachen. Bei einigen sah das ja auch schon so aus, wunderbar.
31:40 Gut, dann gehen wir wieder zusammen in meinen "Flowwise" rein. So, bei Ihnen sind jetzt hier wahrscheinlich noch gar keine Flows,
31:46 außer Sie waren so heiß, dass Sie es gleich schon probiert haben, sodass Sie als erstes nachher auf "Add Flow" oder "Add New" klicken
31:53 und dann so einen leeren Canvas bekommen. Ich gehe jetzt mal schon in den rein, wo was drin ist
31:58 ihnen aber jede einzelne Komponente mal, so dass sie nachher, bitte einmal kurz zuschauen und erst nachher nachbasteln, ich weiß auch, wenn die Versuchung groß ist, dass sie nachher dann ihren
32:07 eigenen Flow nachbasteln können. Es wird nämlich so sein, dass sie dieses Bild hier bekommen oder dauerhaft sehen können und wenn man dann den Namen von diesem Puzzleteil hier oben in Plus
32:19 sucht, dann kriegt man dieses Puzzleteil gleich angeboten und kann die reinziehen. Ich mache das jetzt einfach mal für dieses Q&A Chain. Da sehen wir schon, da unten ist diese Conversational
32:38 Retrieval Q&A Chain. Die könnte ich jetzt hier rausziehen und nochmal da reinlegen, was ich gar nicht brauche, weil ich sie schon habe. Aber auf diese Weise wird mit Drag&Drop
32:48 jedes einzelne dieser Puzzleteile nachher in den Canvas reingezogen. So, jetzt erkläre ich Ihnen aber erst mal diese verschiedenen Puzzleteile und beim Beobachten werden Sie gleich noch
32:57 mal ein bisschen besser verstehen, was Ulrike vorhin so ganz schematisch in dieser kleinen Grafik gezeigt hat, nämlich was für Komponenten braucht so ein Rack-System. Also erstmal ist das
33:06 hier, den habe ich auch gerade reingezogen, der ganz zentrale Knoten, der so die ganze Interaktion verbindet. Er hat auf der rechten Seite, hier habe ich es gerade mal rübergezogen,
33:15 die Interaktion mit dem LLM, das uns nachher die Antwort verbalisieren soll, von dem wir aber nur die Eloquenz und nicht das implizite Wissen verwenden möchten. Und auf der anderen Seite
33:24 ist das, was ich als Informationen kriege. Die allerkleinste, die zeige ich Ihnen hier unten mal ganz kurz, ist der Memory Buffer. Das ist einfach nur ein Speicher, wo ich mir
33:35 den bisherigen Verlauf der Konversation drin merke, damit ich auch Folgefragen beantworten kann. Das ist auch schon das Ganze, was daran spannend ist. Das kann ich noch einschränken
33:45 auf nur eine bestimmte Zahl von Antworten. Das macht den Bot noch so ein bisschen sicherer gegen Ablenkungsmanöver brauchen wir jetzt in dem Moment aber nicht, weil sie wollen ihn ja noch
33:53 gar nicht kaputt machen. Und dann kommt diese Wissensbasis, von der wir vorhin gesprochen haben. Also hier ist so ein In-Memory-Vector-Store, in den wird die Wissensbasis reingeladen und zwar
34:04 auf eine ganz bestimmte Weise, sodass das LLM damit umgehen kann. Also es wird in eine sogenannte Embedding umgewandelt, also eine Vektorisierung der Texte, auf denen unser System nachher
34:21 Similarity, also Ähnlichkeitsvergleiche durchführen kann, sodass ich nicht nur Wortsuchen auf der Wissensbasis machen kann, also irgendwelche Textschnipsel suchen, wo mein Wort drin vorkommt,
34:34 sondern auch einen Ähnlichkeitsvergleich und damit ähnliche Textschnipsel aus meiner Wissensbasis raussuchen kann. Die werden alle hier reingespeichert. Dazu muss ich ein bisschen
34:43 Vorarbeit leisten. Erstmal muss ich dem überhaupt ein Dokument geben. Da arbeiten wir heute ganz einfach mit einem PDF-Loader. Da können Sie nachher entweder unser PDF reinladen, was auch
34:52 in der Cloud dahinter liegt, oder Sie nehmen einfach irgendein eigenes. Das kann ich hier "Upload File" dann auf meinem Computer suchen und hochladen. Breche ich mal gleich wieder ab. Und
35:02 dann verwenden wir die ganz einfachen Einstellungen "One Document per File", wie die schon per Default da nachher drin sind. Und das sind auch die Default-Einstellungen, die ganz einfach funktionieren.
35:12 Ich muss nämlich diesen ganz langen Text in Schnipsel zerschneiden, damit das LLM nachher, dass dann die Embedding auch berechnet, damit umgehen kann. Das heißt, ich möchte nicht
35:24 immer den kompletten Text dem LLM geben und sagen, formulieren wir daraus eine Antwort, sondern nur die Schnipsel, die relevant sind. Und dazu muss ich es erstmal schnipseln. Und
35:37 das ist die Schnipselgröße und das ist der Overlap, also wie weit überlappen diese Teile. Und daraus wird dann auch wieder von einem LLM und von einem ganz bestimmten LLM, was solche
35:49 Embeddings berechnen kann, ein Format, ein numerisches Format für diesen Text berechnet, auf dem ich jetzt Vergleiche ausführen kann. Die Details sind für Sie total irrelevant,
35:58 die brauchen wir jetzt gar nicht. Ganz wichtig ist nur, wenn Sie nachher, da komme ich auch noch drauf, dann die Credentials hier und hier eingeben, damit sie Zugriff auf diese GWDG-Sprachmodelle
36:09 kriegen. Das erkläre ich Ihnen gleich noch. Dann müssen wir sagen, welches Modell das ist. Auch diese, die bergen so ein paar Risiken, die beiden Modellnamen, weil sie so Ls aushaben, die wie
36:20 große Is aussehen und so was. Deshalb kopieren wir die Ihnen gleich rüber und dann können Sie das einstellen. Also nochmal zusammengefasst, das hier ist die Wissensbasis, die einen Text
36:31 zerschnipselt und dann in eine Repräsentation umwandelt, mit der das LLL umgehen kann, ohne dass sie ganz genau wissen müssen, wie das funktioniert. Das ist die bisherige Konversation.
36:42 Und jetzt muss ich natürlich noch sagen, wie sich mein Bot verhalten soll. Das haben wir auch gesagt, dass das eine ganz wichtige Komponente ist. Und das findet man hier unter
36:51 Additional Parameters. Da gibt es nämlich den System Prompt, das ist der unteren von Das ist jetzt nicht ganz die Default-Einstellung.
37:00 Da können Sie gerne mit der Default-Einstellung, die da kommt, ein bisschen rumspielen.
37:04 Insbesondere heißt unser Bot "Skid". Und er antwortet auf eine ganz bestimmte Weise,
37:09 wenn er irgendwas nicht weiß. Also erst mal soll er nicht antworten, wenn er was nicht weiß.
37:13 Das sagen wir ihm sehr explizit. "He refused to answer any question not about the info."
37:19 Das muss man manchmal, wenn der System prompt lang ist, auch mehrfach sagen.
37:22 Und wir sagen ihm auch, was er sagen soll, die zu was ganz anderem gestellt wird.
37:28 Auch da kriegen Sie nachher einen Default. Und da wird dann der Kontext eingefügt,
37:32 den ich aus meiner Wissensbasis hab. Und all dieses, der Systemprompt und dieser Kontext,
37:36 den kriegt dann hinterher mein LLM. So, und dieses LLM hängt hier rechts.
37:43 Und ist jetzt für uns das Zugangstor zu einem bei der GWDG gehosteten Sprachmodell,
37:50 wo wir Zugang über einen sogenannten API-Key kriegen. Das heißt, der API-Key ist sozusagen der Schlüssel,
37:55 den wir da reinstecken können, damit wir über eine Webadresse dieses LLM benutzen können.
38:02 Das sieht jetzt so aus, als wäre das OpenAI. Das ist es aber nicht.
38:06 Wir haben nur den Baustein benutzt, der so heißt, weil wir den spezifisch einstellen können.
38:10 Also auch, wo OpenAI draufsteht, ist nicht unbedingt OpenAI drin, weil das möchten wir vermeiden.
38:15 Es hängt tatsächlich GWDG dahinter. So, hier oben kann ich jetzt bei mir aus ganz vielen Keys,
38:21 die ich habe, auswählen. Sie aber nicht.
38:23 Das heißt, wenn Sie da nachher draufklicken, müssen Sie auf "Create new" klicken. So sieht das aus.
38:29 Dann dürfen Sie dem einen beliebigen Namen geben, zum Beispiel "Key KIT Workshop" oder sonst wie.
38:37 Und den Key, den Ihnen die Ulrike gleich in den Chat postet, jetzt nicht sofort, sondern gleich, den geben Sie dann hier ein.
38:44 Der wird dann so versteckt. Und dann mache ich "Add".
38:47 Und dann kann ich den benutzen. Das ist jetzt der Schlüssel.
38:50 Jetzt müssen wir noch gucken, wo wir den Schlüssel reinstecken müssen. Und den Schlüssel müssen wir, damit wir bei der GWD rauskommen, hier unten bei "Additional
38:58 Parameters" beim "Base Path" eingeben. Auch das wird Ihnen die Ulrike gleich nochmal in den Chat kopieren, bzw. das kann ich machen,
39:05 weil sie hat es wahrscheinlich gerade nicht offen, und ist aber auch in dem Einstellungen-Dokument noch vorgegeben.
39:10 Achtung, das muss in den "Base Path". Das kann ich gleich dazu sagen, sage ich meinen Studierenden auch immer, wenn häufigste
39:15 Fehler sind. Das ist der häufigste Fehler.
39:17 wenn es bei Ihnen nachher nicht funktioniert, fehlt wahrscheinlich der Base Path. Unbedingt eingeben. Und jetzt gebe ich Ihnen auch noch den Modellnamen zum rauskopieren, damit Sie
39:27 da keine Typos machen. Genau, und hier diese Kommunikation, also da kommt dann die Wissensbasis und der Systemprompt und die Frage des Users rein. Das LLM generiert mir daraus eine Antwort,
39:40 nur die Eloquenz und nicht das implizite Wissen benutzen. Genau dieser Base Path und genau Genau diese Credentials müssen bei der Berechnung dieser Repräsentation von diesen Textnüpfeln
39:51 auch nochmal eingegeben werden. Also hier ist nochmal genau der gleiche Base Path einzugeben, der uns den Zugang zu dem
39:58 LLM gibt. Und hier nochmal die gleichen Credentials.
40:04 Da helfen wir dann nachher auch nochmal ganz kurz. So, und dann ist auch schon alles fast fertig.
40:09 Dann müssen wir erstmal speichern, wenn Sie das dann alles nachher nachgebastelt haben. Da geben wir Ihnen auch noch ein Foto hiervon.
40:17 Und dann ist ganz wichtig, wir müssen diese Wissensbasis auch einmal tatsächlich umwandeln.
40:21 Und dazu machen wir hier auf diesem grünen Ding ein "absurd". Das macht jetzt wirklich aus unserem PDF,
40:27 was wir hier reingeladen haben, Schnipsel. Und das sehen wir dann gleich sogar ganz schön.
40:31 Manchmal dauert das einen kleinen Moment. Sie sehen, jetzt arbeitet.
40:40 Genau. Und jetzt sehen wir auch schon die Textschnipsel. Was wir nicht sehen, ist die Embedding,
40:45 die würden wir eh nicht verstehen, das sind lauter wilde Zahlen. Aber wir sehen, das wurde mein Text, den ich da reingeladen habe,
40:51 der übrigens über Flowwise ist, also der Bot erklärt sich nachher selber mit seinen ganzen Einstellungen,
40:58 das ist ganz nett. Dann können Sie sich weitere Einstellungen noch anschauen,
41:01 die ich nicht im Detail erklärt habe, wie die Temperature, die Chunk Size oder auch die Top K,
41:07 also die Zahl der Schnipsel, die ich da raushole, die können Sie dann tatsächlich da mal als Frage eingeben.
41:13 Das Absurd hat jetzt funktioniert, damit steht die Wissensbasis dem Bots zur Verfügung.
41:17 Jetzt können wir ihn ja mal testen. Also, ich lösche mal die alte Konversation,
41:21 weil das wäre ja witzlos. Und dann hat der so eine Startfrage, die kann ich später,
41:26 wenn ich eine Anwendung für die Nutzer programmiere, das ist dann in der HTML-Seite, wo die das tatsächlich nutzen,
41:31 kann ich die noch verändern. Erst mal fängt es mich an zu fragen, how can I help?
41:36 Und weil da ja ein LLM hinterhängt, kann ich mit dem Ding jetzt auch Deutsch reden.
41:39 Also, die komplette Übersetzungsinteraktion, benutzt alles das LLM oder macht alles das LLM.
41:45 Und Fun Fact, in diesem Flowwise-Dokument stehen sowohl englische als auch deutsche Schnipsel drin,
41:50 weil ich hab nichts anderes gemacht, als einfach nur die Dokumentation von Flowwise
41:56 in ein Dokument zu kopieren, von der Webseite runter, Copy und Paste, und dann noch auf so einer deutschen Seite,
42:02 wo ich Informationen zu Flowwise gefunden hab, ganz allgemein, das hab ich drübergehängt, damit es ein paar deutsche
42:06 und ein paar englische Textschnipsel hat. Können Sie sich in dieser Cloud auch anschauen,
42:10 wie das Dokument aussieht. Und jetzt frage ich dann einfach mal, was ist "Flowwise"?
42:16 Als Positivfrage, was es hoffentlich beantworten kann. Dauert einen kleinen Moment.
42:21 Also wie gesagt, wir müssen jetzt Anfrage an Göttingen schicken. Je nachdem, wie beschäftigt die gerade sind,
42:25 rechnet die uns jetzt aus dieser Wissensbasis alles aus. Und... ha, ha, ha.
42:31 Ah, ich muss speichern. Gerade eben hab ich's noch getestet vorm Workshop.
42:40 Ist... "Flowwise". Das wäre ja jetzt echt der Knaller, wenn es gerade nicht geht.
42:48 Wir haben immer noch Backup-Credentials übrig. Direkt vom Workshop getestet.
42:56 Nobody. Ich gucke mal ganz kurz, dass ich noch mal den Absort mache.
43:01 Der funktioniert. Die Credentials.
43:07 Ah, okay, ich sehe schon. Ich hab vorhin "Create new" geklickt, haben Sie mitgekriegt,
43:12 und hab dabei meine Einstellung zerhackt. Und ich möchte den hier...
43:18 Sehen Sie das? Ich hab vorhin "Create new" gemacht, dann aber nur "blabla" eingegeben.
43:23 D.h., ich hab mit Ihnen gesagt, kopieren Sie diesen Key da rein, und hab dann aber gar nichts da reinkopiert.
43:29 D.h., da war jetzt der falsche Schlüssel in dem Schloss. So, das machen wir jetzt noch mal.
43:34 Dann sollte es auch direkt funktionieren. Das heißt dann bei Ihnen gegebenenfalls anders.
43:38 Das habe ich jetzt nur so genannt und dann müsste es funktionieren. So, jetzt kommt mit etwas mehr Adrenalin der nächste Test.
43:56 Sieht schon mal gut aus. Also das war der Fehler beim Demonstrieren, den Bot einmal kurz kaputt gemacht.
44:05 Also jetzt gibt's mir aus meinem Dokument, das steht da teilweise auf Englisch, teilweise auf Deutsch,
44:09 über das ganze Dokument verteilt, hat es jetzt die Schnipsel rausgesucht, ich hab ihm gesagt, es soll drei raussuchen,
44:16 und hat jetzt daraus mit der Eloquenz von dem LLM, was ich benutzt hab, das war in dem Fall eine Lama-Version, einen Text gemacht.
44:23 Jetzt fragen wir doch mal was, was es nicht beantworten soll. Ist der Lieblingssport von Barbara Pampel.
44:32 Das würde man ganz ehrlich bei ChatschipiDi wahrscheinlich rausfinden, weil da zu viele Informationen über mein Leben außerhalb der Uni sind.
44:39 Und ganz brav sagt es mir, dass es davon keine Ahnung hat, weil es nur was über Flowwise weiß.
44:47 Und jetzt können wir Ihnen ja nochmal was Schwierigeres fragen und können mal sagen, was...
44:53 Stellde... Also wir gehen jetzt mal in die Situation,
44:56 dass Sie mit diesem Bot jetzt interagieren und sich darüber unterhalten wollen, was er so für Einstellungen hat.
45:02 Was stelle ich denn bei top K beim… Und stelle ihm jetzt mal eine spezifischere Frage.
45:19 Geht übrigens auch mit kleinen Typos. Top K, kannst du die Werte einstellen?
45:24 Wie viele der ähnlichsten Schnitzel… Schlitze, lustig, Chunks zurückgegeben werden können? Ein niedriger Wert bedeutet, dass man wenige Schnipsel nimmt.
45:33 Machen wir mal eine schwerere Frage und fragen mal weniger detailliert. Was ist die "Chunk Size"?
45:44 Genau. Also, die Information hat er natürlich alle,
45:47 deshalb antwortet er mir tapfer. Und wenn ich jetzt weiter Fragen außerhalb des Kontextes stellen würde,
45:54 würde er das nicht beantworten, weil das habe ich ihm nämlich hier im Systemprompt verboten.
45:58 (gentle music)