Aijoscha … also, wenn der Jahrgang 64 in Rente ist, dann wird es wirklich, wirklich sehr unangenehm und sehr eng für die junge Generation. Da müssen wir wirklich gesamtgesellschaftlich, glaube ich, echt einen großen Shift machen und diese unnötige Arbeit an die Maschinen delegieren, sonst kommen wir nicht mehr klar. …
Intro: „Im Hier und Morgen“, heute schon wissen, was in Zukunft wichtig wird. Ein Podcast über Trends, Treiber und Visionen von und mit: Zukunftsforscher Kai Gondlach.
Kai Moin zurück „Im Hier und Morgen“, ich bin Kai und freue mich, dass du wieder eingeschaltet hast. Was ist eigentlich ChatGPT? Woher kommt dieser ganze Hype? Du hast es ja garantiert mitbekommen, wenn nicht, würde mich das sehr wundern. Ich habe mir gedacht, um dir das Thema bisschen näher zu bringen, lade ich mal jemanden wieder ein, den ich schon mal hier zu Gast hatte, Dr. Aljoscha Burchardt vom DFKI. Und ich habe ihn natürlich mal ausgequetscht, um dir das Thema näher zu bringen, um zu fragen: Woher kommt dieser Hype eigentlich? Wie gehen wir damit am besten um? Welche Jobs ändern sich eigentlich und welche nicht? Oder welche Geschäftsmodelle entstehen möglicherweise auch? Und das Ganze, sehr knackig, ich habe gedacht, eine halbe Stunde muss reichen für das Thema, also, los geht’s!
Herzlich willkommen „Im Hier und Morgen“! Heute zu Gast, mal wieder, Aljoscha Borchert. Ich freue mich sehr auf das Gespräch, lieber Aljoscha. Du willst uns in 30 Minuten erklären, was ChatGPT ist, was das kann und wo wir damit hinsteuern – freue ich mich sehr drauf. Ganz kurz für alle, die die letzte Folge nicht gehört haben oder irgendwie an dir vorbeigekommen sind bei dem Thema – unwahrscheinlicher Weise: Wer bist du?
Aijoscha Ich bin Aijoscha, ich arbeite am deutschen Forschungszentrum für künstliche Intelligenz und ich habe früher mal Computer Linguistik studiert, also, das Thema Sprachtechnologie begleitet mich schon mein ganzes Leben lang.
Kai Ja, perfekt, passt hervorragend! Deswegen zu Recht eingeladen, ganz andauernd im Augenblick. Kannst du mal ganz kurz alle ins Boot holen, die es vielleicht auch noch nicht gehört haben oder irgendwo in der Zeitung gelesen haben: ChatGPT, was zur Hölle ist das eigentlich?
Aijoscha Ja, fangen wir mal mit der Grundlage an, mit GPT. GPT 2 oder 3, die gibt es also seit zwei, drei Jahren. Das sind sogenannte Foundational Models oder Basismodelle oder große Sprachmodelle, man hat sich noch nicht so ganz drauf geeinigt. Das sind ja statistische Konstrukte, die mit ganz, ganz viel Datenmaterial, also Textmaterial, gefüttert worden sind. GPT heißt ja: Generative Pre-Trained Transformer. Wenn wir mal von hinten anfangen: Transformer ist also die Art und Weise des neuronalen Netzes, die Architektur, das können wir jetzt hier jetzt nicht in 30 Sekunden erklären. Pre-Trained bedeutet eben genau, dass diese Dinger mit Texten trainiert wurden, mit Tonnen von Texten. Da gibt es diesen Common Crawl, diese riesen, sozusagen, Sicherheitskopie des Web. Da ist also vom Kochrezept bis zur Chat-Nachricht, da ist vom Programmiercode bis zu übersetzen Texten alles Mögliche drin. Damit sind diese Systeme trainiert, haben also ein grundsätzliches Sprachverständnis dadurch erworben und generativ, das heißt eben, dass diese Teile wirklich neuen Content erzeugen können. Das ist jetzt nicht eine Suchmaschine, die irgendwas findet, was schon da ist, was von Menschen gemacht wurde oder Analytik-Tool, was irgendetwas einsortiert oder einordnet, sondern das macht wirklich einen neuen Content. So, das war GPT. Und jetzt kommt ChatGPT bzw. gab es noch eine Zwischenstufe, Instruct GPT, diese normalen Sprachmodelle, wie GPT, die lernen das nächste Wort zu erraten. Die nehmen sich also immer Texte her, maskieren ein Wort und versuchen genau das Wort, was fehlt, zu erraten und dann können sie ja selber nachgucken, wie gut sie geraten haben und so trainieren sich diese neuronalen Netze selbst. Das nennt man das selbstüberwachte Lernen, self supervised learning. Und was sie dann können, ist genau das, Texte fortsetzen. Du promptest die mit irgendetwas: Du fängst an, ein Kochrezept zu schreiben, dann schreiben die ein Kochrezept weiter, du fängst an ein Gedicht zu schreiben, dann schreiben sie ein Gedicht weiter. Das gibt es jetzt wie gesagt seit zwei, drei Jahren, aber das war noch so ein bisschen umständlich oder unintuitiv. Und jetzt kommt eben dieser ChatGPT dazu oder eben instruct GPT dazu. Da hat man die Netze jetzt noch mal mit menschlicher Kraft angepasst. Der hat versucht wirklich Menschen-Feedback zu geben und noch mal Input gegeben, um die auf die Aufgabe zu trainieren eben diesen Anweisungen zu folgen, dass man sagen kann: Schreibe mir ein Gedicht, programmiere mir eine HTML-Seite mit einem Auswahlfenster, das man dem Ding diese Anweisung geben kann. Das ist das, was noch beim ChatGPT eigentlich nur dazu kam. Das ist das Lustige, das andere gibt es schon seit zwei, drei Jahren aber was jetzt hier dazu kommt ist, du kannst diese Anweisungen geben und beim Chat ist halt der Gag, was wir vom Chat kennen, du kannst sie auch noch mal verändern. Du kannst sagen: Schreib mir mal eine Einladungs-Mail zu meinem Geburtstag. Dann schreibt das Ding eine und dann kann man sagen, mach die doch ein bisschen lustiger oder mach die doch ein bisschen formeller oder so, man kann es eben noch mal korrigieren, indem man einfach sozusagen mit ihm spricht. Und das ist jetzt der Gag, was sozusagen ChatGPT jetzt auch durch die Decke hat schlagen lassen. Und was man vielleicht noch dazu sagen müsste, was bei ChatGPT jetzt auch noch hinzukam: Man hat es eben auch mit diesem menschlichen Feedback nochmal, und mit dieser Anpassung, hat man das Ding eben auch noch mal ein bisschen auf Harmonie getrimmt. Die alten Modelle, die haben mitunter auch mal was Rassistisches oder was Dummes oder was Vorurteilsbehaftetes rausgehauen, was eben so in den Daten stand und dieser ChatGPT, der kommt jetzt sehr ausgewogen rüber. Der sagt, manche meinen so, andere meinen so, ich bin doch nur ein Chatbot, ich kann das gar nicht so genau sagen, und diese Art von moderat halt oder harmoniebedürfnis, das ist eben das, was man dem jetzt auch mitgegeben hat, damit er die Nutzerinnen und Nutzer auch nicht sofort vor den Kopf haut.
Kai Ja, genau und wie eingangs schon erwähnt, bist du halt ja gerade sehr, sehr viel unterwegs bei anderen Medien auch – zum Glück auch „Im Hier und Morgen“ – und unter anderem warst du bei DW-News, also Deutsche Welle International, wenn man so will und, die haben im Intro ja geschrieben, ich übersetze es mal so einigermaßen sinngemäß: „ChatGPT ist der weltweit mächtigste KI-Chatbot, der eine menschenähnliche Alternative…“, so wie du gerade beschrieben hast, „… zu Suchmaschinen bietet und Dinge kann wie; Speisekarte zusammenstellen, Drehbücher schreiben oder Quantenphysik erklären, kann es auch die Jobs, hunderter Millionen Menschen verändern.“ Kann es?
Aijoscha Ja, Richard Socher hat in dem Interview letzte Woche sehr schön gesagt, auf die Frage: „Welche Jobs wird diese Technologie wohl verändern?“ Hat er gesagt: „Na ja, wenn dein Job mit Sprache zu tun hat, dann hast du eine gute Chance, dass er sich verändern wird.“ Das fand ich eigentlich eine sehr, sehr gute Antwort. Man muss noch dazu sagen, diese Systeme sind dazu da, Texte weiterzuspinnen, aus sozusagen vorhandenen statistischen Daten, was mal gesagt wurde, was Neues zu bauen. Die sind jetzt nicht darauf trainiert, irgendwie faktisch etwas Gutes zu machen oder Kochrezepte zu bauen, die auch wirklich hinterher funktionieren. Und das heißt also, wenn ich eine wirkliche Anwendung vor Augen habe, ich möchte das Ding z. B. als Muse nehmen, um Kochrezepte zu schreiben oder ich möchte damit Steuerprüfungen durchführen oder ich möchte damit Kunden-Telefonate bei mir abwickeln, die nach bestimmten Teilebezeichnungen oder ähnlichem Fragen, dann muss man dieses Thema sicherlich dafür noch anpassen. Diese Systeme haben ein Grundverständnis der Sprache und können deshalb, was die Leute ja auch oft rausgekriegt haben, zum Teil eben auch Texte, die sich gut lesen, zusammenhalluzinieren, inklusive irgendwelchen erfundenen Zitaten und so weiter und so fort, aber das sind ja keine Wahrheitsmaschinen oder auch keine der Dinge, die man so sofort produktiv einsetzen kann – das muss man sich immer dazu sagen. Also, im Berufsleben, da habe ich hinterher auch Haftungsfragen, wenn ich damit jetzt meine Wohngeldanträge bearbeite und so weiter und so fort, da muss schon noch ein bisschen was passieren. Aber als grundlegende, sagen wir mal, Demokratisierung von KI oder der Möglichkeit den Einsatz wirklich in der breiten Masse vorzunehmen, würde ich das auf jeden Fall sehen.
Kai Mal ganz kurz, um das in Kontext zu stellen: Wer steht denn eigentlich hinter ChatGPT und der Firma, die dahintersteht, sozusagen mehr oder weniger, Open AI?
Aijoscha Das ist ja von Elon Musk und solchen glaube ich damals als Non-Profit gegründet worden, aber inzwischen wird ja auch viel von Microsoft investiert und die wollen ja noch mal ganz viel Geld auf den Tisch legen. Also, ich glaube das hat sich alles so ein bisschen relativiert. So ganz blicke ich da auch nicht mehr durch. Und die Mitbewerberinnen und Mitbewerber sind ja auch die üblichen Verdächtigen. Das ist natürlich Google, mit seinen eigenen Forschungen, wo man im Moment nicht genau weiß, wo sie stehen. Das werden sie einem wahrscheinlich auch nicht irgendwie sagen, bevor sie es rausgeben und in China halt auch noch ein paar Player, die eben entsprechend große Modelle bauen. Hier in Deutschland und Europa sieht es nicht so gut aus. Wir haben dieses Bloom Modell, da, wo viele Sprachen, europäische Sprachen drin sind, außer Deutsch, aber das war sozusagen eine offene Bewegung und wir haben hier die Firma Aleph Alpha in Heidelberg, die eben in Deutschland auch solche Modelle baut und wir haben auch das Open GPT-X Projekt z. B., was im Rahmen des Gaia-X Programmes läuft, wo gerade auch meine Kolleginnen und Kollegen ein zwar kleineres, aber immerhin, das größte Open-Source-Modell für Deutsch veröffentlicht haben. Das heißt, es passieren schon auch Dinge hier in Deutschland und Europa, aber es ist eben noch nicht so richtig vergleichbar mit dem, was über dem Teich in den kommerziellen Firmen passiert und da nehme ich jetzt einfach Open AI einmal mit rein.
Kai Genau, das finde ich auch wichtig, dass man zu sagen, also dass das nicht einfach nur von einer Initiative oder von irgendwelchen verrückten Hackern gebaut wurde, sondern natürlich mit wirtschaftlichen Interessen dahinter.
Aijoscha Und der Gag ist ja eben diese Abhängigkeit. Das haben wir ja auch bei G-Mail und bei Google-Suche und so weiter und so fort. Wir sind ja komplett abhängig von diesen Dingen oder Amazon-Web-Services und so weiter und so fort. Wenn wir die nun produktiv einsetzen und irgendwie da die Regierung mal wieder wechselt, ich habe mir das bei Trump schon immer gedacht, wenn die mal sagen irgendwie: „Europa nervt mich dermaßen, schalte doch mal diese Dinge ab.“ Dann stehen wir hier ziemlich doof da.
Kai Um es vielleicht einmal ganz plastisch zu machen: du hast ja schon ein paar Beispiele auch genannt, was ChatGPT kann oder was potenziell GPT immer auch kann, hast du mal so ein paar lustige Beispiele, die dir aufgefallen sind oder irgendwelche total sensationellen Dinge, die dir so ins Auge gestochen sind, die auf jeden Fall jeder kennen muss?
Aijoscha Was Kollegen zum Beispiel machen, das ist super, das ist programmieren. Programmiercode hat es relativ viel gesehen im Web und dann kann man eben ein Stück Code hingeben und kann sagen: Jetzt möchte ich gerne, dass diese Liste hier nach oben gedreht wird oder dass alle Elemente quadriert werden oder irgendwas und dann kriegst du ein neues Stückchen Programmiercode und kannst es bei dir wieder reinsetzen. Also so diese Richtung low-code no-code, die ja sowieso schon so ein bisschen angeschlagen wurde, also, in die Richtung könnte es gehen und man kann es natürlich als Muse auch verwenden. Man kann ja alles Mögliche eben sagen und ich habe mal, fand ich ganz lustig, wir haben hier so ein Running Gag mit einem Obstkorb bei uns im Büro und wir singen immer Lieder zur Weihnachtsfeier, ein Kollege und ich, und machen lustige Texte. Dann habe ich das Ding mal gefragt: Wie würde Udo Lindenberg einen Obstkorb nennen? Und hat das Ding sich erst geziert so: „Ja, ich bin ja nur ein Tool und Kreativität ist nicht so meine Stärke.“ Und dann kam es aber hinterher mit „bunte Fruchtbarkeit“. Und das fand ich ganz gut, so ein Udo der sagt: „Ich habe hier mal so ein paar Äpfel und Bananen, halt so ein bisschen bunte Fruchtbarkeit.“ Kann man sich richtig gut vorstellen. Ja, also das fand ich dann schon erstaunlich lustig, was man sozusagen als Muse sich dann rausholen kann. Das kann man schon durchaus als kreativ bezeichnen.
Kai Absolut ja, also dann teilweise auch wieder gruselig. Also da gibt’s ja auch nicht ohne Grund wahrscheinlich irgendwelche Initiativen aus der Kunstszene.
Aijoscha Eine Bekannte von mir, die hat einen Artikel geschrieben, ob Kant, der Philosoph, ob der gesagt hätte, dass KI, kreativ oder künstlerisch sein kann. Und ich habe diese Frage dann mal ChatGPT gestellt und der hat eine kurze Antwort gegeben, die ziemlich in die Richtung ging. Ja, war noch nicht ganz entschieden und nicht so ganz wie die Philosophin, aber sie hat es zumindest mal geschluckt, dass da zumindest mal ein ausbaufähiger Ansatz rauskam.
Kai Ja absolut, dann noch mal eine Gegenüberstellung. Vorteile und Nachteile, also, wir erörtern pro und con. Was ist der der allergrößte Vorteil deiner Meinung von solchen Systemen?
Aijoscha Der Vorteil ist eben, dass dieses Grundwissen über die Sprache schon da ist und dass eben offensichtlich, so, wie wir es jetzt anfangen zu sehen, viele Dinge, mit denen wir uns beschäftigen, Dinge zu klassifizieren, Dinge zu sortieren, Dinge zu beurteilen, Dinge zu schreiben, abzuwägen und so weiter, dass man das mit diesem Tools unterstützen kann. Ja, manchmal vielleicht nur stückweise, manchmal ein bisschen mehr, aber das viele Aufgaben, die wir eben mit Wissen, mit Text, mit Sprache erledigen, auch übersetzen natürlich, zusammenfassen, so die ganz einfachen Kandidaten, dass man das eben damit kann und, dass es auch lustigerweise über Sprachgrenzen hinweg lernt. Das Ding ist ja weitgehend auf Englisch trainiert, kann aber auch einfach Deutsch und so, weißt du? Und das ist auch für die Minderheitssprachen zum Beispiel eine Chance, ja, oder vielleicht auch eine Chance, dass wir dann auch leichte Sprache damit generieren können und andere Dinge, …