Archiv der Kategorie: Sprachmodelle

ai

Vom Trainieren von Maschinen


Seit meinem Umzug von Leipzig nach Passau bin ich dazu gezwungen, mich mehr zu Fuß als mit öffentlichen Verkehrsmitteln fortzubewegen. Das hat mich zu Beginn ziemlich gestört, da ich es seit meinem Studium in Berlin vor mehr als 20 Jahren schon immer genossen habe, in U-Bahnen, S-Bahnen und Straßenbahnen irgendetwas zu lesen. Vor Kurzem habe ich aber dann entdeckt, dass dank der neuen Sprachmodelle viele Inhalte auf Onlinemedien inzwischen auch direkt gehört werden können, anstatt sie zu lesen. Während ich es nämlich inzwischen zu einiger Meisterschaft gebracht habe, mit Buch oder Mobiltelefon in der Hand durch die Gegend zu laufen, ohne mich oder andere zu gefährden, so habe ich doch gemerkt, dass diese Art der Fortbewegung nicht von allen Menschen, denen man tagsüber so begegnet, wirklich gern gesehen wird.

Da bietet sich das diskrete Hören von Zeitungsartikeln und Ähnlichem mit Kopfhörer natürlich gut an, zumal das Ohrhören dank der kleinen Ohrknöpfe, die endlich nicht mehr nur den FBI-Agenten aus den Hollywoodfirmen zur Verfügung stehen, inzwischen ja auch unheimlich gut kaschiert werden kann. Ermöglicht wird das Hören von aktuellen Zeitungstexten, die man sonst lieber lesen würde, von computergenerierten Stimmen, die den Inhalt zwar immer noch ein wenig monoton, aber im Vergleich doch viel ansprechender als noch vor einigen Jahren, flüssig vorlesen. So kann man, wenn man sich zu Fuß oder zu Rade fortbewegt, gemütlich das anhören, was man ansonsten in der Leipziger Straßenbahn oder der Berliner U-Bahn gelesen hätte.

Was mich an Text-to-Speech, wie das computergenerierte Vorlesen von Texten in der Computerlinguistik genannt wird, inzwischen beeindruckt, ist die große Qualität, mit der die meisten Passagen komplett fehlerlos und zuweilen auch ansprechend vorgelesen werden können. Diese Qualität ist Meilen entfernt von den monotonen und manchmal daher auch schwer verständlichen Bahndurchsagen, an die ich mich nie richtig gewöhnen konnte. Sie zeigt eindrucksvoll, wie weit sich bestimmte Sprachtechniken in den letzten zehn Jahren verändert haben. Ein Gespräch mit einem Bot, der wie im Film Her von 2013 das persönliche Sekretariat leitet und einem freundlich Termine in den Kalender einträgt, kann ich mir inzwischen tatsächlich vorstellen, auch wenn es mich genauso wenig reizt wie die Vorstellung, eine Alexa aufzufordern, irgendwelche Musik zu spielen.

Trotz der weit verbesserten Qualität weist die KI-basierte Umwandlung von Lesetexten in Hörtexte zuweilen immer noch komische Probleme auf. Die Fehler treten vor allem bei Textstellen auf, bei denen Menschen eigentlich kaum Fehler machen, vor allem bei Zahlen oder Abkürzungen, und äußern sich in einem zuweilen fast lustig anmutenden Kauderwelsch, das sehr entfernt an Menschen erinnert, die über Wörter, deren Aussprache sie nicht richtig kennen, rasch hinweghuschen. Dass diese KI-generierten Hörtexte zwar wunderbar flüssig alle möglichen zuweilen auch komplizierteren Texte vorlesen können, aber dann über einfache Zahlen stolpern, wenn die mal ein bisschen ungewöhnlicher sind als 0815 oder 4911, kann bei zahlenlastigen Texten rasch dazu führen, dass der ganze Hörtext unbrauchbar ist. Ohne konkrete Texte zu zitieren, genügt es, in der Webpräsentation von traditionellen Tageszeitungen, die einen Vorlesetext, der KI-generiert ist, anbieten, einfach Texte aufzusuchen, die verschiedenste Prozentzahlen aufzuweisen (Statistiken zur Erwerbsarbeit, Statistiken zu Zöllen), um zu erleben, wie die KI sich einen zurechthalluziniert.

Was noch dazu kommen kann, sind sehr komische Lautstärkenunterschiede, die dazu führen, dass man sich erschreckt und den Ton runterdreht oder ihn genervt hochdreht, weil man plötzlich nichts mehr versteht, gepaart mit komischen Pausen, die vor allem beim Namen des meist miesgelaunten Vizepräsidenten zu einem komischen Stocken vor dem Vance und nach dem J. D. führen. Ein frei erfundener Satz wie “Das zeigte sich auch, als J. D. Vance die Bühne betrat…” hört dann nach dem J. D. erst mal auf, bevor es nach zweisekündiger Pause mit Vance weitergeht (…Dscheidi — einundzwanzig zweiundzwanzig — Vänz…).

Bei diesen ganzen Aussetzern kann man schon ins Grübeln geraten, was genau wir von KI in Zukunft eigentlich werden erwarten können. Tatsächlich treten die Aussetzer nicht so besonders häufig auf. Das ist jedoch doch häufig genug, um sich zu fragen, warum sie denn überhaupt auftreten müssen, wenn die Technik doch — glaubt man dem Hype der Techbros — schon so weit ist, dass wir erwarten müssen, in zwei Jahren von Skynet regiert zu werden. Man stelle sich den bösen Terminator — den, der sich in beliebige Menschen verwandeln und diese perfekt imitieren kann — vor, wie er sich in die Form eines Polizisten gießt, und Sarah Connor dann auf der Straße anhält und sagt “Bitte zeigen Sie mir Ihre Fahrzeugpapiere, Sie sind hunatzweinundrüßig gefahren, hier sind aber nur huntzwingzweizig erlaubt”.

Dass die KI Zahlen falsch ausspricht ist dabei recht einfach zu erklären. Wenn man ein Modell lediglich trainiert und dann auf Text loslässt, ohne es weiter regelbasiert zu korrigieren (was vielleicht auch gar nicht so einfach wäre), dann wird das Modell immer dann straucheln, wenn es Dinge vorfindet, die es noch nicht gesehen hat. Während die Zahl 3 aber häufig auftaucht, ist es sicher sehr unwahrscheinlich, dass man die exakte Zahlenfolge 255376 wirklich in den Trainingsdaten wird auffinden können. Wenn diese aber fehlt, wird es schwer, Zahlen richtig zu generieren.

Was ich jedoch nicht verstehe, ist, warum man nicht einfach Zahlen extra vorlesen lässt. Es sollte ja nicht so viel kosten, jemanden alle Zahlen von 0 bis 100000 einmal aufsagen zu lassen. Das genügt ja dann vielleicht sogar schon, wenn man die KI mit weiteren Beispielen füttert und mit den Zahlen ausgiebig trainiert. In der Schule wird ja traditionell viel über Zahlen gesprochen, viele Kinder zählen ja sogar freiwillig den ganzen Tag vor sich hin, und man könnte sie entschädigen, indem man ihnen verspricht, ihre Schulgebäude zu renovieren.

Warum die KI immer über Vance stolpert ist mir dabei erst vor Kurzem aufgefallen. Da der Name immer mit den Punkten abgekürzt wird, weil irgendwie kein Mensch ihn beim Vornamen nennen will, tauchen zwei Punkte nach den Initialen auf, die die KI wahrscheinlich als Satzzeichen interpretiert. Dazu passt, dass die Stimme immer gesenkt wird vor dem zweisekündigen Aussetzer. Wie man derartige Initialnamen in das KI-Sprechtraining einbauen will, ist mir weniger gut klar. Man kann ja schlecht allen Ausnahmen hinterherlaufen. Wenn Vance weiterhin in den Schlagzeilen bleibt, wäre es aber wünschenswert, irgendeinen Mechanismus einzubauen, mit dem man die KI dazu bringen kann, grobe Fehler erst mal zu korrigieren.

Aber was eigentlich noch viel besser wäre, wäre es doch, wenn man anfängt, maschinenfreundlicher zu schreiben. Wir haben uns ja schon längst angewöhnt, mit Maschinen zu sprechen. Wenn ich bei Telefonanrufen eine generierte Stimme höre, sage ich zum Beispiel immer direkt und laut und langsam im unfreundlichsten und genervtesten Ton, der mir von den Lippen rutscht, “MITARBEITER”. Das mache ich dann so lange, bis ich mit einem Menschen sprechen kann. Jetzt sollten wir uns eben einfach angewöhnen, für Maschinen zu schreiben, wenn wir wollen, dass sie laut vorlesen, was wir verrichten. So schwer dürfte das dabei eigentlich gar nicht sein. Von den Sozialen Medien kennt man ja schon Praktiken, wie den Hashtag, den man inflationär vor jedes Wort setzt, dem man das Potenzial zuspricht, richtig steil viral zu gehen. Wir müssen uns nur angewöhnen, durch die gezielte Nutzung von solchen Sonderzeichen, die Stolpersteine zu markieren, die die KI zum kollabieren bringen. Dass die KI dann lernt, mit diesen anders umzugehen, das können wir bewusst den Nerds und Techbros überlassen.

Zahlen können wir zum Beispiel problemlos als ganze Wörter ausschreiben, oder wir markieren sie von nun an mit einem Ausrufezeichen, damit die KI merkt, dass da was kommt, was sie sauber aussprechen soll, ohne darüber hinwegzunuscheln. Es würde sicherlich wenigen Leuten wirklich schwer fallen, statt Er wohnte in der Intelligenzgasse 1312... einfach Er wohnte in der Intelligenzgasse !1312... zu schreiben. Dann würde auch die dümmste KI — ein bisschen Training und algorithmische Anpassung vorausgesetzt — bald merken, dass sie nicht gleich laut “ACAB” schreien soll, wenn sie Tausenddreihundertzwölf liest. Da die Texte nur von der Maschine gelesen werden, kann man die Markierungen mittels Sonderzeichen direkt wieder ausblenden, wenn sie an die normalen Menschen gesendet werden. Programme zu schreiben, die das tun, wäre trivial.

Man kann das ganze weiterdenken und Punkte, die auf eine Abkürzung verweisen von Punkten, die auf ein Satzende hinweisen, unterscheiden. Das würde den Sprachmodellen sicher gut tun. Zusätzlich könnte man linguistische Traditionen ehren und zusätzlich eine Lautschrift einfügen, die schwere Wörter erklärt, wie dies ja auch bei der Tagesschau gemacht wird. Ein Satz wie “Am Abend wies J.[dʒɛi] D.[di] Vanze[væns] laut darauf hin, das es schön sei, wenn ein Präsident bis !88 regieren könnte” wäre dann sicher ohne Stolpersteine für jede KI zu lesen.

Bei allem Unernst, den ich hier mit den Beispielen zum Ausdruck bringen mag, denke ich wirklich, dass es relativ einfach sein sollte, die Qualität der Text-to-Speech-Produktion im Internet erheblich zu steigern. Man müsste eben anfangen, nicht einfach eine KI auf einen nicht weiter redigierten Text loszulassen, sondern stattdessen ernsthaft an Methoden arbeiten, die uns Menschen die Macht über die Ausgabe zurückgeben. Statt blind auf ein Sprachmodell zu vertrauen und seine Halluzinationen widerstandslos hinzunehmen, brauchen wir in den Bereichen, in denen Schrift automatisch gelesen werden soll, stattdessen klare Tools, die es uns beim Schreiben direkt erlauben, das Vorgelesene zu kontrollieren und zu überprüfen.

Wer das für einen übertriebenen Aufwand hält, vielleicht sogar eine Zumutung für alle die, die Texte produzieren und sie öffentlich teilen, der sei daran erinnert, dass die Idee von barrierefreien Texten ja genau auf dieser Idee beruht und als offizielle Richtlinie bereits die konkrete Arbeit von Behörden und Verwaltungen bestimmt. Während es dabei vorwiegend darum geht, Menschen, die nicht so gut sehen können, zu helfen, sich mit maschineller Hilfe durch Dokumente zu navigieren (List 2023), würde eine maschinengerechte Formatierung von Texten den nächsten Schritt von Barrierefreiheit darstellen, weil sie es ja ermöglicht, Texte, die im Medium Schrift verfasst wurden, im auditiven Medium zu rezipieren, indem man die Fortschritte in der KI mal ausnahmsweise für etwas Sinnvolles einsetzt, anstatt sie wie gewöhnlich für die Produktion von dämlichen Bildern zu missbrauchen, die man auf Social Media teilt, oder sie ohne Rücksicht auf zivile Opfer in Kampfeinsätzen wählen lässt, wo denn Bomben am besten abgeworfen werden können.

Tatsächlich muss ich zugeben, dass ich nicht sehr gut darüber informiert bin, wie genau die Zeitungen die KI einsetzen, um Schriftsprache in gesprochene Sprache umzuwandeln. Vielleicht sind solche Ideen, die es erlauben, die Aussprache direkt im Text zu fördern, anstatt weiter naiv zu hoffen, dass mit mehr Daten und noch teureren Modellen die Aussprache immer besser wird, ja bereits im Umlauf oder werden bereits umgesetzt. Ich muss allerdings sagen, dass ich mir wünschen würde, dass diese Diskussionen nicht nur in den Firmen oder Zeitungsredaktionen geführt werden, sondern allgemein in die Bereiche Einzug halten, wo Texte in schriftlicher Form von Menschen produziert werden. Wenn wir wollen, dass KI unser Leben positiv verändert, sollten wir alle uns darüber Gedanken machen, wie wir KI besser trainieren können, anstatt darauf zu vertrauen, dass es genügt, auf illegale Art den Umfang der Daten immer weiter zu vergrößern.

References

Dialog between ScareGPT and Some User.

Wer hat Angst vorm Chatprogramm?

Die Chatbots haben in erstaunlicher Geschwindigkeit ihren Einzug in unser Leben gehalten. Kaum eine Veranstaltung, auf der geredet wird, kommt noch ohne eine Rede, ein Einladungsschreiben, oder ein Gedicht aus, das nicht von einem Chatbot geschrieben wurde. In den sozialen Medien überbieten sich Menschen mit Berichten, die entweder die schier unglaublichen Fähigkeiten der großen Sprachmodelle preisen, oder sich spöttisch über sie äußern, weil eine ganz spezifische Frage gefunden wurde, auf die die Sprachmodelle noch keine überzeugende Antwort gefunden haben. Während Größen der Linguistik wie Emily Bender (Bender et al. 2021) und Noam Chomsky (Chomsky et al. 2023) den Chatbots den Kampf angesagt haben, beschwören die Technikfreaks des Silicon Valley den Weltuntergang hervor, wenn es uns nicht gelänge die Technik gut genug zu kontrollieren.

Das ganze Treiben rund um die Chatbots mutet grotesk an, vor allem, wenn man sich vor Augen führt, dass es mit Klima und Krieg noch viel direktere Bedrohungen menschlicher Zivilisationen gibt. Es bestimmt dennoch unausweichlich unseren Alltag, und da Sprache ja mein Beruf ist, kann ich mich selbst der Thematik kaum entziehen, da es sich doch hierbei um Modelle handelt, die Sprache in einem Maße imitieren und generieren können, das wir vor einigen Jahren noch nicht für möglich gehalten hätten. So habe ich dann auch mitgeholfen, eine Ringvorlesung zum Chatbots an der Universität Passau zu organisieren, ich war erfreut, als ein Doktorand aktiven Gebrauch von ChatGPT gemacht hat, um Programmierprobleme eigenhändig zu lösen (Mantelli und Pulini 2023) und ich musste auch zu dem Thema Stellung nehmen, als es in der Sendung Planet Wissen um das Sprachwunder Mensch ging.

Während ich Bender und Kollegen folge und das Weltuntergangsdenken in Bezug auf Sprachmodelle für reißerischen Hype der Technikkonzerne halte, die ihre Produkte verkaufen wollen, kann ich kleinere Bedenken in Bezug auf Chatprogramme schon verstehen. An den Universitäten spielt das Thema Prüfungen natürlich eine große Rolle. Hier haben einige Kolleginnen und Kollegen Angst, dass die Studierenden in Zukunft kaum mehr Hausarbeiten eigenständig schreiben werden, weil Chatbots ja billige Unterstützung in mehreren Sprachen bieten. Beruflich bedroht die Fähigkeit von Chatbots, kleinere Programme in einer Vielzahl von Programmiersprachen schreiben zu können, sicher eine größere Anzahl an aktiven Programmierern, deren Jobs — wenn die Qualität der Programme das hält, was sie verspricht — bald Stück für Stück wegrationalisiert werden könnten. Aus ethischer Perspektive schließlich stellt sich die Frage, inwiefern Chatbots das ohnehin vor Falschinformationen berstende Internet weiter mit Hass füllen und so zur weiteren Spaltung der Gesellschaften beitragen werden.

Ich sehe die Situation an den Universitäten im Gegensatz zu mancher Kollegin und manchem Kollegen nicht als speziell problematisch an. Während wir vor über zehn Jahren, als ich anfing, an Universitäten zu unterrichten, noch darüber diskutierten, wie man mit Wikipedia als Quelle umgehen sollte, so werden wir jetzt eine Weile darüber diskutieren müssen, wie wir mit generierten Texten verfahren. Wenn man Wissenschaft streng betrachtet, dann sollte die sprachliche Qualität von Forschungsergebnissen eigentlich kaum eine Rolle spielen, wie die Forschungsergebnisse selbst beurteilt werden. Wenn die Forschungsergebnisse aber selbst im Vordergrund stehen sollten, könnte der Einsatz von Chatbots vielleicht dazu führen, dass nun Menschen mit ihrer Forschung beachtet werden, denen es vorher an den Fähigkeiten mangelte, sich adäquat auszudrücken. Da Wissenschaft vorwiegend auf Englisch betrieben wird, und gute sprachliche Qualität praktisch sehr wohl einen Einfluss darauf hat, wie Forschung wahrgenommen wird, könnten frei verfügbare Chatbots vielleicht tatsächlich dazu beitragen, das Gefälle zwischen den Vertretern der Wissenschaft, die sich ein englisches Lektorat bisher nicht leisten konnten, und denen, die es entweder nicht brauchten (weil sie aus englischsprachigen Ländern kommen), oder es finanziert bekommen, abzuflachen. Da es leider nicht so billig ist, gute Chatbots und Sprachmodelle zu unterhalten, wird dieser Effekt aber wahrscheinlich sehr gering ausfallen und eher dazu führen, dass in Zukunft in Ländern wie Deutschland am Lektorat gespart wird, während ärmere Länder auf schlechtere Sprachmodelle zurückgreifen müssen und weiterhin benachteiligt bleiben werden.

Auf jeden Fall erwarte ich nicht, dass sich die sprachlichen Fähigkeiten von Studierenden in Zukunft drastisch verringern werden, ich erwarte eher, dass wir — wenn die Technologie sich noch ein bisschen weiterentwickelt und weiter verbessert — bald schlicht und einfach keine Texte in der Wissenschaft mehr ohne Sprachmodelle schreiben werden. Genauso, wie wir routinemäßig zum Taschenrechner greifen, wenn wir etwas ausrechnen müssen, werden wir uns an Sprachmodelle wenden, wenn es um das Formulieren von Texten geht, und diese in Kollaboration mit den Modellen verfassen (in Kollaboration, indem wir Texte nachkorrigieren, nicht, indem wir uns blind auf die Modelle verlassen). Natürlich wird dies auch dazu führen, dass wir Prüfungsleistungen an Universitäten und in der Schule kaum noch hinsichtlich ihrer sprachlichen Qualität allein bewerten können und sollten, aber streng genommen sollte das bei wissenschaftlichen Arbeiten schon jetzt der Fall sein. Zwar ist es wichtig, sauber und klar zu formulieren, schön zu schreiben war aber noch nie ein Kriterium für gute wissenschaftliche Arbeit, oder sollte es eigentlich nicht sein (auch wenn die Praxis zeigt, dass wissenschaftliche Arbeit nicht frei von rhetorischer Manipulation ist, vgl. Corneille et al. 2023.)

Aus Perspektive derer, die regelmäßig Programmieren und eigenen Code schreiben, oder derer, die lernen wollen, wie man programmiert, könnten Sprachmodelle das Programmieren von Morgen revolutionieren, indem sie all die kleinteiligen Aufgaben erledigen, die man selbst am Programmieren hasst. Auch für Menschen, die noch nicht die Chance hatten, programmieren zu lernen, lassen sich durch den Dialog mit Chatbots sowohl kleinere Programme schreiben als auch konkrete Fragen zum Programmieren beantworten, für deren Beantwortung Menschen mit Programmiererfahrung nicht immer Zeit haben (Mantelli und Pulini 2023). Man sollte allerdings sehr vorsichtig sein, das klassische Programmieren, welches ohne Hilfsmittel von Chatbots und KI-getriebener Software auskommt, zu früh aufzugeben. Da Sprachmodelle das Programmieren von Menschen lernen, die ihren Code veröffentlichen, und die meisten Menschen eher schlecht als recht Probleme mit Code lösen, entsprechen deren Fähigkeiten kaum denen einer überlegenen Intelligenz, sondern eher dem eines durchschnittlichen Menschen, der eben auch mal schlampig und ungenau programmiert und vielleicht auch zu faul ist, eine richtige, nachhaltige Lösung für ein Problem zu finden.

Darüber hinaus scheinen die Modelle nach wie vor sehr weit davon entfernt zu sein, Code wirklich zu durchdringen, was sich daran zeigt, dass sie Lösungen nach Häufigkeit auswählen und nicht den Programmiercode selbst wirklich zu durchdringen scheinen (Miceli-Barone et al. 2023). Dies bedeutet für mich, dass Sprachmodelle Menschen beim Einstieg in das Programmieren durchaus helfen können. Komplexe Aufgaben und Durchdringen von längeren Code-Blöcken können sie aber noch nicht leisten. Ohne Programmierer, die den Code wirklich verstehen, werden Projekte also auch in Zukunft erst mal nicht auskommen. Wer Programmieren lernen will, tut nach wie vor gut daran, sich die Mühe zu machen, sich die Grundlagen verschiedener Programmiersprachen anzueignen.

Was die ethischen Bedenken, die in Bezug auf das Training von Sprachmodellen geäußert wurden, welches Scharen von schlechtbezahlten Menschen zwingt, sich mitunter psychisch sehr belastende Inhalte aus dem Internet anzuschauen, damit Sprachmodelle sie nicht wiederholen (vgl. Wolfangel 2023), so teile ich diese vollständig. Es scheint eben einfach keine absolut saubere Technik zu geben, auch — aber vielleicht auch vor allem — nicht im Bereich der künstlichen Intelligenz. Ein weiteres Problem ist die Anwendung von Sprachmodellen, um das Internet, welches in Teilen einer riesigen stinkenden Restmülltonne gleicht, weiter mit extremen Inhalten zu füllen, die die Gesellschaft weiter spalten und Menschen mit Verschwörungstheorien und Falschinformationen weiter verunsichern. Weil es zusehends schwerer wird, maschinengenerierten Inhalt von menschengeneriertem Inhalt zu unterscheiden, wird sich dagegen so schnell nicht viel tun lassen. Interessanterweise werden zukünftige Sprachmodelle jedoch wahrscheinlich selbst unter maschinengenerierten Inhalten leiden, da sie ja vor allem am Web trainiert werden. Wenn dieses nun voll ist von generierten Inhalten, dann würde sich ein bizarrer Kreislauf entwickeln, in dem sich Sprachmodelle immer mehr ihrer selbst durch Inhalte, die sie selbst generiert haben, versichern, was schließlich zu deren Degeneration (sogenannter Modellkollaps, vgl. Shumailov et al. 2023) führen kann.

Es ist schwer zu sagen, worauf das alles hinauslaufen wird, und da ohnehin schon so viel zu der Zukunft mit Sprachmodellen geschrieben und diskutiert wird, ist es wahrscheinlich am besten, sich ein bisschen zurückzulehnen und die Diskussion erst mal nur zu beobachten, anstatt in sie aktiv einzugreifen. Viele Ängste, die Menschen im Internet und Menschen, denen ich begegnet bin, bisher geäußert haben, teile ich jedoch viel weniger. Klar werden die Sprachmodelle bestimmte Aspekte unseres Lebens verändern, aber Wikipedia hat unser Leben auch auf unglaubliche Weise verändert, und das Smarthone ebenfalls, weshalb es sicher übertrieben ist, jetzt davor zu warnen, dass die Technik zu mächtig wird. Solange Sprachmodelle Millionen von Sätzen und Milliarden von Wörtern brauchen, um halbwegs kohärente Sätze zu erzeugen, ist die Sprachfähigkeit des Menschen, der aus einem viel kleineren Korpus nahezu perfekt zu sprechen lernt, ihnen immer noch meilenweit überlegen. Auch für die Wissenschaft bedeutet das, dass wir nach wie vor gute Gründe haben, die Sprachfähigkeit von Menschen und individuelle Sprachen im Detail und mit großem Enthusiasmus zu erforschen.

Literatur

Emily M. Bender and Timnit Gebru and Angelina McMillan-Major and Shmargaret Shmitchell (2021): On the Dangers of Stochastic Parrots. In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency.

Noam Chomsky and Ian Roberts and Jeffrey Watumull (2023): Noam Chomsky: The False Promise of ChatGPT. New York Times 2023.03/08. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

Alessandro Mantelli and Michele Pulini, “Leveraging JavaScript, jQuery, and ChatGPT for Data Extraction from Web Tables,” in Computer-Assisted Language Comparison in Practice, 17/05/2023, https://calc.hypotheses.org/6079.

Antonio Valerio Miceli-Barone and Fazl Barez and Ioannis Konstas and Shay B. Cohen (2023): The Larger They Are, the Harder They Fail: Language Models do not Recognize Identifier Swaps in Python. arXiv . 1-17. https://doi.org/10.48550/arXiv.2305.15507

Ilia Shumailov and Zakhar Shumaylov and Yiren Zhao and Yarin Gal and Nicolas Papernot and Ross Anderson (2023): The Curse of Recursion: Training on Generated Data Makes Models Forget. arXiv . 1-17. https://doi.org/10.48550/arXiv.2305.17493

Wolfangel, Eva (2023): Ausgebeutet, um die KI zu zähmen. ZEIT Online, 2023:01/20. https://www.zeit.de/digital/2023-01/chatgpt-ki-training-arbeitsbedingungen-kenia