Schlagwort-Archive: Chatprogramm

abenbrot

Vom Fabulieren und Halluzinieren

In der letzten Zeit wird sehr oft vom Halluzinieren gesprochen. Allerdings nicht in Bezug auf Menschen, die ja auch selten von Halluzinationen heimgesucht werden, als vielmehr in Bezug auf Sprachmodelle, die komische Antworten liefern, die keinen Sinn ergeben oder sich angebliche Fakten zusammenfabulieren, für die es keine Belege gibt. Dass es problematisch ist, dieses nicht gewünschte Verhalten von Sprachmodellen als “Halluzination” zu bezeichnen, wird in einigen Arbeiten betont. So weisen Bender und Hanna (2025) darauf hin, dass der Begriff “Halluzination” den Sprachmodellen menschliche Charakteristika unterstelle, die diese jedoch nicht aufweisen. Da Sprachmodelle aber keine Wahrnehmung haben, können sie auch nicht halluzinieren.

It matters what words we use when we talk about these technologies. For instance, in our writing, we don’t use the term “hallucination” to discuss the errors of LLMs, for two reasons. First, if it’s used tongue-in-cheek, it is making light of what can be symptoms of serious mental illness. Second, “hallucination” refers to the experience of perceiving things that aren’t there. But LLMs actually don’t have perceptions, and suggesting that they do is yet more unhelpful anthropomorphization. That means we also avoid assigning thought processes to these systems, or saying that they can “think”. (Bender und Hanna 2025: 167)

Zweig (2025) argumentiert, dass der Begriff “Halluzination” nicht präzise genug ist, da Menschen, die halluzinieren, nicht zwangsläufig komische Sätze äußern, sondern Dinge wahrnehmen, die nicht der Realität entsprechen. Daher schlägt Zweig, basierend auf einem Vorschlag von McGowan et al. (2023) vor, stattdessen von Konfabulation zu sprechen.

Tatsächlich hat es sich eingebürgert, bei solchen Fehlern von Sprachmodellen von Halluzinationen zu sprechen, obwohl es sich dabei um einen ungeeigneten Begriff handelt. Die Psychologin Alessia McGowan und ihre Co-Autoren weisen darauf hin, dass es bei Halluzinationen um eine Wahrnehmungsstörung geht: Halluzinationen sind als real wahrgenommene Sinneseindrücke, für die es keinen erkennbaren äußeren Reiz gibt. Die Psychologen schlagen daher den Begriff der Konfabulation vor, dem Erfinden von Inhalten, die ein Patient in diesem Moment für wahr hält. (Zweig 2025: § 2)

Während ich prinzipiell beiden Argumenten zustimme, scheint mir, dass beide das Problem des Konzepts der Halluzination nicht korrekt erfassen. Denn egal ob man nun von Halluzionationen, Irrtümern (Bender und Hanna 2025) oder Konfabulationen (Zweig 2025 und McGowan et al. 2023) spricht, in allen Fällen ignoriert man das ursprüngliche Problem, welches darin besteht, dass Sprachmodelle fälschlicherweise als eine Art von “Wahrheitsmaschinen” im Sinne von Simanowski (2025) angesehen werden, die sie aber streng genommen gar nicht sein können.

Die Sprachmaschine lässt sich als “Wahrheitsmaschine” freilich nur unter verschiedenen Voraussetzungen denken, die alle nicht erfüllt sind. Denn es ist eben nur idealtypisch so, dass diese Maschine alle Daten der Welt mathematisch miteinander ins Verhältnis setzt. In der Praxis sind es bloß bestimmte Daten mit unklaren Gewichtungen. (Simanowski 2025: 92)

Trotz der riesigen Datenmenge, an denen große Sprachmodelle trainiert worden sind, beruhen sie auf einem begrenzten Datensatz, in dem, was “wahr” ist oder “wahr” sein kann, nur mittelbar, durch die versprachlichten Ansichten von Menschen digital verfügbar gemacht worden ist. Menschen selbst können ja in Bezug auf das, was sie für wahr und das, was sie für falsch halten, maximal unterschiedlicher Meinung sein. Auch die Wissenschaft selbst verwehrt sich ja zumindest in ihren theoretischen Grundlagen dagegen, einen Anspruch auf absolute Wahrheit oder zweifelsfreie Fakten zu erheben (Popper 1935). Es sollte daher klar sein, dass auch Chatbots – die ja nicht mehr erreichen, als menschliches Sprechverhalten geschickt zu simulieren – in Bezug auf die Inhalte, die sie produzieren, mit ziemlich schmutzigem Wasser kochen. Genauso, wie man sich die Textblasen, die einem die eigene Wohlfühlbubble in die Timeline spült, nicht ohne kritische Prüfung als vollwertige Inhalte mit plausiblen Fakten zu eigen machen sollte, sollte man auch nicht erwarten, dass ein Chatprogramm, nur weil es von einer angeblichen künstlichen Intelligenz angetrieben wird, stets unwiderlegbare Fakten produziert.

Wenn wir die prinzipielle Subjektivität von Fakten, oder die prinzipielle Unmöglichkeit, das Wahre vollkommen zuverlässig vom Falschen zu unterscheiden, jedoch grundsätzlich anerkennen, dann hat das Konzept der Halluzination oder Konfabulation in Bezug auf die Bewertung von Chatprogrammen wenig praktischen Nutzen. Je nachdem, welche Perspektive man bei der Bewertung von generierten Texten einnimmt, könnte man nämlich entweder nahezu alles, was diese produzieren, als Halluzination bezeichnen, oder gar nichts.

Man könnte das Konzept der Halluzination in Bezug auf Sprachmodelle natürlich weiter verengen, und betonen, dass es sich lediglich auf diejenigen Fälle beziehen sollte, in denen diese bestimmte Daten fabrizieren, wie Personen oder literarische Werke die es nachweislich nicht gibt. Dies steht jedoch nicht nur im Widerspruch zum allgemeinen Gebrauch des Wortes in vielen Sprachen, es steht auch im Widerspruch zur Technik, mit der Sprachsimulatoren betrieben werden. Denn diese Technik ist nicht auf Wahrheit und Unwahrheit oder belegbare und unbelegbare Daten ausgerichtet, sie zielt lediglich darauf ab, Sprache überzeugend zu simulieren. Aus dieser ontologischen Perspektive, die sich an der Technik orientiert, mit der Chatbots betrieben werden, weist die Sprache, die diese produzieren, weder Halluzinationen, noch Konfabulationen, noch Fehler auf, da ihre Architektur Texte nicht mit der Intention produziert, dass deren Inhalte in irgendwelchen unabhängigen Daten verankert sein müssten. Sprachmodelle – zumindest diejenigen, die den populärsten Chatbots zugrunde liegen – simulieren einfach menschliche Sprache. Irgendeine Form der Alinierung der generierten Sprache mit irgendwelchen wie auch immer definierten Fakten ist zumindest in der derzeit am weitesten verbreiteten Architektur nicht vorgesehen.

Es scheint mir daher wenig sinnvoll, bei Sprachmodellen, die Text generieren, der mit Wahrheit oder mit Fakten, wie immer man diese definieren mag, erst mal gar nichts zu tun hat, plötzlich von “Halluzinationen” zu reden, oder diesen zu unterstellen, dass sie “konfabulieren”, wenn sie Text produzieren, der sich in den Trainingsdaten so nicht finden lässt. Immerhin ist das Generieren von Text ja das Argument, das die Techkonzerne nutzen, um wahllos geistiges Eigentum von verschiedensten Urheberinnen und Urhebern stehlen zu können, ohne direkt dafür belangt zu werden.

Es ist klar, dass die Konzerne, die sich an fremdem geistigen Eigentum mit ihren Chatbots bereichern wollen, ein Interesse daran haben, ihre “Sprachmaschinen” (wie Simanowski 2025 LLM-basierte Chatbots nennt) als nichtmenschliche Intelligenzen darzustellen, die ihr Wissen in digitalen Daten verankert haben. Dies ist jedoch tatsächlich nichts weiter als eine Marketinglüge. Chatprogramme fabulieren immer, in vielen Fällen scheint das, was sie zusammenfabulieren, den menschlichen Kommunikationspartnern als Informationsquelle oder Quelle, die ihnen eigene Fabulierungsarbeit erspart, zu genügen. Wenn es aber einmal nicht genügt, dann scheint es mir komplett falsch zu sein, von einer Halluzination oder einem Irren aufseiten der artifiziellen Antilligenz zu sprechen. Das Framing spielt eigentlich nur wieder der Marketinglüge von der rationalen, denkenden Maschine in die Hände.

Ich lehne es also generell ab, bei LLM-basierten Chatprogrammen und anderen KI-Tools, wie Bildgeneratoren von Halluzinationen oder Irrtümern auf Seiten der Modelle zu sprechen. Halluzinieren zu können setzt voraus, die Welt ohne Halluzinationen wahrzunehmen. Sich in seinen Äußerungen irren zu können setzt voraus, dass man die Absicht hat, sich korrekt zu äußern. Beides trifft auf große Sprachmodelle in ihrer klassischen Architektur nicht zu.

 

Das heißt jedoch nicht, dass ich die Möglichkeit prinzipiell ausschließe, dass man Chatbots erschaffen könnte, die halluzinieren, konfabulieren und sich irren können. Wenn es gelingen sollte, Computermodelle auf ähnliche Art in der Welt zu verankern, wie Menschen das mit ihren Sinnen tun, und wenn es gelingen sollte, Modelle zu schaffen, die tatsächliche kommunikative Absichten verfolgen, dann müsste man die Situation eventuell neu überdenken. In so einem Fall kann ich es mir aber schwer vorstellen, dass man bei Modellen, die Irrtümer begehen, überhaupt auf die Idee kommen würde, von Halluzinationen zu sprechen. Man würde vielleicht einfach sagen, dass sie nicht so gut funktionieren, wie erwartet.

Literatur

Bender, Emily M., and Alex Hanna. 2025. The AI Con. How to Fight Big Tech’s Hype and Create the Future We Want. New York: Harper-Collins.

McGowan, Alessia, Yunlai Gui, Matthew Dobbs, Sophia Shuster, Matthew Cotter, Alexandria Selloni, Marianne Goodman, Agrima Srivastava, Guillermo A. Cecchi, and Cheryl M. Corcoran. 2023. “ChatGPT and Bard Exhibit Spontaneous Citation Fabrication During Psychiatry Literature Search.” Psychiatry Research 326: 1–6. https://doi.org/10.1016/j.psychres.2023.115334.

Popper, Karl. 1935. Logik Der Forschung. Zur Erkenntnistheorie der modernen Naturwissenschaft. Wien: Springer.

Simanowski, Roberto. 2025. Sprachmaschinen. Eine Philosophie der künstlichen Intelligenz. München: C. H. Beck.

Zweig, Katharina. 2025. Weiß die KI, dass Sie nichts weiß? Wofür wir Chatbots und KI-Agenten nutzen sollten, wo sie sich irren und wo wir aufpassen müssen. München: Heyne.

Dialog between ScareGPT and Some User.

Wer hat Angst vorm Chatprogramm?

Die Chatbots haben in erstaunlicher Geschwindigkeit ihren Einzug in unser Leben gehalten. Kaum eine Veranstaltung, auf der geredet wird, kommt noch ohne eine Rede, ein Einladungsschreiben, oder ein Gedicht aus, das nicht von einem Chatbot geschrieben wurde. In den sozialen Medien überbieten sich Menschen mit Berichten, die entweder die schier unglaublichen Fähigkeiten der großen Sprachmodelle preisen, oder sich spöttisch über sie äußern, weil eine ganz spezifische Frage gefunden wurde, auf die die Sprachmodelle noch keine überzeugende Antwort gefunden haben. Während Größen der Linguistik wie Emily Bender (Bender et al. 2021) und Noam Chomsky (Chomsky et al. 2023) den Chatbots den Kampf angesagt haben, beschwören die Technikfreaks des Silicon Valley den Weltuntergang hervor, wenn es uns nicht gelänge die Technik gut genug zu kontrollieren.

Das ganze Treiben rund um die Chatbots mutet grotesk an, vor allem, wenn man sich vor Augen führt, dass es mit Klima und Krieg noch viel direktere Bedrohungen menschlicher Zivilisationen gibt. Es bestimmt dennoch unausweichlich unseren Alltag, und da Sprache ja mein Beruf ist, kann ich mich selbst der Thematik kaum entziehen, da es sich doch hierbei um Modelle handelt, die Sprache in einem Maße imitieren und generieren können, das wir vor einigen Jahren noch nicht für möglich gehalten hätten. So habe ich dann auch mitgeholfen, eine Ringvorlesung zum Chatbots an der Universität Passau zu organisieren, ich war erfreut, als ein Doktorand aktiven Gebrauch von ChatGPT gemacht hat, um Programmierprobleme eigenhändig zu lösen (Mantelli und Pulini 2023) und ich musste auch zu dem Thema Stellung nehmen, als es in der Sendung Planet Wissen um das Sprachwunder Mensch ging.

Während ich Bender und Kollegen folge und das Weltuntergangsdenken in Bezug auf Sprachmodelle für reißerischen Hype der Technikkonzerne halte, die ihre Produkte verkaufen wollen, kann ich kleinere Bedenken in Bezug auf Chatprogramme schon verstehen. An den Universitäten spielt das Thema Prüfungen natürlich eine große Rolle. Hier haben einige Kolleginnen und Kollegen Angst, dass die Studierenden in Zukunft kaum mehr Hausarbeiten eigenständig schreiben werden, weil Chatbots ja billige Unterstützung in mehreren Sprachen bieten. Beruflich bedroht die Fähigkeit von Chatbots, kleinere Programme in einer Vielzahl von Programmiersprachen schreiben zu können, sicher eine größere Anzahl an aktiven Programmierern, deren Jobs — wenn die Qualität der Programme das hält, was sie verspricht — bald Stück für Stück wegrationalisiert werden könnten. Aus ethischer Perspektive schließlich stellt sich die Frage, inwiefern Chatbots das ohnehin vor Falschinformationen berstende Internet weiter mit Hass füllen und so zur weiteren Spaltung der Gesellschaften beitragen werden.

Ich sehe die Situation an den Universitäten im Gegensatz zu mancher Kollegin und manchem Kollegen nicht als speziell problematisch an. Während wir vor über zehn Jahren, als ich anfing, an Universitäten zu unterrichten, noch darüber diskutierten, wie man mit Wikipedia als Quelle umgehen sollte, so werden wir jetzt eine Weile darüber diskutieren müssen, wie wir mit generierten Texten verfahren. Wenn man Wissenschaft streng betrachtet, dann sollte die sprachliche Qualität von Forschungsergebnissen eigentlich kaum eine Rolle spielen, wie die Forschungsergebnisse selbst beurteilt werden. Wenn die Forschungsergebnisse aber selbst im Vordergrund stehen sollten, könnte der Einsatz von Chatbots vielleicht dazu führen, dass nun Menschen mit ihrer Forschung beachtet werden, denen es vorher an den Fähigkeiten mangelte, sich adäquat auszudrücken. Da Wissenschaft vorwiegend auf Englisch betrieben wird, und gute sprachliche Qualität praktisch sehr wohl einen Einfluss darauf hat, wie Forschung wahrgenommen wird, könnten frei verfügbare Chatbots vielleicht tatsächlich dazu beitragen, das Gefälle zwischen den Vertretern der Wissenschaft, die sich ein englisches Lektorat bisher nicht leisten konnten, und denen, die es entweder nicht brauchten (weil sie aus englischsprachigen Ländern kommen), oder es finanziert bekommen, abzuflachen. Da es leider nicht so billig ist, gute Chatbots und Sprachmodelle zu unterhalten, wird dieser Effekt aber wahrscheinlich sehr gering ausfallen und eher dazu führen, dass in Zukunft in Ländern wie Deutschland am Lektorat gespart wird, während ärmere Länder auf schlechtere Sprachmodelle zurückgreifen müssen und weiterhin benachteiligt bleiben werden.

Auf jeden Fall erwarte ich nicht, dass sich die sprachlichen Fähigkeiten von Studierenden in Zukunft drastisch verringern werden, ich erwarte eher, dass wir — wenn die Technologie sich noch ein bisschen weiterentwickelt und weiter verbessert — bald schlicht und einfach keine Texte in der Wissenschaft mehr ohne Sprachmodelle schreiben werden. Genauso, wie wir routinemäßig zum Taschenrechner greifen, wenn wir etwas ausrechnen müssen, werden wir uns an Sprachmodelle wenden, wenn es um das Formulieren von Texten geht, und diese in Kollaboration mit den Modellen verfassen (in Kollaboration, indem wir Texte nachkorrigieren, nicht, indem wir uns blind auf die Modelle verlassen). Natürlich wird dies auch dazu führen, dass wir Prüfungsleistungen an Universitäten und in der Schule kaum noch hinsichtlich ihrer sprachlichen Qualität allein bewerten können und sollten, aber streng genommen sollte das bei wissenschaftlichen Arbeiten schon jetzt der Fall sein. Zwar ist es wichtig, sauber und klar zu formulieren, schön zu schreiben war aber noch nie ein Kriterium für gute wissenschaftliche Arbeit, oder sollte es eigentlich nicht sein (auch wenn die Praxis zeigt, dass wissenschaftliche Arbeit nicht frei von rhetorischer Manipulation ist, vgl. Corneille et al. 2023.)

Aus Perspektive derer, die regelmäßig Programmieren und eigenen Code schreiben, oder derer, die lernen wollen, wie man programmiert, könnten Sprachmodelle das Programmieren von Morgen revolutionieren, indem sie all die kleinteiligen Aufgaben erledigen, die man selbst am Programmieren hasst. Auch für Menschen, die noch nicht die Chance hatten, programmieren zu lernen, lassen sich durch den Dialog mit Chatbots sowohl kleinere Programme schreiben als auch konkrete Fragen zum Programmieren beantworten, für deren Beantwortung Menschen mit Programmiererfahrung nicht immer Zeit haben (Mantelli und Pulini 2023). Man sollte allerdings sehr vorsichtig sein, das klassische Programmieren, welches ohne Hilfsmittel von Chatbots und KI-getriebener Software auskommt, zu früh aufzugeben. Da Sprachmodelle das Programmieren von Menschen lernen, die ihren Code veröffentlichen, und die meisten Menschen eher schlecht als recht Probleme mit Code lösen, entsprechen deren Fähigkeiten kaum denen einer überlegenen Intelligenz, sondern eher dem eines durchschnittlichen Menschen, der eben auch mal schlampig und ungenau programmiert und vielleicht auch zu faul ist, eine richtige, nachhaltige Lösung für ein Problem zu finden.

Darüber hinaus scheinen die Modelle nach wie vor sehr weit davon entfernt zu sein, Code wirklich zu durchdringen, was sich daran zeigt, dass sie Lösungen nach Häufigkeit auswählen und nicht den Programmiercode selbst wirklich zu durchdringen scheinen (Miceli-Barone et al. 2023). Dies bedeutet für mich, dass Sprachmodelle Menschen beim Einstieg in das Programmieren durchaus helfen können. Komplexe Aufgaben und Durchdringen von längeren Code-Blöcken können sie aber noch nicht leisten. Ohne Programmierer, die den Code wirklich verstehen, werden Projekte also auch in Zukunft erst mal nicht auskommen. Wer Programmieren lernen will, tut nach wie vor gut daran, sich die Mühe zu machen, sich die Grundlagen verschiedener Programmiersprachen anzueignen.

Was die ethischen Bedenken, die in Bezug auf das Training von Sprachmodellen geäußert wurden, welches Scharen von schlechtbezahlten Menschen zwingt, sich mitunter psychisch sehr belastende Inhalte aus dem Internet anzuschauen, damit Sprachmodelle sie nicht wiederholen (vgl. Wolfangel 2023), so teile ich diese vollständig. Es scheint eben einfach keine absolut saubere Technik zu geben, auch — aber vielleicht auch vor allem — nicht im Bereich der künstlichen Intelligenz. Ein weiteres Problem ist die Anwendung von Sprachmodellen, um das Internet, welches in Teilen einer riesigen stinkenden Restmülltonne gleicht, weiter mit extremen Inhalten zu füllen, die die Gesellschaft weiter spalten und Menschen mit Verschwörungstheorien und Falschinformationen weiter verunsichern. Weil es zusehends schwerer wird, maschinengenerierten Inhalt von menschengeneriertem Inhalt zu unterscheiden, wird sich dagegen so schnell nicht viel tun lassen. Interessanterweise werden zukünftige Sprachmodelle jedoch wahrscheinlich selbst unter maschinengenerierten Inhalten leiden, da sie ja vor allem am Web trainiert werden. Wenn dieses nun voll ist von generierten Inhalten, dann würde sich ein bizarrer Kreislauf entwickeln, in dem sich Sprachmodelle immer mehr ihrer selbst durch Inhalte, die sie selbst generiert haben, versichern, was schließlich zu deren Degeneration (sogenannter Modellkollaps, vgl. Shumailov et al. 2023) führen kann.

Es ist schwer zu sagen, worauf das alles hinauslaufen wird, und da ohnehin schon so viel zu der Zukunft mit Sprachmodellen geschrieben und diskutiert wird, ist es wahrscheinlich am besten, sich ein bisschen zurückzulehnen und die Diskussion erst mal nur zu beobachten, anstatt in sie aktiv einzugreifen. Viele Ängste, die Menschen im Internet und Menschen, denen ich begegnet bin, bisher geäußert haben, teile ich jedoch viel weniger. Klar werden die Sprachmodelle bestimmte Aspekte unseres Lebens verändern, aber Wikipedia hat unser Leben auch auf unglaubliche Weise verändert, und das Smarthone ebenfalls, weshalb es sicher übertrieben ist, jetzt davor zu warnen, dass die Technik zu mächtig wird. Solange Sprachmodelle Millionen von Sätzen und Milliarden von Wörtern brauchen, um halbwegs kohärente Sätze zu erzeugen, ist die Sprachfähigkeit des Menschen, der aus einem viel kleineren Korpus nahezu perfekt zu sprechen lernt, ihnen immer noch meilenweit überlegen. Auch für die Wissenschaft bedeutet das, dass wir nach wie vor gute Gründe haben, die Sprachfähigkeit von Menschen und individuelle Sprachen im Detail und mit großem Enthusiasmus zu erforschen.

Literatur

Emily M. Bender and Timnit Gebru and Angelina McMillan-Major and Shmargaret Shmitchell (2021): On the Dangers of Stochastic Parrots. In: Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency.

Noam Chomsky and Ian Roberts and Jeffrey Watumull (2023): Noam Chomsky: The False Promise of ChatGPT. New York Times 2023.03/08. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

Alessandro Mantelli and Michele Pulini, “Leveraging JavaScript, jQuery, and ChatGPT for Data Extraction from Web Tables,” in Computer-Assisted Language Comparison in Practice, 17/05/2023, https://calc.hypotheses.org/6079.

Antonio Valerio Miceli-Barone and Fazl Barez and Ioannis Konstas and Shay B. Cohen (2023): The Larger They Are, the Harder They Fail: Language Models do not Recognize Identifier Swaps in Python. arXiv . 1-17. https://doi.org/10.48550/arXiv.2305.15507

Ilia Shumailov and Zakhar Shumaylov and Yiren Zhao and Yarin Gal and Nicolas Papernot and Ross Anderson (2023): The Curse of Recursion: Training on Generated Data Makes Models Forget. arXiv . 1-17. https://doi.org/10.48550/arXiv.2305.17493

Wolfangel, Eva (2023): Ausgebeutet, um die KI zu zähmen. ZEIT Online, 2023:01/20. https://www.zeit.de/digital/2023-01/chatgpt-ki-training-arbeitsbedingungen-kenia