Als ich vor Kurzem mal wieder meinen Zähne ihre jährliche professionelle Reinigung gönnte, war ich verwundert, als ich gefragt wurde, ob ich denn Rechtshänder sei. Anscheinend, so wurde mir dann natürlich klar, konnte man anhand meines Putzverhaltens erkennen, in welcher Hand ich die Zahnbürste halte, und welche Bereiche in meinem Mund ich daher mitunter weniger gründlich putze. Ich musste an Sherlock Holmes denken, der ja auch Menschen damit verblüffte, dass er ihnen verborgene Eigenschaften ansah, die er, wie er selbst fälschlicherweise sagte, «deduzierte» (erst später machte Peirce klar, dass es bei Holmes’ Ratespielchen nicht um Deduktion, sondern um Abduktion geht, vgl. Peirce 1958). Sherlock Holmes hätte sicherlich auch gewusst, dass ich Rechtshänder bin, vielleicht sogar ohne dabei in meinen Mund zu schauen.

Was mir erst später klar wurde, ist, dass es im Prinzip eigentlich gar nicht schwer ist, zu erraten, ob jemand Rechtshänder ist oder nicht. Da nur etwa 10 Prozent aller Menschen linkshändig sind, liegt man ja schließlich in 9 von 10 Fällen im Durchschnitt richtig, wenn man stumpf jeder Person, der man zum ersten Mal begegnet, ins Gesicht sagt: «Sie sind rechtshändig, nicht wahr?» Viele Menschen wird man damit sicherlich beeindrucken können, und für die Fälle wo man auf eine Person trifft, die die 10 Prozent, die nicht rechtshändig sind, vertritt, kann man sich vielleicht sogar einen netten Spruch einfallen lassen, um über den Fauxpas hinwegzutäuschen.

Während es also nicht schwierig ist, Rechtshändigkeit vorherzusagen, stellt das Vorhersagen von Linkshändigkeit ein sehr viel schwieriges Unterfangen dar. Wenn man alle Menschen für Linkshänder hält, liegt man bei allen Linkshändern richtig, aber auch bei allen Rechtshändigen falsch, was zu einer Fehlerquote von 90% führt. Wenn man, wie Herr Sonneborn, einmal links und einmal rechts wählt, dann liegt man im Durchschnitt zwar bei jedem zweiten Linkshänder richtig, aber man liegt gleichzeitig auch bei jedem zweiten Rechtshänder falsch. Die Trefferquote sinkt dann von 90 Prozent auf schlappe 50 Prozent, was bedeutet, dass man sich viele dumme Ausreden einfallen lassen muss, wenn man sich irrt.

Während dies auf den ersten Blick wie ein einfaches Gedankenspiel auf geringem mathematischen Niveau klingen mag, weist der Fall von Links- und Rechtshändigkeit auf eine in der Wissenschaft tatsächlich wichtige Frage hin. Die Frage ist nämlich, wie man die Qualität einer Vorhersage bewertet. Die Idee von einer «Vorhersage» ist hier sehr weit gefasst. Ich denke dabei nicht nur an die Ratespielchen, mit denen Sherlock Holmes seine Kundschaft beeindruckt, sondern auch an die typischen Aufgaben, für die heute vermehrt Algorithmen verwendet werden, also Risikoeinschätzungen jeder Art, Verfahren zur Gesichtserkennung, oder auch die Verfahren zur Erkennung von etymologisch verwandten Wörtern in verschiedenen Sprachen, an denen ich in meiner Forschung selbst arbeite.

Wenn wir uns die Verfahren zur Erkennung etymologisch verwandter Wörter (vgl. List et al. 2018) in der Linguistik anschauen, dann ist die Aufgabe ähnlich wie beim Händigkeitstest. Es geht darum, eine Einschätzung abzugeben, ob zwei Wörter, die dem Algorithmus zum Vergleich vorgelegt werden, verwandt sind oder nicht. Um zu prüfen, wie gut die verschiedenen Algorithmen, die bisher vorgeschlagen wurden, das tun können, greifen wir auf sogenannte Trainings- und Testdaten zurück. Die Trainingsdaten dienen dabei dazu, den Algorithmus «feinzustimmen». Um dies zu tun, testen wir verschiedene Parameter, verschiedene Einstellungen, und versuchen dabei, die Vorhersagequalität des Algorithmus zu maximieren. Wenn wir diese Einstellungen dann gefunden haben, nehmen wir uns die Testdaten vor, die wir bisher nicht angeschaut haben. Basierend darauf, wie akkurat die Vorhersagen des Algorithmus auf den Testdaten nun sind, leiten wir dann eine allgemeine Aussage in Bezug auf seine Qualität ab.

Das Problem bei der Evaluierung durch Trainings- und Testdaten ist nun, dass wir leicht einen ziemlich falschen Eindruck von einem Algorithmus bekommen können, wenn wir diese Daten nicht richtig auswählen. Wenn Trainings- und Testdaten zum Beispiel in ihrer Struktur unterschiedlich sind, dann kann es gut sein, dass wir das Verfahren sehr gut optimiert haben, diese Optimierung uns aber nur in Bezug auf die spezifischen Daten hilft, die wir uns schon angeschaut haben. Wenn ich beispielsweise als Vorbereitung für das anscheinend viel zu schwere Matheabitur hunderte von Aufgaben aus den letzten Jahren auswendig lerne, dann ist dies eine nicht sehr hilfreiche Strategie, da man davon ausgehen kann, dass Aufgaben nicht wiederholt werden. Bei faulen Lehrkräften in der Schule jenseits des Abiturs hingegen können jüngere Geschwister durchaus davon profitieren, sich die Aufgaben anzuschauen, die ihren älteren Geschwistern gestellt wurden.

Noch schlimmer als ein «overfitting» ist es jedoch, wenn weder Trainingsdaten noch Testdaten die Aufgabe, die ein Verfahren tatsächlich leisten soll, hinreichend abdecken. Wenn man neuronale Netzwerke trainieren möchte, Katzenbilder zu erkennen, und ihnen zum Training und Testen lediglich Bilder von Katzen oder Hunden vorlegt, aber keine Bilder, die andere Dinge zeigen, dann kann man nicht sicher sein, dass die trainierten Netze in Realität gut funktionieren. Wenn wir Algorithmen mit Daten zu Gefängnisinsassinnen und -insassen füttern, um Prognosen für die Verbrecherinnen und Verbrecher der Zukunft aufzustellen, und diese Prognosen dann in Zukunft auch verwenden, um das Strafmaß von Menschen in Zukunft festzulegen, kann es leicht sein, dass wir bestehende Vorurteile in der Gesellschaft, beispielsweise gegenüber dem Aussehen oder Reichtum von Menschen, beständig weiter untermauern.

Wenn es nur um das Erkennen von verwandten Wörtern geht, ist die Parteilichkeit von Algorithmen natürlich nicht so verheerend. Ärgerlich für die, die sich für Sprachvergleiche begeistern ist sie aber schon. Denn schließlich besteht eines der grundlegenden Argumente, mit dem Computerbegeisterte in der Linguistik die Verwendung neuer computerbasierter Verfahren anpreisen und propagieren, darin, die Parteilichkeit von Individuen, die die Daten manuell bearbeiten, einzuschränken, und somit die allgemeine Objektivität unserer Verfahren zu erhöhen, um dann auch dort Aussagen treffen zu können, wo wir mit qualitativen Methoden kein verlässliches Material mehr finden können (vgl. bspw. Jäger 2015).

Wenn wir unsere Algorithmen zum automatischen Sprachvergleich aber nun trainieren, indem wir sie mit Daten füttern, die von Experten handannotiert wurden, und deren Einschätzungen als unseren «Goldstandard» verwenden, an dem jeder Algorithmus gemessen werden muss, dann heißt das nicht unbedingt, dass wir unser Wissen über die Geschichte unserer Sprachen mit Hilfe automatischer Verfahren automatisch vertiefen können. Denn wenn unsere Expertinnen und Experten untereinander selbst uneins sind, und verbissen über einzelne Etymologien streiten, wenn also die gesamte manuelle Methodologie vielleicht am Ende gar nicht so objektiv ist, wie wir das gerne denken, dann hilft es nichts, sich an manuell annotierten Daten als Goldstandard auszurichten.

Das Problem des Goldstandards betrifft hierbei nicht nur die historische Linguistik, sondern auch die automatische Übersetzung, die ja ebenfalls in wichtigen Fällen (bspw. bei Gesetzen in der EU) nach wie vor ausschließlich auf Arbeit von Menschen zurückgreift. Wenn sich bereits Menschen nicht einig darüber sind, wie eine perfekte Übersetzung von einer Sprache in eine andere Sprache aussehen sollte, nun aber das Ziel der maschinellen Übersetzung darin besteht, so zu übersetzen, wie Menschen das tun, dann frage ich mich, ob das überhaupt das Ziel automatischer Übersetzung sein sollte: sollte sie nicht eigentlich besser sein als Menschen?

Natürlich übertreibe ich hier ein bisschen mit meinen Bedenken. Ich verwende selbst von Menschen annotierte Daten, um meine Algorithmen zum automatischen Sprachvergleich weiterzuentwickeln. Ohne diese Daten hätte ich es, ehrlich gesagt, auch gar nicht geschafft, bestimmte Verfahren zu entwickeln, da man erst in der Praxis, also beim aktiven Testen von Computermethoden, bemerkt, was an der Theorie eigentlich wichtig ist. Aber das Problem von Goldstandards, Trainings- und Testdaten, das lässt mich doch nicht los, vor allem in den Fällen, wo ich gemerkt habe, dass handannotierte Analysen selbst Fehler aufweisen, oder Rückschlüsse gemacht werden, die nicht zwingend aus den Daten folgen können.

Erst vor Kurzem ist mir dabei aufgefallen, dass man auch die Rechtshändigkeit beim Testen von Methoden nicht aus den Augen verlieren sollte. Was ich damit meine, ist, dass es möglich ist, das ein prinzipiell falsches Vorhersageverfahren, wie die Annahme, das alle Menschen rechtshändig sind, in bestimmten Fällen scheinbar sehr gute Ergebnisse liefern kann. Wenn man also eine neue Methode vorstellt, dann sollte man auch immer darauf achten, dass man gegen diese Grundlinie oder Baseline, wie das in der Computerlinguistik heißt, testet. Wenn nahezu alle Wörter in einem Datensatz verwandt sind, dann kann es gut sein, dass ein Algorithmus, der annimmt, dass schlicht und einfach alle Wörter miteinander verwandt sind, bereits beeindruckende Ergebnisse erzielt. Wenn fast keine verwandten Wörter gefunden werden können, dann kann es umgekehrt gut sein, einfach davon auszugehen, dass kein Wort mit keinem anderen Wort verwandt ist.

Nachdem wir mehr als vier Jahre Arbeit an einer handannotierten Datenbank von etymologisch verwandten Wörtern in 50 sinotibetischen Sprachen nun endlich abgeschlossen und zur Publikation gebracht haben (Sagart et al. 2019), konnte ich es mir nicht verkneifen, zu testen, wie gut denn meine automatischen Verfahren die Etymologien in unseren Daten letztendlich erkennen. Die Ergebnisse waren nicht so beeindruckend. Die beste Methode, die mir zur Verfügung steht, erreichte gerade einmal 73%, wogegen die Methode bei enger verwandten Sprachen zuweilen bis zu 90% liefert. Das einzige, was mich ein bisschen beruhigte war die Grundlinie: Wenn man stur annimmt, dass kein Wort mit keinem anderen Wort verwandt ist, erreicht man 58% auf den Daten (was schon ein beachtlicher Wert ist). Die automatische Methode ist also immerhin 15% besser als die Baseline. Viel ist das nicht, es könnte aber auch schlimmer sein. Ein Glück, dass ich keine Methoden zu Katzenbildern entwickeln muss.

Literatur

• Jäger, Gerhard (2015): Support for linguistic macrofamilies from weighted alignment. Proceedings of the National Academy of Sciences 112.41. 12752–12757.
• List, Johann-Mattis and Walworth, Mary and Greenhill, Simon J. and Tresoldi, Tiago and Forkel, Robert (2018): Sequence comparison in computational historical linguistics. Journal of Language Evolution 3.2. 130–144.
• Peirce, Charles Sanders (1958): Science and Philosophy. Cambridge:Harvard University Press.
• Sagart, Laurent and Jacques, Guillaume and Lai, Yunfan and Ryder, Robin and Thouzeau, Valentin and Greenhill, Simon J. and List, Johann-Mattis (2019): Dated language phylogenies shed light on the ancestry of Sino-Tibetan. Proceedings of the National Academy of Science of the United States of America. 1-6. DOI: 10.1073/pnas.1817972116