Schlagwort-Archive: maschinelles Lernen

Worüber man schweigen sollte…

Schreibe eine Antwort

Mit großer Macht kommt große Verantwortung. Das gilt nicht nur für Spidermenschen oder Personen, die Rootrechte für ihre Computer besitzen, sondern auch für diejenigen, die Wissenschaft betreiben. Was dabei immer ganz besonders wichtig ist, ist es, zu beachten, dass man nicht alles zwangsläufig tun muss, was man tun kann, und dass man auch — was manchmal noch wichtiger ist — nicht über alles berichten muss, was man getan hat.

Es gibt eben immer wieder Situationen, in denen man sich in diesen Grenzbereichen verfängt, — und die tauchen vielleicht am Ende sogar in jeder Wissenschaftsdisziplin auf — an denen man am Ende einer Frage nachforscht, über deren Erforschung man nicht unbedingt öffentlich sprechen muss, weil die Fragestellung zu verrückt, zu dumm, aber vielleicht auch zu verletzend sein kann, als dass man wirklich möchte, dass andere erfahren, dass man sie bearbeitet hat.

Ich denke da weniger an den Biologiestudenten, der eigene Zellkulturen in seiner Kaffeetasse züchtet oder fasziniert sein verschimmeltes Marmeladenbrot unterm Mikroskop betrachtet. Dieser wird auf dem nächsten Maskenball sicher einige Lacher für seine Story ernten. Ich denke auch nicht an die Linguistikstudentin, die sprachliche Ausdrücke für Tätigkeiten an stillen Orten sammelt und dann versucht, herauszufinden, ob es eine lautmalerische Tendenz zur Bezeichung dieser Tätigkeiten in den Sprachen der Welt gibt. Diese findet sicher leicht eine Fangemeinde in einem Redditforum und wird sich dann vor Angeboten aus der Conlang-Community (Menschen, die Sprachen selbst erfinden oder erfundene Sprachen lernen und erforschen) ihre Daten aufzufrischen und zu erweitern kaum retten können.

Ich denke eher an Fälle, in denen Forscher gedacht haben, dass es vielleicht eine gute Idee sei, mal zu schauen, inwiefern Sprachen, in denen aspirierte Konsonanten auftauchen (also Sprachen wie das Deutsche, in denen das t spuckt) vielleicht zu einem höhreren Ausstoß von Aerosolen in der Sprachgemeinschaft führen, die dann wiederum begründen, warum sich Covid-19 dort schneller verbreitet (Georgiou und Kilani 2020). Klar kann man darüber nachdenken, und klar kann man sich hinsetzen und mal schauen, ob es eine Korrelation ergibt. Aber abgesehen davon, dass man diesen Gedanken in geselliger Runde mit anderen Menschen austauschen kann, tut man den Gesellschaften in der Welt keinen Gefallen damit, wenn man diese Idee öffentlich publiziert. Denn zum einen sind unsere Erkenntnisse zu unterschiedlichen Aerosolausstößen in unterschiedlichen Sprachen gleich null, weshalb es gar nicht möglich ist, von der Aspiration auf eine Tendenz zum erhöhten Spucken beim Sprechen zu schließen, und zum anderen fehlen uns die Daten, diese Theorie zu untersuchen, sowohl in der Linguistik, als auch in Bezug auf die Entwicklung der Pandemie, die ja noch nicht vorüber ist.

Ich denke auch an Fälle, wo versucht wurde, nachzuweisen, dass es einen Zusammenhang zwischen der Tendenz, Personalpronomen am Verb auszudrücken, oder sie explizit auszusprechen und der ökonomischen Situation von Gesellschaften gibt (Feldmann 2019). Klar kann man sich fragen, inwiefern sich Sprachen dahingehend unterscheiden, ob sie es erlauben, das Personalpronomen wegzulassen, wie wir es im Russischen vorfinden, wo man понимаю ponimaju “verstehe” sagen kann, oder ob sie in fast allen Situationen fordern, dass man das Personalpronomen explizit verwendet, wie im Englischen, wo wir I understand sagen müssten, während understand einfach so, also ohne das I, komisch klingen würde. Allerdings ist diese Frage bereits linguistisch problematisch, da wir sehr gut wissen, dass es hier viele Grenzfälle gibt, wie zum Beispiel im Deutschen, wo wir uns häufig, abhängig vom Kontext, die Pronomen ersparen (ja, verstehe das gut…). Wenn wir es aber schon nicht schaffen, alle Sprachen unter zwei eindeutige Hüte zu bringen, dann sollte man nicht auf Teufel komm raus versuchen, diese doch sehr banale Einteilung von Sprachen in verschiedene Gruppen mit irgendwelchen ökonomischen Faktoren der Gesellschaften zu korrelieren, die die Sprachen sprechen.

Natürlich kann man alles miteinander korrelieren und sich wundern, was es für komische Zusammenhänge gibt. Aber man sollte dann auch so redlich sein in der Forschung, dass man sich gründlich über die Probleme und Gefahren informiert, die durch wilde Korrelationssuche (das sogenannte pi-hacking) entstehen können (Head et al. 2015). Außerdem finde ich, dass man sich insbesondere bei Forschungsthemen, von denen klar ist, dass sie leicht für politische Zwecke missbraucht werden können, auch ruhig mal ein bisschen zurückhalten darf.

Besonders gefährdet, Experimente durchzuführen, die man besser verschweigen sollte, ist neben den typischen Korrelationsversuchen die Forschung zur artifiziellen Intelligenz und zum maschinellen Lernen. Während man bei den Korrelationsversuchen wild irgendwelche Variablen miteinander vergleicht, versucht man beim maschinellen Lernen zu zeigen, dass man mit genügend Daten zum Trainieren bestimmte Voraussagen über bisher unbekannte Daten machen kann. Die Anwendung dieser Methoden ist dabei verhältnismäßig simpel und erfordert wenig fachliches Wissen über das, was in den eigentlichen Forschungsdisziplinen, die sich mit den ursprünglichen Probleme beschäftigen, am Ende diskutiert wird. Alles, was man braucht, ist ein Trainingsdatensatz, in dem Daten in Bezug auf eine Variable annotiert wurden — wie beispielsweise Bilder von Katzen und Hunden, die entsprechend gekennzeichnet wurden — und einen Testdatensatz, an dem man dann testen kann, wie gut die Methode voraussagt, ob zum Beispiel ein Bild eine Katze oder einen Hund aufweist.

Generell gibt es gegen diese Methoden nichts einzuwenden. Auch, wenn sie nicht immer so gut funktionieren, wie man sich das wünscht (wie wir in einem Experiment zur Erkennung von Lehnwörtern feststellen konnten, Miller et al. 2020), können sie mitunter sehr hilfreiche Ergebnisse liefern und uns helfen, wichtige Daten automatisch vorzuannotieren (zum Beispiel in der Optical Character Recognition, die uns hilft, Daten zu digitalisieren und uns damit sehr viel Arbeit erspart). Problematisch wird es aber, wenn Menschen wieder anfangen, blind alles zu testen, was ihnen so durch den Kopf geht, und diese virtuellen selbstgezüchteten Kaffeeschimmelkulturen dann auch noch mit einer breiten Öffentlichkeit im Rahmen von Publikationen teilen.

Das beste Beispiel, welches ich in diesem Zusammenhang bisher finden konnte, ist eine Studie, in der Forscher versuchten, Modelle zu entwickeln, die von dem Aussehen einer Person auf deren Vornamen schließen können (Chen et al. 2014). Als ich zum ersten Mal von dieser Idee hörte, musste ich an eine deutsche Komödie (oder Serie, ich kann mich nicht mehr erinnern) aus den Neunzigern denken, in der eine der Hauptfiguren ständig versuchte, vom Aussehen eines Menschen auf seinen Namen zu schließen (“du siehst aus wie ein Herbert”). Aber so absurd es auch klingen mag, war es genau das, was in dieser Studie am Ende wirklich untersucht wurde. Ein Datensatz wurde erstellt, in dem man Bilder mit den tatsächlichen Vornamen von Menschen verlinkte und dann daraufhin ein Modell “trainierte”, welches in der Lage sein sollte, einem neuen Bild sofort einen Personennamen zuzuordnen. Das Ganze, so betonten es die Autoren, funktionierte dann angeblich überraschend gut, auf jeden Fall besser, als wenn man einfach nur gewürfelt hätte.

Das Problem an dieser Studie ist nicht ihre Absurdität, sondern die Naivität, mit der Methoden des maschinellen Lernens hier angewendet wurden, um ein Problem zu lösen, das eigentlich keines ist, weshalb ich es mir auch lieber erspare, zu sehr ins Detail zu gehen, warum diese Studie bei mir nicht nur lachen, sondern auch ein mulmiges Gefühl ausgelöst hat.

Aber wer weiß? Vielleicht hat die Studie ja bald eine konkrete Anwendung, die die Welt zu einem sichereren Ort macht? Ich kann mir vorstellen, dass Geheimdienste oder Polizeibehörden die Methode anwenden könnten, um Menschen ausfindig zu machen, die unter falschem Vornamen unterwegs sind. Das wäre sicher auch toller Stoff für neue Fernsehserien, wenn der Geheimdienstler sag: “Sie sagen, dass sie Lars heißen, stimmt das? Geben Sie endlich zu, dass sie ein Peter sind!” Es würde auch vielen Actionfilmen in der Zukunft eine drastische neue Wendung geben können. Man stelle sich nur vor, was passiert, wenn Blofelds künstliche Intelligenz herausfindet, dass Peter Franks, David Somerset, Charles Morton und Richard Sterling mit falschen Vornamen herumlaufen, da es sich bei allen diesen Personen ja in Wirklichkeit um James — James Bond — handelt!

Literatur

Chen, Huizhong and Galagher, Andrew C. and Girod, Bernd (2014): The hidden sides of names. Face modeling with first name attributes. IEEE Transactions on Pattern Analysis and Machine Intelligence 36.9. 1860-1873.

Georgios P. Georgiou, Ahmad Kilani (2020). The use of aspirated consonants during speech may increase the transmission of COVID-19, Medical Hypotheses. 144. 2020.

Horst Feldmann (2019): Do linguistic structures affect human capital? The case of pronoun drop. Kyklos 72.1. 29-54.

Megan L. Head and Luke Holman and Rob Lanfear and Andrew T. Kahn and Michael D. Jennions (2015): The Extent and Consequences of P-Hacking in Science. PLOS Biology 13.3. e1002106.

Miller, John E. and Tresoldi, Tiago and Zariquiey, Roberto and Beltrán Castañón, César A. and Morozova, Natalia and List, Johann-Mattis (2020): Using lexical language models to detect borrowings in monolingual wordlists. PLOS One 15.12. e0242709.

Die Bedeutung der Grundlinie

1 Antwort

Als ich vor Kurzem mal wieder meinen Zähne ihre jährliche professionelle Reinigung gönnte, war ich verwundert, als ich gefragt wurde, ob ich denn Rechtshänder sei. Anscheinend, so wurde mir dann natürlich klar, konnte man anhand meines Putzverhaltens erkennen, in welcher Hand ich die Zahnbürste halte, und welche Bereiche in meinem Mund ich daher mitunter weniger gründlich putze. Ich musste an Sherlock Holmes denken, der ja auch Menschen damit verblüffte, dass er ihnen verborgene Eigenschaften ansah, die er, wie er selbst fälschlicherweise sagte, «deduzierte» (erst später machte Peirce klar, dass es bei Holmes’ Ratespielchen nicht um Deduktion, sondern um Abduktion geht, vgl. Peirce 1958). Sherlock Holmes hätte sicherlich auch gewusst, dass ich Rechtshänder bin, vielleicht sogar ohne dabei in meinen Mund zu schauen.

Was mir erst später klar wurde, ist, dass es im Prinzip eigentlich gar nicht schwer ist, zu erraten, ob jemand Rechtshänder ist oder nicht. Da nur etwa 10 Prozent aller Menschen linkshändig sind, liegt man ja schließlich in 9 von 10 Fällen im Durchschnitt richtig, wenn man stumpf jeder Person, der man zum ersten Mal begegnet, ins Gesicht sagt: «Sie sind rechtshändig, nicht wahr?» Viele Menschen wird man damit sicherlich beeindrucken können, und für die Fälle wo man auf eine Person trifft, die die 10 Prozent, die nicht rechtshändig sind, vertritt, kann man sich vielleicht sogar einen netten Spruch einfallen lassen, um über den Fauxpas hinwegzutäuschen.

Während es also nicht schwierig ist, Rechtshändigkeit vorherzusagen, stellt das Vorhersagen von Linkshändigkeit ein sehr viel schwieriges Unterfangen dar. Wenn man alle Menschen für Linkshänder hält, liegt man bei allen Linkshändern richtig, aber auch bei allen Rechtshändigen falsch, was zu einer Fehlerquote von 90% führt. Wenn man, wie Herr Sonneborn, einmal links und einmal rechts wählt, dann liegt man im Durchschnitt zwar bei jedem zweiten Linkshänder richtig, aber man liegt gleichzeitig auch bei jedem zweiten Rechtshänder falsch. Die Trefferquote sinkt dann von 90 Prozent auf schlappe 50 Prozent, was bedeutet, dass man sich viele dumme Ausreden einfallen lassen muss, wenn man sich irrt.

Während dies auf den ersten Blick wie ein einfaches Gedankenspiel auf geringem mathematischen Niveau klingen mag, weist der Fall von Links- und Rechtshändigkeit auf eine in der Wissenschaft tatsächlich wichtige Frage hin. Die Frage ist nämlich, wie man die Qualität einer Vorhersage bewertet. Die Idee von einer «Vorhersage» ist hier sehr weit gefasst. Ich denke dabei nicht nur an die Ratespielchen, mit denen Sherlock Holmes seine Kundschaft beeindruckt, sondern auch an die typischen Aufgaben, für die heute vermehrt Algorithmen verwendet werden, also Risikoeinschätzungen jeder Art, Verfahren zur Gesichtserkennung, oder auch die Verfahren zur Erkennung von etymologisch verwandten Wörtern in verschiedenen Sprachen, an denen ich in meiner Forschung selbst arbeite.

Wenn wir uns die Verfahren zur Erkennung etymologisch verwandter Wörter (vgl. List et al. 2018) in der Linguistik anschauen, dann ist die Aufgabe ähnlich wie beim Händigkeitstest. Es geht darum, eine Einschätzung abzugeben, ob zwei Wörter, die dem Algorithmus zum Vergleich vorgelegt werden, verwandt sind oder nicht. Um zu prüfen, wie gut die verschiedenen Algorithmen, die bisher vorgeschlagen wurden, das tun können, greifen wir auf sogenannte Trainings- und Testdaten zurück. Die Trainingsdaten dienen dabei dazu, den Algorithmus «feinzustimmen». Um dies zu tun, testen wir verschiedene Parameter, verschiedene Einstellungen, und versuchen dabei, die Vorhersagequalität des Algorithmus zu maximieren. Wenn wir diese Einstellungen dann gefunden haben, nehmen wir uns die Testdaten vor, die wir bisher nicht angeschaut haben. Basierend darauf, wie akkurat die Vorhersagen des Algorithmus auf den Testdaten nun sind, leiten wir dann eine allgemeine Aussage in Bezug auf seine Qualität ab.

Das Problem bei der Evaluierung durch Trainings- und Testdaten ist nun, dass wir leicht einen ziemlich falschen Eindruck von einem Algorithmus bekommen können, wenn wir diese Daten nicht richtig auswählen. Wenn Trainings- und Testdaten zum Beispiel in ihrer Struktur unterschiedlich sind, dann kann es gut sein, dass wir das Verfahren sehr gut optimiert haben, diese Optimierung uns aber nur in Bezug auf die spezifischen Daten hilft, die wir uns schon angeschaut haben. Wenn ich beispielsweise als Vorbereitung für das anscheinend viel zu schwere Matheabitur hunderte von Aufgaben aus den letzten Jahren auswendig lerne, dann ist dies eine nicht sehr hilfreiche Strategie, da man davon ausgehen kann, dass Aufgaben nicht wiederholt werden. Bei faulen Lehrkräften in der Schule jenseits des Abiturs hingegen können jüngere Geschwister durchaus davon profitieren, sich die Aufgaben anzuschauen, die ihren älteren Geschwistern gestellt wurden.

Noch schlimmer als ein «overfitting» ist es jedoch, wenn weder Trainingsdaten noch Testdaten die Aufgabe, die ein Verfahren tatsächlich leisten soll, hinreichend abdecken. Wenn man neuronale Netzwerke trainieren möchte, Katzenbilder zu erkennen, und ihnen zum Training und Testen lediglich Bilder von Katzen oder Hunden vorlegt, aber keine Bilder, die andere Dinge zeigen, dann kann man nicht sicher sein, dass die trainierten Netze in Realität gut funktionieren. Wenn wir Algorithmen mit Daten zu Gefängnisinsassinnen und -insassen füttern, um Prognosen für die Verbrecherinnen und Verbrecher der Zukunft aufzustellen, und diese Prognosen dann in Zukunft auch verwenden, um das Strafmaß von Menschen in Zukunft festzulegen, kann es leicht sein, dass wir bestehende Vorurteile in der Gesellschaft, beispielsweise gegenüber dem Aussehen oder Reichtum von Menschen, beständig weiter untermauern.

Wenn es nur um das Erkennen von verwandten Wörtern geht, ist die Parteilichkeit von Algorithmen natürlich nicht so verheerend. Ärgerlich für die, die sich für Sprachvergleiche begeistern ist sie aber schon. Denn schließlich besteht eines der grundlegenden Argumente, mit dem Computerbegeisterte in der Linguistik die Verwendung neuer computerbasierter Verfahren anpreisen und propagieren, darin, die Parteilichkeit von Individuen, die die Daten manuell bearbeiten, einzuschränken, und somit die allgemeine Objektivität unserer Verfahren zu erhöhen, um dann auch dort Aussagen treffen zu können, wo wir mit qualitativen Methoden kein verlässliches Material mehr finden können (vgl. bspw. Jäger 2015).

Wenn wir unsere Algorithmen zum automatischen Sprachvergleich aber nun trainieren, indem wir sie mit Daten füttern, die von Experten handannotiert wurden, und deren Einschätzungen als unseren «Goldstandard» verwenden, an dem jeder Algorithmus gemessen werden muss, dann heißt das nicht unbedingt, dass wir unser Wissen über die Geschichte unserer Sprachen mit Hilfe automatischer Verfahren automatisch vertiefen können. Denn wenn unsere Expertinnen und Experten untereinander selbst uneins sind, und verbissen über einzelne Etymologien streiten, wenn also die gesamte manuelle Methodologie vielleicht am Ende gar nicht so objektiv ist, wie wir das gerne denken, dann hilft es nichts, sich an manuell annotierten Daten als Goldstandard auszurichten.

Das Problem des Goldstandards betrifft hierbei nicht nur die historische Linguistik, sondern auch die automatische Übersetzung, die ja ebenfalls in wichtigen Fällen (bspw. bei Gesetzen in der EU) nach wie vor ausschließlich auf Arbeit von Menschen zurückgreift. Wenn sich bereits Menschen nicht einig darüber sind, wie eine perfekte Übersetzung von einer Sprache in eine andere Sprache aussehen sollte, nun aber das Ziel der maschinellen Übersetzung darin besteht, so zu übersetzen, wie Menschen das tun, dann frage ich mich, ob das überhaupt das Ziel automatischer Übersetzung sein sollte: sollte sie nicht eigentlich besser sein als Menschen?

Natürlich übertreibe ich hier ein bisschen mit meinen Bedenken. Ich verwende selbst von Menschen annotierte Daten, um meine Algorithmen zum automatischen Sprachvergleich weiterzuentwickeln. Ohne diese Daten hätte ich es, ehrlich gesagt, auch gar nicht geschafft, bestimmte Verfahren zu entwickeln, da man erst in der Praxis, also beim aktiven Testen von Computermethoden, bemerkt, was an der Theorie eigentlich wichtig ist. Aber das Problem von Goldstandards, Trainings- und Testdaten, das lässt mich doch nicht los, vor allem in den Fällen, wo ich gemerkt habe, dass handannotierte Analysen selbst Fehler aufweisen, oder Rückschlüsse gemacht werden, die nicht zwingend aus den Daten folgen können.

Erst vor Kurzem ist mir dabei aufgefallen, dass man auch die Rechtshändigkeit beim Testen von Methoden nicht aus den Augen verlieren sollte. Was ich damit meine, ist, dass es möglich ist, das ein prinzipiell falsches Vorhersageverfahren, wie die Annahme, das alle Menschen rechtshändig sind, in bestimmten Fällen scheinbar sehr gute Ergebnisse liefern kann. Wenn man also eine neue Methode vorstellt, dann sollte man auch immer darauf achten, dass man gegen diese Grundlinie oder Baseline, wie das in der Computerlinguistik heißt, testet. Wenn nahezu alle Wörter in einem Datensatz verwandt sind, dann kann es gut sein, dass ein Algorithmus, der annimmt, dass schlicht und einfach alle Wörter miteinander verwandt sind, bereits beeindruckende Ergebnisse erzielt. Wenn fast keine verwandten Wörter gefunden werden können, dann kann es umgekehrt gut sein, einfach davon auszugehen, dass kein Wort mit keinem anderen Wort verwandt ist.

Nachdem wir mehr als vier Jahre Arbeit an einer handannotierten Datenbank von etymologisch verwandten Wörtern in 50 sinotibetischen Sprachen nun endlich abgeschlossen und zur Publikation gebracht haben (Sagart et al. 2019), konnte ich es mir nicht verkneifen, zu testen, wie gut denn meine automatischen Verfahren die Etymologien in unseren Daten letztendlich erkennen. Die Ergebnisse waren nicht so beeindruckend. Die beste Methode, die mir zur Verfügung steht, erreichte gerade einmal 73%, wogegen die Methode bei enger verwandten Sprachen zuweilen bis zu 90% liefert. Das einzige, was mich ein bisschen beruhigte war die Grundlinie: Wenn man stur annimmt, dass kein Wort mit keinem anderen Wort verwandt ist, erreicht man 58% auf den Daten (was schon ein beachtlicher Wert ist). Die automatische Methode ist also immerhin 15% besser als die Baseline. Viel ist das nicht, es könnte aber auch schlimmer sein. Ein Glück, dass ich keine Methoden zu Katzenbildern entwickeln muss.

Literatur

  • Jäger, Gerhard (2015): Support for linguistic macrofamilies from weighted alignment. Proceedings of the National Academy of Sciences 112.41. 12752–12757.
  • List, Johann-Mattis and Walworth, Mary and Greenhill, Simon J. and Tresoldi, Tiago and Forkel, Robert (2018): Sequence comparison in computational historical linguistics. Journal of Language Evolution 3.2. 130–144.
  • Peirce, Charles Sanders (1958): Science and Philosophy. Cambridge:Harvard University Press.
  • Sagart, Laurent and Jacques, Guillaume and Lai, Yunfan and Ryder, Robin and Thouzeau, Valentin and Greenhill, Simon J. and List, Johann-Mattis (2019): Dated language phylogenies shed light on the ancestry of Sino-Tibetan. Proceedings of the National Academy of Science of the United States of America. 1-6. DOI: 10.1073/pnas.1817972116