Archiv der Kategorie: Forschungspraxis

Im Dschungel der Evidenz

Während seit Pandemiebeginn stark über die Rolle, welche Forschung in unserem Leben spielen sollte, diskutiert wurde, wurde leider sehr wenig darauf eingegangen, wie man sich im Dschungel der Fakten zurecht finden kann. Bei den Unmengen an Forschungsergebnissen, die täglich zu verschiedensten Themen produziert werden, ist es nicht nur für Laien unmöglich, den Überblick zu behalten und dann auch noch die guten von den schlechten Ergebnissen in Aschenputtelmanier zu trennen. Das Schema F zur Evaluierung wissenschafticher Forschungsergebnisse, welches in den meisten Medien oft mit großer Erfurcht erwähnt wird, ist das Peer-Review-Verfahren. Wenn ein Artikel in einer Zeitschrift erschienen ist, die ein solches Peer-Review-Verfahren anwendet, dann — so die gängige Erklärung — könnten die Ergebnisse als gesichert angesehen werden, weil die wissenschaftliche Community sie streng geprüft und als gut befunden habe.

Wie so ein Peer-Review-Verfahren am Ende aussieht, dass scheint Journalistinnen und Journalisten dann meist weniger zu interessieren, was schade ist, da die Qualität des Peer-Review-Verfahrens selbst ja nicht weiter überprüft wird. Weder bekommen Gutachterinnen und Gutachter Feedback, ob ihre Kommentare zu Artikeln hilfreich waren, noch gibt es formale Richtlinien, die sicherstellen, wie viel Arbeit eine Gutachterin oder ein Gutachter am Ende in ihr Gutachten stecken sollten, um die Güte der Ergebnisse sicherzustellen. In den meisten Fällen werden Gutachten ja nach wie vor unter Verschluss gehalten. Das heißt dann auch, dass meist nur die Menschen, die selbst Forschungserfahrung haben, einen Eindruck dessen haben, wie so ein Peer-Review-Verfahren am Ende konkret abläuft oder ablaufen kann.

Zum Glück ändert sich die Situation mit den Peer-Review-Verfahren inzwischen, auch wenn das bisher kaum vom Wissenschaftsjournalismus kommentiert oder auch aktiv genutzt wurde. Mehr und mehr Zeitschriften haben inzwischen angefangen, die Gutachten zu wissenschaftlichen Artikeln mit den Artikeln selbst zu veröffentlichen. Manche Zeitschriften, wie die von der EU geförderte Zeitschrift Open Research Europe sind sogar dazu übergegangen, das gesamte Begutachtungsverfahren offen zu halten. Dies heißt dann konkret, dass man — wie wir das vor Kurzem in einer Studie zur Entdeckung von Entlehnungen (List und Forkel 2021) getan haben — erst einen Artikel einreicht und dann vorschlägt, welche Kolleginnen oder Kollegen diesen begutachten könnten. Wenn jemand dann ein Gutachten schreibt, wird dieses mit dem Namen der Person veröffentlicht, und von Autorenseite kann dann auf die Gutachten reagiert und der Artikel revidiert werden. In anderen Fällen werden am Ende nur die Gutachten mit dem Artikel veröffentlicht, entweder anonym, oder — wenn die Person, die ein Gutachten verfasst hat, zustimmt, mit deren Namen.

Die Information zum Begutachtungsverfahren offenzulegen ist eine entscheidende Forderung der Bewegung zur Offenen Wissenschaft, welche zusätzlich auch fordert, dass Daten und Code offengelegt werden, und Ergebnisse replizierbar sein müssen. Wenn Zeitschriften schon heute diese Daten zu den Gutachten liefern, ermöglichen sie es auch den Menschen, die nicht als Forscherinnen oder Forscher arbeiten, direkt nachzuvollziehen, wie gründlich eine Studie überprüft wurde.

Als Beispiel sei auf einen Artikel von Mongelli et al. (2021) verwiesen, auf den der Politiker Karl Lauterbach auf Twitter hinwies, wo er ihn als gesicherte Evidenz anführte, dass Menschen, die an Covid-19 erkrankt sind, schneller altern. Der Artikel wurde im MDPI-Journal International Journal of Molecular Sciences veröffentlicht. Der Herausgeber dieser Zeitschrift, MDPI (https://www.mdpi.com/), ist sehr umstritten. MDPI bietet Dutzende von Zeitschriften an, die Titel tragen wie “Languages”, “Cells”, oder “Insects”, die teilweise — vielleicht nur scheinbar zufällig — an die Titel renommierter Fachzeitschriften erinnern. Wer in MDPI-Zeitschriften veröffentlicht, muss relativ hohe Gebühren für Artikel bezahlen, die in reichen Ländern meist aus dem Forschungsetat abgedeckt werden. Um mehr Beiträge zu erhalten, die ja das Geschäftsmodell von MDPI ausmachen, bombardiert der Herausgeber Forscherinnen und Forscher mit automatisierten Emails, die diese auffordern, doch Spezialausgaben, sogenannte special issues, zu organisieren, um mehr Artikel veröffentlichen zu können. Da ich selbst diese Emails in vermehrter Zahl bekommen habe, lehne ich inzwischen jegliche Zusammenarbeit mit dem Herausgeber ab und erstelle auch keine Gutachten mehr für die linguistischen Zeitschriften von MDPI. Es muss aber betont werden, dass MDPI tatsächlich einige Themen abdeckt, für die bisher keine Fachzeitschriften zur Verfügung standen, weshalb es durchhaus Zeitschriften in MDPIs Portfolio gibt, die inzwischen ein relativ großes Renommee in der wissenschaftlichen Community genießen.

Ein lobenswerter Aspekt aller MDPI-Zeitschriften ist, dass die Gutachten online frei verfügbar gemacht werden. In dem Fall der Studie von Mongelli et al. kann man diese dann auch direkt finden, wenn man den Artikel über den Digital Object Identifier 10.3390/ijms22116151 abruft. Wer den Artikel aufruft, sieht zunächst die Editionsgeschichte, welche uns darauf hinweist, dass der Artikel am 13. Mai eingereicht wurde, und am 28. Mai revidiert wurde, um schließlich am 31. Mai angenommen und am 7. Juni veröffentlicht zu werden. Die Geschwindigkeit ist erstaunlich, da wir in der Linguistik zuweilen fast ein Jahr warten müssen, bis wir zuweilen sehr lange Gutachten erhalten und auf diese dann reagieren müssen. MDPI übt allerdings wie viele der Großherausgeber einen starken Druck auf Gutachterinnen und Gutachter aus, indem automatisierte Emails daran erinnern, dass man mit dem Gutachten wieder zwei Tage zu spät dran ist.

Wenn man sich die Reviews selbst ansieht, ist es allerdings weniger verwunderlich, warum das Ganze so schnell ging, da die zwei Gutachten, die zu dem Artikel geschrieben wurden, kaum eine Seite füllen. Die Gutachten bewerten die Statistik unter anderem als “überzeugend” (convincing), obwohl die Analysen selbst von den Autorinnen und Autoren nicht geteilt wurden. Stattdessen heißt es nur im Artikel, unter der Sektion Data Availability Statement, dass die Daten “upon reasonable request” erhältlich seien. Was genau sich hinter diesem “reasonable request” verbirgt, ist unklar und nicht im Einklang mit den Prinzipien Offener Wissenschaft.

Unklar ist auch, ob die Daten denn für die Gutachten zur Verfügung gestellt wurden. Bei der Geschwindigkeit, mit der diese ausgeführt wurden, ist davon auszugehen, dass dies nicht der Fall war. Wir haben es also mit einem flüchtig begutachteten Artikel zu tun, zu dem keine offenen Daten vorliegen, die es uns erlauben würden, die Ergebnisse genauer zu überprüfen oder zu wiederholen. Alles in allem ist diese Studie kein gutes Beispiel für ein gesichertes Forschungsergebnis, das durch das Peer-Review-Verfahren validiert wurde. Sie ist eher ein Beispiel dafür, was mit einem System passiert, in dem zugunsten der Quantität auf ein Sicherstellen der Qualität verzichtet wird.

Dies muss nicht mal heißen, dass die Studie falsch ist und Fehler aufweist, vielleicht ist ja alles richtig, was in der Studie, die übrigens selbst auf die Vorläufigkeit der Ergebnisse hinweist, dargelegt wird. Ich könnte die Studie mangels Fachwissens ohnehin nicht auf ihre tiefere Qualität überprüfen.  Die kurze Untersuchung der Gutachten und der Einhaltung von Prinzipien der Offenen Forschung, die ich exemplarisch durchgeführt habe, zeigt lediglich, dass wir die Studie in der Form, in der sie vorliegt, nicht auf ihre Qualität überprüfen können.

Das Problem, dass Peer-Review-Verfahren unter Zeitdruck und nicht besonders gründlich durchgeführt werden, begegnet uns nicht nur in den Lebens- und Naturwissenschaften. Auch in den Geisteswissenschaften haben wir das Problem, dass Gutachten selten das leisten können, was sie entsprechend der “Legende der wissenschaftlichen Methode”, wie Miedema (2021: 17) das volkstümliche und im Journalismus oft bemühte Bild von Wissenschaft als heroischer, nur dem Geist verpflichteter Disziplin beschreibt, eigentlich leisten müssten. Dabei spielt nicht nur die Zeit, die man für Gutachten aufwendet eine Rolle, oder die Gründlichkeit, mit der vorgegangen wird, was man als praktische Probleme abtun könnte, die man möglicherweise beheben könnte, sondern auch die Frage, inwiefern es überhaupt möglich ist, Forschungsergebnisse wirklich als gesichert zu klassifizieren.

Wenn ich selbst Gutachten schreibe, weise ich inzwischen oft darauf hin, dass ich nur bestimmte Aspekte einer Arbeit kommentieren kann, weil meine Expertise für die gesamte Arbeit oft einfach nicht ausreicht. Ich erwähne dann gegenüber den Personen im Editoriat meist auch immer explizit, dass ich ihnen rate, weitere Gutachten zu den anderen Bereichen einzuholen, vor allem, wenn mir diese begutachtenswert zu sein scheinen. Es gibt aber viele Fälle, in denen das Editoriat einer Zeitschrift große Probleme hat, überhaupt genügend Gutachterinnen oder Gutachter zu finden, die einen Artikel beurteilen könnten. Vor allem, wenn es um Spezialbereiche geht, die interdisziplinäres Wissen erfordern, oder um spekulative Interpretationen von Ergebnissen, die sich nicht einfach objektiv beurteilen lassen, haben es wissenschaftliche Zeitschriften durchgängig schwer, jemanden zu finden, der die Forschung am Ende auch ordentlich begutachten kann.

Ein Beispiel für diese Probleme ist ein kürzlich erschienener Artikel von Robbeets et al. (2021), in dem über den Ursprung der Altaischen Sprachen spekuliert wird, eine hypothetische Sprachfamilie, die Sprachen wie Türkisch, Mongolisch, Japanisch, Mandschurisch und Koreanisch in einer Superfamilie einschließt (Starostin et al. 2003) und in verschiedenen Formen schon im 19. Jahrhundert postuliert wurde, aber bis heute in der Forschung stark umstritten geblieben ist. Wenn man sich die Gutachten zu dem Artikel, welcher prominent in Nature veröffentlicht wurde, anschaut, fällt auf, dass die Gutachter fast ausschließlich aus der Archäologie kommen, und somit gar nicht in der Lage sind, die Daten aus der Linguistik und der Genetik, die im Artikel mit Daten aus der Archäologie verglichen und spekulativ interpretiert werden, angemessen zu beurteilen, wie Lai (2021) schön herausgestellt hat.

Man könnte es dem Editoriat von Nature vorwerfen, erst gar keine Menschen, welche vor allem die linguistischen Daten und Analysen kritisch bewerten könnten, zur Begutachtung eingeladen zu haben. Das Problem liegt bei den Altaischen Sprachen aber weitaus tiefer, da die Linguistik in Bezug auf dieses Thema so polarisiert ist, dass sich Befürworter und Gegner der Altaischen Hypothese seit Jahrzehnten unangenehmste wissenschaftliche Grabenkämpfe liefern, denen es schon lange an Sachlichkeit entbehrt. Eine neutrale linguistische Begutachtung der Arbeit von Robbeets et al. ist daher — zumindest im Moment — leider gar nicht möglich, da alle Personen, die für Gutachten in Frage kämen, in gewisser Weise befangen sind, weil sie entweder mit dem Team der Studie zusammenarbeiten, oder gegen sie agieren.

Natürlich müsste von Seiten der Wissenschaft noch eine ganze Menge getan werden, um die Güte des Peer-Review-Verfahrens zu erhöhen. Das Veröffentlichen von Gutachten und die Forderung, der Offenen Wissenschaft durch das Teilen von Daten, Code, und Analyseergebnissen Rechnung zu tragen, sind ein erster Schritt, dem in Natur- wie Geisteswissenschaften leider nur langsam gefolgt wird. Aber auch von journalistischer Seite würde ich mir ein bisschen mehr Zurückhaltung wünschen, was das Anpreisen von Forschungsergebnissen angeht. Nur weil ein Artikel in einer prominenten Zeitschrift erscheint, heißt das noch lange nicht, dass die Erkenntnisse sich auch als gültig erweisen werden. Wissenschaftsjournalistinnen und -journalisten sollten sich bei der Beurteilung von Forschungsergebnissen nicht primär auf das vermeintliche Renommee der Zeitschriften verlassen, sondern — wo möglich — auch die Zeit investieren, das Begutachtungsverfahren zu verfolgen und zu prüfen, inwiefern eine Studie offen im Sinne der Offenen Wissenschaft ist.

Literatur

Lai, Yunfan (2021): Checking the reviews of Robbeets et al. (2021) (”Transeurasian languages” originated in Northeast China) 看看Robbeets et al (2021)(“泛欧亚语系”起源于中国东北的文章)的审稿意见 [Kànkàn Robbeets et al (2021)(“Fàn ōuyǎ yǔxì” qǐyuán yú zhōngguó dōngběi de wénzhāng) de shěngǎo yìjiàn]. Zhihu. https://zhuanlan.zhihu.com/p/433698910

List, Johann-Mattis and Forkel, Robert (2021): Automated identification of borrowings in multilingual wordlists [version 2; peer review: 4 approved]. Open Research Europe 1.79. 1-11. https://doi.org/10.12688/openreseurope.13843.2

Frank Miedema (2021): Open Science: the Very Idea. Utrecht: Springer.

Alessia Mongelli and Veronica Barbi and Michela Gottardi Zamperla and Sandra Atlante and Luana Forleo and Marialisa Nesta and Massimo Massetti and Alfredo Pontecorvi and Simona Nanni and Antonella Farsetti and Oronzo Catalano and Maurizio Bussotti and Laura Adelaide Dalla Vecchia and Tiziana Bachetti and Fabio Martelli and Maria Teresa La Rovere and Carlo Gaetano (2021): Evidence for biological age acceleration and telomere shortening in COVID-19 Survivors. International Journal of Molecular Sciences 22.11. 6151. https://doi.org/10.3390/ijms22116151

Martine Robbeets and Remco Bouckaert and Matthew Conte and Alexander Savelyev and Tao Li and Deog-Im An and Ken-ichi Shinoda and Yinqiu Cui and Takamune Kawashima and Geonyoung Kim and Junzo Uchiyama and Joanna Doli\’nska and Sofia Oskolskaya and Ken-Y\=ojiro Yamano and Noriko Seguchi and Hirotaka Tomita and Hiroto Takamiya and Hideaki Kanzawa-Kiriyama and Hiroki Oota and Hajime Ishida and Ryosuke Kimura and Takehiro Sato and Jae-Hyun Kim and Bingcong Deng and Rasmus Bj\orn and Seongha Rhee and Kyou-Dong Ahn and Ilya Gruntov and Olga Mazo and John R. Bentley and Ricardo Fernandes and Patrick Roberts and Ilona R. Bausch and Linda Gilaizeau and Minoru Yoneda and Mitsugu Kugai and Raffaela A. Bianco and Fan Zhang and Marie Himmel and Mark J. Hudson and Chao Ning (2021): Triangulation supports agricultural spread of the Transeurasian languages. Nature 599.7886. 616-621.

Starostin, Sergei A. and Dybo, Anna and Mudrak, Oleg (2003): Etymological dictionary of the Altaic Languages. Leiden:Brill.

Sie können diesen Artikel zitieren als: Johann-Mattis List, "Im Dschungel der Evidenz," in Von Wörtern und Bäumen, 06/12/2021, https://wub.hypotheses.org/1379.

Von schreibenden Geistern und vertretenen Stellen

Vor zwei Tagen erreichte mich eine ungewöhnliche Email eines Verlegers, der mich darauf hinwies, wie traurig es doch sei, dass ich trotz all meiner tollen Forschung in berühmten Zeitschriften nach wie vor ein Unbekannter für normale Leute sei.

Researchers like you are adding so much value to the scientific community, yet you are not getting enough exposure. No matter how many papers you publish in famous journals, you will still be unknown to common people.

Als Lösungsansatz schlug man mir dann vor, ein Buch in meinem Namen zu schreiben, in dem all meine Forschungsbeiträge so vorgestellt würden, dass auch normale Menschen sie verstehen könnten.

With our book writing service, we will write your research contributions in common man’s language. we will also include all your published papers in this book in a way that a common man can understand it.

Sobald dies geschehen sei, werde man das Buch veröffentlichen und berühmt machen, indem man es auf berühmten Webseiten wie Amazon, eBay, und Good Reads (die ich leider nicht kenne) anpreise und dafür sorge, dass es in Google News, Yahoo und anderen “News Channels” Erwähnung finde. Das wäre doch alles, was man sich so erträumen könne.

Your book will then be listed on famous websites like Amazon, eBay, Good Reads, […]. Last but not least, after the publication of your book, it will be published in Google News, Yahoo, and other major news channels. What more can you ask for?

Was könnte ich mir noch wünschen, dachte ich mir, als ich diese Email las, und fühlte mich ein wenig, wie ein Politiker auf dem Sprung in große Ämter. Vielleicht wäre auch ein Service gut, der meine Forschung in eine Sprache übersetzt, die von allen meinen Kolleginnen und Kollegen aus der Linguistik verstanden wird? Oder ein Service, der meine Forschung in eine Sprache übersetzt, die von Erstsemestern nicht nur verstanden sondern sogar begeistert verschlungen wird? Oder — noch besser — ein Service, der von fachfremden Forscherinnen und Forschern verstanden wird, vor allem aus der Evolutionsbiologie, und damit verhindert, dass diese einen traurig anschauen, wenn man ihnen erzählt, dass man allen Ernstes die Geschichte einer ganzen Sprachfamilie aus hundert bis zweihundert Wörtern pro Sprache ableiten möchte?

Einen Tag später erreichte mich eine neue Email von einem weiteren Verleger, der mich für meine Arbeit zu einem öffentlichen Repositorium mit standardisierten Wortlisten lobte, die derzeit unter Begutachtung steht (List et al. 2021), und mich einlud, einen ähnlichen Artikel doch für das Journal of Environmental Science and Public Health zu schreiben.

Hi,

Greetings from Journal of Environmental Science and Public Health

[ISSN: 2575-9612]

Impact Factor: 2.6

We have read one of your above article entitled, which is very interesting. We cordially invite you to contribute Research, Review, Mini review, Case Report or any kind of article for the upcoming Issue of our Journal.

Als ich von dieser Einladung las, war ich natürlich sofort geschmeichelt, obwohl ich mich auch ein bisschen verloren fühlte. Ich wusste nämlich leider nicht, wie ich einen Artikel über Wortlisten so umschreiben sollte, dass er in einer Zeitschrift für Umweltwissenschaften und Gesundheitswesen nicht negativ auffallen würde. Ich musste natürlich sofort an die Email vom Vortag denken: Schade, dass der Service Forschung nur in die Sprache des einfachen Mannes übersetzte und nicht in die Sprache eines gänzlich anderen Fachbereichs, der nichts, aber auch gar nichts, mit dem zu tun hat, was ich tue.

Gestern schließlich erreichte mich eine dritte Email, diesmal von einem chinesischen Unternehmen, das sich — soweit ich den Inhalt korrekt verstanden habe — mit dem Problem befasst, dass es in China immer höhere Ansprüche an das Bachelor-, Master-, und Doktorstudium gibt, wodurch es immer mehr Menschen gibt, die jemanden suchen müssen, der ihnen ein bisschen unter die Arme greift.

随着国家对本、硕、博的学术要求越来越高,有越来越多的学生需要找人在学术上“带一带”。

Da die Anforderungen des Landes an Bachelor-, Master- und Doktorstudierende immer weiter steigen, gibt es immer mehr Studierende, die jemanden suchen müssen, der akademisch als “Stellvertreter” fungiert. (meine freie Übersetzung)

Aufgrund meiner Forschungserfahrung schien ich wohl sehr gut geeignet zu sein, diese Rolle zu übernehmen. Wieder war ich natürlich geschmeichelt über dieses Angebot, jungen Menschen dabei zu helfen, akademische Artikel zu schreiben und in schönen Zeitschriften zu veröffentlichen. Gleichzeitig hatte ich auch das Gefühl, dass sich der Kreis endlich geschlossen hatte, und ich diese Woche alle weiteren akademischen Spamemails einfach ignorieren könnte.

Denn auf einmal war klar, was ich tun musste. Zunächst musste ich den Ghostwriter-Service kontaktieren und fragen, ob sie Artikel aus der Linguistik in die Sprache des Gesundheitswesens übersetzen konnten. Dann musste ich den Stellvertreterservice aus China kontaktieren und ihnen erzählen, dass ich bereits einen Artikel über die heilsame Wirkung von Wortlisten in pandemischen Zeiten verfasst hätte und sie jetzt nach einem Interessenten suchen könnten, und schließlich musste ich nur noch das Raubtierjournal informieren, dass der Artikel von hochgeschätzten Kolleginnen oder Kollegen und nicht von mir selbst eingereicht werden würde. Auf diese Weise wäre allen geholfen, und die Welt wäre wieder ein bisschen reicher an nutzlosem Wissen.

Literatur

List, Johann-Mattis and Forkel, Robert and Greenhill, Simon J. and Rzymski, Christoph and Englisch, Johannes and Gray, Russell D. (2021b): Lexibank: A public repository of standardized wordlists with computed phonological and lexical features [Preprint, Version 1]. Research Square 0.0. 1-31. [Preprint, under review, not peer-reviewed] https://doi.org/10.21203/rs.3.rs-870835/v1

Sie können diesen Artikel zitieren als: Johann-Mattis List, "Von schreibenden Geistern und vertretenen Stellen," in Von Wörtern und Bäumen, 02/11/2021, https://wub.hypotheses.org/1370.

Worüber man schweigen sollte…

Mit großer Macht kommt große Verantwortung. Das gilt nicht nur für Spidermenschen oder Personen, die Rootrechte für ihre Computer besitzen, sondern auch für diejenigen, die Wissenschaft betreiben. Was dabei immer ganz besonders wichtig ist, ist es, zu beachten, dass man nicht alles zwangsläufig tun muss, was man tun kann, und dass man auch — was manchmal noch wichtiger ist — nicht über alles berichten muss, was man getan hat.

Es gibt eben immer wieder Situationen, in denen man sich in diesen Grenzbereichen verfängt, — und die tauchen vielleicht am Ende sogar in jeder Wissenschaftsdisziplin auf — an denen man am Ende einer Frage nachforscht, über deren Erforschung man nicht unbedingt öffentlich sprechen muss, weil die Fragestellung zu verrückt, zu dumm, aber vielleicht auch zu verletzend sein kann, als dass man wirklich möchte, dass andere erfahren, dass man sie bearbeitet hat.

Ich denke da weniger an den Biologiestudenten, der eigene Zellkulturen in seiner Kaffeetasse züchtet oder fasziniert sein verschimmeltes Marmeladenbrot unterm Mikroskop betrachtet. Dieser wird auf dem nächsten Maskenball sicher einige Lacher für seine Story ernten. Ich denke auch nicht an die Linguistikstudentin, die sprachliche Ausdrücke für Tätigkeiten an stillen Orten sammelt und dann versucht, herauszufinden, ob es eine lautmalerische Tendenz zur Bezeichung dieser Tätigkeiten in den Sprachen der Welt gibt. Diese findet sicher leicht eine Fangemeinde in einem Redditforum und wird sich dann vor Angeboten aus der Conlang-Community (Menschen, die Sprachen selbst erfinden oder erfundene Sprachen lernen und erforschen) ihre Daten aufzufrischen und zu erweitern kaum retten können.

Ich denke eher an Fälle, in denen Forscher gedacht haben, dass es vielleicht eine gute Idee sei, mal zu schauen, inwiefern Sprachen, in denen aspirierte Konsonanten auftauchen (also Sprachen wie das Deutsche, in denen das t spuckt) vielleicht zu einem höhreren Ausstoß von Aerosolen in der Sprachgemeinschaft führen, die dann wiederum begründen, warum sich Covid-19 dort schneller verbreitet (Georgiou und Kilani 2020). Klar kann man darüber nachdenken, und klar kann man sich hinsetzen und mal schauen, ob es eine Korrelation ergibt. Aber abgesehen davon, dass man diesen Gedanken in geselliger Runde mit anderen Menschen austauschen kann, tut man den Gesellschaften in der Welt keinen Gefallen damit, wenn man diese Idee öffentlich publiziert. Denn zum einen sind unsere Erkenntnisse zu unterschiedlichen Aerosolausstößen in unterschiedlichen Sprachen gleich null, weshalb es gar nicht möglich ist, von der Aspiration auf eine Tendenz zum erhöhten Spucken beim Sprechen zu schließen, und zum anderen fehlen uns die Daten, diese Theorie zu untersuchen, sowohl in der Linguistik, als auch in Bezug auf die Entwicklung der Pandemie, die ja noch nicht vorüber ist.

Ich denke auch an Fälle, wo versucht wurde, nachzuweisen, dass es einen Zusammenhang zwischen der Tendenz, Personalpronomen am Verb auszudrücken, oder sie explizit auszusprechen und der ökonomischen Situation von Gesellschaften gibt (Feldmann 2019). Klar kann man sich fragen, inwiefern sich Sprachen dahingehend unterscheiden, ob sie es erlauben, das Personalpronomen wegzulassen, wie wir es im Russischen vorfinden, wo man понимаю ponimaju “verstehe” sagen kann, oder ob sie in fast allen Situationen fordern, dass man das Personalpronomen explizit verwendet, wie im Englischen, wo wir I understand sagen müssten, während understand einfach so, also ohne das I, komisch klingen würde. Allerdings ist diese Frage bereits linguistisch problematisch, da wir sehr gut wissen, dass es hier viele Grenzfälle gibt, wie zum Beispiel im Deutschen, wo wir uns häufig, abhängig vom Kontext, die Pronomen ersparen (ja, verstehe das gut…). Wenn wir es aber schon nicht schaffen, alle Sprachen unter zwei eindeutige Hüte zu bringen, dann sollte man nicht auf Teufel komm raus versuchen, diese doch sehr banale Einteilung von Sprachen in verschiedene Gruppen mit irgendwelchen ökonomischen Faktoren der Gesellschaften zu korrelieren, die die Sprachen sprechen.

Natürlich kann man alles miteinander korrelieren und sich wundern, was es für komische Zusammenhänge gibt. Aber man sollte dann auch so redlich sein in der Forschung, dass man sich gründlich über die Probleme und Gefahren informiert, die durch wilde Korrelationssuche (das sogenannte pi-hacking) entstehen können (Head et al. 2015). Außerdem finde ich, dass man sich insbesondere bei Forschungsthemen, von denen klar ist, dass sie leicht für politische Zwecke missbraucht werden können, auch ruhig mal ein bisschen zurückhalten darf.

Besonders gefährdet, Experimente durchzuführen, die man besser verschweigen sollte, ist neben den typischen Korrelationsversuchen die Forschung zur artifiziellen Intelligenz und zum maschinellen Lernen. Während man bei den Korrelationsversuchen wild irgendwelche Variablen miteinander vergleicht, versucht man beim maschinellen Lernen zu zeigen, dass man mit genügend Daten zum Trainieren bestimmte Voraussagen über bisher unbekannte Daten machen kann. Die Anwendung dieser Methoden ist dabei verhältnismäßig simpel und erfordert wenig fachliches Wissen über das, was in den eigentlichen Forschungsdisziplinen, die sich mit den ursprünglichen Probleme beschäftigen, am Ende diskutiert wird. Alles, was man braucht, ist ein Trainingsdatensatz, in dem Daten in Bezug auf eine Variable annotiert wurden — wie beispielsweise Bilder von Katzen und Hunden, die entsprechend gekennzeichnet wurden — und einen Testdatensatz, an dem man dann testen kann, wie gut die Methode voraussagt, ob zum Beispiel ein Bild eine Katze oder einen Hund aufweist.

Generell gibt es gegen diese Methoden nichts einzuwenden. Auch, wenn sie nicht immer so gut funktionieren, wie man sich das wünscht (wie wir in einem Experiment zur Erkennung von Lehnwörtern feststellen konnten, Miller et al. 2020), können sie mitunter sehr hilfreiche Ergebnisse liefern und uns helfen, wichtige Daten automatisch vorzuannotieren (zum Beispiel in der Optical Character Recognition, die uns hilft, Daten zu digitalisieren und uns damit sehr viel Arbeit erspart). Problematisch wird es aber, wenn Menschen wieder anfangen, blind alles zu testen, was ihnen so durch den Kopf geht, und diese virtuellen selbstgezüchteten Kaffeeschimmelkulturen dann auch noch mit einer breiten Öffentlichkeit im Rahmen von Publikationen teilen.

Das beste Beispiel, welches ich in diesem Zusammenhang bisher finden konnte, ist eine Studie, in der Forscher versuchten, Modelle zu entwickeln, die von dem Aussehen einer Person auf deren Vornamen schließen können (Chen et al. 2014). Als ich zum ersten Mal von dieser Idee hörte, musste ich an eine deutsche Komödie (oder Serie, ich kann mich nicht mehr erinnern) aus den Neunzigern denken, in der eine der Hauptfiguren ständig versuchte, vom Aussehen eines Menschen auf seinen Namen zu schließen (“du siehst aus wie ein Herbert”). Aber so absurd es auch klingen mag, war es genau das, was in dieser Studie am Ende wirklich untersucht wurde. Ein Datensatz wurde erstellt, in dem man Bilder mit den tatsächlichen Vornamen von Menschen verlinkte und dann daraufhin ein Modell “trainierte”, welches in der Lage sein sollte, einem neuen Bild sofort einen Personennamen zuzuordnen. Das Ganze, so betonten es die Autoren, funktionierte dann angeblich überraschend gut, auf jeden Fall besser, als wenn man einfach nur gewürfelt hätte.

Das Problem an dieser Studie ist nicht ihre Absurdität, sondern die Naivität, mit der Methoden des maschinellen Lernens hier angewendet wurden, um ein Problem zu lösen, das eigentlich keines ist, weshalb ich es mir auch lieber erspare, zu sehr ins Detail zu gehen, warum diese Studie bei mir nicht nur lachen, sondern auch ein mulmiges Gefühl ausgelöst hat.

Aber wer weiß? Vielleicht hat die Studie ja bald eine konkrete Anwendung, die die Welt zu einem sichereren Ort macht? Ich kann mir vorstellen, dass Geheimdienste oder Polizeibehörden die Methode anwenden könnten, um Menschen ausfindig zu machen, die unter falschem Vornamen unterwegs sind. Das wäre sicher auch toller Stoff für neue Fernsehserien, wenn der Geheimdienstler sag: “Sie sagen, dass sie Lars heißen, stimmt das? Geben Sie endlich zu, dass sie ein Peter sind!” Es würde auch vielen Actionfilmen in der Zukunft eine drastische neue Wendung geben können. Man stelle sich nur vor, was passiert, wenn Blofelds künstliche Intelligenz herausfindet, dass Peter Franks, David Somerset, Charles Morton und Richard Sterling mit falschen Vornamen herumlaufen, da es sich bei allen diesen Personen ja in Wirklichkeit um James — James Bond — handelt!

Literatur

Chen, Huizhong and Galagher, Andrew C. and Girod, Bernd (2014): The hidden sides of names. Face modeling with first name attributes. IEEE Transactions on Pattern Analysis and Machine Intelligence 36.9. 1860-1873.

Georgios P. Georgiou, Ahmad Kilani (2020). The use of aspirated consonants during speech may increase the transmission of COVID-19, Medical Hypotheses. 144. 2020.

Horst Feldmann (2019): Do linguistic structures affect human capital? The case of pronoun drop. Kyklos 72.1. 29-54.

Megan L. Head and Luke Holman and Rob Lanfear and Andrew T. Kahn and Michael D. Jennions (2015): The Extent and Consequences of P-Hacking in Science. PLOS Biology 13.3. e1002106.

Miller, John E. and Tresoldi, Tiago and Zariquiey, Roberto and Beltrán Castañón, César A. and Morozova, Natalia and List, Johann-Mattis (2020): Using lexical language models to detect borrowings in monolingual wordlists. PLOS One 15.12. e0242709.

Sie können diesen Artikel zitieren als: Johann-Mattis List, "Worüber man schweigen sollte…," in Von Wörtern und Bäumen, 13/08/2021, https://wub.hypotheses.org/1341.