Archiv der Kategorie: Forschungspraxis

Worüber man schweigen sollte…

Mit großer Macht kommt große Verantwortung. Das gilt nicht nur für Spidermenschen oder Personen, die Rootrechte für ihre Computer besitzen, sondern auch für diejenigen, die Wissenschaft betreiben. Was dabei immer ganz besonders wichtig ist, ist es, zu beachten, dass man nicht alles zwangsläufig tun muss, was man tun kann, und dass man auch — was manchmal noch wichtiger ist — nicht über alles berichten muss, was man getan hat.

Es gibt eben immer wieder Situationen, in denen man sich in diesen Grenzbereichen verfängt, — und die tauchen vielleicht am Ende sogar in jeder Wissenschaftsdisziplin auf — an denen man am Ende einer Frage nachforscht, über deren Erforschung man nicht unbedingt öffentlich sprechen muss, weil die Fragestellung zu verrückt, zu dumm, aber vielleicht auch zu verletzend sein kann, als dass man wirklich möchte, dass andere erfahren, dass man sie bearbeitet hat.

Ich denke da weniger an den Biologiestudenten, der eigene Zellkulturen in seiner Kaffeetasse züchtet oder fasziniert sein verschimmeltes Marmeladenbrot unterm Mikroskop betrachtet. Dieser wird auf dem nächsten Maskenball sicher einige Lacher für seine Story ernten. Ich denke auch nicht an die Linguistikstudentin, die sprachliche Ausdrücke für Tätigkeiten an stillen Orten sammelt und dann versucht, herauszufinden, ob es eine lautmalerische Tendenz zur Bezeichung dieser Tätigkeiten in den Sprachen der Welt gibt. Diese findet sicher leicht eine Fangemeinde in einem Redditforum und wird sich dann vor Angeboten aus der Conlang-Community (Menschen, die Sprachen selbst erfinden oder erfundene Sprachen lernen und erforschen) ihre Daten aufzufrischen und zu erweitern kaum retten können.

Ich denke eher an Fälle, in denen Forscher gedacht haben, dass es vielleicht eine gute Idee sei, mal zu schauen, inwiefern Sprachen, in denen aspirierte Konsonanten auftauchen (also Sprachen wie das Deutsche, in denen das t spuckt) vielleicht zu einem höhreren Ausstoß von Aerosolen in der Sprachgemeinschaft führen, die dann wiederum begründen, warum sich Covid-19 dort schneller verbreitet (Georgiou und Kilani 2020). Klar kann man darüber nachdenken, und klar kann man sich hinsetzen und mal schauen, ob es eine Korrelation ergibt. Aber abgesehen davon, dass man diesen Gedanken in geselliger Runde mit anderen Menschen austauschen kann, tut man den Gesellschaften in der Welt keinen Gefallen damit, wenn man diese Idee öffentlich publiziert. Denn zum einen sind unsere Erkenntnisse zu unterschiedlichen Aerosolausstößen in unterschiedlichen Sprachen gleich null, weshalb es gar nicht möglich ist, von der Aspiration auf eine Tendenz zum erhöhten Spucken beim Sprechen zu schließen, und zum anderen fehlen uns die Daten, diese Theorie zu untersuchen, sowohl in der Linguistik, als auch in Bezug auf die Entwicklung der Pandemie, die ja noch nicht vorüber ist.

Ich denke auch an Fälle, wo versucht wurde, nachzuweisen, dass es einen Zusammenhang zwischen der Tendenz, Personalpronomen am Verb auszudrücken, oder sie explizit auszusprechen und der ökonomischen Situation von Gesellschaften gibt (Feldmann 2019). Klar kann man sich fragen, inwiefern sich Sprachen dahingehend unterscheiden, ob sie es erlauben, das Personalpronomen wegzulassen, wie wir es im Russischen vorfinden, wo man понимаю ponimaju „verstehe“ sagen kann, oder ob sie in fast allen Situationen fordern, dass man das Personalpronomen explizit verwendet, wie im Englischen, wo wir I understand sagen müssten, während understand einfach so, also ohne das I, komisch klingen würde. Allerdings ist diese Frage bereits linguistisch problematisch, da wir sehr gut wissen, dass es hier viele Grenzfälle gibt, wie zum Beispiel im Deutschen, wo wir uns häufig, abhängig vom Kontext, die Pronomen ersparen (ja, verstehe das gut…). Wenn wir es aber schon nicht schaffen, alle Sprachen unter zwei eindeutige Hüte zu bringen, dann sollte man nicht auf Teufel komm raus versuchen, diese doch sehr banale Einteilung von Sprachen in verschiedene Gruppen mit irgendwelchen ökonomischen Faktoren der Gesellschaften zu korrelieren, die die Sprachen sprechen.

Natürlich kann man alles miteinander korrelieren und sich wundern, was es für komische Zusammenhänge gibt. Aber man sollte dann auch so redlich sein in der Forschung, dass man sich gründlich über die Probleme und Gefahren informiert, die durch wilde Korrelationssuche (das sogenannte pi-hacking) entstehen können (Head et al. 2015). Außerdem finde ich, dass man sich insbesondere bei Forschungsthemen, von denen klar ist, dass sie leicht für politische Zwecke missbraucht werden können, auch ruhig mal ein bisschen zurückhalten darf.

Besonders gefährdet, Experimente durchzuführen, die man besser verschweigen sollte, ist neben den typischen Korrelationsversuchen die Forschung zur artifiziellen Intelligenz und zum maschinellen Lernen. Während man bei den Korrelationsversuchen wild irgendwelche Variablen miteinander vergleicht, versucht man beim maschinellen Lernen zu zeigen, dass man mit genügend Daten zum Trainieren bestimmte Voraussagen über bisher unbekannte Daten machen kann. Die Anwendung dieser Methoden ist dabei verhältnismäßig simpel und erfordert wenig fachliches Wissen über das, was in den eigentlichen Forschungsdisziplinen, die sich mit den ursprünglichen Probleme beschäftigen, am Ende diskutiert wird. Alles, was man braucht, ist ein Trainingsdatensatz, in dem Daten in Bezug auf eine Variable annotiert wurden — wie beispielsweise Bilder von Katzen und Hunden, die entsprechend gekennzeichnet wurden — und einen Testdatensatz, an dem man dann testen kann, wie gut die Methode voraussagt, ob zum Beispiel ein Bild eine Katze oder einen Hund aufweist.

Generell gibt es gegen diese Methoden nichts einzuwenden. Auch, wenn sie nicht immer so gut funktionieren, wie man sich das wünscht (wie wir in einem Experiment zur Erkennung von Lehnwörtern feststellen konnten, Miller et al. 2020), können sie mitunter sehr hilfreiche Ergebnisse liefern und uns helfen, wichtige Daten automatisch vorzuannotieren (zum Beispiel in der Optical Character Recognition, die uns hilft, Daten zu digitalisieren und uns damit sehr viel Arbeit erspart). Problematisch wird es aber, wenn Menschen wieder anfangen, blind alles zu testen, was ihnen so durch den Kopf geht, und diese virtuellen selbstgezüchteten Kaffeeschimmelkulturen dann auch noch mit einer breiten Öffentlichkeit im Rahmen von Publikationen teilen.

Das beste Beispiel, welches ich in diesem Zusammenhang bisher finden konnte, ist eine Studie, in der Forscher versuchten, Modelle zu entwickeln, die von dem Aussehen einer Person auf deren Vornamen schließen können (Chen et al. 2014). Als ich zum ersten Mal von dieser Idee hörte, musste ich an eine deutsche Komödie (oder Serie, ich kann mich nicht mehr erinnern) aus den Neunzigern denken, in der eine der Hauptfiguren ständig versuchte, vom Aussehen eines Menschen auf seinen Namen zu schließen („du siehst aus wie ein Herbert“). Aber so absurd es auch klingen mag, war es genau das, was in dieser Studie am Ende wirklich untersucht wurde. Ein Datensatz wurde erstellt, in dem man Bilder mit den tatsächlichen Vornamen von Menschen verlinkte und dann daraufhin ein Modell „trainierte“, welches in der Lage sein sollte, einem neuen Bild sofort einen Personennamen zuzuordnen. Das Ganze, so betonten es die Autoren, funktionierte dann angeblich überraschend gut, auf jeden Fall besser, als wenn man einfach nur gewürfelt hätte.

Das Problem an dieser Studie ist nicht ihre Absurdität, sondern die Naivität, mit der Methoden des maschinellen Lernens hier angewendet wurden, um ein Problem zu lösen, das eigentlich keines ist, weshalb ich es mir auch lieber erspare, zu sehr ins Detail zu gehen, warum diese Studie bei mir nicht nur lachen, sondern auch ein mulmiges Gefühl ausgelöst hat.

Aber wer weiß? Vielleicht hat die Studie ja bald eine konkrete Anwendung, die die Welt zu einem sichereren Ort macht? Ich kann mir vorstellen, dass Geheimdienste oder Polizeibehörden die Methode anwenden könnten, um Menschen ausfindig zu machen, die unter falschem Vornamen unterwegs sind. Das wäre sicher auch toller Stoff für neue Fernsehserien, wenn der Geheimdienstler sag: „Sie sagen, dass sie Lars heißen, stimmt das? Geben Sie endlich zu, dass sie ein Peter sind!“ Es würde auch vielen Actionfilmen in der Zukunft eine drastische neue Wendung geben können. Man stelle sich nur vor, was passiert, wenn Blofelds künstliche Intelligenz herausfindet, dass Peter Franks, David Somerset, Charles Morton und Richard Sterling mit falschen Vornamen herumlaufen, da es sich bei allen diesen Personen ja in Wirklichkeit um James — James Bond — handelt!

Literatur

  • Chen, Huizhong and Galagher, Andrew C. and Girod, Bernd (2014): The hidden sides of names. Face modeling with first name attributes. IEEE Transactions on Pattern Analysis and Machine Intelligence 36.9. 1860-1873.
  • Georgios P. Georgiou, Ahmad Kilani (2020). The use of aspirated consonants during speech may increase the transmission of COVID-19, Medical Hypotheses. 144. 2020.
  • Horst Feldmann (2019): Do linguistic structures affect human capital? The case of pronoun drop. Kyklos 72.1. 29-54.
  • Megan L. Head and Luke Holman and Rob Lanfear and Andrew T. Kahn and Michael D. Jennions (2015): The Extent and Consequences of P-Hacking in Science. PLOS Biology 13.3. e1002106.
  • Miller, John E. and Tresoldi, Tiago and Zariquiey, Roberto and Beltrán Castañón, César A. and Morozova, Natalia and List, Johann-Mattis (2020): Using lexical language models to detect borrowings in monolingual wordlists. PLOS One 15.12. e0242709.
Sie können diesen Artikel zitieren als: Johann-Mattis List, "Worüber man schweigen sollte…," in Von Wörtern und Bäumen, 13/08/2021, https://wub.hypotheses.org/1341.

Von Beutegreiferverlagen und Papierfabriken

Ich bekomme fast jede Woche mindestens eine Email, die mit „Dear Sir/Madam, Greetings of the day“ beginnt und dann von mir ohne sie weiter anzusehen sofort gelöscht wird. Ich habe schon überlegt, ob ich nicht einen automatischen Filter einrichten sollte, aber leider gibt es immer noch einige Kolleginnen und Kollegen, die ihre Emails mit „Greetings“ beginnen, und deren Emails ich nicht gerne löschen würde. Daher mache ich das nach wie vor händisch.

Abbildung 1: Greetings! Ein Screenshot einer typischen Email, die ich am Tag des Verfassens des Beitrags erhalten habe.

Ich lösche die Emails, weil es dabei fast immer um dubiose Publikationsangebote geht. Da meine Artikel online erscheinen, sind meine Kontaktdaten automatisch abgreifbar und daher willkommene Beute für die sogenannten predatory journals, die keine wirklichen wissenschaftlichen Ziele verfolgen, sondern stattdessen auf naive Menschen in der Wissenschaft hoffen, die einen Artikel ohne großen Aufwand publizieren wollen, und bereit sind (oder in der Lage), dafür zu bezahlen.

Die Emails folgen meist demselben Muster. Da heißt es, das renommierte International Journal of Cultural and Philological Linguistics wolle gerne seine dritte Ausgabe für das laufende Jahr publizieren, es fehle aber leider ledigclich ein toller Artikel. Da man selbst ja den Artikel XYZ im Jahr davor im Journal ABC publiziert habe, wäre es doch toll, wenn man einen Artikel, der so ähnlich ist, jetzt noch mal schreibt und einreicht. Der Artikel wird dann ohne große Probleme angenommen und kostet lediglich schlappe 100 Euro, um ihn zu publizieren, was ein Schnäppchen im Vergleich mit anderen Verlagen ist, die schon mal 2000 Euro für Open Access fordern und nicht jeden Artikel annehmen.

Wenn man neu in der Branche ist, ist es schwer, den Unterschied zwischen den Journals zu erkennen. Was ist so schlimm am fiktiven International Journal of Cultural and Philological Linguistics? Warum ist es anders als das Journal of Language Contact oder das Journal Language Variation and Change? Die Bewertung von Journals geschieht ausschließlich über den Kollegenkreis und ist sehr stark abhängig vom Fach. Während das Journal PLOS ONE von der Biologie geschmäht wird, ist es in Linguistikkreisen sehr beliebt, auch wenn bekannt ist, dass es sehr wenig Qualitätskontrolle gibt. Zu PLOS schickt man in der Linguistik diejenigen Artikel, von denen man sich wünscht, dass sie mehr Menschen lesen, ohne dass man den großen Aufwand gehen möchte, sie in ein langwieriges Reviewverfahren zu schicken, an dessen Ende sie vielleicht sogar abgelehnt werden. Das Journal ist also okay, auch wenn es für die Biologie als Predatorypublisher gelten kann.

Es ist also oft gar nicht so leicht zu erkennen, ob ein Journal seriös ist oder nicht. Das wird auch dadurch erschwert, dass die „normalen“ Journals sich oft gar nicht so anders verhalten. So verschicken Verlage wie Frontiers und MDPI sehr aggressive automatische Emails, vor allem wenn es darum geht, Menschen dafür zu gewinnen, kostenlos als Editor zu fungieren, die dann andere Autorinnen und Autoren dazu bringen, Geld für Artikel zu bezahlen, weil die Publikation in diesen Journals natürlich nicht kostenlos ist. Um die Verantwortlichen dazu zu bringen, diese automatische Kommunikation abzustellen, muss man schon sehr direkte Emails schreiben, was einem irgendwann dann auch keinen Spaß mehr macht, weshalb man sie dann auch einfach anfängt, zu löschen. Auch wenn diskutiert wird, ob Frontiers und MDPI jetzt Predators sind oder nicht, so denke ich, dass sie sich auf jeden Fall (Stand Juni 2021) in der Grauzone bewegen und nicht dazu beitragen, dass unsere Wissenschaft besser wird.

Ein hundert Prozent eindeutiges Urteil über Beutegreiferzeitschriften und -verlage zu machen mag also zuweilen schwer fallen. Es gibt jedoch neben der Faustregel, nie auf Emails zu antworten, die mit Greetings of the day beginnen, noch ein ganz klares Ausschlusskriterium: Wenn die Email versucht, die Spamfilter zu umgehen, dann ist das absolut unseriös. So hat das Science Research Journal mir zum Beispiel folgende Email geschrieben:

Science Reseαrϲհ is a peer-reᴠіeᴡed aϲaԀemіϲ jоᴜrnαl, which provides a solid platform for rеsеarϲһers, ѕсhоlars and those who take a great interest in emerging trends and іѕѕսes in science rеsеarϲһ to spread ideas.

Diese Email mag auf den ersten Blick unproblematisch erscheinen, vor allem, wenn man nicht sensibilisiert ist für die Verwendung von sogenannten Unicode-Confusables, aber wenn man genauer hinschaut, sieht man, dass bestimmte Buchstaben komisch aussehen. Das tun sie nicht, weil ich eine komische Schriftart verwendet habe, sondern weil hier systematisch einige Buchstaben mit Buchstaben aus anderen Alphabeten ersetzt wurden, die allerdings so ähnlich aussehen wie die Buchstaben aus dem lateinischen Alphabet.

So wird zum Beispiel das griechische Alpha «α» anstelle des «a» verwendet. Anstelle des «d» verwendet der Text «Ԁ», der anscheinend nur im Molodtsov Alphabet verwendet wird. Das «» ist lateinisch, aber es handelt sich um ein Kapitälchen, was einen anderen Codepunkt hat, als das normale «w». Und auch das «һ» in research ist kein richtiges «h», sondern den kyrillischen Buchstaben Shha, der unter anderem im Kurdischen verwendet wird.

Während es auch in linguistischen Arbeiten immer wieder vorkommt, dass sich Menschen mit Zeichenkodes vertun (vgl. Anderson et al. 2018), sind diese Ersetzungen mutwillig gemacht worden um Spamdetektoren zu täuschen. Das Pseudojournal „Science Reseαrch“ ist dabei nicht das einzige, welches derartige Emails versendet.

Predatory Journals ziehen Forscherinnen und Forschern, die es wahrscheinlich seriös meinen mit der Forschung, das Geld aus der Tasche, indem sie ihnen eine schnelle Publikation anbieten und mit vermeintlichem Prestige und geringem Arbeitsaufwand locken. Das Geld zahlen die Menschen in reichen Ländern so gut wie nie selbst, da es ja meist Fördertöpfe für Open-Access-Publikationen gibt. Es werden also lediglich öffentliche Gelder verwendet.

Das Gegenstück zu den Beutegreifern sind die Paper Mills (wörtl. also Papiermühlen), wie sie im Englischen genannt werden. Hierbei handelt es sich um gut organisierte Ghostwriterorganisationen, die Forscherinnen und Forschern, die es nicht so ernst mit der Forschung meinen, anbieten, sie in gute Journals zu bringen, ohne dass diese viel tun müssten (Else und Van Noorden 2021). Erst allmählich stellt sich heraus, dass diese Fakeproduktion von wissenschaftlichen Artikeln eine Tragweite zu erreichen beginnt, welche seriöse wissenschaftliche Forschung ernsthaft gefährden kann (siehe ibid.).

Bei all den Problemen, die die wissenschaftliche Forschung mit Reproduzierbarkeit, guter wissenschaftlicher Praxis, Papiermühlen und Beutegreiferverlagen hat, ist es manchmal wirklich verwunderlich, dass sie dennoch Fortschritte macht. Vielleicht liegt das aber auch nur daran, dass lediglich ein kleiner Teil dessen, was in der Forschung produziert wird, sich am Ende auch konkret in der Praxis bewähren muss.

Literatur

  • Anderson, Cormac and Tresoldi, Tiago and Chacon, Thiago Costa and Fehn, Anne-Maria and Walworth, Mary and Forkel, Robert and List, Johann-Mattis (2018): A Cross-Linguistic Database of Phonetic Transcription Systems. Yearbook of the Poznań Linguistic Meeting 4.1. 21-53.
  • Holly Else and Van Noorden, Richard (2021): . Nature 591.12. 516-519.

Sie können diesen Artikel zitieren als: Johann-Mattis List, "Von Beutegreiferverlagen und Papierfabriken," in Von Wörtern und Bäumen, 15/06/2021, https://wub.hypotheses.org/1312.

Offene Forschung als Praxis guter Wissenschaft

Vor kurzem wurde angekündigt, dass die Doktorarbeit von Franziska Giffey erneut geprüft wurde und die Ministerin jetzt eine Stellungnahme zu den Vorwürfen abgeben könnte (vgl. bspw. die Nachricht im Spiegel). In diesem Zusammenhang wird immer betont, dass es um Verstöße gegen die „Praxis guter Wissenschaft“ gehe. Dass Plagiate, wenn man sie denn als solche nachweisen kann, zweifelsfrei zu Verstößen gegen die Praxis guter Wissenschaft führen, ist klar. Was mir allerdings weniger klar ist, ist, warum es so wenig Diskussionen zu dem gibt, was „gute wissenschaftliche Praxis“ eigentlich auszeichnet.

Vor allem in der Coronapandemie wird das immer dann deutlich, wenn sich Öffnungsgegerinnen und -gegner und Öffnungsbefürworterinnen und -befürworter öffentlich in den Haaren liegen und Wissenschaftlichkeit, Evidenz, und Objektivität für ihre jeweils eigenen Positionen beanspruchen und den wissenschaftlichen Arbeiten, die gegen ihre Positionen sprechen, die Qualität absprechen, als wissenschaftliche Evidenz zu dienen. In den Medien wird immer wieder mechanisch betont, dass ein Artikel das für die Wissenschaft so wichtige Peer-Review-Verfahren noch nicht durchlaufen habe, und daher mit Vorsicht beurteilt werden müsse, was vorwiegend dann gemacht wird, wenn die Studien nicht dem entsprechen, was man gerne als Evidenz für die eigene Position ansehen würde, und meist dann bewusst ignoriert, wenn man das Ergebnis der Studie mag.

Es wird also in letzter Zeit viel über Wissenschaft geredet, aber abgesehen von der Erkenntnis, dass man in der Wissenschaft nicht plagiiert, zumindest nicht in den Geisteswissenschaften, und dass es ein sogenanntes Peer-Review-Verfahren gibt, durch das Erkenntnisse als gesichert angesehen werden können, dringt nicht viel durch von dem, was wissenschaftliche Praxis eigentlich ausmacht. Es wird kaum diskutiert, dass ähnliche Texstellen je nach Wissenschaftsbereich sehr unterschiedlich beurteilt werden können, und das auch aus gutem Grund, da ein präziser Ausdruck, der für die Wissenschaft ja auch wichtig ist, mitunter nur eine oder wenige sprachliche Lösungen zulässt. Wenn eine Studie zwei Ähnlichkeitsmatritzen vergleicht, dann ist die Wahrscheinlichkeit sehr hoch, dass in der Studie der Satz „we used the Mantel test“ auftaucht. Auch bei den Beschreibungen von dem, was der Manteltest macht, sind sich Studien oftmals sehr ähnlich, und man kann sogar Plagiate gar nicht zwangsläufig ausschließen, sie sind aber irrelevant für die Forschung, da die kreative Leistung dieser Studien meist kaum darin besteht, einen Manteltest angewendet zu haben, um Matritzen zu vergleichen. Denn dieser Test gilt in vielen Wissenschaftsbereichen als Standard, weshalb man sich meist nicht mal die Mühe macht, ihn zu zitieren (eine Praxis, der ich aus Faulheit in diesem Blogpost folgen werde).

Auch beim Peer-Review-Verfahren wird selten auf dessen Unsicherheiten hingewiesen. Die Tatsache, dass eine Unzahl an Artikeln, die das Peer-Review-Verfahren überstanden haben, jedes Jahr zurückgezogen werden muss, weil Forschungsmängel erst später entdeckt werden (ein aktueller Überblick zur natur- und humanwissenschaftlichen Forschung findet sich auf Retraction Watch), dass Forscherinnen und Forscher zeigen konnten, dass das System in bestimmten Bereichen sogar bewusste Nonsens-Artikel durchwinkt (vgl. die Grievance-Studies Affair), oder dass absurde Ideen, die in einem wissenschaftlichen Bereich nie das Peer-Review-Verfahren überstanden hätten, in einem anderen Fachbereich durchgewinkt und somit durch die Hintertür an die Öffentlichkeit geraten (vgl. die hochumstrittene Studie von Feldmann 2019, die versucht, ökonomische Faktoren mit linguistischen Strukturen zu korrelieren), darauf wird selten hingewiesen. Diese Problem sind aber eben auch Teil der Wissenschaft, und ich finde es ernüchternd, wenn immer wieder mantrahaft wiederholt wird, man sollte doch auf die Wissenschaft hören, weil dabei selten klargemacht wird, was eigentlich als Wissenschaft verstanden werden sollte, und Wissenschaftlichkeit als eine Art Gütesiegel verkauft wird, obwohl Wissenschaftlerinnen und Wissenschaftler selbst oft uneins darüber sind, was eigentlich die Kriterien zur Vergabe dieses Gütesiegels sein sollten.

Ein Beispiel, wie weit die wissenschaftliche Praxis immer noch von einem wissenschaftlichen Ideal entfernt ist, zeigt sich in der Offenen Forschung, die zum Glück immer häufiger diskutiert wird, aber selten als aktiver Bestandteil guter wissenschaftlicher Praxis eingefordert wird. Das Ideal der offenen Forschung besagt vor allem, dass Forschung replizierbar sein sollte, dass Forschung, die auf Daten und Code beruht, diese zur Verfügung stellen sollte, und dass bestimmte Studien vorher verkündet (registriert) werden sollten, bevor man sie durchführt, um sicherzustellen, dass die Forscherinnen und Forscher ihre Hypothesen im Nachhinein nicht nach den Ergebnissen ausrichten. Diese Ideen dienen alle der Verbesserung der Wissenschaft und lassen sich auch in fast allen Wissenschaftsbereichen gewinnbringend einsetzen (vgl. zum Beispiel unsere kürzlich erschienene registrierte Studie zur Vorhersage von unbekannten Wörtern, Bodt und List 2021). Denn ein Charakteristikum wissenschaftlichen Arbeitens ist es ja immer gewesen, die eigenen Kenntnisse zu hinterfragen, und dazu gehört auch die eigene wissenschaftliche Praxis, welche sich auch immer weiter verändert. Während sich die Praxis des Zitierens zu Zeiten von Humboldt zum Beispiel noch gar nicht so richtig entwickelt hatte, so dass in vielen Arbeiten nur unvollständig auf die Arbeiten anderer Menschen hingewiesen wird, ist dies heute ein Grund, einem Menschen die Doktorarbeit abzuerkennen (zumindest in den Geisteswissenschaften, wo korrektes Zitieren zur guten wissenschaftlichen Praxis zählt).

Es verwundert mich jedoch immer wieder, wie langsam die neuen Ideen zur offenen Forschung, die ja nun schon seit langer Zeit im Raum stehen und von kaum einem Menschen inhaltlich angezweifelt werden, in die wissenschaftliche Praxis Einzug halten. Nach wie vor schicken mir Journals Artikel zum Review, in denen komplexe Berechnungen von Daten und Code gemacht werden, ohne mir als Gutachter Daten und Code mitzuliefern. Große Journals wie Nature haben schon vor einiger Zeit betont, dass Gutachterinnen und Gutachter das Recht haben, Code und Daten einzufordern (Nature 2018), aber darüber hinaus nehmen sie ihre Verantwortung nicht wahr, nicht nur den Einblick in Daten und Code zu empfehlen, sondern zu garantieren. Denn wie kann es sein, dass eine wissenschaftliche Arbeit wie zum Beispiel eine neue Simulation zur Coronapandemieentwicklung ein Peer-Review-Verfahren durchläuft, in dem es keine Angaben dazu gibt, ob und wie der Code, mit dem die Pandemieentwicklung simuliert wird, getestet wurde?

In der Programmierung gibt es ja seit langer Zeit die sogenannten Unittests, die es ermöglichen, zu schauen, ob der Code macht, was er vorgibt, zu tun. Diese werden aber wohl meist eher in der Wirtschaft angewendet, als in der Wissenschaft, was dazu führt, dass wir eine stetig wachsende Codebasis haben, die vollkommen ungetestet in Publikation um Publikation zum Einsatz kommt. Noch immer ist es normal, dass ganze Konferenzproceedings mit hunderten von Artikeln in den Bereichen der Computerlinguistik veröffentlicht werden, ohne Replizierbarkeit der Studien zu garantieren. Dabei mangelt es nicht an der Infrastruktur, denn durch die Wichtigkeit des Testens und Entdeckens von Sicherheitslücken gibt es ja vielfältige Möglichkeiten, das Testen automatisch durchzuführen. Aber in der Wissenschaft werden diese Möglichkeiten meist immer noch ignoriert, und es wird nicht mal ernsthaft diskutiert, sie auf die Liste dessen zu setzen, was gute wissenschaftliche Praxis ausmacht.

Im Großen und Ganzen bin ich jedoch eigentlich optimistisch, dass sich die Lage langsam ändern wird, und offene Forschung in den nächsten Jahrzehnten mehr und mehr zum anerkannten Standard guter wissenschaftlicher Praxis aufsteigen wird. Denn das Umdenken findet hier ja schon statt, unter Kolleginnen und Kollegen, zum Glück auch unter Herausgeberinnen und Herausgebern von Zeitschriften, und auch unter den für die Einforderung von Standards so wichtigen Forschungsförderungsorganisationen. Was mich allerdings frustriert ist, dass die offene Forschung so wenig in der Öffentlichkeit diskutiert wird und das einzige, was man — von der derzeitigen Diskussion in den Medien ausgehend — am Ende von der wissenschaftlichen Praxis mitnehmen wird, die Plagiate von Politikerinnen und Politikern und das scheinbar magische und fehlerfreie Peer-Review-Verfahren sein werden.

Literatur

  • Bodt, T. and J.-M. List (2021): Reflex prediction. A case study of Western Kho-Bwa. Diachronica 0.0. 1-38.
  • Feldmann, Horst (2019): Do linguistic structures affect human capital? The case of pronoun drop. Kyklos 72.1. 29-54.
  • Nature, Editorial Board (2018): Referees‘ rights. Nature 560. 409.
Sie können diesen Artikel zitieren als: Johann-Mattis List, "Offene Forschung als Praxis guter Wissenschaft," in Von Wörtern und Bäumen, 16/05/2021, https://wub.hypotheses.org/1292.