Vor kurzem wurde angekündigt, dass die Doktorarbeit von Franziska Giffey erneut geprüft wurde und die Ministerin jetzt eine Stellungnahme zu den Vorwürfen abgeben könnte (vgl. bspw. die Nachricht im Spiegel). In diesem Zusammenhang wird immer betont, dass es um Verstöße gegen die “Praxis guter Wissenschaft” gehe. Dass Plagiate, wenn man sie denn als solche nachweisen kann, zweifelsfrei zu Verstößen gegen die Praxis guter Wissenschaft führen, ist klar. Was mir allerdings weniger klar ist, ist, warum es so wenig Diskussionen zu dem gibt, was “gute wissenschaftliche Praxis” eigentlich auszeichnet.

Vor allem in der Coronapandemie wird das immer dann deutlich, wenn sich Öffnungsgegerinnen und -gegner und Öffnungsbefürworterinnen und -befürworter öffentlich in den Haaren liegen und Wissenschaftlichkeit, Evidenz, und Objektivität für ihre jeweils eigenen Positionen beanspruchen und den wissenschaftlichen Arbeiten, die gegen ihre Positionen sprechen, die Qualität absprechen, als wissenschaftliche Evidenz zu dienen. In den Medien wird immer wieder mechanisch betont, dass ein Artikel das für die Wissenschaft so wichtige Peer-Review-Verfahren noch nicht durchlaufen habe, und daher mit Vorsicht beurteilt werden müsse, was vorwiegend dann gemacht wird, wenn die Studien nicht dem entsprechen, was man gerne als Evidenz für die eigene Position ansehen würde, und meist dann bewusst ignoriert, wenn man das Ergebnis der Studie mag.

Es wird also in letzter Zeit viel über Wissenschaft geredet, aber abgesehen von der Erkenntnis, dass man in der Wissenschaft nicht plagiiert, zumindest nicht in den Geisteswissenschaften, und dass es ein sogenanntes Peer-Review-Verfahren gibt, durch das Erkenntnisse als gesichert angesehen werden können, dringt nicht viel durch von dem, was wissenschaftliche Praxis eigentlich ausmacht. Es wird kaum diskutiert, dass ähnliche Texstellen je nach Wissenschaftsbereich sehr unterschiedlich beurteilt werden können, und das auch aus gutem Grund, da ein präziser Ausdruck, der für die Wissenschaft ja auch wichtig ist, mitunter nur eine oder wenige sprachliche Lösungen zulässt. Wenn eine Studie zwei Ähnlichkeitsmatritzen vergleicht, dann ist die Wahrscheinlichkeit sehr hoch, dass in der Studie der Satz “we used the Mantel test” auftaucht. Auch bei den Beschreibungen von dem, was der Manteltest macht, sind sich Studien oftmals sehr ähnlich, und man kann sogar Plagiate gar nicht zwangsläufig ausschließen, sie sind aber irrelevant für die Forschung, da die kreative Leistung dieser Studien meist kaum darin besteht, einen Manteltest angewendet zu haben, um Matritzen zu vergleichen. Denn dieser Test gilt in vielen Wissenschaftsbereichen als Standard, weshalb man sich meist nicht mal die Mühe macht, ihn zu zitieren (eine Praxis, der ich aus Faulheit in diesem Blogpost folgen werde).

Auch beim Peer-Review-Verfahren wird selten auf dessen Unsicherheiten hingewiesen. Die Tatsache, dass eine Unzahl an Artikeln, die das Peer-Review-Verfahren überstanden haben, jedes Jahr zurückgezogen werden muss, weil Forschungsmängel erst später entdeckt werden (ein aktueller Überblick zur natur- und humanwissenschaftlichen Forschung findet sich auf Retraction Watch), dass Forscherinnen und Forscher zeigen konnten, dass das System in bestimmten Bereichen sogar bewusste Nonsens-Artikel durchwinkt (vgl. die Grievance-Studies Affair), oder dass absurde Ideen, die in einem wissenschaftlichen Bereich nie das Peer-Review-Verfahren überstanden hätten, in einem anderen Fachbereich durchgewinkt und somit durch die Hintertür an die Öffentlichkeit geraten (vgl. die hochumstrittene Studie von Feldmann 2019, die versucht, ökonomische Faktoren mit linguistischen Strukturen zu korrelieren), darauf wird selten hingewiesen. Diese Problem sind aber eben auch Teil der Wissenschaft, und ich finde es ernüchternd, wenn immer wieder mantrahaft wiederholt wird, man sollte doch auf die Wissenschaft hören, weil dabei selten klargemacht wird, was eigentlich als Wissenschaft verstanden werden sollte, und Wissenschaftlichkeit als eine Art Gütesiegel verkauft wird, obwohl Wissenschaftlerinnen und Wissenschaftler selbst oft uneins darüber sind, was eigentlich die Kriterien zur Vergabe dieses Gütesiegels sein sollten.

Ein Beispiel, wie weit die wissenschaftliche Praxis immer noch von einem wissenschaftlichen Ideal entfernt ist, zeigt sich in der Offenen Forschung, die zum Glück immer häufiger diskutiert wird, aber selten als aktiver Bestandteil guter wissenschaftlicher Praxis eingefordert wird. Das Ideal der offenen Forschung besagt vor allem, dass Forschung replizierbar sein sollte, dass Forschung, die auf Daten und Code beruht, diese zur Verfügung stellen sollte, und dass bestimmte Studien vorher verkündet (registriert) werden sollten, bevor man sie durchführt, um sicherzustellen, dass die Forscherinnen und Forscher ihre Hypothesen im Nachhinein nicht nach den Ergebnissen ausrichten. Diese Ideen dienen alle der Verbesserung der Wissenschaft und lassen sich auch in fast allen Wissenschaftsbereichen gewinnbringend einsetzen (vgl. zum Beispiel unsere kürzlich erschienene registrierte Studie zur Vorhersage von unbekannten Wörtern, Bodt und List 2021). Denn ein Charakteristikum wissenschaftlichen Arbeitens ist es ja immer gewesen, die eigenen Kenntnisse zu hinterfragen, und dazu gehört auch die eigene wissenschaftliche Praxis, welche sich auch immer weiter verändert. Während sich die Praxis des Zitierens zu Zeiten von Humboldt zum Beispiel noch gar nicht so richtig entwickelt hatte, so dass in vielen Arbeiten nur unvollständig auf die Arbeiten anderer Menschen hingewiesen wird, ist dies heute ein Grund, einem Menschen die Doktorarbeit abzuerkennen (zumindest in den Geisteswissenschaften, wo korrektes Zitieren zur guten wissenschaftlichen Praxis zählt).

Es verwundert mich jedoch immer wieder, wie langsam die neuen Ideen zur offenen Forschung, die ja nun schon seit langer Zeit im Raum stehen und von kaum einem Menschen inhaltlich angezweifelt werden, in die wissenschaftliche Praxis Einzug halten. Nach wie vor schicken mir Journals Artikel zum Review, in denen komplexe Berechnungen von Daten und Code gemacht werden, ohne mir als Gutachter Daten und Code mitzuliefern. Große Journals wie Nature haben schon vor einiger Zeit betont, dass Gutachterinnen und Gutachter das Recht haben, Code und Daten einzufordern (Nature 2018), aber darüber hinaus nehmen sie ihre Verantwortung nicht wahr, nicht nur den Einblick in Daten und Code zu empfehlen, sondern zu garantieren. Denn wie kann es sein, dass eine wissenschaftliche Arbeit wie zum Beispiel eine neue Simulation zur Coronapandemieentwicklung ein Peer-Review-Verfahren durchläuft, in dem es keine Angaben dazu gibt, ob und wie der Code, mit dem die Pandemieentwicklung simuliert wird, getestet wurde?

In der Programmierung gibt es ja seit langer Zeit die sogenannten Unittests, die es ermöglichen, zu schauen, ob der Code macht, was er vorgibt, zu tun. Diese werden aber wohl meist eher in der Wirtschaft angewendet, als in der Wissenschaft, was dazu führt, dass wir eine stetig wachsende Codebasis haben, die vollkommen ungetestet in Publikation um Publikation zum Einsatz kommt. Noch immer ist es normal, dass ganze Konferenzproceedings mit hunderten von Artikeln in den Bereichen der Computerlinguistik veröffentlicht werden, ohne Replizierbarkeit der Studien zu garantieren. Dabei mangelt es nicht an der Infrastruktur, denn durch die Wichtigkeit des Testens und Entdeckens von Sicherheitslücken gibt es ja vielfältige Möglichkeiten, das Testen automatisch durchzuführen. Aber in der Wissenschaft werden diese Möglichkeiten meist immer noch ignoriert, und es wird nicht mal ernsthaft diskutiert, sie auf die Liste dessen zu setzen, was gute wissenschaftliche Praxis ausmacht.

Im Großen und Ganzen bin ich jedoch eigentlich optimistisch, dass sich die Lage langsam ändern wird, und offene Forschung in den nächsten Jahrzehnten mehr und mehr zum anerkannten Standard guter wissenschaftlicher Praxis aufsteigen wird. Denn das Umdenken findet hier ja schon statt, unter Kolleginnen und Kollegen, zum Glück auch unter Herausgeberinnen und Herausgebern von Zeitschriften, und auch unter den für die Einforderung von Standards so wichtigen Forschungsförderungsorganisationen. Was mich allerdings frustriert ist, dass die offene Forschung so wenig in der Öffentlichkeit diskutiert wird und das einzige, was man — von der derzeitigen Diskussion in den Medien ausgehend — am Ende von der wissenschaftlichen Praxis mitnehmen wird, die Plagiate von Politikerinnen und Politikern und das scheinbar magische und fehlerfreie Peer-Review-Verfahren sein werden.

Literatur

Bodt, T. and J.-M. List (2021): Reflex prediction. A case study of Western Kho-Bwa. Diachronica 0.0. 1-38.

Feldmann, Horst (2019): Do linguistic structures affect human capital? The case of pronoun drop. Kyklos 72.1. 29-54.

Nature, Editorial Board (2018): Referees’ rights. Nature 560. 409.