Schlagwort-Archive: offene Forschung

Von türstehenden Gutachtern

Ich habe vor Kurzem nach langer Zeit wieder ein mal ein außergewöhnlich negatives Gutachten verfasst und verlangt, einen Artikel zurückzuweisen, der in einer Zeitschrift eingereicht worden war. Der Artikel war tatsächlich überhaupt nicht gut, und auch wenn ich für mich nicht die absolute Objektivität beanspruchen kann, gehe ich doch davon aus, dass das 9 von 10 Kolleginen oder Kollegen genauso sehen werden wie ich, vielleicht sogar 99 von 100.

Trotzdem habe ich gezögert, ob ich dieses dann doch sehr harsche Urteil fällen sollte. Denn zu oft erlebe ich es, wie vor allem ältere oder wissenschaftliche etablierte Kolleginnen und Kollegen das Gutachten als ein Mittel nutzen, Ideen, die den eigenen zuwiderlaufen, den Zugang zu größerer Aufmerksamkeit zu verschließen, indem sie unliebsame Artikel als Gutachter direkt zurückweisen oder als Herausgeber diesen Artikeln bewusst ungnädige Gutachter zuweisen.

Viele dieser Erlebnisse spielen sich in vertraulichen Bereichen ab, über die man nicht direkt offen sprechen sollte, weshalb ich keine konkreten Beispiele geben will. In meiner Rolle als Mitherausgeber von Zeitschriften oder auch als Gutachter für eine Vielahl unterschiedlicher Zeitschriften erhalte ich ja direkte Einblicke in das, was Kollegen oder Kolleginnen als Gutachten verfassen, wobei ich dann auch Information über die ursprünglichen Verfasser der Arbeiten habe, die abgelehnt werden.

Die Erlebnisse, die mir dabei am meisten aufstoßen, sind solche, in denen grundlegend schlechte, zuweilen sogar richtig feindselige Gutachten verfasst werden, um Methoden oder Hypothesesen, die den Arbeiten der Gutachtenden zuwiderlaufen, von vornherein jegliche Chance zu nehmen, in der jeweiligen Zeitschrift zu erscheinen. Das kommt zwar nicht sehr oft vor, aber doch so oft, dass es für mich ein grundlegendes Ärgernis in Bezug auf die wissenschaftliche Begutachtungspraxis darstellt. Wissenschaftler missbrauchen ihre Herausgeber- oder Gutachterrolle, um sich aufzuführen wie Türsteher, die einen Club “sauber” halten wollen. Nur, wer die eigene, reine Lehre vertritt, wird auch hereingelassen. Dass so eine Haltung jeglichen Dialog unterdrückt, wird dabei selten abgestritten, sondern eher auf erschreckend banale Weise rationalisiert, indem den fraglichen Arbeiten jegliche Wissenschaftlichkeit abgesprochen wird.

Natürlich lässt sich darüber diskutieren, was wissenschaftlich ist und was nicht, oder was sauber recherchiert worden ist und was nicht. Natürlich gibt es Desinformation und Fake News und natürlich gibt es Arbeiten, die der guten wissenschaftlichen Praxis zuwiderlaufen. Nur geht es bei den Fragestellungen, welche die Türstehermentalität mancher Kollegen zutage treten lassen, am Ende fast nie um die Frage der wissenschaftlichen Qualität, sondern eigentlich fast immer darum, dass die Fragestellung an den Hypothesen der Kollegen selbst rüttelt und diese in Frage stellt. Da sich viele Vertreter der historischen Sprachwissenschaft auf eine geradezu persönliche Art mit ihren Hypothesen und Theorien identifizieren, nehmen sie Arbeiten, die es wagen, diese zu bezweifeln, oftmals als persönlichen Affront und setzen dann nicht selten alles daran, diese Arbeiten zu boykottieren.

Was dieses Verhalten begünstigt, ist das grobe Missverständnis, dass man Forschung auf einfachste Art in gut und schlecht einteilen kann. Diese Haltung ist mir vor allem in der historischen Sprachwissenschaft schon sehr häufig begegnet. Wenn man zum Beispiel ein bestimmtes etymologisches Wörterbuch erwähnt, auf das man sich stützt, kann es sehr gut vorkommen, dass man pikiert darauf hingewiesen wird, dass dieses eine bestimmte Buch ja voller Fehler sei und man sich daher auf nichts verlassen könne. Dass etymologische Wörterbücher dabei eigentlich fast immer aufeinander aufbauen (ein Großteil der Etymologien wird aus älteren Ausgaben übernommen) und Unterschiede nur in einem Bruchteil von Wörtern zu erwarten sind, wird dabei natürlich ignoriert. Die Tatsache, dass Autor X bei der Etymologie für das wort abc in der Sprache Y einen groben Fehler macht, reicht aus, das gesamte Werk als fehlerbehaftet zu ignorieren.

Was ich auch häufig erlebe, ist die Diskreditierung ganzer sprachwissenschaftlicher Schulen oder aller Arbeiten einer Einzelperson auf der Basis einzelner Untersuchungen, die diese durchführen. Wenn jemand darüber spekuliert, dass es eine Ursprache gegeben haben könnte, aus der Indogermanisch und Semitisch und einige andere große Sprachfamilien hervorgegangen sind — eine spekulative Theorie über eine uralte Sprachfamilie, die meist als Nostratisch bezeichnet wird (Starostin et al. 2016) — dann genügt das für viele in der vergleichenden Sprachwissenschaft bereits, um auch Arbeiten derselben Autoren zu diskreditieren, die sich auf die indogermanische Sprachfamilie beziehen, welche aber von der Forschung allgemein anerkannt wird (Meier-Bruegger 2002). Die Logik ist so klar wie falsch: Wer sich hinreißen lässt, über Sprachfamilien, die älter sind als das Indogermanische zu spekulieren, der hat seine wissenschaftliche Glaubwürdigkeit verspielt und verdient es daher auch nicht, in anderen Bereichen ernst genommen zu werden.

Es ist traurig, dass eine dermaßen lächerliche Argumention, die für einen Fehler alle Arbeiten einer Person oder eines Werkes bestraft, unsere Forschung in Teilen dominiert. Dass dies überhaupt passieren kann, liegt vor allem auch daran, dass die Türsteher selbst einen großen Forschungsfehler begehen, der der guten wissenschaftlichen Praxis komplett zuwiderläuft: Sie nehmen ihre Ergebnisse persönlich. Indem sie ihre vermeintlichen Erkenntnisse und deren vermeintliche wissenschaftliche Qualität durch die scheinbare Wahrheit ihrer Hypothesen und Theorien definieren, schaffen sie einen Raum, in dem Zweifel — die ja für die wissenschaftliche Forschung eine der wichtigsten Grundlagen darstellen — persönlich genommen werden. Es geht dann gar nicht mehr um das Erkenntnisinteresse an sich, sondern darum, individuelle Erkenntnisse als vermeintlich objektive Wahrheiten zu propagieren. Am Ende betreiben Menschen, die Forschung auf diese Art betreiben, nichts anderes als Propaganda für sich selbst und ihre Macht im wissenschaftlichen System.

Die Macht, die mir das wissenschaftliche System gibt, zu entscheiden, welche Forschung in einer Zeitschrift erscheint und welche nicht, beschäftigt mich schon eine ganze Weile. Je mehr Anfragen zu Gutachten ich bekomme (im letzten Jahr habe ich ganze 54 Gutachten für Zeitschriften, Konferenzen, Forschungsorganisationen und Universitäten verfasst), desto mehr denke ich darüber nach, wie ich verhindern kann, am Ende nicht selbst zum Türsteher der Forschungsrichtung zu werden, die ich selbst vertrete.

Da ich in meiner eigenen Forschung selbst kaum eigenen Hypothesen oder Theorien nachgehe, ist es mir in den meisten Fällen gleichgültig, welche Idee am Ende gewinnt. Dass große Erkenntnisunterschiede zwischen Nostratisch und Indogermanisch liegen, liegt auf der Hand und wird wohl von kaum jemandem bezweifelt. Ob sich Theorien zum Nostratischen aber später als plausibel erweisen oder nicht, das treibt meine Forschung nicht an. Daher sehe ich auch keinen Grund, gegenüber Vertretern oder Gegnern der Theorie eine persönliche Missgunst zu entwickeln oder zu pflegen.

Was mich hingegen tatsächlich antreibt, ist die Begeisterung für offene Forschung, vor allem vertreten durch offene Daten und transparenten, offenen Programmierkode. Wenn ich Artikel begutachte, schaue ich mir daher heute meist als erstes an, wo ich die Daten finden kann und wo den Kode. Wenn beide fehlen, schlage ich eine Revision vor, weil meine Kriterien guter wissenschaftlicher Praxis nicht erreicht werden. Die Revision ermöglicht dabei den Autorinnen und Autoren jedoch meist, innerhalb kurzer Zeit zu reagieren und Daten und Kode nachzureichen. Ich kommuniziere auch immer mit dem Editoriat der Zeitschriften und weise darauf hin, dass ich das Gutachten bei Vorliegen von Daten und Kode schreiben kann, ohne eine Revision zu fordern, und bemängele auch oft, dass das Fehlen von Daten und Kode nicht schon auf Ebene des Editoriats geprüft wurde. Wenn sich Autorinnen oder Autoren weigern, Daten oder Kode zu liefern, dann weigere ich mich inzwischen einfach, das Gutachten zu verfassen. Das kann natürlich oft dazu führen, dass die Artikel trotzdem ohne Daten und Kode veröffentlicht werden, diese Entscheidung sollte jedoch auf Ebene der Zeitschrift von der Herausgeberschaft geklärt werden, nicht durch negative Gutachten.

Studien wirklich ablehnen tue ich eigentlich nur noch aus zwei Gründen. Entweder sehe ich, dass ein Beitrag ganz klar nicht zu der Zeitschrift passt, wo er eingereicht wurde. In diesem Fall verbinde ich die Ablehnung immer mit der Empfehlung, sich eine andere Zeitschrift zu suchen, die den Beitrag besser würdigen kann. Der andere Grund sind Studien, die dem Forschungsstand so dermaßen weit hinterherhinken, dass eine Aufarbeitung einer neuen Arbeit gleichkäme. Wenn mir solche Studien begegnen und ich überzeugt bin, dass nicht nur ich so urteilen würde, sondern eine große Mehrheit an Kolleginnen und Kollegen in meinem Feld zu gleichen Schlüssen kommen würden, dann lehne ich derartige Studien auch ab und empfehle, noch mal von vorn anzufangen.

Das negative Gutachten, das ich verfasst habe, war genau so ein Fall gewesen. Der Artikel wies grobe Fehler in der Analyse auf, die auf fehlerhaften Methoden beruhten, die sich sehr leicht und direkt als solche identifizieren lassen, und ich bin mir sicher, dass auch die Autorinnen und Autoren dem zustimmen werden, wenn sie sich wirklich in den Forschungsstand eingelesen haben. Am Ende wurden in der Arbeit wiederholt erfundene Räder vorgestellt, die eine viereckige Form aufweisen. Es wurden also neue Methoden vorgestellt, die Probleme lösen, für die es schon Lösungen gibt, und gleichzeitig auf fehlerhaften Verfahren beruhen. Ich habe dem Editoriat in meinem Gutachten mitgeteilt, dass ich gerne bereit bin, den Verfassern konkrete Tips für eine neue Studie zu geben und dass sie ihnen dafür meinen Namen auch gerne mitteilen könnten. Da mein Gutachten in der Form, in der ich es verfasst hatte, vielleicht ein bisschen grob ausgefallen war, hatte ich dadurch gehofft, deutlich zu machen, dass ich in meiner Kritik nicht auf die Person abziele, sondern gerne weiterhelfen und mein Wissen um die Thematik teilen kann.

Ob mein Vorgehen allerdings richtig ist, ob es wissenschaftlich sauber ist, bei der Begutachtung auf Zurückweisungen von Studien so gut wie möglich zu verzichten, einen sehr speziellen Fokus auf bestimmte formale Prinzipien wie die offene Forschung zu legen, und die Interpretation von Ergebnissen weitestgehend den Gutachten oder Folgestudien anderer zu überlassen, das weiß ich leider selbst nicht. Was mich jedenfalls stört an der gängigen wissenschaftlichen Praxis, ist, dass diese Themen so selten wirklich offen diskutiert werden. Es erschüttert mich immer wieder, wenn ich sehe, wie manche Kolleginnen und Kollegen miteinander in Gutachten miteinander umgehen. Das schließt auch die Autorinnen und Autoren selbst mit ein, die nicht selten selbst einen aggressiven Ton anlegen, wenn sie auf die Gutachten antworten, und selten vom Editoriat zurecht gewiesen werden.

Zeitschriften gehen ja inzwischen vermehrt dazu über, den gesamten Publikationsverlauf, der von den ersten Gutachten über die Antworten auf diese Gutachten bis hin zur Publikation reicht, mitsamt der Studie selbst zu veröffentlichen. Dies schafft zwar die Transparenz, die ich mir wünschen würde (zumal sowohl anonyme, als auch offene Gutachten in dieser Form möglich sind), es fehlt uns aber in vielen Bereichen der Wissenschaft noch die Bereitschaft der Wissenschaft betreibenden selbst, diese Informationen auch tatsächlich aufzunehmen und in die Beurteilung von Studien miteinzubeziehen. Offene Gutachten sind schließlich nur sinnvoll, wenn sie am Ende auch von Menschen gelesen und in den kritischen Prozess des wissenschaftlichen Arbeitens einbezogen werden. Es gibt leider noch wahnsinnig viel zu tun, wenn wir die Wissenschaft in ihren methodologischen Prinzipien weiter voranbringen wollen.

Literatur

Meier-Brügger, Michael (2002): Indogermanische Sprachwissenschaft. Berlin and New York:de Gruyter.

Starostin, George S. and Zhivlov, M. and Alexei Kassian (2016): The “Nostratic” roots of Indo-European: from Illich-Svitychto Dolgopolsky to future horizons. Slovo a slovesnost 77.1. 292-415.

Kopflose Fußnoten

2 Antworten

Als Wissenschaftler mit einem starken Interesse an transparenter und offener Forschung wundere ich mich immer wieder darüber, was eigentlich unter einem Zitat in der Praxis verstanden wird. In der Wissenschaft, vor allem in den Geisteswissenschaften, ist das eigentlich relativ klar. Ein Zitat dient in einer wissenschaftlichen Arbeit dazu, auf andere — meist wissenschaftliche — Werke zu verweisen, die für das Werk, welches den Verweis macht, relevant sind. Welcher Art die Relevanz des zitierten Werkes ist, sei es nun Quelle der Inspiration, Quelle der direkten Übernahme, oder Verweis auf der eigenen Ansicht zuwiderlaufende Positionen, ist dabei meist von untergeordneter Bedeutung. Zitate müssen denen, die einen Text lesen, die Möglichkeit geben, den Ursprung der zitierten Werke nachvollziehen zu können, um diese idealerweise selbst konsultieren und somit auch überprüfen zu können.

Probleme beim Zitieren gibt es natürlich immer wieder. Es kann vorkommen, dass Werke vergessen werden, es gibt Menschen, die bewusst immer haarscharf an ihren Kolleginnen und Kollegen “vorbeizitieren”, indem sie auf die Werke verweisen, die nicht wirklich relevant sind, oder diese falsch wiedergeben, und dabei die eigene Arbeit über Gebühr hervorheben, und es gibt eine gewisse Zitationsmüdigkeit bei solchen Werken, die nicht als vollwertig wahrgenommen werden. Dazu gehören vor allem Datenbanken, Computersoftware, Blogbeiträge und — ganz allgemein — jegliche Form digitaler grauer Literatur.

Dass die Wissenschaft sich doch zuweilen so schwer tut, mit grauer Literatur ordentlich umzugehen, ist etwas, was mich manchmal ziemlich ärgert (List 2023). So habe ich mich einerseits gefreut, als ich in einem computerlinguistischen Artikel (Çelikkol et al. 2024: 12) Vokabular wiedererkannte, welches ich selbst häufig verwende, um Sprachvariation zu beschreiben, war dann aber ein wenig ernüchtert, als ich bemerkte, dass man auf meinen Blogbeitrag zur Sprachvariation (List 2015), in dem ich verschiedene Dimensionen der Sprachvariation in einer Graphik visualisiert hatte, die dann in dem Artikel modifiziert übernommen wurde, lediglich als URL verweist, anstatt den Beitrag als normale Literaturangabe zu behandeln und am Ende des Artikels zu listen.

Klar kann man — vor allem in dem Fall von wissenschaftlichen Blogs, die auf Blogportalen veröffentlicht werden, die auch ohne die einzelne bloggende Person noch weiterbestehen — davon ausgehen, dass die URL auch in ein paar Jahren noch aktiv sein wird. Aber abgesehen davon, dass es keine gute Begründung gibt, Zitate auf zwei Arten zu behandeln, und mal eine Literaturangabe, mal eine (stabile) URL zu verwenden, gibt es eben einfach meist keine Garantie, dass eine URL auch stabil bleibt. Denn das hängt vor allem auch bei Blogbeiträgen dann eben doch von viel zu vielen Unwägbarkeiten ab, auf die man sich — wenn man es denn ernst meint mit den eigenen Belegen — kaum verlassen sollte.

Ich kann mich noch gut erinnern, wie sehr der Youtuber Rezo, als vorbildlich für seine Pressekritik von 2020 gelobt wurde (Rezo 2020), weil er so viele Belege für seine Aussagen geliefert habe (Reuter 2020). Interessanterweise sind diese Belege, die in Form eines GoogleDoc-Dokuments per URL online geteilt wurden und zum großen Teil selbst nur aus Links bestanden, inzwischen nicht mehr zugänglich, weil sie versehentlich oder absichtlich entfernt wurden. Der Link, den Rezo unter seinem Video angibt, führt ins Leere und verweist darauf, dass die Datei wahrscheinlich inzwischen gelöscht wurde. Da es sich bei dem Link um einen Link auf ein GoogleDoc-Dokument handelte, ist dies nicht verwunderlich, da es hier ja um einen privaten Link zu einem offenen Beitrag in einer Online-Cloud handelt, nicht um ein nicht weiter editierbares Dokument, welches auf einer gemeinnützigen Plattform veröffentlicht wurde, welche Langzeitarchivierung garantiert, wie das beim vom CERN betriebenen und von der Europäischen Union geförderten Repositorium Zenodo (https://zenodo.org) der Fall gewesen wäre.

Vor allem im Journalismus, der sich doch wie kein anderer Bereich unseres öffentlichen Lebens mit den Problemen konfrontiert sieht, glaubhaft zu referieren, worauf sich das Wissen, welches in Beiträgen geteilt und vorausgesetzt wird, stützt, scheint es kein wirkliches Bewusstsein um saubere Zitierpraxis zu geben. Wenn überhaupt, werden Beiträge per URL oder Digital Object Identifier (DOI) verlinkt. Oftmals werden wörtliche oder halbwörtliche Zitate aber auch komplett verweislos in Texte hineingeworfen, ohne sich darum zu kümmern, das Wissen nicht nur aktiv zu belegen, sondern auch so transparent aufzubereiten, dass interessierte Leser die Quellen nachher selbst konsultieren können.

In einem Zeitungskommentar merkte Koppe (2024) vor Kurzem an, dass das Erlernen von Zitierregeln in vielen Fällen doch eigentlich obsolet sei, und das es daher wichtig sei, zu überlegen, inwiefern größere Arbeiten, wie Bachelorarbeiten, überhaupt noch verfasst werden müssten.

Ob ich eine gute Bachelorarbeit über einen Menschen, der seit 85 Jahren tot ist, schreiben kann, sagt recht wenig darüber aus, ob ich auch ein guter Journalist werde. (Koppe 2024: Abs. 1)

Ich denke, gerade als Journalist oder Journalistin sollte man in der Lage sein, Wissen zu belegen, und zwar auf eine Art, die bestimmten Standards entspricht und sich auf ein Bewusstsein um die Unzuverlässigkeit des Internets als Wissensquelle stützt. Dass man — auch dank dem Internet — mit bloßen Behauptungen über Soziale Medien in kürzester Zeit Scheinwahrheiten generieren und in die Welt hinauspusten kann, hat das letzte Jahrzehnt ja bereits sehr eindrucksvoll gezeigt. Auch auf Telegramkanälen wird per Link belegt, nur dass Link um Link in den Scheinrealitäten des Internets zu weiteren Falschheiten führen. Wie man die Flut an Falschinformationen im Internet bekämpfen soll, weiß ich natürlich selbst auch nicht. Aber je mehr ich mir anschaue, was der klassische Journalismus so als Standard produziert, desto mehr denke ich, dass es gerade hier ein weitreichendes Umdenken braucht. Wenn sich der Journalismus wirklich abheben will von den Produzentinnen und Produzenten alternativer Fakten, dann muss er endlich beginnen, das Ziteren ernst zu nehmen.

Das Umdenken in Bezug auf das Belegen von Wissen müsste dabei bis in die universitäre Lehre hineinreichen. Denn gerade hier müsste man endlich damit beginnen, inhaltlich zu unterrichten, was Zitieren eigentlich ist und worin dabei die Standards bestehen, denen wir uns verpflichtet fühlen, anstatt — wie meist üblich — auf banalen und disziplinspezifischen Formalia (“Punkt am Ende”, “Vorname vor Nachname”, “Fußnoten, keine Endnoten!”) zu beharren, die von dem eigentlichen Wert des Zitats als Ankerpunkt des Wissens (List 2024) ablenken.

Aus dem Artikel von Koppe entnehme ich eine gewisse Frustration mit der universitären Lehre in Bezug auf das Zitieren. Anscheinend wird — und ich kenne das leider auch nur zu gut von meinem eigenen Studium und meiner Arbeit an der Universität — nicht das Inhaltliche am Zitieren besprochen, sondern lediglich das Formale. Das Formale bezieht darüber hinaus meist nur auf das nicht mehr zeitgemäße Szenario, in dem ein Mensch ein Dokument in Microsoft Word schreibt und Literaturangaben händisch erstellt, während Softwaretools und Literaturdatenbanken, die das Zitieren unterstützen und Einheitlichkeit automatisch erzeugen, vollkommen außen vor gelassen werden.

Dabei wäre es gerade an der Universität wichtig, das Zitieren weiterzudenken und dabei eben auch die wichtige Rolle, die es für den beruflichen und privaten Alltag von Menschen spielen kann, in den Blick zu nehmen. Junge Studentinnen und Studenten sollten lernen, wie sie sich eigene Wissensdatenbanken aufbauen können, wie sie diese pflegen, wie sie diese anwenden, und wie sie diese von einem Computer auf den nächsten übertragen, wenn sie sich neue Computer anschaffen, oder auf mehreren Systemen arbeiten. Sie sollten sowohl praktisch wissen, wie sie Zitate in Texte einfügen, als auch theoretisch Klarheit darüber haben, warum dies wichtig ist.

Die Realität an den Universitäten ist derzeit eine andere, das ist klar. Aus der Unzufriedenheit mit dem status quo jedoch abzuleiten, dass man besser komplett darauf verzichten sollte, zitieren zu lernen, wenn man Journalistin oder Englischlehrer werden will, halte ich für falsch. Wir alle — vor allem aber die, die sich in ihrem Beruf auf Erkenntnisse stützen — müssen unser Zitierverhalten ständig hinterfragen und verbessern und — wo möglich — unser Wissen darum an unsere Mitmenschen auch weitergeben. Nur so können wir den digitalen Fluten der Falschinformation entgegentreten und verhindern, dass das Zitat zur kopflosen Fußnote der Geschichte wird.

Literatur

Çelikkol, Melis and Körber, Lydia and Zhao, Wei (2024): Exploring Diachronic and Diatopic Changes in Dialect Continua: Tasks, Datasets and Challenges. In: Proceedings of the 5th Workshop on Computational Approaches to Historical Language Change. 12-22. https://aclanthology.org/2024.lchange-1.2

Koppe, Livio (2024): Adieu, Bachelorarbeit. TAZ 46.62 (03.03.2024). https://taz.de/Kuenstliche-Intelligenz-an-Hochschulen/!5993419/

List, Johann-Mattis (2015): The diasystematic structure of languages and its impact on language evolution. The Genealogical World of Phylogenetic Networks 4.6. http://phylonetworks.blogspot.com/2015/06/the-diasystematic-structure-of.html

List, Johann-Mattis (2023): Vom grauen Zitieren. Von Wörtern und Bäumen 7.7. https://doi.org/10.58079/vbrn

List, Johann-Mattis (2024): Ankerpunkte des Vertrauens in den Fluten digitaler Information. Von Wörtern und Bäumen 8.2. https://doi.org/10.58079/VN3L

Reuter, Marcus (2020): Die Zerstörung der Presse. Netzpolitik.org 18.152. (01.06.2020). https://netzpolitik.org/2020/die-zerstoerung-der-presse/

Rezo (2020): Die Zerstörung der Presse. YouTube. https://www.youtube.com/watch?v=hkncijUZGKA

Offene Forschung als Praxis guter Wissenschaft

Schreibe eine Antwort

Vor kurzem wurde angekündigt, dass die Doktorarbeit von Franziska Giffey erneut geprüft wurde und die Ministerin jetzt eine Stellungnahme zu den Vorwürfen abgeben könnte (vgl. bspw. die Nachricht im Spiegel). In diesem Zusammenhang wird immer betont, dass es um Verstöße gegen die “Praxis guter Wissenschaft” gehe. Dass Plagiate, wenn man sie denn als solche nachweisen kann, zweifelsfrei zu Verstößen gegen die Praxis guter Wissenschaft führen, ist klar. Was mir allerdings weniger klar ist, ist, warum es so wenig Diskussionen zu dem gibt, was “gute wissenschaftliche Praxis” eigentlich auszeichnet.

Vor allem in der Coronapandemie wird das immer dann deutlich, wenn sich Öffnungsgegerinnen und -gegner und Öffnungsbefürworterinnen und -befürworter öffentlich in den Haaren liegen und Wissenschaftlichkeit, Evidenz, und Objektivität für ihre jeweils eigenen Positionen beanspruchen und den wissenschaftlichen Arbeiten, die gegen ihre Positionen sprechen, die Qualität absprechen, als wissenschaftliche Evidenz zu dienen. In den Medien wird immer wieder mechanisch betont, dass ein Artikel das für die Wissenschaft so wichtige Peer-Review-Verfahren noch nicht durchlaufen habe, und daher mit Vorsicht beurteilt werden müsse, was vorwiegend dann gemacht wird, wenn die Studien nicht dem entsprechen, was man gerne als Evidenz für die eigene Position ansehen würde, und meist dann bewusst ignoriert, wenn man das Ergebnis der Studie mag.

Es wird also in letzter Zeit viel über Wissenschaft geredet, aber abgesehen von der Erkenntnis, dass man in der Wissenschaft nicht plagiiert, zumindest nicht in den Geisteswissenschaften, und dass es ein sogenanntes Peer-Review-Verfahren gibt, durch das Erkenntnisse als gesichert angesehen werden können, dringt nicht viel durch von dem, was wissenschaftliche Praxis eigentlich ausmacht. Es wird kaum diskutiert, dass ähnliche Texstellen je nach Wissenschaftsbereich sehr unterschiedlich beurteilt werden können, und das auch aus gutem Grund, da ein präziser Ausdruck, der für die Wissenschaft ja auch wichtig ist, mitunter nur eine oder wenige sprachliche Lösungen zulässt. Wenn eine Studie zwei Ähnlichkeitsmatritzen vergleicht, dann ist die Wahrscheinlichkeit sehr hoch, dass in der Studie der Satz “we used the Mantel test” auftaucht. Auch bei den Beschreibungen von dem, was der Manteltest macht, sind sich Studien oftmals sehr ähnlich, und man kann sogar Plagiate gar nicht zwangsläufig ausschließen, sie sind aber irrelevant für die Forschung, da die kreative Leistung dieser Studien meist kaum darin besteht, einen Manteltest angewendet zu haben, um Matritzen zu vergleichen. Denn dieser Test gilt in vielen Wissenschaftsbereichen als Standard, weshalb man sich meist nicht mal die Mühe macht, ihn zu zitieren (eine Praxis, der ich aus Faulheit in diesem Blogpost folgen werde).

Auch beim Peer-Review-Verfahren wird selten auf dessen Unsicherheiten hingewiesen. Die Tatsache, dass eine Unzahl an Artikeln, die das Peer-Review-Verfahren überstanden haben, jedes Jahr zurückgezogen werden muss, weil Forschungsmängel erst später entdeckt werden (ein aktueller Überblick zur natur- und humanwissenschaftlichen Forschung findet sich auf Retraction Watch), dass Forscherinnen und Forscher zeigen konnten, dass das System in bestimmten Bereichen sogar bewusste Nonsens-Artikel durchwinkt (vgl. die Grievance-Studies Affair), oder dass absurde Ideen, die in einem wissenschaftlichen Bereich nie das Peer-Review-Verfahren überstanden hätten, in einem anderen Fachbereich durchgewinkt und somit durch die Hintertür an die Öffentlichkeit geraten (vgl. die hochumstrittene Studie von Feldmann 2019, die versucht, ökonomische Faktoren mit linguistischen Strukturen zu korrelieren), darauf wird selten hingewiesen. Diese Problem sind aber eben auch Teil der Wissenschaft, und ich finde es ernüchternd, wenn immer wieder mantrahaft wiederholt wird, man sollte doch auf die Wissenschaft hören, weil dabei selten klargemacht wird, was eigentlich als Wissenschaft verstanden werden sollte, und Wissenschaftlichkeit als eine Art Gütesiegel verkauft wird, obwohl Wissenschaftlerinnen und Wissenschaftler selbst oft uneins darüber sind, was eigentlich die Kriterien zur Vergabe dieses Gütesiegels sein sollten.

Ein Beispiel, wie weit die wissenschaftliche Praxis immer noch von einem wissenschaftlichen Ideal entfernt ist, zeigt sich in der Offenen Forschung, die zum Glück immer häufiger diskutiert wird, aber selten als aktiver Bestandteil guter wissenschaftlicher Praxis eingefordert wird. Das Ideal der offenen Forschung besagt vor allem, dass Forschung replizierbar sein sollte, dass Forschung, die auf Daten und Code beruht, diese zur Verfügung stellen sollte, und dass bestimmte Studien vorher verkündet (registriert) werden sollten, bevor man sie durchführt, um sicherzustellen, dass die Forscherinnen und Forscher ihre Hypothesen im Nachhinein nicht nach den Ergebnissen ausrichten. Diese Ideen dienen alle der Verbesserung der Wissenschaft und lassen sich auch in fast allen Wissenschaftsbereichen gewinnbringend einsetzen (vgl. zum Beispiel unsere kürzlich erschienene registrierte Studie zur Vorhersage von unbekannten Wörtern, Bodt und List 2021). Denn ein Charakteristikum wissenschaftlichen Arbeitens ist es ja immer gewesen, die eigenen Kenntnisse zu hinterfragen, und dazu gehört auch die eigene wissenschaftliche Praxis, welche sich auch immer weiter verändert. Während sich die Praxis des Zitierens zu Zeiten von Humboldt zum Beispiel noch gar nicht so richtig entwickelt hatte, so dass in vielen Arbeiten nur unvollständig auf die Arbeiten anderer Menschen hingewiesen wird, ist dies heute ein Grund, einem Menschen die Doktorarbeit abzuerkennen (zumindest in den Geisteswissenschaften, wo korrektes Zitieren zur guten wissenschaftlichen Praxis zählt).

Es verwundert mich jedoch immer wieder, wie langsam die neuen Ideen zur offenen Forschung, die ja nun schon seit langer Zeit im Raum stehen und von kaum einem Menschen inhaltlich angezweifelt werden, in die wissenschaftliche Praxis Einzug halten. Nach wie vor schicken mir Journals Artikel zum Review, in denen komplexe Berechnungen von Daten und Code gemacht werden, ohne mir als Gutachter Daten und Code mitzuliefern. Große Journals wie Nature haben schon vor einiger Zeit betont, dass Gutachterinnen und Gutachter das Recht haben, Code und Daten einzufordern (Nature 2018), aber darüber hinaus nehmen sie ihre Verantwortung nicht wahr, nicht nur den Einblick in Daten und Code zu empfehlen, sondern zu garantieren. Denn wie kann es sein, dass eine wissenschaftliche Arbeit wie zum Beispiel eine neue Simulation zur Coronapandemieentwicklung ein Peer-Review-Verfahren durchläuft, in dem es keine Angaben dazu gibt, ob und wie der Code, mit dem die Pandemieentwicklung simuliert wird, getestet wurde?

In der Programmierung gibt es ja seit langer Zeit die sogenannten Unittests, die es ermöglichen, zu schauen, ob der Code macht, was er vorgibt, zu tun. Diese werden aber wohl meist eher in der Wirtschaft angewendet, als in der Wissenschaft, was dazu führt, dass wir eine stetig wachsende Codebasis haben, die vollkommen ungetestet in Publikation um Publikation zum Einsatz kommt. Noch immer ist es normal, dass ganze Konferenzproceedings mit hunderten von Artikeln in den Bereichen der Computerlinguistik veröffentlicht werden, ohne Replizierbarkeit der Studien zu garantieren. Dabei mangelt es nicht an der Infrastruktur, denn durch die Wichtigkeit des Testens und Entdeckens von Sicherheitslücken gibt es ja vielfältige Möglichkeiten, das Testen automatisch durchzuführen. Aber in der Wissenschaft werden diese Möglichkeiten meist immer noch ignoriert, und es wird nicht mal ernsthaft diskutiert, sie auf die Liste dessen zu setzen, was gute wissenschaftliche Praxis ausmacht.

Im Großen und Ganzen bin ich jedoch eigentlich optimistisch, dass sich die Lage langsam ändern wird, und offene Forschung in den nächsten Jahrzehnten mehr und mehr zum anerkannten Standard guter wissenschaftlicher Praxis aufsteigen wird. Denn das Umdenken findet hier ja schon statt, unter Kolleginnen und Kollegen, zum Glück auch unter Herausgeberinnen und Herausgebern von Zeitschriften, und auch unter den für die Einforderung von Standards so wichtigen Forschungsförderungsorganisationen. Was mich allerdings frustriert ist, dass die offene Forschung so wenig in der Öffentlichkeit diskutiert wird und das einzige, was man — von der derzeitigen Diskussion in den Medien ausgehend — am Ende von der wissenschaftlichen Praxis mitnehmen wird, die Plagiate von Politikerinnen und Politikern und das scheinbar magische und fehlerfreie Peer-Review-Verfahren sein werden.

Literatur

Bodt, T. and J.-M. List (2021): Reflex prediction. A case study of Western Kho-Bwa. Diachronica 0.0. 1-38.

Feldmann, Horst (2019): Do linguistic structures affect human capital? The case of pronoun drop. Kyklos 72.1. 29-54.

Nature, Editorial Board (2018): Referees’ rights. Nature 560. 409.