Archiv der Kategorie: Forschungspraxis

Über Schattierungen wissenschaftlichen Fehlverhaltens

Es wird oft angenommen, dass es für das wissenschaftliche Arbeiten eindeutige und klare Regeln gibt. Wer gegen diese verstößt, macht sich wissenschaftlichen Fehlverhaltens schuldig und kann entsprechend bestraft werden, indem Artikel zurückgezogen oder Forschungsgelder entzogen werden. Zwei grundlegende Formen des Fehlverhaltens bestehen in der Aneignung fremden geistigen Eigentums, ohne dieses als solches zu kennzeichnen, und im Fabrizieren von falschen Ergebnissen.

Das Aneignen der Ideen anderer ist besonders im Rahmen der zahlreichen Plagiatsaffären, in die vor allem Politik Betreibende verwickelt waren, deutschlandweit bekannt und vielfältig diskutiert worden. Das Fabrizieren von Forschungsergebnissen wurde weit weniger öffentlich diskutiert, spielte aber in der wissenschaftlichen Forschung der vergangenen Jahrzehnte insbesondere im Rahmen der Replikationskrise in der Psychologie eine größere Rolle.

Abgesehen von diesen beiden eindeutigen Extremen, dem Plagiat auf der einen und den gefälschten Daten auf der anderen Seite, gibt es aber viele Formen wissenschaftlichen Verhaltens, die sich in einer Grauzone bewegen und meist eher nicht direkt sondern vielmehr unter der Hand diskutiert werden. Man erkennt jedoch, dass diese Grauzonenfälle die Gemüter stark erhitzen können. Nicht selten sind uneindeutige Fälle wissenschaftlichen Fehlverhaltens der Grund, warum Forscherinnen und Forscher nicht mehr miteinander sprechen.

Was soll man zum Beispiel machen, wenn man einen Vortrag mit einem Kollegen gemeinsam vorbereitet und dort eine Graphik einbaut hatte, die man selbst in einer Publikation benutzen wollte, und plötzlich merkt, dass der Kollege die Graphik in eigenen Vorträgen, an denen man selbst nicht beteiligt ist, weiterbenutzt, ohne den Urheber zu nennen? Ist das verboten? Der erste Vortrag wurde ja gemeinsam vorbereitet. Wer die Graphik gemacht hat, geht aus diesem nicht hervor. Man könnte also sagen: alles was in diesem Vortrag gezeigt wurde, gehört von nun an beiden Beteiligten, und beide können es nach eigenem Gutdünken in ihrer Arbeit weiterverwenden, und es gibt durchaus Kolleginnen und Kollegen, die genau so argumentieren würden und verfahren.

Vielen Forscherinnen und Forschern missfällt ein solches Verhalten aber. Denn die Idee für die Graphik kam ja nun mal nicht von dem Kollegen, und die Arbeitsstunden, die man zuweilen in die Erstellung einer Graphik stecken muss, wurden auch von einem selbst investiert. Man wünscht sich in diesen Fällen einerseits, dass man als Quelle der Graphik entsprechend gewürdigt wird, und insbesondere in den Fällen, wo man plant, die Graphik in einem Artikel zu verwenden, wünscht man sich auch, dass jegliche Weiterveröffentlichung erst dann gemacht wird, wenn der Artikel erschienen ist. Denn nur so kann man sicherstellen, dass der Urheber der Graphik auch richtig gewürdigt werden kann.

Was soll man ferner tun, wenn man in einem informellen Rahmen eine Idee für eine interessante Studie, für deren Bearbeitung man bisher noch keine Zeit gefunden hat, mit Kolleginnen und Kollegen teilt, und später feststellen muss, dass einer die Idee übernommen und daraus einen Artikel geschrieben hat? Auf der einen Seite könnte man sagen, dass die Person, die die Idee fortgeführt hat, der Wissenschaft einen großen Dienst erwiesen hat. Denn nicht selten schleppen wir als Wissenschaftsbegeisterte Ideen über Jahre mit uns rum, ohne sie zu verwirklichen, nur um sie dann zu vergessen. Was wäre, wenn Einstein keine Zeit zur Formulierung seiner Relativitätstheorie gefunden hätte, und erst ein Kollege sie ausgearbeitet und veröffentlicht hätte?

Aber andererseits wollen wir natürlich, dass man uns als Ideengeber wenigstens nennt. Oft wollen wir auch, dass man uns kontaktiert, uns erzählt, dass jemand Zeit gefunden hat, die Idee zu verfolgen, und ob wir nicht Teil einer gemeinsamen Publikation sein wollten, da ja die Idee von uns selbst kam. Auch hier ist das beste Verhalten nicht wirklich eindeutig. Vor allem, wenn die Person, die die Idee hatte, diese blockiert, ohne sie auszubauen, was tatsächlich nicht so selten vorkommt. Denn dann führt vermeintlich faires Verhalten schnell zu wissenschaftlichem Stillstand.

Eine weitere Grauzone besteht in der Frage, wessen Name denn auf Publikationen am Ende erscheinen sollte? Wenn man Daten von Hilfskräften annotieren lässt und dann aus diesen eine Publikation macht, sollen die Hilfskräfte dann durch die Teilnahme an der Erstellung der Daten belohnt werden? Oder sollte die Autorenschaft bei der Studie nur auf die beschränkt werden, die inhaltlich zu der Studie beigetragen haben (was immer man unter inhaltlich verstehen mag)?

Während ich lange Zeit nur wenig mit Hilfskräften arbeitete, habe ich in der Vergangenheit begonnen, klare Regeln in unseren Projekten für die Beteiligung von Hilfskräften an Publikationen aufzustellen. So wird jeder, der genug Beiträge leistet, in unserem Concepticon-Projekt (https://concepticon.clld.org, List et al. 2022) nicht nur dankend auf der Webseite erwähnt, sondern kann soger an der Herausgeberschaft beteiligt werden. Dies hat in der Vergangenheit dann immer auch zu einem zusätzlichen Ansporn für junge Studierende geführt. Ferner haben wir bei größeren Projekten zuweilen bewusst eine Publikation, die nur den Daten gewidmet war, erstellt und dabei alle Beteiligten einbezogen (vgl. zum Beispiel unsere Studie zur CLICS-Datenbank, Rzymski et al. 2020). Ich plane dies auch in Zukunft so weiterzuführen, weil ich es nicht gut finde, die Beiträge zu wissenschaftlichen Studien zu stark zu trennen. Bei der großen Anzahl von Menschen, die Autorinnen oder Autoren von Studien werden, ohne überhaupt etwas zu tun, sollte es kein Problem sein, die, die konkret etwas getan haben, auch mit einer Publikation zu belohnen, selbst wenn der Beitrag nicht ganz so groß gewesen sein mag.

Was die Ideen betrifft, versuche ich seit einiger Zeit, sehr klar Buch zu führen, wann ich über welchen Punkt nachgedacht und wer mich dabei inspiriert hatte. Es ist vorgekommen, dass Menschen mich indirekt inspirierten, und mir von einer Methode erzählt haben, die sie anwenden, und ich diese dann falsch interpretiert und auf ein anderes Problem angewandt habe. In diesen Fällen habe ich immer versucht, den Ideengebern explizit zu danken, aber sie nicht als Koautorinnen oder Koautoren eingeladen, weil es zuweilen auch ganz unterschiedliche Forschungsfelder waren, und die ursprüngliche Idee nicht in der Lösung des Problems bestand, welches ich am Ende lösen konnte. In anderen Fällen versuche ich, früh eine Kollaboration anzuleiten, vor allem wenn ich sehe, dass ich Kapazitäten habe, mein Gegenüber aber nicht, die Idee umzusetzen.

In Bezug auf meine eigenen Ideen bin ich inzwischen ein bisschen vorsichtiger geworden. Nachdem es vereinzelt vorgekommen ist, dass Kollegen Ideen von mir genommen haben, ohne mich zu informieren, und versuchten, sie zu veröffentlichen, bevor ich sie selbst publizieren konnte, halte ich mich inzwischen sehr viel deutlicher zurück und teile meine Ideen nicht mehr so großzügig mit meiner Umgebung, sondern nur mit Menschen, denen ich vertrauen kann. Das ist einerseits schade, andererseits eben auch notwendig, da ich ja von meinen Ideen lebe. Um zu verhindern, dass ich Innovationen blockiere, versuche ich aber neuerdings, mit Hilfe von kleineren Publikationen in spezifischen Zeitschriften wie Open Research Europe oder durch Blogposts auf unserem Tutorial Blog Computer-Assisted Language Comparison in Practice (https://calc.hypotheses.org) dazu beizutragen, dass grundlegende Ideen veröffentlicht und somit von Kolleginnen und Kollegen weiterentwickelt werden können. Zuweilen bespreche ich dies sogar direkt mit Kolleginnen oder Kollegen, die mich bei einem Problem um Hilfe bitten: indem ich meine Lösung sofort veröffentliche, steht diese ihnen dann zur Verfügung, und kann entsprechend in deren Arbeit verwendet und zitiert werden.

Das Veröffentlichen in kleineren Formaten hilft, das habe ich bemerkt, auch dabei, Dinge wie eigene Graphiken besser zu schützen. Denn wenn eine Graphik vor dem Talk mit einem Kollegen schon mal in einem Blogpost verwendet wurde, ist es nachher nicht so einfach, diese als die eigene auszugeben. Denn Blogposts kann man — auch wenn sie nicht einem Peer-Review-Verfahren unterworfen sind — ja immer auch ohne Probleme zitieren.

Als Wissenschaftler bin ich nicht darauf aus, Ideen zu entwickeln, die mich reich machen, indem ich sie vermarkte. Mein Ziel ist es viel eher, mit Ideen die Forschung zu inspirieren und entsprechend als jemand wahrgenommen zu werden, der unsere Forschung voranbringt. Daher ist es in dieser Hinsicht am besten, mit der Veröffentlichung der eigenen Ideen und Illustrationen nicht zu geizig zu sein. Die Urheberschaft in der Wissenschaft wird eben am besten durch die Veröffentlichung geschützt. Wenn der Artikel oder Blog Post mit dem eigenen Namen einmal erschienen ist, ist es nicht mehr so einfach, sich diese Ideen unlauter anzueignen, und man kann dadurch leicht verhindern, einer der vielen Grauzonen des wissenschaftlichen Fehlverhaltens zum Opfer zu fallen.

Literatur

List, Johann-Mattis and Christoph Rzymski and Greenhill, Simon J. and Schweikhard, Nathanael E. and Kristina Pianykh and Annika Tjuka and Carolin Hundt and Robert Forkel (2021): Concepticon. A resource for the linking of concept lists. Version 2.5.0. Jena:Max Planck Institute for the Science of Human History.

Rzymski, Christoph and Tiago Tresoldi and Simon Greenhill and Mei-Shin Wu and Nathanael E. Schweikhard and Maria Koptjevskaja-Tamm and Volker Gast and Timotheus A. Bodt and Abbie Hantgan and Gereon A. Kaiping and Sophie Chang and Yunfan Lai and Natalia Morozova and Heini Arjava and Nataliia Hübler and Ezequiel Koile and Steve Pepper and Mariann Proos and Briana Van Epps and Ingrid Blanco and Carolin Hundt and Sergei Monakhov and Kristina Pianykh and Sallona Ramesh and Russell D. Gray and Robert Forkel and List, Johann-Mattis (2020): The Database of Cross-Linguistic Colexifications, reproducible analysis of cross- linguistic polysemies. Scientific Data 7.13. 1-12.

Sie können diesen Artikel zitieren als: Johann-Mattis List, "Über Schattierungen wissenschaftlichen Fehlverhaltens," in Von Wörtern und Bäumen, 13/06/2022, https://wub.hypotheses.org/1539.

Vom Publizieren und Diskutieren in der Wissenschaft

Wer sich wagt, eine Reise in das Land der Wissenschaft zu unternehmen, zum Beispiel durch das Verfassen einer Dissertation, wird schnell merken, wie wichtig es ist, Artikel in einem “Journal” zu publizieren. Auch wenn es heute in den Geisteswissenschaften nach wie vor üblich ist, Beiträge zu Sammelbänden zu verfassen, die meist Ewigkeiten brauchen, bis sie endlich in Print erscheinen und dann von kaum jemandem gelesen werden, so nimmt der Druck, in Journals zu publizieren dort auch stetig zu, obwohl Journals häufig genauso wenig gelesen werden, wie Sammelbände.

Unter einem Journal versteht man dabei jedoch nicht irgendeine Zeitschrift, sondern eine Zeitschrift, die idealerweise bestimmte Eigenschaften mitbringen muss. Sie sollte ein Peer-Review-Verfahren aufweisen, also nicht einfach blind veröffentlichen, was ihr gesendet wird. Sie sollte ein bestimmtes Renommée haben, damit sie auch von Kolleginnen und Kollegen im eigenen Forschungsfeld gelesen wird, und sie sollte idealerwiese “indiziert” sein, was heißt, dass sie auf spezifischen Indices auftaucht, die Daten zu wissenschaftlichen Arbeiten sammeln und diesen auf diese weise ihren — selbstverständlich recht fragwürdigen — Qualitätsstempel aufdrücken.

Ein Index ist also so etwas wie die Forbes-Liste für Wissenschaftler, wobei es verschiedene gibt, die unterschiedlich rigide in ihrer Sammlung sind. GoogleScholar, zum Beispiel listet fast alles, was irgendwo online steht. Scopus hat eine Liste erlesener Journals, und die Journals selbst reißen sich darum, in Scopus aufgenommen werden, und PubMed richtet sich vor allem an biomedizinische Literatur, wird aber auch zusehends von all denen gern gesehen, die eigentlich Geisteswissenschaften betreiben, sich aber gern damit schmücken, auch in einem naturwissenschaftlichen Index zu stehen.

Das Peer-Review-Verfahren wird immer hervorgehoben, wenn von Wissenschaft geredet wird, und als grundlegender Wesenszug der Wissenschaftlichkeit dargestellt. Dass dieses Verfahren weit weniger standardisiert ist, als es die Darstellungen in den Medien ahnen lassen, merkt man meist erst, wenn man selbst einige Male erlebt hat, wie so ein Peer-Review in der Praxis aussieht (vgl. List 2019). Da wird auf der einen Seite durch automatisierte Terroremails der Journals den Reviewern Druck gemacht, ihre Arbeiten so schnell wie möglich abzuliefern, während von Seite des Editoriats selten geprüft wird, ob ein Artikel überhaupt grundlegenden wissenschaftlichen Standards der offenen Forschung entspricht. Auf der anderen Seite missbrauchen manche Reviewer ihre Anonymität, um ihre Kritik in übelsten Tiraden vorzutragen, oder sie nehmen sich kaum die Mühe, einen Artikel ernsthaft von vorn bis hinten durchzulesen.

Wenn ein Artikel dann in einem Journal erschienen ist, und indiziert wurde, kann es tatsächlich sein, dass dies einem in der Karriere weiterhilft. Es gibt — und das ist vielleicht nicht verwunderlich — tatsächlich einen Unterschied, ob man im Journal Language publiziert, oder im Journal Languages, da ersteres die wohl bekannteste sprachwissenschaftliche Zeitschrift ist, während letzteres Teil eines Verlages ist, der durch massives Versenden automatisierter Emails aufgefallen ist, und ein Geschäftsmodell hat, das darauf beruht, möglichst viele Artikel zu veröffentlichen, weil die Autoren für jede Veröffentlichung selbst zahlen müssen (List 2021).

Da das Peer-Review-Verfahren jedoch auch sehr frustrierend sein kann, weil es eben auch dazu führen kann, dass bestimmte Beiträge zurückgewiesen werden, weil die Reviewer eben denken, dass sie nicht den Qualitätsansprüchen des Journals genügen, ist es verständlich, dass sich Menschen auch gern auf alternativen Wegen Gehör zu schaffen versuchen. Eine einfache Möglichkeit — derer ich mich auch selbst bediene — wäre dabei das wissenschaftliche Bloggen, denn was man in einen Blogpost schreibt, wird tatsächlich erst mal nicht sofort zurückgewiesen, sondern höchstens später von Kolleginnen oder Kollegen kritisiert. Außerdem kann man durch das wissenschaftliche Bloggen bestimmte Ideen zunächst testen und wenn sie sich nachher als interessant für Kolleginnen oder Kollegen erweisen, dann kann man sie eventuell in einem Artikel zusammenfassen und den regulär bei einer Zeitschrift einreichen.

Eine andere Möglichkeit ist es, Artikel, die nicht begutachtet wurden, einfach ins Internet zu stellen. Man könnte dafür seine eigene Homepage verwenden, aber private Webseiten meist eher von Maschinen als von Menschen gelesen werden, ist das keine gute Möglichkeit, um mit anderen Menschen über die eigene Forschungs ins Gespräch zu kommen. Als Alternative bieten sich daher Portale — oder vielmehr “soziale Netzwerke für die Wissenschaft” — an, wie die proprietären Portale Academia oder ResearchGate, oder das freie Portal Humanities Commons. Hier kann man Artikel online stellen, ohne dass diese gelöscht werden, weil jemand sie für nicht wissenschaftlich genug hält, und bei Academia kann man Artikel sogar von Kollegen in kleineren Gruppen offen kommentieren lassen.

In den Geisteswissenschaften erfreut sich vor allem Academia einer sehr großen Beliebtheit. Worin die Gründe liegen ist mir nicht ganz klar, aber ich denke, dass ein Grund darin liegt, dass Academia den Menschen viel Freiheit lässt, ihre Manuskripte jeder Art zu teilen, während ResearchGate sich ein bisschen elitärer gibt und Impactpunkte für Artikel vergibt, die in besonders prestigeträchtigen Zeitschriften erschienen sind. Darüber hinaus habe ich selbst erlebt, wie starke und interessante Dynamiken die Diskussionsfunktion in Academia entfalten kann. Es gab schon Artikel, wie unseren Diskussionsbeitrag zur Verwendung mathematischer Bäume in der historischen Sprachwissenschaft (Jacques und List 2019), an denen mehr als 100 Menschen eine Diskussion beobachtet und Dutzende darunter aktiv über Wochen daran teilgenommen haben.

Angesichts dieser vielen interessanten Diskussionen, die ich erlebt habe, ist es schade, dass Academia nicht gemeinnützig ist, sondern profitorientiert arbeitet. Denn diese Diskussionen haben nicht nur einen Wert insofern, als sie helfen können, Manuskripte zu verbessern, sondern auch deshalb, weil sie widerspiegeln, wie Wissenschaft aktiv betrieben wird. Sie sind aktive Zeugnisse wissenschaftlichen Diskurses. Deshalb ist es so schade, dass es nur unzureichende Exportfunktionen für die Diskussionen gibt. Die Diskussion wurde unabhängig von Academia aufwendig extrahiert und gespeichert und kann auf Academia selbst gefunden werden, aber das archivieren ist nur mit Hacks möglich, die für Menschen, die sich nicht gut mit Computern auskennen, schlicht und einfach unmöglich bleiben werden. Daher geht eine große Anzahl wirklich interessanter Diskussionen, die in der Forschung täglich auf Academia geführt werden, verloren.

Dass Academia am Ende auf Profit aus ist, wie auch ResearchGate und viele andere sozialen Netzwerke, zeigt sich vor allem an der aggressiven Art, mit der Werbung für Academia-Produkte betrieben wird. Sehr störend ist vor allem, dass Academia nun eine eigene Zeitschrift propagiert, die Academia Letters heißt und Menschen suggeriert, dass Artikel innerhalb kürzester Zeit begutachtet und dann auch ohne weitere Qualitätschecks online gestellt werden können, wobei man “nur” schlappe 400 Euro zahlen muss, damit diese auch online erscheinen. Ich habe nun schon mehrere Einladungen von Academia bekommen, Artikel für die Zeitschrift zu begutachten. Meist sind es aber gar gar keine wissenschaftlichen Studien, sondern entweder kleine Besinnungsaufsätze, in denen jemand etwas zusammenfasst, was man in viel besserer Qualität auf Wikipedia findet, oder es sind Aufsätze, die krude Verschwörungstheorien teilen (vlg. Rouard 2021, der indogermanische Sprachen aus dem “Trans-Eurasischen” ableitet). Ich habe mich immer geweigert, Reviews für Academia Letters zu schreiben. Während ich zu Beginn den Autorinnen und Autoren in meinem Review noch riet, ihre Artikel auf offenen Portalen wie Humanities Commons zu teilen, wo sie nicht dafür zahlen müssen und trotzdem Kommentare bekommen können, lehne ich automatisierte Einladungen zur Begutachtung inzwischen einfach nur noch ab, indem ich sie direkt lösche.

Denn das Problem von Academia Letters ist nicht nur, dass das Journal selbst so tief mit dem sozialen Netzwerk verwebt ist, dass man kaum eine Möglichkeit hat, Artikel zu finden, wenn man nicht Teil des Netzwerks ist, sondern auch, dass grundlegende Qualitätschecks, wie Replizierbarkeit, Transparenz, oder das Einhalten von Standards und Vorgaben nicht beachtet werden. Was zählt ist die schnelle Publikation, die Academia schnellen Profit bringt, und diese benötigt das schnelle Gutachten. Die Macher von Academia Letters würden nun vielleicht sagen, dass sie gerade die Nische für Artikel füllen, die sonst keine Zeitschrift finden, in der sie publiziert werden könnten. Dies stimmt jedoch schon lange nicht mehr, da es immer mehr Möglichkeiten gibt, auch kleine Ideen zu veröffentlichen, sei es mit, oder ohne Reviewverfahren. Daher finde ich es sehr bedenklich, dass nun dafür Menschen, die einen Account auf Academia haben, mit Emails bombardiert werden, um sie dazu zu überreden, die Artikel zu begutachten, die nachher im riesigen Academia-Kraken verschwinden, nicht mal nummeriert, getrennt vom sozialen Netzwerk aufgelistet werden, und darüber hinaus mit 400 Euro eine unverhältnismäßig hohe Gebühr verlangen.

Eine viel interessantere Idee der Veröffentlichung, die meinen grundlegenden Überzeugungen in Bezug auf offene Wissenschaft viel näher kommt, habe ich mit Open Research Europe entdeckt. Dabei handelt es sich um eine Zeitschrift, die vom Europäischen Forschungsrat herausgegeben wird. Die Idee ist es, dass alle Menschen, die vom Europäischen Forschungsrat gesponsort werden, mit dieser Zeitschrift die Möglichkeit haben, ihre Ergebnisse in der Form von einer Vielzahl von Artikelformaten zu teilen. Die Artikel sind selbst immer frei verfügbar und werden darüber hinaus offen begutachtet. Das heißt, dass alle, die Gutachten verfassen, dies mit ihrem Namen tun müssen. Das führt dazu, dass Gutachten sich viel weniger im Ton vergreifen, als wir das aus anonymen Begutachtungsverfahren kennen, was ich selbst sehr angenehm finde. Es führt auch dazu, dass viel konstruktiver mit Gutachten umgegangen wird, denn der gesamte Ablauf, von der Ersteinreichung, über die Gutachten und die Antworten auf die Gutachten, bis hin zur dann offiziell als “begutachtet” klassifizierten Version eines Artikels, ist transparent nachvollziehbar.

Open Research Europe steht nicht allem Menschen offen. Wer für die Zeitschrift etwas verfassen will, muss vom Europäischen Forschungsrat gefördert worden sein, zum Beispiel als Gewinner eines Grants, oder als Person, die in einem von einem Grant geförderten Projekt mitarbeitet. Das ist insofern konsequent, als die Zeitschrift die Forschungsergebnisse der von europäischen Projekten geförderten Menschen teilen möchte. Es ist auch eine Möglichkeit, um Qualitätssicherung zu betreiben, da es unwahrscheinlich ist, dass öffentlich geförderte Projekte krude Inhalte verbreiten werden. Es ist darüber hinaus gut möglich, dass andere Fundingorganisationen nachziehen werden, indem sie ihre eigenen Zeitschriften etablieren, was sehr wünschenswert wäre, weil es dem teuren Markt an wissenschaftlichen Zeitschriften, kostengünstige, öffentlich geförderte Alternativen entgestenstellen würde. Außerdem fangen nun sogar die Universitäten vereinzelt an, ihre eigenen kleinen Online-Verlage zu gründen, die es ihren Forscherinnen und Forschern ermöglichen, ihre Arbeiten offiziell zu teilen.

Es hat mich verblüfft, dass trotz der hohen Publikationskosten, dennoch ziemlich viele Artikel in Academia Letters publiziert wurden (dies kann man leicht auf Scilit prüfen). Ich weiß dabei leider nicht, ob schon immer Kosten anfielen, oder ob das “Publizieren” zu Beginn umsonst war (Linacre 2021 berichtete schon im letzten Jahr davon, dass die Veröffentlichung nicht kostenlos ist). Ich denke, dass inzwischen viele Wissenschaftsbegeisterte eine leider sehr starke Bindung zu Academia entwickelt haben, und sich ein Forschungsleben ohne den dort möglichen Austausch schlecht vorstellen können. Dies zeigt sich beim Konkurrenzportal ResearchGate zum Beispiel auch in der Vielzahl an Anfragen, die ich von Kolleginnen und Kollegen bekomme, die mich — durch eine automatisierte Funktion unterstützt — bitten, ihnen eine PDF-Ausgabe meiner Artikel zu senden, obwohl eine kurze Suche im Web, eigentlich immer zeigen sollte, dass diese Artikel bereits frei verfügbar sind, nur eben nicht innerhalb des ResearchGate-Portals, weil ich mich weigere, meine Artikel dort hochzuladen, und stattdessen nun lediglich einseitige PDF-Dokumente als “Originalpaper” ausgebe, auf denen ein Link zur frei verfügbaren Originalpublikation geteilt wird. Es scheint, dass viele Menschen zu vergessen beginnen, dass es eine Möglichkeit gibt, sein Wissen und seine Artikelkollektionen außerhalb von ResearchGate oder Academia zu organisieren.

Dies ist sehr bedauerlich, da freie Portale wie Humanities Commons zeigen, dass es sehr wohl möglich ist, ähnliche Services und Alternativen zu den profitorientierten Portalen von Academia und ResearchGate zu bieten. Wichtig wäre es meiner Meinung nach, dass die Forschungsförderung freie Alternativen zu privatbetriebenen sozialen Netzwerken in der Wissenschaft viel aktiver fördert. Wie der Erfolg von öffentlichen Online-Archiven wie Zenodo, die die Langzeitarchivierung von Daten garantieren und inzwischen fast zum Standard in der Wissenschaft geworden sind, zeigt, gibt es durchaus die Möglichkeit, Alternativen zu proprietären Betreibern aufzubauen. Wir brauchen diese Alternativen auch in Bezug auf soziale Netzwerke für die Wissenschaft, und wahrscheinlich auch in Bezug auf soziale Netzwerke im Allgemeinen.

Literatur

Jacques, Guillaume and List, Johann-Mattis (2019): Save the trees: Why we need tree models in linguistic reconstruction (and when we should apply them). Journal of Historical Linguistics 9.1. 128-166.

David Linacre (2021): New kid on the block. The Source . https://blog.cabells.com/2021/10/13/new-kid-on-the-block2/.

List, Johann-Mattis (2019): Wer begutachtet eigentlich die Gutachter? [Who reviews the reviewers in the end?]. Von Wörtern und Bäumen 3.11. https://wub.hypotheses.org/940.

List, Johann-Mattis (2021): Von Beutegreiferverlagen und Papierfabriken [Of Predatary Publishers and Paper Mills]. Von Wörtern und Bäumen 5.6. https://wub.hypotheses.org/1312.

Xavier Rouard (2021): Did Indo-European Languages Stem From a Trans-Eurasian Original Language. Academia Letters . 1-13. https://doi.org/10.20935/al1645.

Sie können diesen Artikel zitieren als: Johann-Mattis List, "Vom Publizieren und Diskutieren in der Wissenschaft," in Von Wörtern und Bäumen, 10/05/2022, https://wub.hypotheses.org/1521.

Im Dschungel der Evidenz

Während seit Pandemiebeginn stark über die Rolle, welche Forschung in unserem Leben spielen sollte, diskutiert wurde, wurde leider sehr wenig darauf eingegangen, wie man sich im Dschungel der Fakten zurecht finden kann. Bei den Unmengen an Forschungsergebnissen, die täglich zu verschiedensten Themen produziert werden, ist es nicht nur für Laien unmöglich, den Überblick zu behalten und dann auch noch die guten von den schlechten Ergebnissen in Aschenputtelmanier zu trennen. Das Schema F zur Evaluierung wissenschafticher Forschungsergebnisse, welches in den meisten Medien oft mit großer Erfurcht erwähnt wird, ist das Peer-Review-Verfahren. Wenn ein Artikel in einer Zeitschrift erschienen ist, die ein solches Peer-Review-Verfahren anwendet, dann — so die gängige Erklärung — könnten die Ergebnisse als gesichert angesehen werden, weil die wissenschaftliche Community sie streng geprüft und als gut befunden habe.

Wie so ein Peer-Review-Verfahren am Ende aussieht, dass scheint Journalistinnen und Journalisten dann meist weniger zu interessieren, was schade ist, da die Qualität des Peer-Review-Verfahrens selbst ja nicht weiter überprüft wird. Weder bekommen Gutachterinnen und Gutachter Feedback, ob ihre Kommentare zu Artikeln hilfreich waren, noch gibt es formale Richtlinien, die sicherstellen, wie viel Arbeit eine Gutachterin oder ein Gutachter am Ende in ihr Gutachten stecken sollten, um die Güte der Ergebnisse sicherzustellen. In den meisten Fällen werden Gutachten ja nach wie vor unter Verschluss gehalten. Das heißt dann auch, dass meist nur die Menschen, die selbst Forschungserfahrung haben, einen Eindruck dessen haben, wie so ein Peer-Review-Verfahren am Ende konkret abläuft oder ablaufen kann.

Zum Glück ändert sich die Situation mit den Peer-Review-Verfahren inzwischen, auch wenn das bisher kaum vom Wissenschaftsjournalismus kommentiert oder auch aktiv genutzt wurde. Mehr und mehr Zeitschriften haben inzwischen angefangen, die Gutachten zu wissenschaftlichen Artikeln mit den Artikeln selbst zu veröffentlichen. Manche Zeitschriften, wie die von der EU geförderte Zeitschrift Open Research Europe sind sogar dazu übergegangen, das gesamte Begutachtungsverfahren offen zu halten. Dies heißt dann konkret, dass man — wie wir das vor Kurzem in einer Studie zur Entdeckung von Entlehnungen (List und Forkel 2021) getan haben — erst einen Artikel einreicht und dann vorschlägt, welche Kolleginnen oder Kollegen diesen begutachten könnten. Wenn jemand dann ein Gutachten schreibt, wird dieses mit dem Namen der Person veröffentlicht, und von Autorenseite kann dann auf die Gutachten reagiert und der Artikel revidiert werden. In anderen Fällen werden am Ende nur die Gutachten mit dem Artikel veröffentlicht, entweder anonym, oder — wenn die Person, die ein Gutachten verfasst hat, zustimmt, mit deren Namen.

Die Information zum Begutachtungsverfahren offenzulegen ist eine entscheidende Forderung der Bewegung zur Offenen Wissenschaft, welche zusätzlich auch fordert, dass Daten und Code offengelegt werden, und Ergebnisse replizierbar sein müssen. Wenn Zeitschriften schon heute diese Daten zu den Gutachten liefern, ermöglichen sie es auch den Menschen, die nicht als Forscherinnen oder Forscher arbeiten, direkt nachzuvollziehen, wie gründlich eine Studie überprüft wurde.

Als Beispiel sei auf einen Artikel von Mongelli et al. (2021) verwiesen, auf den der Politiker Karl Lauterbach auf Twitter hinwies, wo er ihn als gesicherte Evidenz anführte, dass Menschen, die an Covid-19 erkrankt sind, schneller altern. Der Artikel wurde im MDPI-Journal International Journal of Molecular Sciences veröffentlicht. Der Herausgeber dieser Zeitschrift, MDPI (https://www.mdpi.com/), ist sehr umstritten. MDPI bietet Dutzende von Zeitschriften an, die Titel tragen wie “Languages”, “Cells”, oder “Insects”, die teilweise — vielleicht nur scheinbar zufällig — an die Titel renommierter Fachzeitschriften erinnern. Wer in MDPI-Zeitschriften veröffentlicht, muss relativ hohe Gebühren für Artikel bezahlen, die in reichen Ländern meist aus dem Forschungsetat abgedeckt werden. Um mehr Beiträge zu erhalten, die ja das Geschäftsmodell von MDPI ausmachen, bombardiert der Herausgeber Forscherinnen und Forscher mit automatisierten Emails, die diese auffordern, doch Spezialausgaben, sogenannte special issues, zu organisieren, um mehr Artikel veröffentlichen zu können. Da ich selbst diese Emails in vermehrter Zahl bekommen habe, lehne ich inzwischen jegliche Zusammenarbeit mit dem Herausgeber ab und erstelle auch keine Gutachten mehr für die linguistischen Zeitschriften von MDPI. Es muss aber betont werden, dass MDPI tatsächlich einige Themen abdeckt, für die bisher keine Fachzeitschriften zur Verfügung standen, weshalb es durchhaus Zeitschriften in MDPIs Portfolio gibt, die inzwischen ein relativ großes Renommee in der wissenschaftlichen Community genießen.

Ein lobenswerter Aspekt aller MDPI-Zeitschriften ist, dass die Gutachten online frei verfügbar gemacht werden. In dem Fall der Studie von Mongelli et al. kann man diese dann auch direkt finden, wenn man den Artikel über den Digital Object Identifier 10.3390/ijms22116151 abruft. Wer den Artikel aufruft, sieht zunächst die Editionsgeschichte, welche uns darauf hinweist, dass der Artikel am 13. Mai eingereicht wurde, und am 28. Mai revidiert wurde, um schließlich am 31. Mai angenommen und am 7. Juni veröffentlicht zu werden. Die Geschwindigkeit ist erstaunlich, da wir in der Linguistik zuweilen fast ein Jahr warten müssen, bis wir zuweilen sehr lange Gutachten erhalten und auf diese dann reagieren müssen. MDPI übt allerdings wie viele der Großherausgeber einen starken Druck auf Gutachterinnen und Gutachter aus, indem automatisierte Emails daran erinnern, dass man mit dem Gutachten wieder zwei Tage zu spät dran ist.

Wenn man sich die Reviews selbst ansieht, ist es allerdings weniger verwunderlich, warum das Ganze so schnell ging, da die zwei Gutachten, die zu dem Artikel geschrieben wurden, kaum eine Seite füllen. Die Gutachten bewerten die Statistik unter anderem als “überzeugend” (convincing), obwohl die Analysen selbst von den Autorinnen und Autoren nicht geteilt wurden. Stattdessen heißt es nur im Artikel, unter der Sektion Data Availability Statement, dass die Daten “upon reasonable request” erhältlich seien. Was genau sich hinter diesem “reasonable request” verbirgt, ist unklar und nicht im Einklang mit den Prinzipien Offener Wissenschaft.

Unklar ist auch, ob die Daten denn für die Gutachten zur Verfügung gestellt wurden. Bei der Geschwindigkeit, mit der diese ausgeführt wurden, ist davon auszugehen, dass dies nicht der Fall war. Wir haben es also mit einem flüchtig begutachteten Artikel zu tun, zu dem keine offenen Daten vorliegen, die es uns erlauben würden, die Ergebnisse genauer zu überprüfen oder zu wiederholen. Alles in allem ist diese Studie kein gutes Beispiel für ein gesichertes Forschungsergebnis, das durch das Peer-Review-Verfahren validiert wurde. Sie ist eher ein Beispiel dafür, was mit einem System passiert, in dem zugunsten der Quantität auf ein Sicherstellen der Qualität verzichtet wird.

Dies muss nicht mal heißen, dass die Studie falsch ist und Fehler aufweist, vielleicht ist ja alles richtig, was in der Studie, die übrigens selbst auf die Vorläufigkeit der Ergebnisse hinweist, dargelegt wird. Ich könnte die Studie mangels Fachwissens ohnehin nicht auf ihre tiefere Qualität überprüfen.  Die kurze Untersuchung der Gutachten und der Einhaltung von Prinzipien der Offenen Forschung, die ich exemplarisch durchgeführt habe, zeigt lediglich, dass wir die Studie in der Form, in der sie vorliegt, nicht auf ihre Qualität überprüfen können.

Das Problem, dass Peer-Review-Verfahren unter Zeitdruck und nicht besonders gründlich durchgeführt werden, begegnet uns nicht nur in den Lebens- und Naturwissenschaften. Auch in den Geisteswissenschaften haben wir das Problem, dass Gutachten selten das leisten können, was sie entsprechend der “Legende der wissenschaftlichen Methode”, wie Miedema (2021: 17) das volkstümliche und im Journalismus oft bemühte Bild von Wissenschaft als heroischer, nur dem Geist verpflichteter Disziplin beschreibt, eigentlich leisten müssten. Dabei spielt nicht nur die Zeit, die man für Gutachten aufwendet eine Rolle, oder die Gründlichkeit, mit der vorgegangen wird, was man als praktische Probleme abtun könnte, die man möglicherweise beheben könnte, sondern auch die Frage, inwiefern es überhaupt möglich ist, Forschungsergebnisse wirklich als gesichert zu klassifizieren.

Wenn ich selbst Gutachten schreibe, weise ich inzwischen oft darauf hin, dass ich nur bestimmte Aspekte einer Arbeit kommentieren kann, weil meine Expertise für die gesamte Arbeit oft einfach nicht ausreicht. Ich erwähne dann gegenüber den Personen im Editoriat meist auch immer explizit, dass ich ihnen rate, weitere Gutachten zu den anderen Bereichen einzuholen, vor allem, wenn mir diese begutachtenswert zu sein scheinen. Es gibt aber viele Fälle, in denen das Editoriat einer Zeitschrift große Probleme hat, überhaupt genügend Gutachterinnen oder Gutachter zu finden, die einen Artikel beurteilen könnten. Vor allem, wenn es um Spezialbereiche geht, die interdisziplinäres Wissen erfordern, oder um spekulative Interpretationen von Ergebnissen, die sich nicht einfach objektiv beurteilen lassen, haben es wissenschaftliche Zeitschriften durchgängig schwer, jemanden zu finden, der die Forschung am Ende auch ordentlich begutachten kann.

Ein Beispiel für diese Probleme ist ein kürzlich erschienener Artikel von Robbeets et al. (2021), in dem über den Ursprung der Altaischen Sprachen spekuliert wird, eine hypothetische Sprachfamilie, die Sprachen wie Türkisch, Mongolisch, Japanisch, Mandschurisch und Koreanisch in einer Superfamilie einschließt (Starostin et al. 2003) und in verschiedenen Formen schon im 19. Jahrhundert postuliert wurde, aber bis heute in der Forschung stark umstritten geblieben ist. Wenn man sich die Gutachten zu dem Artikel, welcher prominent in Nature veröffentlicht wurde, anschaut, fällt auf, dass die Gutachter fast ausschließlich aus der Archäologie kommen, und somit gar nicht in der Lage sind, die Daten aus der Linguistik und der Genetik, die im Artikel mit Daten aus der Archäologie verglichen und spekulativ interpretiert werden, angemessen zu beurteilen, wie Lai (2021) schön herausgestellt hat.

Man könnte es dem Editoriat von Nature vorwerfen, erst gar keine Menschen, welche vor allem die linguistischen Daten und Analysen kritisch bewerten könnten, zur Begutachtung eingeladen zu haben. Das Problem liegt bei den Altaischen Sprachen aber weitaus tiefer, da die Linguistik in Bezug auf dieses Thema so polarisiert ist, dass sich Befürworter und Gegner der Altaischen Hypothese seit Jahrzehnten unangenehmste wissenschaftliche Grabenkämpfe liefern, denen es schon lange an Sachlichkeit entbehrt. Eine neutrale linguistische Begutachtung der Arbeit von Robbeets et al. ist daher — zumindest im Moment — leider gar nicht möglich, da alle Personen, die für Gutachten in Frage kämen, in gewisser Weise befangen sind, weil sie entweder mit dem Team der Studie zusammenarbeiten, oder gegen sie agieren.

Natürlich müsste von Seiten der Wissenschaft noch eine ganze Menge getan werden, um die Güte des Peer-Review-Verfahrens zu erhöhen. Das Veröffentlichen von Gutachten und die Forderung, der Offenen Wissenschaft durch das Teilen von Daten, Code, und Analyseergebnissen Rechnung zu tragen, sind ein erster Schritt, dem in Natur- wie Geisteswissenschaften leider nur langsam gefolgt wird. Aber auch von journalistischer Seite würde ich mir ein bisschen mehr Zurückhaltung wünschen, was das Anpreisen von Forschungsergebnissen angeht. Nur weil ein Artikel in einer prominenten Zeitschrift erscheint, heißt das noch lange nicht, dass die Erkenntnisse sich auch als gültig erweisen werden. Wissenschaftsjournalistinnen und -journalisten sollten sich bei der Beurteilung von Forschungsergebnissen nicht primär auf das vermeintliche Renommee der Zeitschriften verlassen, sondern — wo möglich — auch die Zeit investieren, das Begutachtungsverfahren zu verfolgen und zu prüfen, inwiefern eine Studie offen im Sinne der Offenen Wissenschaft ist.

Literatur

Lai, Yunfan (2021): Checking the reviews of Robbeets et al. (2021) (”Transeurasian languages” originated in Northeast China) 看看Robbeets et al (2021)(“泛欧亚语系”起源于中国东北的文章)的审稿意见 [Kànkàn Robbeets et al (2021)(“Fàn ōuyǎ yǔxì” qǐyuán yú zhōngguó dōngběi de wénzhāng) de shěngǎo yìjiàn]. Zhihu. https://zhuanlan.zhihu.com/p/433698910

List, Johann-Mattis and Forkel, Robert (2021): Automated identification of borrowings in multilingual wordlists [version 2; peer review: 4 approved]. Open Research Europe 1.79. 1-11. https://doi.org/10.12688/openreseurope.13843.2

Frank Miedema (2021): Open Science: the Very Idea. Utrecht: Springer.

Alessia Mongelli and Veronica Barbi and Michela Gottardi Zamperla and Sandra Atlante and Luana Forleo and Marialisa Nesta and Massimo Massetti and Alfredo Pontecorvi and Simona Nanni and Antonella Farsetti and Oronzo Catalano and Maurizio Bussotti and Laura Adelaide Dalla Vecchia and Tiziana Bachetti and Fabio Martelli and Maria Teresa La Rovere and Carlo Gaetano (2021): Evidence for biological age acceleration and telomere shortening in COVID-19 Survivors. International Journal of Molecular Sciences 22.11. 6151. https://doi.org/10.3390/ijms22116151

Martine Robbeets and Remco Bouckaert and Matthew Conte and Alexander Savelyev and Tao Li and Deog-Im An and Ken-ichi Shinoda and Yinqiu Cui and Takamune Kawashima and Geonyoung Kim and Junzo Uchiyama and Joanna Doli\’nska and Sofia Oskolskaya and Ken-Y\=ojiro Yamano and Noriko Seguchi and Hirotaka Tomita and Hiroto Takamiya and Hideaki Kanzawa-Kiriyama and Hiroki Oota and Hajime Ishida and Ryosuke Kimura and Takehiro Sato and Jae-Hyun Kim and Bingcong Deng and Rasmus Bj\orn and Seongha Rhee and Kyou-Dong Ahn and Ilya Gruntov and Olga Mazo and John R. Bentley and Ricardo Fernandes and Patrick Roberts and Ilona R. Bausch and Linda Gilaizeau and Minoru Yoneda and Mitsugu Kugai and Raffaela A. Bianco and Fan Zhang and Marie Himmel and Mark J. Hudson and Chao Ning (2021): Triangulation supports agricultural spread of the Transeurasian languages. Nature 599.7886. 616-621.

Starostin, Sergei A. and Dybo, Anna and Mudrak, Oleg (2003): Etymological dictionary of the Altaic Languages. Leiden:Brill.

Sie können diesen Artikel zitieren als: Johann-Mattis List, "Im Dschungel der Evidenz," in Von Wörtern und Bäumen, 06/12/2021, https://wub.hypotheses.org/1379.