Schlagwort-Archive: Begutachtung

gatekeeper

Von türstehenden Gutachtern

3 Antworten

Ich habe vor Kurzem nach langer Zeit wieder ein mal ein außergewöhnlich negatives Gutachten verfasst und verlangt, einen Artikel zurückzuweisen, der in einer Zeitschrift eingereicht worden war. Der Artikel war tatsächlich überhaupt nicht gut, und auch wenn ich für mich nicht die absolute Objektivität beanspruchen kann, gehe ich doch davon aus, dass das 9 von 10 Kolleginen oder Kollegen genauso sehen werden wie ich, vielleicht sogar 99 von 100.

Trotzdem habe ich gezögert, ob ich dieses dann doch sehr harsche Urteil fällen sollte. Denn zu oft erlebe ich es, wie vor allem ältere oder wissenschaftliche etablierte Kolleginnen und Kollegen das Gutachten als ein Mittel nutzen, Ideen, die den eigenen zuwiderlaufen, den Zugang zu größerer Aufmerksamkeit zu verschließen, indem sie unliebsame Artikel als Gutachter direkt zurückweisen oder als Herausgeber diesen Artikeln bewusst ungnädige Gutachter zuweisen.

Viele dieser Erlebnisse spielen sich in vertraulichen Bereichen ab, über die man nicht direkt offen sprechen sollte, weshalb ich keine konkreten Beispiele geben will. In meiner Rolle als Mitherausgeber von Zeitschriften oder auch als Gutachter für eine Vielahl unterschiedlicher Zeitschriften erhalte ich ja direkte Einblicke in das, was Kollegen oder Kolleginnen als Gutachten verfassen, wobei ich dann auch Information über die ursprünglichen Verfasser der Arbeiten habe, die abgelehnt werden.

Die Erlebnisse, die mir dabei am meisten aufstoßen, sind solche, in denen grundlegend schlechte, zuweilen sogar richtig feindselige Gutachten verfasst werden, um Methoden oder Hypothesesen, die den Arbeiten der Gutachtenden zuwiderlaufen, von vornherein jegliche Chance zu nehmen, in der jeweiligen Zeitschrift zu erscheinen. Das kommt zwar nicht sehr oft vor, aber doch so oft, dass es für mich ein grundlegendes Ärgernis in Bezug auf die wissenschaftliche Begutachtungspraxis darstellt. Wissenschaftler missbrauchen ihre Herausgeber- oder Gutachterrolle, um sich aufzuführen wie Türsteher, die einen Club “sauber” halten wollen. Nur, wer die eigene, reine Lehre vertritt, wird auch hereingelassen. Dass so eine Haltung jeglichen Dialog unterdrückt, wird dabei selten abgestritten, sondern eher auf erschreckend banale Weise rationalisiert, indem den fraglichen Arbeiten jegliche Wissenschaftlichkeit abgesprochen wird.

Natürlich lässt sich darüber diskutieren, was wissenschaftlich ist und was nicht, oder was sauber recherchiert worden ist und was nicht. Natürlich gibt es Desinformation und Fake News und natürlich gibt es Arbeiten, die der guten wissenschaftlichen Praxis zuwiderlaufen. Nur geht es bei den Fragestellungen, welche die Türstehermentalität mancher Kollegen zutage treten lassen, am Ende fast nie um die Frage der wissenschaftlichen Qualität, sondern eigentlich fast immer darum, dass die Fragestellung an den Hypothesen der Kollegen selbst rüttelt und diese in Frage stellt. Da sich viele Vertreter der historischen Sprachwissenschaft auf eine geradezu persönliche Art mit ihren Hypothesen und Theorien identifizieren, nehmen sie Arbeiten, die es wagen, diese zu bezweifeln, oftmals als persönlichen Affront und setzen dann nicht selten alles daran, diese Arbeiten zu boykottieren.

Was dieses Verhalten begünstigt, ist das grobe Missverständnis, dass man Forschung auf einfachste Art in gut und schlecht einteilen kann. Diese Haltung ist mir vor allem in der historischen Sprachwissenschaft schon sehr häufig begegnet. Wenn man zum Beispiel ein bestimmtes etymologisches Wörterbuch erwähnt, auf das man sich stützt, kann es sehr gut vorkommen, dass man pikiert darauf hingewiesen wird, dass dieses eine bestimmte Buch ja voller Fehler sei und man sich daher auf nichts verlassen könne. Dass etymologische Wörterbücher dabei eigentlich fast immer aufeinander aufbauen (ein Großteil der Etymologien wird aus älteren Ausgaben übernommen) und Unterschiede nur in einem Bruchteil von Wörtern zu erwarten sind, wird dabei natürlich ignoriert. Die Tatsache, dass Autor X bei der Etymologie für das wort abc in der Sprache Y einen groben Fehler macht, reicht aus, das gesamte Werk als fehlerbehaftet zu ignorieren.

Was ich auch häufig erlebe, ist die Diskreditierung ganzer sprachwissenschaftlicher Schulen oder aller Arbeiten einer Einzelperson auf der Basis einzelner Untersuchungen, die diese durchführen. Wenn jemand darüber spekuliert, dass es eine Ursprache gegeben haben könnte, aus der Indogermanisch und Semitisch und einige andere große Sprachfamilien hervorgegangen sind — eine spekulative Theorie über eine uralte Sprachfamilie, die meist als Nostratisch bezeichnet wird (Starostin et al. 2016) — dann genügt das für viele in der vergleichenden Sprachwissenschaft bereits, um auch Arbeiten derselben Autoren zu diskreditieren, die sich auf die indogermanische Sprachfamilie beziehen, welche aber von der Forschung allgemein anerkannt wird (Meier-Bruegger 2002). Die Logik ist so klar wie falsch: Wer sich hinreißen lässt, über Sprachfamilien, die älter sind als das Indogermanische zu spekulieren, der hat seine wissenschaftliche Glaubwürdigkeit verspielt und verdient es daher auch nicht, in anderen Bereichen ernst genommen zu werden.

Es ist traurig, dass eine dermaßen lächerliche Argumention, die für einen Fehler alle Arbeiten einer Person oder eines Werkes bestraft, unsere Forschung in Teilen dominiert. Dass dies überhaupt passieren kann, liegt vor allem auch daran, dass die Türsteher selbst einen großen Forschungsfehler begehen, der der guten wissenschaftlichen Praxis komplett zuwiderläuft: Sie nehmen ihre Ergebnisse persönlich. Indem sie ihre vermeintlichen Erkenntnisse und deren vermeintliche wissenschaftliche Qualität durch die scheinbare Wahrheit ihrer Hypothesen und Theorien definieren, schaffen sie einen Raum, in dem Zweifel — die ja für die wissenschaftliche Forschung eine der wichtigsten Grundlagen darstellen — persönlich genommen werden. Es geht dann gar nicht mehr um das Erkenntnisinteresse an sich, sondern darum, individuelle Erkenntnisse als vermeintlich objektive Wahrheiten zu propagieren. Am Ende betreiben Menschen, die Forschung auf diese Art betreiben, nichts anderes als Propaganda für sich selbst und ihre Macht im wissenschaftlichen System.

Die Macht, die mir das wissenschaftliche System gibt, zu entscheiden, welche Forschung in einer Zeitschrift erscheint und welche nicht, beschäftigt mich schon eine ganze Weile. Je mehr Anfragen zu Gutachten ich bekomme (im letzten Jahr habe ich ganze 54 Gutachten für Zeitschriften, Konferenzen, Forschungsorganisationen und Universitäten verfasst), desto mehr denke ich darüber nach, wie ich verhindern kann, am Ende nicht selbst zum Türsteher der Forschungsrichtung zu werden, die ich selbst vertrete.

Da ich in meiner eigenen Forschung selbst kaum eigenen Hypothesen oder Theorien nachgehe, ist es mir in den meisten Fällen gleichgültig, welche Idee am Ende gewinnt. Dass große Erkenntnisunterschiede zwischen Nostratisch und Indogermanisch liegen, liegt auf der Hand und wird wohl von kaum jemandem bezweifelt. Ob sich Theorien zum Nostratischen aber später als plausibel erweisen oder nicht, das treibt meine Forschung nicht an. Daher sehe ich auch keinen Grund, gegenüber Vertretern oder Gegnern der Theorie eine persönliche Missgunst zu entwickeln oder zu pflegen.

Was mich hingegen tatsächlich antreibt, ist die Begeisterung für offene Forschung, vor allem vertreten durch offene Daten und transparenten, offenen Programmierkode. Wenn ich Artikel begutachte, schaue ich mir daher heute meist als erstes an, wo ich die Daten finden kann und wo den Kode. Wenn beide fehlen, schlage ich eine Revision vor, weil meine Kriterien guter wissenschaftlicher Praxis nicht erreicht werden. Die Revision ermöglicht dabei den Autorinnen und Autoren jedoch meist, innerhalb kurzer Zeit zu reagieren und Daten und Kode nachzureichen. Ich kommuniziere auch immer mit dem Editoriat der Zeitschriften und weise darauf hin, dass ich das Gutachten bei Vorliegen von Daten und Kode schreiben kann, ohne eine Revision zu fordern, und bemängele auch oft, dass das Fehlen von Daten und Kode nicht schon auf Ebene des Editoriats geprüft wurde. Wenn sich Autorinnen oder Autoren weigern, Daten oder Kode zu liefern, dann weigere ich mich inzwischen einfach, das Gutachten zu verfassen. Das kann natürlich oft dazu führen, dass die Artikel trotzdem ohne Daten und Kode veröffentlicht werden, diese Entscheidung sollte jedoch auf Ebene der Zeitschrift von der Herausgeberschaft geklärt werden, nicht durch negative Gutachten.

Studien wirklich ablehnen tue ich eigentlich nur noch aus zwei Gründen. Entweder sehe ich, dass ein Beitrag ganz klar nicht zu der Zeitschrift passt, wo er eingereicht wurde. In diesem Fall verbinde ich die Ablehnung immer mit der Empfehlung, sich eine andere Zeitschrift zu suchen, die den Beitrag besser würdigen kann. Der andere Grund sind Studien, die dem Forschungsstand so dermaßen weit hinterherhinken, dass eine Aufarbeitung einer neuen Arbeit gleichkäme. Wenn mir solche Studien begegnen und ich überzeugt bin, dass nicht nur ich so urteilen würde, sondern eine große Mehrheit an Kolleginnen und Kollegen in meinem Feld zu gleichen Schlüssen kommen würden, dann lehne ich derartige Studien auch ab und empfehle, noch mal von vorn anzufangen.

Das negative Gutachten, das ich verfasst habe, war genau so ein Fall gewesen. Der Artikel wies grobe Fehler in der Analyse auf, die auf fehlerhaften Methoden beruhten, die sich sehr leicht und direkt als solche identifizieren lassen, und ich bin mir sicher, dass auch die Autorinnen und Autoren dem zustimmen werden, wenn sie sich wirklich in den Forschungsstand eingelesen haben. Am Ende wurden in der Arbeit wiederholt erfundene Räder vorgestellt, die eine viereckige Form aufweisen. Es wurden also neue Methoden vorgestellt, die Probleme lösen, für die es schon Lösungen gibt, und gleichzeitig auf fehlerhaften Verfahren beruhen. Ich habe dem Editoriat in meinem Gutachten mitgeteilt, dass ich gerne bereit bin, den Verfassern konkrete Tips für eine neue Studie zu geben und dass sie ihnen dafür meinen Namen auch gerne mitteilen könnten. Da mein Gutachten in der Form, in der ich es verfasst hatte, vielleicht ein bisschen grob ausgefallen war, hatte ich dadurch gehofft, deutlich zu machen, dass ich in meiner Kritik nicht auf die Person abziele, sondern gerne weiterhelfen und mein Wissen um die Thematik teilen kann.

Ob mein Vorgehen allerdings richtig ist, ob es wissenschaftlich sauber ist, bei der Begutachtung auf Zurückweisungen von Studien so gut wie möglich zu verzichten, einen sehr speziellen Fokus auf bestimmte formale Prinzipien wie die offene Forschung zu legen, und die Interpretation von Ergebnissen weitestgehend den Gutachten oder Folgestudien anderer zu überlassen, das weiß ich leider selbst nicht. Was mich jedenfalls stört an der gängigen wissenschaftlichen Praxis, ist, dass diese Themen so selten wirklich offen diskutiert werden. Es erschüttert mich immer wieder, wenn ich sehe, wie manche Kolleginnen und Kollegen miteinander in Gutachten miteinander umgehen. Das schließt auch die Autorinnen und Autoren selbst mit ein, die nicht selten selbst einen aggressiven Ton anlegen, wenn sie auf die Gutachten antworten, und selten vom Editoriat zurecht gewiesen werden.

Zeitschriften gehen ja inzwischen vermehrt dazu über, den gesamten Publikationsverlauf, der von den ersten Gutachten über die Antworten auf diese Gutachten bis hin zur Publikation reicht, mitsamt der Studie selbst zu veröffentlichen. Dies schafft zwar die Transparenz, die ich mir wünschen würde (zumal sowohl anonyme, als auch offene Gutachten in dieser Form möglich sind), es fehlt uns aber in vielen Bereichen der Wissenschaft noch die Bereitschaft der Wissenschaft betreibenden selbst, diese Informationen auch tatsächlich aufzunehmen und in die Beurteilung von Studien miteinzubeziehen. Offene Gutachten sind schließlich nur sinnvoll, wenn sie am Ende auch von Menschen gelesen und in den kritischen Prozess des wissenschaftlichen Arbeitens einbezogen werden. Es gibt leider noch wahnsinnig viel zu tun, wenn wir die Wissenschaft in ihren methodologischen Prinzipien weiter voranbringen wollen.

Literatur

Meier-Brügger, Michael (2002): Indogermanische Sprachwissenschaft. Berlin and New York:de Gruyter.

Starostin, George S. and Zhivlov, M. and Alexei Kassian (2016): The “Nostratic” roots of Indo-European: from Illich-Svitychto Dolgopolsky to future horizons. Slovo a slovesnost 77.1. 292-415.

Im Dschungel der Evidenz

Schreibe eine Antwort

Während seit Pandemiebeginn stark über die Rolle, welche Forschung in unserem Leben spielen sollte, diskutiert wurde, wurde leider sehr wenig darauf eingegangen, wie man sich im Dschungel der Fakten zurecht finden kann. Bei den Unmengen an Forschungsergebnissen, die täglich zu verschiedensten Themen produziert werden, ist es nicht nur für Laien unmöglich, den Überblick zu behalten und dann auch noch die guten von den schlechten Ergebnissen in Aschenputtelmanier zu trennen. Das Schema F zur Evaluierung wissenschafticher Forschungsergebnisse, welches in den meisten Medien oft mit großer Erfurcht erwähnt wird, ist das Peer-Review-Verfahren. Wenn ein Artikel in einer Zeitschrift erschienen ist, die ein solches Peer-Review-Verfahren anwendet, dann — so die gängige Erklärung — könnten die Ergebnisse als gesichert angesehen werden, weil die wissenschaftliche Community sie streng geprüft und als gut befunden habe.

Wie so ein Peer-Review-Verfahren am Ende aussieht, dass scheint Journalistinnen und Journalisten dann meist weniger zu interessieren, was schade ist, da die Qualität des Peer-Review-Verfahrens selbst ja nicht weiter überprüft wird. Weder bekommen Gutachterinnen und Gutachter Feedback, ob ihre Kommentare zu Artikeln hilfreich waren, noch gibt es formale Richtlinien, die sicherstellen, wie viel Arbeit eine Gutachterin oder ein Gutachter am Ende in ihr Gutachten stecken sollten, um die Güte der Ergebnisse sicherzustellen. In den meisten Fällen werden Gutachten ja nach wie vor unter Verschluss gehalten. Das heißt dann auch, dass meist nur die Menschen, die selbst Forschungserfahrung haben, einen Eindruck dessen haben, wie so ein Peer-Review-Verfahren am Ende konkret abläuft oder ablaufen kann.

Zum Glück ändert sich die Situation mit den Peer-Review-Verfahren inzwischen, auch wenn das bisher kaum vom Wissenschaftsjournalismus kommentiert oder auch aktiv genutzt wurde. Mehr und mehr Zeitschriften haben inzwischen angefangen, die Gutachten zu wissenschaftlichen Artikeln mit den Artikeln selbst zu veröffentlichen. Manche Zeitschriften, wie die von der EU geförderte Zeitschrift Open Research Europe sind sogar dazu übergegangen, das gesamte Begutachtungsverfahren offen zu halten. Dies heißt dann konkret, dass man — wie wir das vor Kurzem in einer Studie zur Entdeckung von Entlehnungen (List und Forkel 2021) getan haben — erst einen Artikel einreicht und dann vorschlägt, welche Kolleginnen oder Kollegen diesen begutachten könnten. Wenn jemand dann ein Gutachten schreibt, wird dieses mit dem Namen der Person veröffentlicht, und von Autorenseite kann dann auf die Gutachten reagiert und der Artikel revidiert werden. In anderen Fällen werden am Ende nur die Gutachten mit dem Artikel veröffentlicht, entweder anonym, oder — wenn die Person, die ein Gutachten verfasst hat, zustimmt, mit deren Namen.

Die Information zum Begutachtungsverfahren offenzulegen ist eine entscheidende Forderung der Bewegung zur Offenen Wissenschaft, welche zusätzlich auch fordert, dass Daten und Code offengelegt werden, und Ergebnisse replizierbar sein müssen. Wenn Zeitschriften schon heute diese Daten zu den Gutachten liefern, ermöglichen sie es auch den Menschen, die nicht als Forscherinnen oder Forscher arbeiten, direkt nachzuvollziehen, wie gründlich eine Studie überprüft wurde.

Als Beispiel sei auf einen Artikel von Mongelli et al. (2021) verwiesen, auf den der Politiker Karl Lauterbach auf Twitter hinwies, wo er ihn als gesicherte Evidenz anführte, dass Menschen, die an Covid-19 erkrankt sind, schneller altern. Der Artikel wurde im MDPI-Journal International Journal of Molecular Sciences veröffentlicht. Der Herausgeber dieser Zeitschrift, MDPI (https://www.mdpi.com/), ist sehr umstritten. MDPI bietet Dutzende von Zeitschriften an, die Titel tragen wie “Languages”, “Cells”, oder “Insects”, die teilweise — vielleicht nur scheinbar zufällig — an die Titel renommierter Fachzeitschriften erinnern. Wer in MDPI-Zeitschriften veröffentlicht, muss relativ hohe Gebühren für Artikel bezahlen, die in reichen Ländern meist aus dem Forschungsetat abgedeckt werden. Um mehr Beiträge zu erhalten, die ja das Geschäftsmodell von MDPI ausmachen, bombardiert der Herausgeber Forscherinnen und Forscher mit automatisierten Emails, die diese auffordern, doch Spezialausgaben, sogenannte special issues, zu organisieren, um mehr Artikel veröffentlichen zu können. Da ich selbst diese Emails in vermehrter Zahl bekommen habe, lehne ich inzwischen jegliche Zusammenarbeit mit dem Herausgeber ab und erstelle auch keine Gutachten mehr für die linguistischen Zeitschriften von MDPI. Es muss aber betont werden, dass MDPI tatsächlich einige Themen abdeckt, für die bisher keine Fachzeitschriften zur Verfügung standen, weshalb es durchhaus Zeitschriften in MDPIs Portfolio gibt, die inzwischen ein relativ großes Renommee in der wissenschaftlichen Community genießen.

Ein lobenswerter Aspekt aller MDPI-Zeitschriften ist, dass die Gutachten online frei verfügbar gemacht werden. In dem Fall der Studie von Mongelli et al. kann man diese dann auch direkt finden, wenn man den Artikel über den Digital Object Identifier 10.3390/ijms22116151 abruft. Wer den Artikel aufruft, sieht zunächst die Editionsgeschichte, welche uns darauf hinweist, dass der Artikel am 13. Mai eingereicht wurde, und am 28. Mai revidiert wurde, um schließlich am 31. Mai angenommen und am 7. Juni veröffentlicht zu werden. Die Geschwindigkeit ist erstaunlich, da wir in der Linguistik zuweilen fast ein Jahr warten müssen, bis wir zuweilen sehr lange Gutachten erhalten und auf diese dann reagieren müssen. MDPI übt allerdings wie viele der Großherausgeber einen starken Druck auf Gutachterinnen und Gutachter aus, indem automatisierte Emails daran erinnern, dass man mit dem Gutachten wieder zwei Tage zu spät dran ist.

Wenn man sich die Reviews selbst ansieht, ist es allerdings weniger verwunderlich, warum das Ganze so schnell ging, da die zwei Gutachten, die zu dem Artikel geschrieben wurden, kaum eine Seite füllen. Die Gutachten bewerten die Statistik unter anderem als “überzeugend” (convincing), obwohl die Analysen selbst von den Autorinnen und Autoren nicht geteilt wurden. Stattdessen heißt es nur im Artikel, unter der Sektion Data Availability Statement, dass die Daten “upon reasonable request” erhältlich seien. Was genau sich hinter diesem “reasonable request” verbirgt, ist unklar und nicht im Einklang mit den Prinzipien Offener Wissenschaft.

Unklar ist auch, ob die Daten denn für die Gutachten zur Verfügung gestellt wurden. Bei der Geschwindigkeit, mit der diese ausgeführt wurden, ist davon auszugehen, dass dies nicht der Fall war. Wir haben es also mit einem flüchtig begutachteten Artikel zu tun, zu dem keine offenen Daten vorliegen, die es uns erlauben würden, die Ergebnisse genauer zu überprüfen oder zu wiederholen. Alles in allem ist diese Studie kein gutes Beispiel für ein gesichertes Forschungsergebnis, das durch das Peer-Review-Verfahren validiert wurde. Sie ist eher ein Beispiel dafür, was mit einem System passiert, in dem zugunsten der Quantität auf ein Sicherstellen der Qualität verzichtet wird.

Dies muss nicht mal heißen, dass die Studie falsch ist und Fehler aufweist, vielleicht ist ja alles richtig, was in der Studie, die übrigens selbst auf die Vorläufigkeit der Ergebnisse hinweist, dargelegt wird. Ich könnte die Studie mangels Fachwissens ohnehin nicht auf ihre tiefere Qualität überprüfen.  Die kurze Untersuchung der Gutachten und der Einhaltung von Prinzipien der Offenen Forschung, die ich exemplarisch durchgeführt habe, zeigt lediglich, dass wir die Studie in der Form, in der sie vorliegt, nicht auf ihre Qualität überprüfen können.

Das Problem, dass Peer-Review-Verfahren unter Zeitdruck und nicht besonders gründlich durchgeführt werden, begegnet uns nicht nur in den Lebens- und Naturwissenschaften. Auch in den Geisteswissenschaften haben wir das Problem, dass Gutachten selten das leisten können, was sie entsprechend der “Legende der wissenschaftlichen Methode”, wie Miedema (2021: 17) das volkstümliche und im Journalismus oft bemühte Bild von Wissenschaft als heroischer, nur dem Geist verpflichteter Disziplin beschreibt, eigentlich leisten müssten. Dabei spielt nicht nur die Zeit, die man für Gutachten aufwendet eine Rolle, oder die Gründlichkeit, mit der vorgegangen wird, was man als praktische Probleme abtun könnte, die man möglicherweise beheben könnte, sondern auch die Frage, inwiefern es überhaupt möglich ist, Forschungsergebnisse wirklich als gesichert zu klassifizieren.

Wenn ich selbst Gutachten schreibe, weise ich inzwischen oft darauf hin, dass ich nur bestimmte Aspekte einer Arbeit kommentieren kann, weil meine Expertise für die gesamte Arbeit oft einfach nicht ausreicht. Ich erwähne dann gegenüber den Personen im Editoriat meist auch immer explizit, dass ich ihnen rate, weitere Gutachten zu den anderen Bereichen einzuholen, vor allem, wenn mir diese begutachtenswert zu sein scheinen. Es gibt aber viele Fälle, in denen das Editoriat einer Zeitschrift große Probleme hat, überhaupt genügend Gutachterinnen oder Gutachter zu finden, die einen Artikel beurteilen könnten. Vor allem, wenn es um Spezialbereiche geht, die interdisziplinäres Wissen erfordern, oder um spekulative Interpretationen von Ergebnissen, die sich nicht einfach objektiv beurteilen lassen, haben es wissenschaftliche Zeitschriften durchgängig schwer, jemanden zu finden, der die Forschung am Ende auch ordentlich begutachten kann.

Ein Beispiel für diese Probleme ist ein kürzlich erschienener Artikel von Robbeets et al. (2021), in dem über den Ursprung der Altaischen Sprachen spekuliert wird, eine hypothetische Sprachfamilie, die Sprachen wie Türkisch, Mongolisch, Japanisch, Mandschurisch und Koreanisch in einer Superfamilie einschließt (Starostin et al. 2003) und in verschiedenen Formen schon im 19. Jahrhundert postuliert wurde, aber bis heute in der Forschung stark umstritten geblieben ist. Wenn man sich die Gutachten zu dem Artikel, welcher prominent in Nature veröffentlicht wurde, anschaut, fällt auf, dass die Gutachter fast ausschließlich aus der Archäologie kommen, und somit gar nicht in der Lage sind, die Daten aus der Linguistik und der Genetik, die im Artikel mit Daten aus der Archäologie verglichen und spekulativ interpretiert werden, angemessen zu beurteilen, wie Lai (2021) schön herausgestellt hat.

Man könnte es dem Editoriat von Nature vorwerfen, erst gar keine Menschen, welche vor allem die linguistischen Daten und Analysen kritisch bewerten könnten, zur Begutachtung eingeladen zu haben. Das Problem liegt bei den Altaischen Sprachen aber weitaus tiefer, da die Linguistik in Bezug auf dieses Thema so polarisiert ist, dass sich Befürworter und Gegner der Altaischen Hypothese seit Jahrzehnten unangenehmste wissenschaftliche Grabenkämpfe liefern, denen es schon lange an Sachlichkeit entbehrt. Eine neutrale linguistische Begutachtung der Arbeit von Robbeets et al. ist daher — zumindest im Moment — leider gar nicht möglich, da alle Personen, die für Gutachten in Frage kämen, in gewisser Weise befangen sind, weil sie entweder mit dem Team der Studie zusammenarbeiten, oder gegen sie agieren.

Natürlich müsste von Seiten der Wissenschaft noch eine ganze Menge getan werden, um die Güte des Peer-Review-Verfahrens zu erhöhen. Das Veröffentlichen von Gutachten und die Forderung, der Offenen Wissenschaft durch das Teilen von Daten, Code, und Analyseergebnissen Rechnung zu tragen, sind ein erster Schritt, dem in Natur- wie Geisteswissenschaften leider nur langsam gefolgt wird. Aber auch von journalistischer Seite würde ich mir ein bisschen mehr Zurückhaltung wünschen, was das Anpreisen von Forschungsergebnissen angeht. Nur weil ein Artikel in einer prominenten Zeitschrift erscheint, heißt das noch lange nicht, dass die Erkenntnisse sich auch als gültig erweisen werden. Wissenschaftsjournalistinnen und -journalisten sollten sich bei der Beurteilung von Forschungsergebnissen nicht primär auf das vermeintliche Renommee der Zeitschriften verlassen, sondern — wo möglich — auch die Zeit investieren, das Begutachtungsverfahren zu verfolgen und zu prüfen, inwiefern eine Studie offen im Sinne der Offenen Wissenschaft ist.

Literatur

Lai, Yunfan (2021): Checking the reviews of Robbeets et al. (2021) (”Transeurasian languages” originated in Northeast China) 看看Robbeets et al (2021)（“泛欧亚语系”起源于中国东北的文章）的审稿意见 [Kànkàn Robbeets et al (2021)(“Fàn ōuyǎ yǔxì” qǐyuán yú zhōngguó dōngběi de wénzhāng) de shěngǎo yìjiàn]. Zhihu. https://zhuanlan.zhihu.com/p/433698910

List, Johann-Mattis and Forkel, Robert (2021): Automated identification of borrowings in multilingual wordlists [version 2; peer review: 4 approved]. Open Research Europe 1.79. 1-11. https://doi.org/10.12688/openreseurope.13843.2

Frank Miedema (2021): Open Science: the Very Idea. Utrecht: Springer.

Alessia Mongelli and Veronica Barbi and Michela Gottardi Zamperla and Sandra Atlante and Luana Forleo and Marialisa Nesta and Massimo Massetti and Alfredo Pontecorvi and Simona Nanni and Antonella Farsetti and Oronzo Catalano and Maurizio Bussotti and Laura Adelaide Dalla Vecchia and Tiziana Bachetti and Fabio Martelli and Maria Teresa La Rovere and Carlo Gaetano (2021): Evidence for biological age acceleration and telomere shortening in COVID-19 Survivors. International Journal of Molecular Sciences 22.11. 6151. https://doi.org/10.3390/ijms22116151

Martine Robbeets and Remco Bouckaert and Matthew Conte and Alexander Savelyev and Tao Li and Deog-Im An and Ken-ichi Shinoda and Yinqiu Cui and Takamune Kawashima and Geonyoung Kim and Junzo Uchiyama and Joanna Doli\’nska and Sofia Oskolskaya and Ken-Y\=ojiro Yamano and Noriko Seguchi and Hirotaka Tomita and Hiroto Takamiya and Hideaki Kanzawa-Kiriyama and Hiroki Oota and Hajime Ishida and Ryosuke Kimura and Takehiro Sato and Jae-Hyun Kim and Bingcong Deng and Rasmus Bj\orn and Seongha Rhee and Kyou-Dong Ahn and Ilya Gruntov and Olga Mazo and John R. Bentley and Ricardo Fernandes and Patrick Roberts and Ilona R. Bausch and Linda Gilaizeau and Minoru Yoneda and Mitsugu Kugai and Raffaela A. Bianco and Fan Zhang and Marie Himmel and Mark J. Hudson and Chao Ning (2021): Triangulation supports agricultural spread of the Transeurasian languages. Nature 599.7886. 616-621.

Starostin, Sergei A. and Dybo, Anna and Mudrak, Oleg (2003): Etymological dictionary of the Altaic Languages. Leiden:Brill.

Wer begutachtet eigentlich die Gutachter?

Eine Antwort

Das erste Gutachten für einen wissenschaftlichen Artikel, das ich schrieb, war schlecht. Ich fand den Artikel banal, ich ärgerte mich, dass die Autoren die Daten nicht teilen wollten, und ich empfand den Artikel generell als schlecht geschrieben. Das wollte ich die Autoren natürlich spüren lassen, weshalb ich sie erst dazu verdonnerte, den Artikel erneut einzureichen, und dann das gleiche Prozedere wiederholte, so dass am Ende die Herausgeberin eingreifen und den Artikel annehmen musste, ohne auf meine Empfehlung zu hören. Der Artikel ist inzwischen schon seit langer Zeit veröffentlicht, die Daten hat nach wie vor kein Mensch gesehen, so weit ich weiß, und ich habe keinen richtigen Überblick, wie viele Menschen den Artikel am Ende gelesen und von ihm profitiert haben.

Für mich war der Artikel damals schlecht, abgesehen von den Daten, die ich interessant fand, und um die ich die Autoren beneidete, weil ich damals immer auf der Suche nach Daten war, die ich für meine Dissertation hätte verwenden können. Wenn ich mich jetzt selbst frage, ob der Artikel es verdient hatte, veröffentlicht zu werden, so denke ich anders darüber als noch vor über zehn Jahren. Es werden so viele Artikel veröffentlicht, und es gibt so viele Möglichkeiten, einen Artikel irgendwo unterzubringen, dass es im Grunde genommen egal ist, ob ein Artikel nun in von einer Zeitschrift abgelehnt oder angenommen wird. Wie ich von Kolleginnen und Kollegen, die selbst als Herausgeber von Zeitschriften tätig sind, weiß, ist es für viele Zeitschriften in der Linguistik inzwischen ohnehin ein Problem, genug Artikel zu finden, die tatsächlich neue Impulse setzen.

Aus heutiger Perspektive habe ich mich als Gutachter falsch verhalten, weil ich mein Gutachten von meiner Wut über Unzulänglichkeiten habe schreiben lassen. Mit einem freundlicheren Review, das dennoch klar, und Unmissverständlich auf der Herausgabe der dem Artikel unterliegenden Daten beharrt, hätte ich eventuell viel mehr erreichen können, und selbst wenn nicht, so hätte ich den ganzen Begutachtungsprozess viel ruhiger durchgestanden.

Ich habe mein Begutachtungsverhalten über die Jahre stark verändert. Der Grund ist, dass ich mit zunehmendem wissenschaftlichen Alter auch immer häufiger gefragt werde, Artikel zu begutachten. Da kann man irgendwann nicht mehr jeden Artikel persönlich nehmen. Ich habe wunderschöne Artikel begutachten können, bei denen es einfach nur Spaß machte, denen, die die Artikel verfasst hatten, zu helfen, ihre Arbeit noch schöner zu gestalten. Ich habe Artikel begutachtet, die am Ende von der Herausgeberschaft angenommen wurden, obwohl keines der vorliegenden Gutachten dies empfahl, und ich habe zuweilen immer noch Situationen gehabt, wo ich mich einfach nur aufregte, dass etwas, was ich für vollkommen sinnlos hielt, am Ende doch als Artikel erschienen ist.

Ein Schlüsselerlebnis, das mich dazu brachte, mein Verhalten als Gutachter zu überdenken und neu zu gestalten, war ein meiner Ansicht nach grandios schlechter Artikel, der alle Forschung (auch meine eigene aus den letzten zehn Jahren) vollständig missachtete, und am Ende in sehr arroganter Form postulierte, dass die klassischen Methoden aus der historischen Linguistik mit Hilfe dieses neuen Verfahrens, komplett neu aufgerollt werden könnten. Mein Streit mit den Autorinnen oder Autoren ging am Ende so weit, dass ich entschied (auch nach Beratung mit Kollegen), aus dem Begutachtungsverfahren zurückzutreten und dem Herausgeber Alternativvorschläge von Personen zu machen, die an meiner Stelle Gutachten hätten liefern können. Der Artikel erschien dann ohne weitere Gutachten, und ich war wütend und enttäuscht.

Nach einigen Diskussionen mit erfahrenen Kollegen konnte ich mich am Ende dann endlich beruhigen und das Ganze gelassener sehen. Für das Problem, dass nach wie vor eine Vielzahl von Artikeln in der Linguistik, die ich betreibe, ohne jegliche Daten oder jeglichen Kode veröffentlicht werden, obwohl diese essentiell sind, um die neuen Erkenntnisse zu überprüfen, fand sich eine relativ einfache Lösung: Wenn man mich jetzt fragt, ob ich ein Gutachten verfassen kann, schaue ich mir zunächst den Artikel an, prüfe, ob Daten und Kode für die Ergebnisse wichtig sind, und weise die Herausgeberin oder den Herausgeber dann darauf hin, wenn Daten und Kode fehlen. Dabei verweise ich stets auf unsere Institutspolitik, die mich dazu verpflichtet, bei der Begutachtung auf Daten und Kode zu bestehen, oder die Begutachtung ansonsten abzulehnen. Diese Institutspolitik, die wir nie direkt formuliert, aber in Gesprächen in unserer Abteilung mit ausdrücklicher Unterstützung unseres Direktors explizit umrissen haben, hilft mir dabei sehr, nicht als kleinlich dazustehen, wenn ich ein Gutachten aufgrund fehlender Daten und Kode ablehne. Es wäre schön, wenn wir diese Praxis irgendwo explizit auf unserer Institutswebseite sichtbar machen könnten, oder am besten sogar auf Ebene der Max-Planck-Gesellschaft, aber mir fehlt die Zeit, dies wirklich voranzutreiben, weshalb es mir im Moment genügt, zu wissen, dass ich im Zweifelsfall die Unterstützung von Kolleginnen und Kollegen aus meiner Abteilung hätte.

Darüber hinaus wurde mir klar, dass es als Gutachter nicht meine Aufgabe ist, Artikel zu verhindern, weil sie meiner Ansicht nach zu schlecht sind. Schlechte Forschung wird immer ihren Weg finden, sei es, dass diejenigen, die eine Zeitschrift herausgeben, dringend einen Artikel suchen, oder dass es mitunter sogar eine indirekte Förderung von bestimmter Forschung durch die Herausgeberschaft gibt. Die Aufgabe eines Gutachters ist es, einen Artikel zu verbessern, wenn dies möglich scheint und ihn mitunter auch nicht zur Veröffentlichung zu empfehlen, wenn er einfach nicht den gängigen Standards entspricht. Aber Gutachter entscheiden nicht, ob ein Artikel nun am Ende in der Zeitschrift erscheint oder nicht, und sie sollten sich auch nicht aufregen, wenn dies trotzdem geschieht.

Sich nicht aufzuregen hilft zum einem demjenigen, der das Gutachten schreibt, weil es niemandem gut bekommt, sich zu sehr zu echauffieren. Andererseits ist es aber eben auch gut möglich, dass man selbst, als die Person, die ein Gutachten schreibt, die Qualität eines Artikels ungerecht als gering einstuft. Denn schließlich sind wir alle ja fehlbar, keiner kann sich darauf verlassen, immer richtig zu liegen, und wir müssen akzeptieren, dass auch Dinge veröffentlicht werden, die uns nicht gefallen.

Zum Glück steckt hinter den meisten Anfragen, die ich in Bezug auf Gutachten erhalte, interessante Forschung. Zuweilen kann ich nicht alles beurteilen, weshalb ich dann explizit darauf hinweise, und der Herausgeberschaft empfehle, doch eine weiter Meinung einzuholen, die beispielsweise die Statistik überprüft. Wenn es mir zuviel wird, und ich sehe, dass ich mich nur noch mit denen, die ich begutachte, streite, dann ziehe ich mich inzwischen zurück. Wenn es zu einem Punkt kommt, an dem ich nur noch wütend auf die zuweilen doch recht frechen Antworten der Verfasserinnen und Verfasser auf meine Kritik bin, dann ist es höchste Zeit, sich aus dem Verfahren zu verabschieden, und es anderen zu überlassen, den Artikel abzuwickeln oder zur Veröffentlichung zu bringen. In Bezug auf fehlende Daten bin ich konsequent, wobei es in diesem Jahr bereits drei Mal vorgekommen ist, dass die Herausgeber am Ende ihre Einladung, einen Artikel zu begutachten, zurückgezonen haben, da sie meinten, dass meine Forderungen, schon in der Begutachtungsphase zugriff auf Daten und Kode zu haben, überzogen seien.

Wenn man als Gutachter nach Daten fragt, ergeben sich mitunter interessante Situationen. Vor Kurzem habe ich ein Manuskript begutachtet, das keine Daten mitlieferte, nur Zahlen. Der Herausgeber war mit meiner Forderung einverstanden, die Daten eizufordern, doch in der Diskussion mit denen, die das Manuskript verfasst hatten, stellte sich dann am Ende heraus, dass diese die Daten manuell aus einem Buch ausgezählt hatten. Sie hatten also für die Erstellung des Korpus eine Art Strichliste auf Papier verfasst, in der jeweils gezählt wurde, wie häufig ein bestimmtes Phänomen auftritt. Was soll man in einem solchen Fall machen, wenn die Institutspolitik vorschreibt, keine Artikel zu begutachten, die nicht reproduzierbar sind? Nach einem Gespräch mit dem Herausgeber schlug ich am Ende vor, den Vorgang der Datensammlung, der natürlich in dieser Art extrem unglücklich ist, explizit im Manuskript zu benennen. Das Wichtige ist ja tatsächlich nicht, ob man eine Tabelle im LibreOffice-Format bekommt, sondern dass die Prozesse transparent sind. Den Prozess der Datenverarbeitung kann man dann natürlich im Gutachten immer noch kritisieren.

Was mich stört, wenn ich lese, wie in den populärwissenschaftlichen Medien mit der wissenschaftlichen Praxis umgegangen wird, ist, dass man oftmals das Gefühl hat, die Wissenschaft hätte ein lupenreines, wasserdichtes Verfahren entwickelt, um alle möglichen Fehler in der Forschung auszuschließen, und dieses Verfahren wäre das klassische Peer-Review-Verfahren (also der Begutachtungsprozess). Meiner Erfahrung als Wissenschaftler nach ist das Begutachtungsverfahren keinesfalls wasserdicht und fehlerfrei. Hinter jedem Gutachten sitzen immer Menschen, und diese Menschen sind nicht zwangsläufig getrieben von Objektivität, sondern oftmals auch von Zeitdruck, von Ungeduld, oder von Nachlässigkeit. Ich habe wunderbare Gutachten bekommen, die mich herausforderten, und halfen, meien Manuskripte enorm zu verbessern. Ich habe aber auch unqualifizierte Kommentare erhalten und Gehässigkeiten erlebt, die klar zeigten, dass es den Gutachtern eher darum ging, meine Arbeit zu diskreditieren, als sie tatsächlich zu begutachten.

Die Wissenschaft, die ich betreibe, ist bedeutungslos gegenüber den großen Fragen, die sich die Menschen jetzt stellen müssen. Zum Glück ist sie wenigstens harmlos, denn ich tue niemandem weh, wenn ich mich in meiner Forschung irre (was man von manchen ökonomischen Theorien in der Vergangenheit ja nicht unbedingt behaupten kann). Man könnte vermuten, dass diese Probleme, die ich selbst beim Begutachten in meiner täglichen Arbeit erlebe, nur daraus resultieren, dass ich Geisteswissenschaft betreibe. Aber ich denke, dass dies nicht zwangsläufig stimmt.

Fest steht sicherlich, dass es immer überzeugender ist, wenn sich eine Vielzahl von Menschen aus der Wissenschaft einig ist, wie wir das bei den Fragen des Klimawandels ja ohne Zweifel sehen können. Wenn ein Bereich der Wissenschaft nur von einer Handvoll Menschen betrieben wird, hat man Schwierigkeiten, von der kritischen Masse zu sprechen, die eine Theorie als plausibel oder unplausibel einstuft. Aber dass es wissenschaftliche Fakten gibt, die so sicher sind, dass sie sich nie als falsch erweisen könnten, oder dass unsere wissenschaftlichen Methoden so ausgereift sind, dass man sie nicht weiter verbessern müsste, daran kann ich nicht glauben, denn dies würde bedeuten, dass ich den Zweifel, der jegliche wissenschaftliche Erkenntnis begleiten sollte, verrate, und mich dem Dogmatismus hingebe.

Das Begutachtungsverfahren in der Wissenschaft weist auf jeden Fall eine beträchtliche Menge an Problem auf. Zum Glück gibt es genug Menschen in der Wissenschaft, die diese Problem aktiv anzugehen versuchen. Das Peer-Review-Verfahren wird inzwischen von einigen Zeitschriften veröffentlicht, um Transparenz sicherzustellen, wie ein Artikel am Ende begutachtet wurde. Dies hat den Vorteil, dass sich Gutachter in ihrer Kritik zurückhalten und aufhören, unmögliche Dinge zu fordern. Es hat den Nachteil, dass der Schutz derjenigen, die Gutachten verfassen, vor möglichen beruflichen Konsequenzen, nicht mehr gegeben ist wie beim anonymen Peer-Review-Verfahren.

Wenn man vom Problem des Schutzes, den die Anonymität den Gutachtern bietet, absieht, dann haben die öffentlichen Gutachten den großen Vorteil, dass sie es ermöglichen, die Gutachter selbst zu begutachten. Denn es ist leider nur allzu selten, dass wir wirkliches Feedback für die Gutachten erhalten, die wir verfassen. Normalerweise bekommt man ja nur eine automatische Antwort von der Zeitschrift, die sich bedankt, und das war es. Aber wenn wir die Wissenschaft voranbringen wollen, und dafür sorgen wollen, dass die wissenschaftliche Methode ihrem Namen gerecht wird, und stetig sucht, sich selbst zu verbessern, dann müssen wir anfangen, auch die Gutachter selbst zu begutachten.

Vor allem jungen Menschen würde es ungemein helfen, wenn sie sehen könnten, wie erfahrenere Kolleginnen und Kollegen Gutachten verfassen. Man müsste Gutachten ja nicht mal mit dem Namen der Begutachtenden veröffentlichen, es würde ja vielleicht einfach genügen, Gutachten zu einem Artikel anonym zu veröffentlichen. Alternativ, oder zusätzlich könnte man Zirkel bilden, in denen Wissenschaftler ihre anonymen Gutachten kritisch gegenseitig unter die Lupe nehmen. Auf jeden Fall denke ich, dass es mir viel geholfen hätte (und sogar jetzt noch helfen würde), wenn jemand die Gutachten, die ich verfasse, gegenlesen und kritisch begutachten würde. Wenn man weiß, dass jemand liest und gegebenenfalls kritisiert, was man schreibt, dann hält man sich mit Polemik zurück, achtet auf Stil, Konsistenz, und versucht, konstruktiv zu sein. Dass ein Gutachten prinzipiell keine Konsequenzen hat (oder zu haben scheint) birgt leider die Gefahr, zu Schludridgkeiten oder Gehässigkeiten einzuladen.