Archiv für den Monat: November 2019

Wer begutachtet eigentlich die Gutachter?

Das erste Gutachten für einen wissenschaftlichen Artikel, das ich schrieb, war schlecht. Ich fand den Artikel banal, ich ärgerte mich, dass die Autoren die Daten nicht teilen wollten, und ich empfand den Artikel generell als schlecht geschrieben. Das wollte ich die Autoren natürlich spüren lassen, weshalb ich sie erst dazu verdonnerte, den Artikel erneut einzureichen, und dann das gleiche Prozedere wiederholte, so dass am Ende die Herausgeberin eingreifen und den Artikel annehmen musste, ohne auf meine Empfehlung zu hören. Der Artikel ist inzwischen schon seit langer Zeit veröffentlicht, die Daten hat nach wie vor kein Mensch gesehen, so weit ich weiß, und ich habe keinen richtigen Überblick, wie viele Menschen den Artikel am Ende gelesen und von ihm profitiert haben.

Für mich war der Artikel damals schlecht, abgesehen von den Daten, die ich interessant fand, und um die ich die Autoren beneidete, weil ich damals immer auf der Suche nach Daten war, die ich für meine Dissertation hätte verwenden können. Wenn ich mich jetzt selbst frage, ob der Artikel es verdient hatte, veröffentlicht zu werden, so denke ich anders darüber als noch vor über zehn Jahren. Es werden so viele Artikel veröffentlicht, und es gibt so viele Möglichkeiten, einen Artikel irgendwo unterzubringen, dass es im Grunde genommen egal ist, ob ein Artikel nun in von einer Zeitschrift abgelehnt oder angenommen wird. Wie ich von Kolleginnen und Kollegen, die selbst als Herausgeber von Zeitschriften tätig sind, weiß, ist es für viele Zeitschriften in der Linguistik inzwischen ohnehin ein Problem, genug Artikel zu finden, die tatsächlich neue Impulse setzen.

Aus heutiger Perspektive habe ich mich als Gutachter falsch verhalten, weil ich mein Gutachten von meiner Wut über Unzulänglichkeiten habe schreiben lassen. Mit einem freundlicheren Review, das dennoch klar, und Unmissverständlich auf der Herausgabe der dem Artikel unterliegenden Daten beharrt, hätte ich eventuell viel mehr erreichen können, und selbst wenn nicht, so hätte ich den ganzen Begutachtungsprozess viel ruhiger durchgestanden.

Ich habe mein Begutachtungsverhalten über die Jahre stark verändert. Der Grund ist, dass ich mit zunehmendem wissenschaftlichen Alter auch immer häufiger gefragt werde, Artikel zu begutachten. Da kann man irgendwann nicht mehr jeden Artikel persönlich nehmen. Ich habe wunderschöne Artikel begutachten können, bei denen es einfach nur Spaß machte, denen, die die Artikel verfasst hatten, zu helfen, ihre Arbeit noch schöner zu gestalten. Ich habe Artikel begutachtet, die am Ende von der Herausgeberschaft angenommen wurden, obwohl keines der vorliegenden Gutachten dies empfahl, und ich habe zuweilen immer noch Situationen gehabt, wo ich mich einfach nur aufregte, dass etwas, was ich für vollkommen sinnlos hielt, am Ende doch als Artikel erschienen ist.

Ein Schlüsselerlebnis, das mich dazu brachte, mein Verhalten als Gutachter zu überdenken und neu zu gestalten, war ein meiner Ansicht nach grandios schlechter Artikel, der alle Forschung (auch meine eigene aus den letzten zehn Jahren) vollständig missachtete, und am Ende in sehr arroganter Form postulierte, dass die klassischen Methoden aus der historischen Linguistik mit Hilfe dieses neuen Verfahrens, komplett neu aufgerollt werden könnten. Mein Streit mit den Autorinnen oder Autoren ging am Ende so weit, dass ich entschied (auch nach Beratung mit Kollegen), aus dem Begutachtungsverfahren zurückzutreten und dem Herausgeber Alternativvorschläge von Personen zu machen, die an meiner Stelle Gutachten hätten liefern können. Der Artikel erschien dann ohne weitere Gutachten, und ich war wütend und enttäuscht.

Nach einigen Diskussionen mit erfahrenen Kollegen konnte ich mich am Ende dann endlich beruhigen und das Ganze gelassener sehen. Für das Problem, dass nach wie vor eine Vielzahl von Artikeln in der Linguistik, die ich betreibe, ohne jegliche Daten oder jeglichen Kode veröffentlicht werden, obwohl diese essentiell sind, um die neuen Erkenntnisse zu überprüfen, fand sich eine relativ einfache Lösung: Wenn man mich jetzt fragt, ob ich ein Gutachten verfassen kann, schaue ich mir zunächst den Artikel an, prüfe, ob Daten und Kode für die Ergebnisse wichtig sind, und weise die Herausgeberin oder den Herausgeber dann darauf hin, wenn Daten und Kode fehlen. Dabei verweise ich stets auf unsere Institutspolitik, die mich dazu verpflichtet, bei der Begutachtung auf Daten und Kode zu bestehen, oder die Begutachtung ansonsten abzulehnen. Diese Institutspolitik, die wir nie direkt formuliert, aber in Gesprächen in unserer Abteilung mit ausdrücklicher Unterstützung unseres Direktors explizit umrissen haben, hilft mir dabei sehr, nicht als kleinlich dazustehen, wenn ich ein Gutachten aufgrund fehlender Daten und Kode ablehne. Es wäre schön, wenn wir diese Praxis irgendwo explizit auf unserer Institutswebseite sichtbar machen könnten, oder am besten sogar auf Ebene der Max-Planck-Gesellschaft, aber mir fehlt die Zeit, dies wirklich voranzutreiben, weshalb es mir im Moment genügt, zu wissen, dass ich im Zweifelsfall die Unterstützung von Kolleginnen und Kollegen aus meiner Abteilung hätte.

Darüber hinaus wurde mir klar, dass es als Gutachter nicht meine Aufgabe ist, Artikel zu verhindern, weil sie meiner Ansicht nach zu schlecht sind. Schlechte Forschung wird immer ihren Weg finden, sei es, dass diejenigen, die eine Zeitschrift herausgeben, dringend einen Artikel suchen, oder dass es mitunter sogar eine indirekte Förderung von bestimmter Forschung durch die Herausgeberschaft gibt. Die Aufgabe eines Gutachters ist es, einen Artikel zu verbessern, wenn dies möglich scheint und ihn mitunter auch nicht zur Veröffentlichung zu empfehlen, wenn er einfach nicht den gängigen Standards entspricht. Aber Gutachter entscheiden nicht, ob ein Artikel nun am Ende in der Zeitschrift erscheint oder nicht, und sie sollten sich auch nicht aufregen, wenn dies trotzdem geschieht.

Sich nicht aufzuregen hilft zum einem demjenigen, der das Gutachten schreibt, weil es niemandem gut bekommt, sich zu sehr zu echauffieren. Andererseits ist es aber eben auch gut möglich, dass man selbst, als die Person, die ein Gutachten schreibt, die Qualität eines Artikels ungerecht als gering einstuft. Denn schließlich sind wir alle ja fehlbar, keiner kann sich darauf verlassen, immer richtig zu liegen, und wir müssen akzeptieren, dass auch Dinge veröffentlicht werden, die uns nicht gefallen.

Zum Glück steckt hinter den meisten Anfragen, die ich in Bezug auf Gutachten erhalte, interessante Forschung. Zuweilen kann ich nicht alles beurteilen, weshalb ich dann explizit darauf hinweise, und der Herausgeberschaft empfehle, doch eine weiter Meinung einzuholen, die beispielsweise die Statistik überprüft. Wenn es mir zuviel wird, und ich sehe, dass ich mich nur noch mit denen, die ich begutachte, streite, dann ziehe ich mich inzwischen zurück. Wenn es zu einem Punkt kommt, an dem ich nur noch wütend auf die zuweilen doch recht frechen Antworten der Verfasserinnen und Verfasser auf meine Kritik bin, dann ist es höchste Zeit, sich aus dem Verfahren zu verabschieden, und es anderen zu überlassen, den Artikel abzuwickeln oder zur Veröffentlichung zu bringen. In Bezug auf fehlende Daten bin ich konsequent, wobei es in diesem Jahr bereits drei Mal vorgekommen ist, dass die Herausgeber am Ende ihre Einladung, einen Artikel zu begutachten, zurückgezonen haben, da sie meinten, dass meine Forderungen, schon in der Begutachtungsphase zugriff auf Daten und Kode zu haben, überzogen seien.

Wenn man als Gutachter nach Daten fragt, ergeben sich mitunter interessante Situationen. Vor Kurzem habe ich ein Manuskript begutachtet, das keine Daten mitlieferte, nur Zahlen. Der Herausgeber war mit meiner Forderung einverstanden, die Daten eizufordern, doch in der Diskussion mit denen, die das Manuskript verfasst hatten, stellte sich dann am Ende heraus, dass diese die Daten manuell aus einem Buch ausgezählt hatten. Sie hatten also für die Erstellung des Korpus eine Art Strichliste auf Papier verfasst, in der jeweils gezählt wurde, wie häufig ein bestimmtes Phänomen auftritt. Was soll man in einem solchen Fall machen, wenn die Institutspolitik vorschreibt, keine Artikel zu begutachten, die nicht reproduzierbar sind? Nach einem Gespräch mit dem Herausgeber schlug ich am Ende vor, den Vorgang der Datensammlung, der natürlich in dieser Art extrem unglücklich ist, explizit im Manuskript zu benennen. Das Wichtige ist ja tatsächlich nicht, ob man eine Tabelle im LibreOffice-Format bekommt, sondern dass die Prozesse transparent sind. Den Prozess der Datenverarbeitung kann man dann natürlich im Gutachten immer noch kritisieren.

Was mich stört, wenn ich lese, wie in den populärwissenschaftlichen Medien mit der wissenschaftlichen Praxis umgegangen wird, ist, dass man oftmals das Gefühl hat, die Wissenschaft hätte ein lupenreines, wasserdichtes Verfahren entwickelt, um alle möglichen Fehler in der Forschung auszuschließen, und dieses Verfahren wäre das klassische Peer-Review-Verfahren (also der Begutachtungsprozess). Meiner Erfahrung als Wissenschaftler nach ist das Begutachtungsverfahren keinesfalls wasserdicht und fehlerfrei. Hinter jedem Gutachten sitzen immer Menschen, und diese Menschen sind nicht zwangsläufig getrieben von Objektivität, sondern oftmals auch von Zeitdruck, von Ungeduld, oder von Nachlässigkeit. Ich habe wunderbare Gutachten bekommen, die mich herausforderten, und halfen, meien Manuskripte enorm zu verbessern. Ich habe aber auch unqualifizierte Kommentare erhalten und Gehässigkeiten erlebt, die klar zeigten, dass es den Gutachtern eher darum ging, meine Arbeit zu diskreditieren, als sie tatsächlich zu begutachten.

Die Wissenschaft, die ich betreibe, ist bedeutungslos gegenüber den großen Fragen, die sich die Menschen jetzt stellen müssen. Zum Glück ist sie wenigstens harmlos, denn ich tue niemandem weh, wenn ich mich in meiner Forschung irre (was man von manchen ökonomischen Theorien in der Vergangenheit ja nicht unbedingt behaupten kann). Man könnte vermuten, dass diese Probleme, die ich selbst beim Begutachten in meiner täglichen Arbeit erlebe, nur daraus resultieren, dass ich Geisteswissenschaft betreibe. Aber ich denke, dass dies nicht zwangsläufig stimmt.

Fest steht sicherlich, dass es immer überzeugender ist, wenn sich eine Vielzahl von Menschen aus der Wissenschaft einig ist, wie wir das bei den Fragen des Klimawandels ja ohne Zweifel sehen können. Wenn ein Bereich der Wissenschaft nur von einer Handvoll Menschen betrieben wird, hat man Schwierigkeiten, von der kritischen Masse zu sprechen, die eine Theorie als plausibel oder unplausibel einstuft. Aber dass es wissenschaftliche Fakten gibt, die so sicher sind, dass sie sich nie als falsch erweisen könnten, oder dass unsere wissenschaftlichen Methoden so ausgereift sind, dass man sie nicht weiter verbessern müsste, daran kann ich nicht glauben, denn dies würde bedeuten, dass ich den Zweifel, der jegliche wissenschaftliche Erkenntnis begleiten sollte, verrate, und mich dem Dogmatismus hingebe.

Das Begutachtungsverfahren in der Wissenschaft weist auf jeden Fall eine beträchtliche Menge an Problem auf. Zum Glück gibt es genug Menschen in der Wissenschaft, die diese Problem aktiv anzugehen versuchen. Das Peer-Review-Verfahren wird inzwischen von einigen Zeitschriften veröffentlicht, um Transparenz sicherzustellen, wie ein Artikel am Ende begutachtet wurde. Dies hat den Vorteil, dass sich Gutachter in ihrer Kritik zurückhalten und aufhören, unmögliche Dinge zu fordern. Es hat den Nachteil, dass der Schutz derjenigen, die Gutachten verfassen, vor möglichen beruflichen Konsequenzen, nicht mehr gegeben ist wie beim anonymen Peer-Review-Verfahren.

Wenn man vom Problem des Schutzes, den die Anonymität den Gutachtern bietet, absieht, dann haben die öffentlichen Gutachten den großen Vorteil, dass sie es ermöglichen, die Gutachter selbst zu begutachten. Denn es ist leider nur allzu selten, dass wir wirkliches Feedback für die Gutachten erhalten, die wir verfassen. Normalerweise bekommt man ja nur eine automatische Antwort von der Zeitschrift, die sich bedankt, und das war es. Aber wenn wir die Wissenschaft voranbringen wollen, und dafür sorgen wollen, dass die wissenschaftliche Methode ihrem Namen gerecht wird, und stetig sucht, sich selbst zu verbessern, dann müssen wir anfangen, auch die Gutachter selbst zu begutachten.

Vor allem jungen Menschen würde es ungemein helfen, wenn sie sehen könnten, wie erfahrenere Kolleginnen und Kollegen Gutachten verfassen. Man müsste Gutachten ja nicht mal mit dem Namen der Begutachtenden veröffentlichen, es würde ja vielleicht einfach genügen, Gutachten zu einem Artikel anonym zu veröffentlichen. Alternativ, oder zusätzlich könnte man Zirkel bilden, in denen Wissenschaftler ihre anonymen Gutachten kritisch gegenseitig unter die Lupe nehmen. Auf jeden Fall denke ich, dass es mir viel geholfen hätte (und sogar jetzt noch helfen würde), wenn jemand die Gutachten, die ich verfasse, gegenlesen und kritisch begutachten würde. Wenn man weiß, dass jemand liest und gegebenenfalls kritisiert, was man schreibt, dann hält man sich mit Polemik zurück, achtet auf Stil, Konsistenz, und versucht, konstruktiv zu sein. Dass ein Gutachten prinzipiell keine Konsequenzen hat (oder zu haben scheint) birgt leider die Gefahr, zu Schludridgkeiten oder Gehässigkeiten einzuladen.