Wer begutachtet eigentlich die Gutachter?

Das erste Gutachten für einen wissenschaftlichen Artikel, das ich schrieb, war schlecht. Ich fand den Artikel banal, ich ärgerte mich, dass die Autoren die Daten nicht teilen wollten, und ich empfand den Artikel generell als schlecht geschrieben. Das wollte ich die Autoren natürlich spüren lassen, weshalb ich sie erst dazu verdonnerte, den Artikel erneut einzureichen, und dann das gleiche Prozedere wiederholte, so dass am Ende die Herausgeberin eingreifen und den Artikel annehmen musste, ohne auf meine Empfehlung zu hören. Der Artikel ist inzwischen schon seit langer Zeit veröffentlicht, die Daten hat nach wie vor kein Mensch gesehen, so weit ich weiß, und ich habe keinen richtigen Überblick, wie viele Menschen den Artikel am Ende gelesen und von ihm profitiert haben.

Für mich war der Artikel damals schlecht, abgesehen von den Daten, die ich interessant fand, und um die ich die Autoren beneidete, weil ich damals immer auf der Suche nach Daten war, die ich für meine Dissertation hätte verwenden können. Wenn ich mich jetzt selbst frage, ob der Artikel es verdient hatte, veröffentlicht zu werden, so denke ich anders darüber als noch vor über zehn Jahren. Es werden so viele Artikel veröffentlicht, und es gibt so viele Möglichkeiten, einen Artikel irgendwo unterzubringen, dass es im Grunde genommen egal ist, ob ein Artikel nun in von einer Zeitschrift abgelehnt oder angenommen wird. Wie ich von Kolleginnen und Kollegen, die selbst als Herausgeber von Zeitschriften tätig sind, weiß, ist es für viele Zeitschriften in der Linguistik inzwischen ohnehin ein Problem, genug Artikel zu finden, die tatsächlich neue Impulse setzen.

Aus heutiger Perspektive habe ich mich als Gutachter falsch verhalten, weil ich mein Gutachten von meiner Wut über Unzulänglichkeiten habe schreiben lassen. Mit einem freundlicheren Review, das dennoch klar, und Unmissverständlich auf der Herausgabe der dem Artikel unterliegenden Daten beharrt, hätte ich eventuell viel mehr erreichen können, und selbst wenn nicht, so hätte ich den ganzen Begutachtungsprozess viel ruhiger durchgestanden.

Ich habe mein Begutachtungsverhalten über die Jahre stark verändert. Der Grund ist, dass ich mit zunehmendem wissenschaftlichen Alter auch immer häufiger gefragt werde, Artikel zu begutachten. Da kann man irgendwann nicht mehr jeden Artikel persönlich nehmen. Ich habe wunderschöne Artikel begutachten können, bei denen es einfach nur Spaß machte, denen, die die Artikel verfasst hatten, zu helfen, ihre Arbeit noch schöner zu gestalten. Ich habe Artikel begutachtet, die am Ende von der Herausgeberschaft angenommen wurden, obwohl keines der vorliegenden Gutachten dies empfahl, und ich habe zuweilen immer noch Situationen gehabt, wo ich mich einfach nur aufregte, dass etwas, was ich für vollkommen sinnlos hielt, am Ende doch als Artikel erschienen ist.

Ein Schlüsselerlebnis, das mich dazu brachte, mein Verhalten als Gutachter zu überdenken und neu zu gestalten, war ein meiner Ansicht nach grandios schlechter Artikel, der alle Forschung (auch meine eigene aus den letzten zehn Jahren) vollständig missachtete, und am Ende in sehr arroganter Form postulierte, dass die klassischen Methoden aus der historischen Linguistik mit Hilfe dieses neuen Verfahrens, komplett neu aufgerollt werden könnten. Mein Streit mit den Autorinnen oder Autoren ging am Ende so weit, dass ich entschied (auch nach Beratung mit Kollegen), aus dem Begutachtungsverfahren zurückzutreten und dem Herausgeber Alternativvorschläge von Personen zu machen, die an meiner Stelle Gutachten hätten liefern können. Der Artikel erschien dann ohne weitere Gutachten, und ich war wütend und enttäuscht.

Nach einigen Diskussionen mit erfahrenen Kollegen konnte ich mich am Ende dann endlich beruhigen und das Ganze gelassener sehen. Für das Problem, dass nach wie vor eine Vielzahl von Artikeln in der Linguistik, die ich betreibe, ohne jegliche Daten oder jeglichen Kode veröffentlicht werden, obwohl diese essentiell sind, um die neuen Erkenntnisse zu überprüfen, fand sich eine relativ einfache Lösung: Wenn man mich jetzt fragt, ob ich ein Gutachten verfassen kann, schaue ich mir zunächst den Artikel an, prüfe, ob Daten und Kode für die Ergebnisse wichtig sind, und weise die Herausgeberin oder den Herausgeber dann darauf hin, wenn Daten und Kode fehlen. Dabei verweise ich stets auf unsere Institutspolitik, die mich dazu verpflichtet, bei der Begutachtung auf Daten und Kode zu bestehen, oder die Begutachtung ansonsten abzulehnen. Diese Institutspolitik, die wir nie direkt formuliert, aber in Gesprächen in unserer Abteilung mit ausdrücklicher Unterstützung unseres Direktors explizit umrissen haben, hilft mir dabei sehr, nicht als kleinlich dazustehen, wenn ich ein Gutachten aufgrund fehlender Daten und Kode ablehne. Es wäre schön, wenn wir diese Praxis irgendwo explizit auf unserer Institutswebseite sichtbar machen könnten, oder am besten sogar auf Ebene der Max-Planck-Gesellschaft, aber mir fehlt die Zeit, dies wirklich voranzutreiben, weshalb es mir im Moment genügt, zu wissen, dass ich im Zweifelsfall die Unterstützung von Kolleginnen und Kollegen aus meiner Abteilung hätte.

Darüber hinaus wurde mir klar, dass es als Gutachter nicht meine Aufgabe ist, Artikel zu verhindern, weil sie meiner Ansicht nach zu schlecht sind. Schlechte Forschung wird immer ihren Weg finden, sei es, dass diejenigen, die eine Zeitschrift herausgeben, dringend einen Artikel suchen, oder dass es mitunter sogar eine indirekte Förderung von bestimmter Forschung durch die Herausgeberschaft gibt. Die Aufgabe eines Gutachters ist es, einen Artikel zu verbessern, wenn dies möglich scheint und ihn mitunter auch nicht zur Veröffentlichung zu empfehlen, wenn er einfach nicht den gängigen Standards entspricht. Aber Gutachter entscheiden nicht, ob ein Artikel nun am Ende in der Zeitschrift erscheint oder nicht, und sie sollten sich auch nicht aufregen, wenn dies trotzdem geschieht.

Sich nicht aufzuregen hilft zum einem demjenigen, der das Gutachten schreibt, weil es niemandem gut bekommt, sich zu sehr zu echauffieren. Andererseits ist es aber eben auch gut möglich, dass man selbst, als die Person, die ein Gutachten schreibt, die Qualität eines Artikels ungerecht als gering einstuft. Denn schließlich sind wir alle ja fehlbar, keiner kann sich darauf verlassen, immer richtig zu liegen, und wir müssen akzeptieren, dass auch Dinge veröffentlicht werden, die uns nicht gefallen.

Zum Glück steckt hinter den meisten Anfragen, die ich in Bezug auf Gutachten erhalte, interessante Forschung. Zuweilen kann ich nicht alles beurteilen, weshalb ich dann explizit darauf hinweise, und der Herausgeberschaft empfehle, doch eine weiter Meinung einzuholen, die beispielsweise die Statistik überprüft. Wenn es mir zuviel wird, und ich sehe, dass ich mich nur noch mit denen, die ich begutachte, streite, dann ziehe ich mich inzwischen zurück. Wenn es zu einem Punkt kommt, an dem ich nur noch wütend auf die zuweilen doch recht frechen Antworten der Verfasserinnen und Verfasser auf meine Kritik bin, dann ist es höchste Zeit, sich aus dem Verfahren zu verabschieden, und es anderen zu überlassen, den Artikel abzuwickeln oder zur Veröffentlichung zu bringen. In Bezug auf fehlende Daten bin ich konsequent, wobei es in diesem Jahr bereits drei Mal vorgekommen ist, dass die Herausgeber am Ende ihre Einladung, einen Artikel zu begutachten, zurückgezonen haben, da sie meinten, dass meine Forderungen, schon in der Begutachtungsphase zugriff auf Daten und Kode zu haben, überzogen seien.

Wenn man als Gutachter nach Daten fragt, ergeben sich mitunter interessante Situationen. Vor Kurzem habe ich ein Manuskript begutachtet, das keine Daten mitlieferte, nur Zahlen. Der Herausgeber war mit meiner Forderung einverstanden, die Daten eizufordern, doch in der Diskussion mit denen, die das Manuskript verfasst hatten, stellte sich dann am Ende heraus, dass diese die Daten manuell aus einem Buch ausgezählt hatten. Sie hatten also für die Erstellung des Korpus eine Art Strichliste auf Papier verfasst, in der jeweils gezählt wurde, wie häufig ein bestimmtes Phänomen auftritt. Was soll man in einem solchen Fall machen, wenn die Institutspolitik vorschreibt, keine Artikel zu begutachten, die nicht reproduzierbar sind? Nach einem Gespräch mit dem Herausgeber schlug ich am Ende vor, den Vorgang der Datensammlung, der natürlich in dieser Art extrem unglücklich ist, explizit im Manuskript zu benennen. Das Wichtige ist ja tatsächlich nicht, ob man eine Tabelle im LibreOffice-Format bekommt, sondern dass die Prozesse transparent sind. Den Prozess der Datenverarbeitung kann man dann natürlich im Gutachten immer noch kritisieren.

Was mich stört, wenn ich lese, wie in den populärwissenschaftlichen Medien mit der wissenschaftlichen Praxis umgegangen wird, ist, dass man oftmals das Gefühl hat, die Wissenschaft hätte ein lupenreines, wasserdichtes Verfahren entwickelt, um alle möglichen Fehler in der Forschung auszuschließen, und dieses Verfahren wäre das klassische Peer-Review-Verfahren (also der Begutachtungsprozess). Meiner Erfahrung als Wissenschaftler nach ist das Begutachtungsverfahren keinesfalls wasserdicht und fehlerfrei. Hinter jedem Gutachten sitzen immer Menschen, und diese Menschen sind nicht zwangsläufig getrieben von Objektivität, sondern oftmals auch von Zeitdruck, von Ungeduld, oder von Nachlässigkeit. Ich habe wunderbare Gutachten bekommen, die mich herausforderten, und halfen, meien Manuskripte enorm zu verbessern. Ich habe aber auch unqualifizierte Kommentare erhalten und Gehässigkeiten erlebt, die klar zeigten, dass es den Gutachtern eher darum ging, meine Arbeit zu diskreditieren, als sie tatsächlich zu begutachten.

Die Wissenschaft, die ich betreibe, ist bedeutungslos gegenüber den großen Fragen, die sich die Menschen jetzt stellen müssen. Zum Glück ist sie wenigstens harmlos, denn ich tue niemandem weh, wenn ich mich in meiner Forschung irre (was man von manchen ökonomischen Theorien in der Vergangenheit ja nicht unbedingt behaupten kann). Man könnte vermuten, dass diese Probleme, die ich selbst beim Begutachten in meiner täglichen Arbeit erlebe, nur daraus resultieren, dass ich Geisteswissenschaft betreibe. Aber ich denke, dass dies nicht zwangsläufig stimmt.

Fest steht sicherlich, dass es immer überzeugender ist, wenn sich eine Vielzahl von Menschen aus der Wissenschaft einig ist, wie wir das bei den Fragen des Klimawandels ja ohne Zweifel sehen können. Wenn ein Bereich der Wissenschaft nur von einer Handvoll Menschen betrieben wird, hat man Schwierigkeiten, von der kritischen Masse zu sprechen, die eine Theorie als plausibel oder unplausibel einstuft. Aber dass es wissenschaftliche Fakten gibt, die so sicher sind, dass sie sich nie als falsch erweisen könnten, oder dass unsere wissenschaftlichen Methoden so ausgereift sind, dass man sie nicht weiter verbessern müsste, daran kann ich nicht glauben, denn dies würde bedeuten, dass ich den Zweifel, der jegliche wissenschaftliche Erkenntnis begleiten sollte, verrate, und mich dem Dogmatismus hingebe.

Das Begutachtungsverfahren in der Wissenschaft weist auf jeden Fall eine beträchtliche Menge an Problem auf. Zum Glück gibt es genug Menschen in der Wissenschaft, die diese Problem aktiv anzugehen versuchen. Das Peer-Review-Verfahren wird inzwischen von einigen Zeitschriften veröffentlicht, um Transparenz sicherzustellen, wie ein Artikel am Ende begutachtet wurde. Dies hat den Vorteil, dass sich Gutachter in ihrer Kritik zurückhalten und aufhören, unmögliche Dinge zu fordern. Es hat den Nachteil, dass der Schutz derjenigen, die Gutachten verfassen, vor möglichen beruflichen Konsequenzen, nicht mehr gegeben ist wie beim anonymen Peer-Review-Verfahren.

Wenn man vom Problem des Schutzes, den die Anonymität den Gutachtern bietet, absieht, dann haben die öffentlichen Gutachten den großen Vorteil, dass sie es ermöglichen, die Gutachter selbst zu begutachten. Denn es ist leider nur allzu selten, dass wir wirkliches Feedback für die Gutachten erhalten, die wir verfassen. Normalerweise bekommt man ja nur eine automatische Antwort von der Zeitschrift, die sich bedankt, und das war es. Aber wenn wir die Wissenschaft voranbringen wollen, und dafür sorgen wollen, dass die wissenschaftliche Methode ihrem Namen gerecht wird, und stetig sucht, sich selbst zu verbessern, dann müssen wir anfangen, auch die Gutachter selbst zu begutachten.

Vor allem jungen Menschen würde es ungemein helfen, wenn sie sehen könnten, wie erfahrenere Kolleginnen und Kollegen Gutachten verfassen. Man müsste Gutachten ja nicht mal mit dem Namen der Begutachtenden veröffentlichen, es würde ja vielleicht einfach genügen, Gutachten zu einem Artikel anonym zu veröffentlichen. Alternativ, oder zusätzlich könnte man Zirkel bilden, in denen Wissenschaftler ihre anonymen Gutachten kritisch gegenseitig unter die Lupe nehmen. Auf jeden Fall denke ich, dass es mir viel geholfen hätte (und sogar jetzt noch helfen würde), wenn jemand die Gutachten, die ich verfasse, gegenlesen und kritisch begutachten würde. Wenn man weiß, dass jemand liest und gegebenenfalls kritisiert, was man schreibt, dann hält man sich mit Polemik zurück, achtet auf Stil, Konsistenz, und versucht, konstruktiv zu sein. Dass ein Gutachten prinzipiell keine Konsequenzen hat (oder zu haben scheint) birgt leider die Gefahr, zu Schludridgkeiten oder Gehässigkeiten einzuladen.

 

Sie können diesen Artikel zitieren als: Johann-Mattis List, "Wer begutachtet eigentlich die Gutachter?," in Von Wörtern und Bäumen, 09/11/2019, https://wub.hypotheses.org/980.

Wissensmanagement

Als ich anfing zu studieren, war ich unglaublich beeindruckt von den großen Wissenschaftspersönlichkeiten, deren Kurse ich besuchte. Da war der Dozent in der Geschichtswissenschaft, der alle Jahreszahlen in der Geschichte Deutschlands vom Mittelalter bis ins 19. Jahrhundert auswendig kannte, und zusätzlich alle Texte, die relevant zu sein schienen, nahezu auswendig zitieren konnte. Da war der Germanistikprofessor, der alles auf die griechische Tragödie und die griechische Tragödie auf alles zurückführen konnte. Da war die Linguistikdozentin, die alle für slavische Linguistik relevante Literatur in jedweder slavischen Sprache gelesen zu haben schien.

Ich war beeindruckt von dem, was mir die Universität bot, vor allem auch deshalb, weil die Menschen, die an der Uni lehrten, alle ihr Wissen transparent auszubreiten schienen: «Ich habe diese Bücher alle gelesen, darauf gründet meine Analyse». Beim Versuch, es den Lehrerinnen und Lehrern gleichzutun, merkte ich schnell, wie wahrscheinlich jeder, der Geisteswissenschaften studiert, dass es für die wenigsten Menschen reicht, einfach nur ein Buch von vorne bis hinten zu lesen. Viel wichtiger ist es, sich Notizen zu machen, beispielsweise in Form von Exzerpten, die man nachher, wenn man dann seine Hausarbeit schreibt, schnell zitieren kann.

In den Anfängen meines Studiums wurde vieles noch analog durchgeführt. Erst später kamen Systeme zum Wissensmanagment wie Citavi oder Mendeley auf, die man benutzen kann, um das, was man liest und exzerpiert, digital zu sammeln. Die Vorteile von solchen Systemen sind natürlich klar: wenn man seine Daten einmal drin hat, in den Systemen, kann man sie auf sehr vielfältige Weise wieder abrufen. Während man beim Zettelkasten immer sehr lange wird suchen müssen, genügt ein Stichwort, um alle Exzerpte zu finden, in denen dieses Wort auftaucht. Das Problem ist natürlich die Mehrarbeit, die das Digitalisieren von Textstellen bereitet. Keiner tippt gerne ganze Buchseiten ab, aber es gibt eben nach wie vor Bücher, bei denen auch die modernste Schrifterkennungssoftware keine Ergebnisse liefert.

Da mich an Systemen wie Citavi oder Mendeley immer schon die mangelnde Flexibilität gestört hat, wie auch die Tatsache, dass es sich um proprietäre Systeme handelt, die von profitorientierten Firmen betrieben werden, die entweder jederzeit pleite gehen können, oder sich eventuell von heute auf morgen entscheiden, plötzlich horrende Summen zu verlangen, habe ich vor ca. acht Jahren schon angefangen, mein eigenes System zum digitalen Wissensmanagment aufzubauen. Diese besteht zuächst aus einer Bibliographie, die ich in BibTex kuratiere, weil dieses eines der flexibelsten Systeme für Literaturdatenbanken darstellt.

Daneben habe ich mir ein sehr einfaches Tool geschrieben, mit dessen Hilfe ich Zitate aus der Literatur mitsamt der Seite, Schlagwörtern, und eventuellen Kommentaren sammeln und abrufen kann. Diesem Tool liegt eine Datenbank in Form von Sqlite3 zugrunde, die wiederum durch eine einfache Oberfläche, die hauptsächlich in Python geschrieben wurde, bearbeitet und abgerufen werden kann. Beide Tools habe ich jetzt vereint und stelle sie online allen Interessierten zur Verfügung.

Das Ganze heißt EvoBib: A Bibliographic Database and Quote Collection und bietet derzeit, in der gestern veröffentlichten Version 1.0.0, 3470 verschiedene Referenzen, vorwiegend aus der linguistischen Literatur, die sich grob an meinen fachlichen Schwerpunkten (historische Sprachwissenschaft, linguistische Typologie, Computerlinguistik) orientieren. Zusätzlich bietet EvoBib noch 5076 direkte Zitate, die von insgesamt 2673 Referenzen entnommen wurden.

Diese habe ich mehr oder weniger regelmäßig eigenhändig gesammelt. Meist tue ich das nun, wenn ich eine Reihe neuer Artikel oder Bücher entdecke. Ich nehme mir einen Morgen ein oder zwei Stunden frei, ordne meine digitalen Kopien der Literatur, lese mir den Abstract durch, den ich meist sofort in das System übertrage (was ja meist durch einfaches Copy-Paste funktioniert und mir keine große Tipparbeit abverlangt). Zuweilen übersetze ich Textstellen, wenn ich denke, dass ich sie in Artikeln, die ich schreibe, verwenden kann, und manchmal tippe ich tatsächlich auch längere Passagen direkt aus Büchern ab, wenn es keine andere Möglichkeit gibt.

Nicht alle Referenzen decken sich direkt mit den Zitaten, weil ich manchmal Zitate sammele, bevor ich Zeit finde, die Referenz meiner Datenbank hinzuzufügen, was ich meist erst dann mache, wenn ich einen Artikel oder ein Buch auch tatsächlich zitieren will. Wenn ich selbst neue Daten einpflegen will, rufe ich eine spezielle, geschützte Adresse auf, von der ich dann neue Zitate eintragen kann. Zuweilen übersetze ich Zitate auch, vor allem, wenn ich die Übersetzungen später in meiner Arbeit verwenden will.

Ein Beispiel für die grundlegende Organisation der Zitatdatenbank stammt von Sperber (1923: 1, das durch diesen Link aufgerufen werden kann. Hier weist meine Sammlung zuerst ein konkretes Zitat auf, nämlich:

Die Aufgabe, die Bedeutung eines Wortes festzustellen, mag für den Logiker besagen: seinen begrifflichen Inhalt möglichst genau erfassen und abgrenzen, eine Definition liefern, die nach altbewährtem Rezept die übergeordnete Art und die unterscheidenden Merkmale angibt. Für den Sprachforscher bedeutet sie etwas anderes und in der Regel weit Schwierigeres, denn er ist schon hier, wie in allen weiteren Stadien seiner Arbeit, genötigt, neben den klar erfaßbaren logischen auch psychologische Faktoren von oft schwer greif- und wägbarer Natur in Betracht zu ziehen.

Dann gibt es noch eine (rudimentäre) englische Übersetzung, die ich für ein Seminar in der Vergangenheit erstellt habe:

The task of determining the meaning of a word may mean for a logician to define its conceptual content with high precision, providing, as usually, its superordinated concepts and its defining characteristics. For a linguist, this task means something different, and usually much more difficult, since the linguist is, as in all further stages of his work, forced to include — next to the clearly logical factors — also those factors which are psychological and often difficult to grasp.

Am Ende des Zitats steht immer die Seitenzahl und ein Link, den man verwenden kann, um beispielsweise auf dieses Zitat zu verlinken. Schließlich gibt es noch drei Schlagwörter, nämlich meaning (nicht sehr aussagekräftig), literal meaning, und connotation. Intern sammle ich noch direkte Kommentare zu den Textstellen, die ich aber nicht öffentlich zugänglich mache, weil es durchaus sein kann, dass meine Kommentare kritisch sind. Sie helfen mir aber, wenn ich Artikel schreibe, die relevanten Textstellen zu finden.

In diesem Blog verlinke ich ja schon immer direkt auf die Bibliographiedatenbank, wenn immer ich einen Artikel zitiere. Jetzt, wo das neue System fertiggestellt ist, kann ich in Zukunft vielleicht sogar direkt auf Zitate verlinken, auf die ich hinweise, was den Vorteil hat, dass — falls sich tatsächlich jemand für diese interessieren sollte — diese direkt nachgeprüft und dadurch auch in ihren Zusammenhang gesetzt werden können.

Mein Traum wäre es, wenn nicht nur ich, sondern viele Kolleginnen und Kollegen an solch einer Datenbank arbeiten könnten, um sie immer weiter zu vergrößern und das Wissen, dass in den Texten steckt, frei zugänglich zu machen. Das Problem, das sich diesbezüglich jedoch gezeigt hat, ist, dass man in der Wissenschaft, trotz der derzeit üblichen starken Betonung von Transparenz und Open Access gerade in der Organisation von Wissen in Bezug auf Zitate oder Referenzen nach wie vor dazu tendiert, diese gerade nicht teilen zu wollen.

Schließlich habe wir ja selbst Jahre verbracht, um unsere Schätze von Zitaten anzuhäufen. Manch eine oder manch einer von den Kollegen führt sie ja ohnehin nur im Kopf mit sich herum. Wenn jetzt jemand ankommt und in meiner Zitatdatenbank ein sehr originelles Zitat findet, das vielleicht häufig übersehen wird, und es verwendet, ohne selbst gesucht zu haben, dann fühlt sich das irgendwie nicht richtig an.

Was wir natürlich schnell vergessen, ist dass unser gesamtes Wissen ja gerade darauf aufbaut, dass uns durch andere Menschen zur Verfügung gestellt wurde. Vor allem in Zeiten, in denen Digitales das Analoge immer mehr verdrängt, und in denen es kaum mehr eine Wissenschaftlerin oder einen Wissenschaftler gibt, die nicht auf offene Quellen des organisierten Wissens, wie beispielsweise Wikipedia zurückgreifen, wird es langsam schwierig, auf darauf zu beharren, ein Monopol auf das, was jemand persönlich gelesen hat, zu besitzen.

Ich habe mich daher am Ende, vor allem auch nach Absprache mit Kollegen, entschieden, das, was ich lese, direkt mit den Referenzen online zu stellen. Zum einen hilft es mir, beim Verfassen meiner Blogs die Quellen transparenter einzubinden, zum anderen ist es auch hilfreich in der Zusammenarbeit, wenn über bestimmte Textstellen sinniert oder diskutiert wird, wo man dann schnell bei einem bestimmten Zitat nachschauen und sich darüber austauschen kann. Denn eines müssen diejenigen, die Zitate in meiner Exzerptesammlung finden, ja nach wie vor tun: sie lesen und sie interpretieren. Nach wie vor gibt es also genug Möglichkeiten, einen persönlichen Zugang zur Fachliteratur zu bewahren.

Literatur

  • Sperber, Hans (1923): Einführung in die Bedeutungslehre. Bonn and Leipzig:Kurt Schroeder.
Sie können diesen Artikel zitieren als: Johann-Mattis List, "Wissensmanagement," in Von Wörtern und Bäumen, 13/10/2019, https://wub.hypotheses.org/963.

Überzeugungsarbeit

Es ist immer wieder interessant zu sehen, was passiert, wenn man Geisteswissenschaft betreibende mit quantitativen, scheinbar harten, Argumenten konfrontiert. Während Forscher mit quantitativem Training oftmals schnell klein beigeben, wenn man ihnen Signifkanzwerte unter 0.05 präsentiert, sind die Geisteswissenschaftler, die sich jeder Quantifizierung widersetzen, und gern betonen, dass die Arbeit, die sie leisten, unmöglich von Computerprogrammen geleistet werden könnte, erstaunlich resistent gegenüber Fakten, die auf Zahlen basieren.

Ich habe das bei mir selbst beobachtet. Wenn ich überzeugt bin, aus welchem Grund auch immer, dass eine Analyse falsch ist, zum Beispiel weil mir die Grundannahmen zu banal vorkommen, dann ist es egal, welche Zahlen man mir präsentiert: ich werde sie solange abstreiten, bis ich den Grund gefunden habe, warum die Zahlen so gut aussehen. Eine meiner ersten Begegnungen mit Kolleginnen und Kollegen aus der Biologie verlief genau in diese Richtung: man präsentierte uns eine Methode, die scheinbar in der Lage war, Entlehungen in verschiedenen Sprachen mit sehr großer Genauigkeit zu entdecken, und belegte diese mit Signifikanzwerden, die in diesem Fall über 0.05 liegen mussten, da man eine Verteilung von Zahlen suchte, die gerade nicht signifikant unterschiedlich war. Ich hatte unheimlich viele Vorbehalte gegenüber der Methode, vor allem auch deshalb, weil — wie es in der Biologie oftmals üblich ist — keine direkten Evaluierungen vorgenommen wurden, um zu schauen, ob und wie viele bekannten Entlehnungen in den Daten nun wirklich festgestellt werden konnten. Der Signifikanzwert war mir vollkommen egal. Ich sollte ohnehin erst später verstehen, worauf der überhaupt basierte.

Nachdem ich später meine algorithmischen Kenntnisse erweitern konnte, und irgendwann in der Lage war, die Methode selbst neu zu programmieren, merkte ich schließlich, was eigentlich das Problem gewesen war: die Methode, die wir zur Entdeckung von Entlehungen verwendet hatten, hat keine hohe Präzision, sie schießt also oft daneben, sie hat aber dafür einen hohen Recall, das heißt, sie kann fast alle Entlehnungen in den Daten finden, die dort auftauchen (siehe List 2019 für eine Diskussion verschiedener Methoden zur automatischen Entdeckung von Entlehnungen). Das Problem ist nur, wie wir schon bei der Diskussion von den Grundlinien gesehen haben, dass eine solche Methode generell mit Vorsicht zu genießen ist. Wenn man als Polizeikommissar jeden Verdächtigen verhaftet, der einem über den Weg läuft, findet man sicher viele Mörder. Man wird aber auch viele Unschuldige verhaften, was man natürlich vermeiden will.

Als ich das erste Mal mit den Zahlen und Ergebnissen der Entlehnungsentdeckungsmethode konfrontiert wurde, konnte ich in keiner Weise beurteilen, wie gut oder wie schlecht diese eigentlich funktioniert. Ich konnte ja nicht einmal sehen, welche Ergebnisse die Methode denn liefert, weil die Ergebnisse lediglich in Zahlen und Visualisierungen bestanden, die auf viele Kolleginnen und Kollegen (vor allem diejenigen, die selbst quantitative arbeiten) einen sehr großen Eindruck machten. Ich konnte nur intuitiv sagen, dass irgendetwas mit dem Ansatz nicht stimmte, und dieses Unbehagen, dass ich spürte war sicherlich auch der Grund, warum ich die Methode später nachimplementierte und weiter erforschte, bis ich, vor nicht allzu langer Zeit, enttäuscht feststellen musste, dass der Ansatz im Grunde genommen wirklich nur mit großer Vorsicht zu verwenden ist.

Ich glaube, dass es vielen Geisteswissenschaftlerinnen und -wissenschaftlern so geht, wenn man ihnen die Ergebnisse quantitativer Methoden vorsetzt. Egal, wie überzeugend die Zahlen aussehen mögen: mit Zahlen allein kann man diejenigen, die Geisteswissenschaften mit Herz und Seele betreiben, selten überzeugen, vor allem nicht mit Experimenten, die auf Wahrscheinlichkeitsberechnungen beruhen. Dies konnte man vor einiger Zeit wieder gut sehen, als Kassian et al. (2015) einen probabilistischen Test präsentierten, in dem sie nachzuweisen versuchten, dass es sehr wahrscheinlich ist, dass die uralischen und die indogermanischen Sprachen urverwandt sind. In diesem Test werteten die Forscher Listen von rekonstruierten Formen für beide Sprachen aus, und zählten, wie viele ähnliche Wörter man in beiden Listen finden kann, und wie viele man zu finden erwarten würde, wenn beide Sprachen nicht verwandt sind.

Diese Art von Test selbst ist nicht neu und beruht auf einem sogenannten Permutationsverfahren. Zunächst schaut man sich die “attestierten Daten” an, also die Listen mit Wörtern (sortiert nach Bedeutung), wie man sie in beiden Sprachen vorfindet. Dann erzeugt man Zufallsverteilung, indem man eine der Listen immer wieder mischt, also am Ende, wenn man die Listen miteinander vergleicht, eben nicht mehr Wörter mit der gleichen Bedeutung, sondern mit verschiedenen Bedeutungen vergleicht, also Äpfel mit Birnen, Hände mit Füßen, Fische mit Fahrrädern. Die Grundannahme ist nun: wenn man im Durchschnitt sehr viel weniger ähnliche Wörter in den zufällig erstellten Listen findet, als in den attestierten Daten, dann ist das ein Hinweis auf eine hohe Wahrscheinlichkeit von Verwandtschaft (siehe vor allem Kessler 2001).

Tatsächlich scheint diese Analyse nun die Annahme, dass die uralischen (also bspw. Finnisch und Ungarisch) mit den indogermanischen Sprachen (bspw. Hindi, English, und Französisch) verwandt seien, zu bestätigen. Sieben ähnliche Wörter konnten in einer Liste von 50 Wortpaaren zwischen den beiden Sprachfamilien gefunden werden, während in den permutierten Listen nur zwischen einem und vier Treffern gefunden werden konnten, und es also extrem unwahrscheinlich ist, in unverwandten Sprachen sieben Treffer zu landen (vgl. Starostin 2018). Die schiere Unwahrscheinlichkeit, die so beeindruckend in Zahlen ausgedrückt werden kann, konnte die Fachwelt bisher jedoch noch nicht überzeugen. Nach wie vor gilt die indo-uralische Hypothese als spekulativ und nicht gesichert, und es wurde auch überraschend wenig über den Artikel diskutiert.

Um zu verstehen, aus welchen Gründen die Kollegen die Befunde ablehnen, genügt es, sich Kommentare zum Artikel von Kassian et al. in der gleichen Ausgabe der Zeitschrift anzuschauen. Hier finden wir nicht nur Kritik an den verwendeten Transkriptionen oder Kritik an der geringen Anzahl von Wortpaaren, die vergleichen wurden, sondern auch Hinweise auf alternative Erklärungen für die Treffer, wie frühen Kontakt der Sprachfamilien, oder puren Zufall. Man könnte sich fast an Kuhns (1962) Struktur wissenschaftlicher Revolutionen erinnert fühlen, wenn man sieht, mit welcher Hartnäckigkeit neue Hypothesen zur Sprachverwandtschaft in unserer Disziplin abgelehnt werden. Bevor wir unsere konservative Ansicht, dass es keine tieferen Verwandtschaften als Indogermanisch und Uralisch geben kann, aufgeben, werden wir mit aller Macht versuchen, alle möglichen Hinweise im Rahmen unseres derzeitigen Paradigmas zu deuten.

Diese Interpretation der Situation in der historischen Linguistik wäre allerdings irreführend. Obwohl es eine große Skepsis gegenüber neuen Verwandtschaftstheorien gibt, ist diese nicht der einzige Grund, warum das Experiment von Kassian und Kollegen nicht überzeugt. Der Hauptgrund für die mangelnde Überzeugungskraft liegt meiner Meinung nach vor allem im Experiment an sich und in der Vielzahl von Unsicherheiten, die dieses Begleiten. Zum Beispiel wurden keine modernen Sprachen verglichen, sondern rekonstruierte Versionen von Uralisch und Indogermanisch. Allein hier gibt es eine Unzahl an Entscheidungen, die getroffen wurden, und zu hitzigen Diskussionen unter Expertinnen und Experten führen, wenn man jede einzelne durchexerzieren würde. Das intuitive Argument der Zahlenskeptiker ist, dass es zu viele Unwägbarkeiten gibt, die in die Produktion der Daten eingegangen sind, als dass man von einem neutralen Experiment sprechen könnte.

Desweiteren wurden nur zwei Sprachen verglichen, wobei es bis zu 300 größere Sprachfamilien gibt, gegen die man die Methode ebenfalls vergleichen könnte und vielleicht sogar müsste, um die Frage, was denn nun eigentlich zufällig zu erwarten ist, und was man bekommt, ernsthaft beantworten zu können. Dass frühe Entlehnung zu großen Ähnlichkeiten führen kann, ist ein schwerwiegendes Argument, das man jedoch gut vergleichen könnte, indem man andere Sprachfamilien ebenfalls untersucht. Auch die Möglichkeit von Zufallstreffern, von der man allgemein annimmt, dass sie durch das Permutationsverfahren gut modelliert wird, sollte man nicht unterschätzen. Es gibt schließlich Hinweise, dass es Tendenzen in allen Sprachen der Welt gibt, bestimmte Laute für bestimmte Konzepte zu verwenden (Blasi et al. 2016). Wieder wäre es einfach, durch die Einbeziehung von mehr Sprachfamilien empirisch zu testen, wie viel Ähnlichkeit man erwarten könnte, die vom Permutationstest schlicht und einfach nicht abgedeckt werden kann.

Mich selbst nervt die Zahlenskepsis von klassischen Linguistinnen und Linguisten zuweilen selbst stark, vor allem, wenn sie sich in einer stark herablassenden Haltung gegenüber denjenigen äußert, die sich bemühen, unsere Wissenschaft wissenschaftlicher, transparenter, und eben auch ein Stück quantitativer zu machen. In vielen Fällen bin ich jedoch auch sehr froh, dass wir nach wie vor über eine so selbstbewusste Forschungsgemeinschaft verfügen, die sich nicht blind mit Zahlen ruhigstellen lässt, sondern stattdessen versucht, der Evidenz in ihrer Ganzheit gerecht zu werden, und Modellierungen kritisch zu hinterfragen.

Schade ist dabei jedoch, dass möglicherweise interessante, neue Theorien oftmals direkt zurückgewiesen werden, ohne ihnen eine Chance zu geben, sich zu bewähren. Die Zurückhaltung in Bezug auf Theorien zu tieferer Sprachverwandtschaft, die viele historische Linguisten teilen, stellt hier zum Teil wirklich ein Forschungsparadigma da, das hoffentlich irgendwann abgelöst und durch ein flexibleres Paradigma ersetzt wird, das unterschiedliche Stufen der Validität von Verwandtschaftshypothesen zulässt. Wenn man so weit zurück in die Vergangenheit geht, wie man das tun müsste, um die Verwandtschaft des Indogermanischen mit dem Uralischen zu postulieren, dann braucht man keine absolute Sicherheit, kein binäres “verwandt-oder-nicht-verwandt”, wie wir das für die kleineren Sprachfamilien kennen. Vielleicht genügt dann auch einfach ein “relativ wahrscheinlich”, oder ein “möglich”, je nachdem, wie viele Studien nun eigentlich die eine oder die andere Theorie stützen. Denn auch wenn es Vorbehalte gegenüber der Studie von Kassian und Kollegen geben mag, so wäre es doch interessant, sie weiter zu verfolgen, und zu schauen, ob sich mehr Hinweise finden lassen. Selbst wenn sich nicht mehr Hinweise finden lasse, es sich aber zeigen sollte, dass wir viel mehr mögliche Treffer zwischen Uralisch und Indogermanisch finden können, als zwischen Indogermanisch und Uralisch mit jeweils anderen Sprachfamilien, wäre das eine Erkenntnis, die es wert wäre, dokumentiert und ohne Vorbehalte diskutiert zu werden.

Das Unterscheiden von Fakten in Bezug auf ihren jeweiligen Erkenntnisstatus wäre ohnehin eine gute Idee, auch für die Wissenschaft im Allgemeinen. Vielleicht könnte das auf Dauer auch die Konflikte, die um Fake-News, alternative Fakten, und vermeintliche wissenschaftliche Erkenntnisse entbrennen, eindämmen helfen. Denn auch hier wird derzeit meist binär geurteilt, obwohl oftmals eine viel differenziertere Analyse vonnöten wäre. Denn nicht alle Erkenntnisse, die die Wissenschaft liefert, sind gleichermaßen gut gesichert, weshalb es wichtig wäre, nicht nur eine bestimmte Erkenntnis als “wissenschaftlich gesicherten Fakt” zu bezeichnen, sondern immer auch hinzuzufügen, wie sicher sich die Wissenschaftlerinnen und Wissenschaftler selbst sind.

Literatur

  • Damián E. Blasi and Wichmann, Søren and Hammarström, Harald and Stadler, Peter and Christiansen, Morten H. (2016): Sound–meaning association biases evidenced across thousands of languages. Proceedings of the National Academy of Science of the United States of America 113.39. 10818-10823.
  • Kassian, Alexei and Zhivlov, Mikhail and Starostin, George S. (2015): Proto-Indo-European-Uralic comparison from the probabilistic point of view. The Journal of Indo-European Studies 43.3-4. 301-347.
  • Kessler, Brett (2001): The significance of word lists. Statistical tests for investigating historical connections between languages. Stanford:CSLI Publications.
  • Thomas S. Kuhn (1996): The structure of scientific revolutions. Chicago:University of Chicago Press.
  • List, Johann-Mattis (2019): Automated methods for the investigation of language contact situations, with a focus on lexical borrowing. Language and Linguistics Compass 13.e12355. 1-16.
  • Starostin, George S. (2018): Typological expectations and historic reality: Once again on the issue of lexical cognates between Indo-European and Uralic. In: : Farnah. Indo-Iranian and Indo-European studies in honor of Sasha Lubotsky. Ann Arbor and New York:Beech Stave Press. 327-334.
Sie können diesen Artikel zitieren als: Johann-Mattis List, "Überzeugungsarbeit," in Von Wörtern und Bäumen, 06/09/2019, https://wub.hypotheses.org/949.