Schlagwort-Archive: Forschungspraxis

Von feinen Zügen unterm Radar

Schreibe eine Antwort

Seit ich das erste Mal einen Text von Thomas Mann (oder einem, der so ähnlich schreibt wie er) gelesen habe, frage ich mich, wie man sich “feine Gesichtszüge” vorstellen soll, und was Stuck ist. Während das Unwissen über Stuck eher eine Folge eigener Faulheit ist, eine Begriff nachzuschauen, der — wie ich rasch feststellen konnte — sehr schön und sehr anschaulich auf Wikipedia mit Bildern erklärt wird, trifft das Unwissen über feine Gesichtszüge ein tieferes Problem, das ich schon immer beim Lesen von Büchern hatte. Es kostet mich sehr viel Energie, mir etwas Bildhaftes im Kopf vorzustellen.

Gesichter vor meinem inneren Auge zu sehen, ist komplett unmöglich für mich. Selbst von Menschen, die ich gut kenne, von engsten Verwandten, kann ich mir kein inneres Bild im Kopf malen. Ich habe das noch nie gekonnt. Landschaftsbilder kann ich kurzfristig erzeugen, aber sie verschwinden sofort und es kostet mich sehr viel Konzentration, sie nicht sofort wieder aus dem Auge zu verlieren. Das einzige, was ich mir gut vorstellen kann, sind Formen, wobei ich diese aktiv selbst produzieren muss. Ich scheine also über die Bewegung, die es braucht, um ein Quadrat oder eine Flowchart zu malen, oder einen Text zu schreiben, die Unfähigkeit zu kompensieren, statische Bilder in meinem Kopf sehen zu können. Dies betrifft auch chinesische Schriftzeichen. Obwohl ich sie — wie die Gesichter von Menschen, die ich gut kenne — ohne Probleme erkennen kann, kann ich sie in meinem Kopf nur erzeugen, indem ich sie gedanklich male.

Auch in Bezug auf das Akustische kann ich mich in meinem Kopf nicht zur Ruhe setzen. Wenn ich mir Musik vorstelle, muss ich immer meine innere Stimme sprechen und singen lassen. Ich ärgere mich manchmal dann, wenn ich versuche, mir komplizierte Musik vorzustellen, dass meine innere Zunge nicht so schnell artikulieren kann, um eine Melodie zu summen. Ich kann mir nur vorstellen, so schnell dadada zu singen, wie ich das auch in Wirklichkeit tun kann. Vielleicht spreche ich aus diesem Grund ja relativ schnell.

Lange Zeit habe ich mir darüber, wie ich die Welt in meinem Kopf sehe, keine Gedanken gemacht. Bücher mit langen Objektbeschreibungen habe ich meist überlesen, stattdessen habe ich eine Präferenz für Texte entwickelt, in denen sprachlich viel geschieht, also für Drehbücher, Theaterstücke und Dialoge. In dieser Literatur wird eben nicht mit Sprache gemalt, so dass man sich nicht gezwungen fühlt, das innere Auge zu bedienen, sondern sich auf andere Aspekte konzentrieren kann, wie die Stimme oder die Intonation, mit der unterschiedliche Figuren in einem Text sprechen.

Erst im Verlaufe der letzten Jahre ist mir klar geworden, dass es anderen Menschen ganz anders gehen kann als mir selbst. Ich habe erstaunt gehört, dass es Menschen gibt, die sich abends hinsetzen und ein komplettes Konzert im Kopf mit mehreren Stimmen “anhören” können, ohne Schwierigkeiten und auch ohne allzu großes spezifisches musikalisches Training. Auch scheint es ja Menschen zu geben, die Bilder einfach aus dem Gehirn abrufen, ohne sie mühsam aus Formen produzieren zu müssen. Die menschlichen Fähigkeiten sind eben — so scheint es — unglaublich differenziert in dieser Hinsicht. Dadurch, dass wir eine bestimmte schwach ausgeprägte Fähigkeit einfach durch andere Fähigkeiten kompensieren können, fällt es uns aber eben selten auf. Viele Menschen denken daher, dass alle um sie herum die Welt auf die gleiche Art sehen, hören, schmecken und fühlen.

Für meine Vermutung, dass es um diese Fähigkeiten von Menschen, die Welt und sich selbst wahrzunehmen, sehr unterschiedlich bestellt ist, konnte ich lange Zeit keine Bestätigung in der wissenschaftlichen Literatur finden. Ich habe sie auch nie aktiv gesucht. Als Linguist suche ich vor allem nach Literatur zu sprachwissenschaflichen Themen. Andere Fragestellungen finde ich zwar interessant, sehe mich aber nicht als kompetent genug an, sie auch zu verfolgen.

Als ich vor Kurzem zufällig, über einen Zeitungsartikel von Weber (2024), auf das Phänomen der Aphantasie stieß, konnte ich endlich eine klare Antwort auf meine Vermutung finden. Die menschliche Fähigkeit, sich Bilder im Kopf auszumalen und abzurufen, scheint wirklich stark unterschiedlich ausgeprägt zu sein, obwohl dies sehr selten in der Forschung thematisiert oder untersucht wurde. Erst neuere experimentelle Studien haben wohl zu klaren Erkenntnissen diesbezüglich geführt (Zeman 2010), so dass man jetzt ein klareres Bild von dem Phänomen hat (Zeman 2024).

Die Fähigkeit, sich vor dem inneren Auge etwas vorzustellen, scheint von Mensch zu Mensch stark zu variieren. Wer sich schwer etwas bildhaft vorstellen kann, denkt meist, dass dies anderen Menschen genauso gehe und interpretiert die blumigen Worte von Autoren Thomas Mann gern als Metaphern, die man nicht wörtlich nehmen muss. Den Terminus Aphantasie muss man dabei nicht so ernst nehmen. Er scheint ein tiefes Leiden zu implizieren, obwohl er am Ende einfach nur unterschiedlich ausgeprägte Fähigkeiten von Menschen beschreibt, die wohl am Ende so belanglos sind, dass sie in Jahrhunderten wissenschaftlicher Forschung nicht beachtet wurden.

Für mich war es trotzdem interessant, zu verstehen, dass das, was für mich normal ist, nicht zwangsläufig auch für andere normal sein muss. Ich bin selbst ja ein großer Fan von Visualisierungen aller Art. Es hilft mir, mein Denken, das mir das Bildhafte meist vorenthält, zu strukturieren, wenn ich mir in einfachen Formen selbständig Bilder erzeugen kann. Durch das machen, durch das Zusammensetzen von Formen, helfe ich meinem Kompensationsmechanismus, der mir Bilder indirekt in den Geist pflanzt.

Auch für das Verständnis dessen, was menschliche Sprache eigentlich ausmacht und wie wir sie modellieren und beschreiben können, ist es wichtig, sich klarzumachen, dass Spracherarbeitung und Sprechfähigkeit von Mensch zu Mensch durchaus variieren können. Wenn wir uns schon in Bezug auf die Bilder in unserem Kopf so stark unterscheiden, warum sollten wir dann in Bezug auf die Wörter, die wir im Kopf artikulieren oder hören, auf einmal alle das gleiche empfinden?

In Bezug auf Wissenschaftsgeschichte und wissenschaftliche Praxis finde ich das Thema Aphantasie auch faszinierend. Denn es zeigt, dass viele interessante Probleme und Phänomene, die uns Aufschluss geben könnten für verschiedenste Forschungsfragen, oftmals unter dem Radar des wissenschaftlichen Mainstreams for sich hinschlummern, bevor sie dann zuweilen nur aus Zufall entdeckt werden. Wer in der täglichen Forschung mehr Verdruss als Freude findet, weil das Gefühl, nicht weiter voranzukommen vor dem Gefühl, neue Erkenntnisse zu erlangen und zu produzieren, immer mehr Überhand nimmt, der findet vielleicht Trost darin, dass eine Vielzahl an Phänomenen und Problemen, die wir heute nicht auf dem Schirm haben, eigentlich nur darauf wartet, von uns entdeckt uns gelöst zu werden.

Literatur

Christian Weber (2024): Wie gut sieht Ihr inneres Auge? Süddeutsche Zeitung 80.05-15. URL: https://www.sueddeutsche.de/projekte/artikel/gesundheit/aphantasie-gehirn-bilder-vorstellen-e202986/

Zeman, Adam Z.J. and Della Sala, Sergio and Torrens, Lorna A. and Gountouna, Viktoria-Eleni and McGonigle, David J. and Logie, Robert H. (2010): Loss of imagery phenomenology with intact visuo-spatial task performance: A case of ‘blind imagination’. Neuropsychologia 48.1. 145–155.DOI: 10.1016/j.neuropsychologia.2009.08.024

Zeman, Adam (2024): Aphantasia and hyperphantasia: exploring imagery vividness extremes. TRENDS in Cognitive Sciences 28.5. 467–480. DOI: 10.1016/j.tics.2024.02.007

etiketten

Etiquetten

Schreibe eine Antwort

In den Medien wird wissenschaftliches Fehlverhalten häufig auf Plagiate und gefälschte Forschungsdaten reduziert. Durch die Erfolge von “großen Sprachmodellen” (Large Language Models) ist vor allem im Bereich der universitären Lehre das unreflektierte Verwenden von automatisch generierten Texten als neue Form von Fehlverhalten, die an das Plagiat erinnert, hinzugekommen, wobei sie für die wissenschaftliche Forschung noch eine untergeordnete Rolle spielt.

Wenig diskutiert werden jedoch Grauzonen des Fehlverhaltens, also jene Formen der wissenschaftlichen Praxis, die viele Kolleginnen und Kollegen ablehnen, aber die nicht zwangsläufig dazu Führen, dass die wissenschaftliche Arbeit von Menschen als so problematisch angesehen wird, dass Forschungsergebnisse zurückgenommen werden müssen, oder Forschungsförderung zurückgefahren würde.

Es ist nicht so, dass es diese Grauzonen nicht gäbe. Wer forscht, stört sich daran, wenn Kolleginnen oder Kollegen in Studien ihre eigenen Arbeiten über Gebühr zitieren, genauso wie es einen stört, wenn jemand bestimmte Arbeiten bewusst ignoriert und mit keinem Wort erwähnt, obwohl sie für ein Thema von Bedeutung sind. Man ärgert sich, wenn Menschen sich so verhalten, als seien Sie direkt aus den Neunzigern mit einer Zeitmaschine in das Jahr 2023 gereist, und die Forschungsarbeiten anderer in einem aggressiven und überheblichen Ton angreifen. Man ärgert sich auch, wenn jemand auf einer Konferenz Fragen stellt, die so lang sind, dass kein anderer mehr zu Wort kommt.

Vielen von diesen Verhaltensmustern kann man relativ gut begegnen. Wenn man ein Gutachten schreibt, kann man um einen höflicheren Ton bitten. Wenn man eine Fragerunde leitet, kann man den Personen, die sich nach jedem Vortrag melden und endlose Fragen stellen, seltener das Wort erteilen. Wenn bestimmte Arbeiten in Artikeln komplett ignoriert werden, kann man sich die Mühe machen, eine Antwort zu veröffentlichen, in der man darauf verweist, dass es auch andere Perspektiven zum Thema gibt.

Wichtig wäre es aber auch — vor allem in der Ausbildung von wissenschaftlichem Nachwuchs — Grauzonenformen des Fehlverhaltens bewusst zu benennen, zu diskutieren und zu erklären, warum diese die wissenschaftliche Etiquette verletzen. In der Praxis ist das jedoch nicht immer einfach, weil es schwer ist, klare Kriterien zu finden für das, was gute und das was schlechte Wissenschaft ausmacht.

Bei der Verwendung von Sprachmodellen im Schreibprozess gehen die Meinungen beispielsweise schon auseinander. Während die einen dafür eintreten, Sprachmodelle komplett aus dem Schreibprozess zu verbannen, stehen andere der Idee, einen Text im Dialog mit einem Chatbot zu entwickeln, sehr viel aufgeschlossener gegenüber. Wenn das Ziel wissenschaftlicher Forschung das Generieren neuer Erkenntnisse ist, dann ist es ja am Ende vielleicht egal, ob diese mit Hilfe eines Systems gewonnen wurden, das unzählige Texte in sich hineingeschlungen hat und diese gut verdaut herausgibt, oder ob sie von einem Menschen im Dialog mit sich selbst erstellt wurden. Ob ich bei Programmierfragen im Internet auf Stackoverflow nach Antworten suche, oder mich bei OpenAI einlogge, um mit ChatGPT zu sprechen, macht ja — wenn ich sicherstelle, dass ich den Code, den ich schreibe, gewissenhaft prüfe — auch keinen großen Unterschied, solange die dadurch neu gewonnenen Kenntnisse sich als stichhaltig erweisen.

Genauso, wie sich unsere Erkenntnisse ständig erweitern, verändert sich auch unsere Einstellung zu dem, was wir als grau oder schwarz einstufen. Die akribische Prüfung von Doktorarbeiten von Personen, die in der Öffentlichkeit stehen, und die gefühlte Zunahm von aberkannten Doktortiteln ist in dieser Hinsicht vielleicht viel weniger eine Folge im Verkommen begriffener Sitten, als eine Folge der sich veränderenden Definition dessen, was im Zusammenhang mit wissenschaftlicher Praxis als grau oder schwarz eingestuft wird.

Ich war sehr erfreut, als ich durch einen Call-for-Papers zu fragwürdigen Forschungspraktiken auf den Artikel von Larsson et al. (2023) aufmerksam gemacht wurde, welcher eine erste Klassifikation verschiedener fragwürdiger Forschungspraktiken aufstellt. Diese werden dabei  fünf verschiedenen Gruppen zugeteilt: “Design” (also Forschungsdesign), “Daten”, “Schreiben” und “Funding”. Dabei werden in dem Artikel unterschïedlichste möglicherweise fragwürdige Forschungspraktiken abgedeckt, die sicher nicht jede Person die forscht auch immer gleich als problematisch einstufen würde, sei es, weil man nicht richtig darüber nachgedacht hat, oder weil man deren Fragwürdigkeit anders beurteilen würde.

So finden wir im Artikel unter dem Kürzel FUND_7 eine als fragwürdig eingestufte Forschungspraxis, die darin besteht, dass man in einem Forschungsprojekt aufgrund von Mismanagement nicht das versprochene Ergebnis produzieren kann:

Not producing the promised project outcomes due to project mismanagement (e.g., producing fewer articles than promised) (Larsson et al. 2023: Supplement, S. 5)

Während dies sicherlich ärgerlich ist, ist es ja auch klar, dass man in der Forschung schlecht in die Zukunft sehen kann, und die meisten Forschungsprojekte nicht zwangsläufig genau das produzieren können, was sie versprechen.

Auch gibt es in dieser Klassifikation fragwürdige Praktiken, die fehlen, oder die zumindest mir persönlich auffallen und mich stören. Darunter fällt zum Beispiel eine leider sehr beliebte fragwürdige Praktik im Umgang mit Daten, die darin besteht, dass Daten in Form von PDF-Dokumenten geteilt werden. Man findet eine Tabelle also nicht als CSV-Datei in Textform oder als Tabellendatei in Spreadsheet-Form (Excel, etc.) vor, sondern in einer PDF. Da es unmöglich ist, die PDF zu manipulieren und die Daten direkt aus dieser zu extrahieren (es sei denn, man nutzt bestimmte Software, die aber den Erfolg nicht immer garantiert), halte ich diese Praxis des scheinbaren Teilens von Daten für absolut fragwürdig.

Das scheinen aber nach wie vor sehr viele Kolleginnen und Kollegen anders zu sehen als ich, und auch die Zeitschriften selbst, die zuweilen explizit Daten in PDF-Form fordern. Interessanterweise sind auch die fragwürdigen Praktiken, die Larsson et al. so schön auflisten, in genau dieser Form geteilt worden. Wir finden also nur eine PDF vor, keine computerlesbare Form der Praktiken. Das ist sehr schade, denn das Autorenteam liefert interessante Daten, basierend auf Umfragen, die man sich vielleicht gerne mal selbst in Tabellenform anschauen würde, um die Praktiken nach bestimmten Gesichtspunkten zu sortieren, oder zu schauen, welche man selbst eher als grau und eher als schwarz ansieht, vielleicht aber auch nur, um sie zu kopieren und in der eigenen Arbeit zu zitieren.

Was wir daran wieder sehen können ist,  wie schwer es ist, ein eindeutiges Schwarz oder Weiß in der Forschungspraxis zu identifizieren. Es gibt nur einen sich immer weiter fortsetzenden Diskurs darüber, was gut ist, und was nicht so gut ist, und der sich ständig ändert. Daher sollte man vielleicht allgemein ein bisschen vorsichtig sein, wenn man Forschungspraktiken von anderen Menschen verurteilt, vor allem, wenn diese zeitlich in der Vergangenheit liegen.

Wer weiß, warum Larsson et al. die fragwürdige Daten-als-PDF-Praktik angewendet haben. Für mich ist das ärgerlich und ich wünschte mir, es gäbe mehr Bewusstsein in Bezug auf diesen Punkt. Aber ich weiß auch nicht, wie sehr meine Ausübung von Forschung selbst vielleicht in Zukunft — oder bereits jetzt — von dem einen oder anderen als fragwürdig angesehen werden wird.

Literatur

Tove Larsson and Luke Plonsky and Scott Sterling and Merja Kytö and Katherine Yaw and Margaret Wood (2023): On the frequency, prevalence, and perceived severity of questionable research practices. Research Methods in Applied Linguistics 2.3. 100064.

 

Im Dschungel der Evidenz

Schreibe eine Antwort

Während seit Pandemiebeginn stark über die Rolle, welche Forschung in unserem Leben spielen sollte, diskutiert wurde, wurde leider sehr wenig darauf eingegangen, wie man sich im Dschungel der Fakten zurecht finden kann. Bei den Unmengen an Forschungsergebnissen, die täglich zu verschiedensten Themen produziert werden, ist es nicht nur für Laien unmöglich, den Überblick zu behalten und dann auch noch die guten von den schlechten Ergebnissen in Aschenputtelmanier zu trennen. Das Schema F zur Evaluierung wissenschafticher Forschungsergebnisse, welches in den meisten Medien oft mit großer Erfurcht erwähnt wird, ist das Peer-Review-Verfahren. Wenn ein Artikel in einer Zeitschrift erschienen ist, die ein solches Peer-Review-Verfahren anwendet, dann — so die gängige Erklärung — könnten die Ergebnisse als gesichert angesehen werden, weil die wissenschaftliche Community sie streng geprüft und als gut befunden habe.

Wie so ein Peer-Review-Verfahren am Ende aussieht, dass scheint Journalistinnen und Journalisten dann meist weniger zu interessieren, was schade ist, da die Qualität des Peer-Review-Verfahrens selbst ja nicht weiter überprüft wird. Weder bekommen Gutachterinnen und Gutachter Feedback, ob ihre Kommentare zu Artikeln hilfreich waren, noch gibt es formale Richtlinien, die sicherstellen, wie viel Arbeit eine Gutachterin oder ein Gutachter am Ende in ihr Gutachten stecken sollten, um die Güte der Ergebnisse sicherzustellen. In den meisten Fällen werden Gutachten ja nach wie vor unter Verschluss gehalten. Das heißt dann auch, dass meist nur die Menschen, die selbst Forschungserfahrung haben, einen Eindruck dessen haben, wie so ein Peer-Review-Verfahren am Ende konkret abläuft oder ablaufen kann.

Zum Glück ändert sich die Situation mit den Peer-Review-Verfahren inzwischen, auch wenn das bisher kaum vom Wissenschaftsjournalismus kommentiert oder auch aktiv genutzt wurde. Mehr und mehr Zeitschriften haben inzwischen angefangen, die Gutachten zu wissenschaftlichen Artikeln mit den Artikeln selbst zu veröffentlichen. Manche Zeitschriften, wie die von der EU geförderte Zeitschrift Open Research Europe sind sogar dazu übergegangen, das gesamte Begutachtungsverfahren offen zu halten. Dies heißt dann konkret, dass man — wie wir das vor Kurzem in einer Studie zur Entdeckung von Entlehnungen (List und Forkel 2021) getan haben — erst einen Artikel einreicht und dann vorschlägt, welche Kolleginnen oder Kollegen diesen begutachten könnten. Wenn jemand dann ein Gutachten schreibt, wird dieses mit dem Namen der Person veröffentlicht, und von Autorenseite kann dann auf die Gutachten reagiert und der Artikel revidiert werden. In anderen Fällen werden am Ende nur die Gutachten mit dem Artikel veröffentlicht, entweder anonym, oder — wenn die Person, die ein Gutachten verfasst hat, zustimmt, mit deren Namen.

Die Information zum Begutachtungsverfahren offenzulegen ist eine entscheidende Forderung der Bewegung zur Offenen Wissenschaft, welche zusätzlich auch fordert, dass Daten und Code offengelegt werden, und Ergebnisse replizierbar sein müssen. Wenn Zeitschriften schon heute diese Daten zu den Gutachten liefern, ermöglichen sie es auch den Menschen, die nicht als Forscherinnen oder Forscher arbeiten, direkt nachzuvollziehen, wie gründlich eine Studie überprüft wurde.

Als Beispiel sei auf einen Artikel von Mongelli et al. (2021) verwiesen, auf den der Politiker Karl Lauterbach auf Twitter hinwies, wo er ihn als gesicherte Evidenz anführte, dass Menschen, die an Covid-19 erkrankt sind, schneller altern. Der Artikel wurde im MDPI-Journal International Journal of Molecular Sciences veröffentlicht. Der Herausgeber dieser Zeitschrift, MDPI (https://www.mdpi.com/), ist sehr umstritten. MDPI bietet Dutzende von Zeitschriften an, die Titel tragen wie “Languages”, “Cells”, oder “Insects”, die teilweise — vielleicht nur scheinbar zufällig — an die Titel renommierter Fachzeitschriften erinnern. Wer in MDPI-Zeitschriften veröffentlicht, muss relativ hohe Gebühren für Artikel bezahlen, die in reichen Ländern meist aus dem Forschungsetat abgedeckt werden. Um mehr Beiträge zu erhalten, die ja das Geschäftsmodell von MDPI ausmachen, bombardiert der Herausgeber Forscherinnen und Forscher mit automatisierten Emails, die diese auffordern, doch Spezialausgaben, sogenannte special issues, zu organisieren, um mehr Artikel veröffentlichen zu können. Da ich selbst diese Emails in vermehrter Zahl bekommen habe, lehne ich inzwischen jegliche Zusammenarbeit mit dem Herausgeber ab und erstelle auch keine Gutachten mehr für die linguistischen Zeitschriften von MDPI. Es muss aber betont werden, dass MDPI tatsächlich einige Themen abdeckt, für die bisher keine Fachzeitschriften zur Verfügung standen, weshalb es durchhaus Zeitschriften in MDPIs Portfolio gibt, die inzwischen ein relativ großes Renommee in der wissenschaftlichen Community genießen.

Ein lobenswerter Aspekt aller MDPI-Zeitschriften ist, dass die Gutachten online frei verfügbar gemacht werden. In dem Fall der Studie von Mongelli et al. kann man diese dann auch direkt finden, wenn man den Artikel über den Digital Object Identifier 10.3390/ijms22116151 abruft. Wer den Artikel aufruft, sieht zunächst die Editionsgeschichte, welche uns darauf hinweist, dass der Artikel am 13. Mai eingereicht wurde, und am 28. Mai revidiert wurde, um schließlich am 31. Mai angenommen und am 7. Juni veröffentlicht zu werden. Die Geschwindigkeit ist erstaunlich, da wir in der Linguistik zuweilen fast ein Jahr warten müssen, bis wir zuweilen sehr lange Gutachten erhalten und auf diese dann reagieren müssen. MDPI übt allerdings wie viele der Großherausgeber einen starken Druck auf Gutachterinnen und Gutachter aus, indem automatisierte Emails daran erinnern, dass man mit dem Gutachten wieder zwei Tage zu spät dran ist.

Wenn man sich die Reviews selbst ansieht, ist es allerdings weniger verwunderlich, warum das Ganze so schnell ging, da die zwei Gutachten, die zu dem Artikel geschrieben wurden, kaum eine Seite füllen. Die Gutachten bewerten die Statistik unter anderem als “überzeugend” (convincing), obwohl die Analysen selbst von den Autorinnen und Autoren nicht geteilt wurden. Stattdessen heißt es nur im Artikel, unter der Sektion Data Availability Statement, dass die Daten “upon reasonable request” erhältlich seien. Was genau sich hinter diesem “reasonable request” verbirgt, ist unklar und nicht im Einklang mit den Prinzipien Offener Wissenschaft.

Unklar ist auch, ob die Daten denn für die Gutachten zur Verfügung gestellt wurden. Bei der Geschwindigkeit, mit der diese ausgeführt wurden, ist davon auszugehen, dass dies nicht der Fall war. Wir haben es also mit einem flüchtig begutachteten Artikel zu tun, zu dem keine offenen Daten vorliegen, die es uns erlauben würden, die Ergebnisse genauer zu überprüfen oder zu wiederholen. Alles in allem ist diese Studie kein gutes Beispiel für ein gesichertes Forschungsergebnis, das durch das Peer-Review-Verfahren validiert wurde. Sie ist eher ein Beispiel dafür, was mit einem System passiert, in dem zugunsten der Quantität auf ein Sicherstellen der Qualität verzichtet wird.

Dies muss nicht mal heißen, dass die Studie falsch ist und Fehler aufweist, vielleicht ist ja alles richtig, was in der Studie, die übrigens selbst auf die Vorläufigkeit der Ergebnisse hinweist, dargelegt wird. Ich könnte die Studie mangels Fachwissens ohnehin nicht auf ihre tiefere Qualität überprüfen.  Die kurze Untersuchung der Gutachten und der Einhaltung von Prinzipien der Offenen Forschung, die ich exemplarisch durchgeführt habe, zeigt lediglich, dass wir die Studie in der Form, in der sie vorliegt, nicht auf ihre Qualität überprüfen können.

Das Problem, dass Peer-Review-Verfahren unter Zeitdruck und nicht besonders gründlich durchgeführt werden, begegnet uns nicht nur in den Lebens- und Naturwissenschaften. Auch in den Geisteswissenschaften haben wir das Problem, dass Gutachten selten das leisten können, was sie entsprechend der “Legende der wissenschaftlichen Methode”, wie Miedema (2021: 17) das volkstümliche und im Journalismus oft bemühte Bild von Wissenschaft als heroischer, nur dem Geist verpflichteter Disziplin beschreibt, eigentlich leisten müssten. Dabei spielt nicht nur die Zeit, die man für Gutachten aufwendet eine Rolle, oder die Gründlichkeit, mit der vorgegangen wird, was man als praktische Probleme abtun könnte, die man möglicherweise beheben könnte, sondern auch die Frage, inwiefern es überhaupt möglich ist, Forschungsergebnisse wirklich als gesichert zu klassifizieren.

Wenn ich selbst Gutachten schreibe, weise ich inzwischen oft darauf hin, dass ich nur bestimmte Aspekte einer Arbeit kommentieren kann, weil meine Expertise für die gesamte Arbeit oft einfach nicht ausreicht. Ich erwähne dann gegenüber den Personen im Editoriat meist auch immer explizit, dass ich ihnen rate, weitere Gutachten zu den anderen Bereichen einzuholen, vor allem, wenn mir diese begutachtenswert zu sein scheinen. Es gibt aber viele Fälle, in denen das Editoriat einer Zeitschrift große Probleme hat, überhaupt genügend Gutachterinnen oder Gutachter zu finden, die einen Artikel beurteilen könnten. Vor allem, wenn es um Spezialbereiche geht, die interdisziplinäres Wissen erfordern, oder um spekulative Interpretationen von Ergebnissen, die sich nicht einfach objektiv beurteilen lassen, haben es wissenschaftliche Zeitschriften durchgängig schwer, jemanden zu finden, der die Forschung am Ende auch ordentlich begutachten kann.

Ein Beispiel für diese Probleme ist ein kürzlich erschienener Artikel von Robbeets et al. (2021), in dem über den Ursprung der Altaischen Sprachen spekuliert wird, eine hypothetische Sprachfamilie, die Sprachen wie Türkisch, Mongolisch, Japanisch, Mandschurisch und Koreanisch in einer Superfamilie einschließt (Starostin et al. 2003) und in verschiedenen Formen schon im 19. Jahrhundert postuliert wurde, aber bis heute in der Forschung stark umstritten geblieben ist. Wenn man sich die Gutachten zu dem Artikel, welcher prominent in Nature veröffentlicht wurde, anschaut, fällt auf, dass die Gutachter fast ausschließlich aus der Archäologie kommen, und somit gar nicht in der Lage sind, die Daten aus der Linguistik und der Genetik, die im Artikel mit Daten aus der Archäologie verglichen und spekulativ interpretiert werden, angemessen zu beurteilen, wie Lai (2021) schön herausgestellt hat.

Man könnte es dem Editoriat von Nature vorwerfen, erst gar keine Menschen, welche vor allem die linguistischen Daten und Analysen kritisch bewerten könnten, zur Begutachtung eingeladen zu haben. Das Problem liegt bei den Altaischen Sprachen aber weitaus tiefer, da die Linguistik in Bezug auf dieses Thema so polarisiert ist, dass sich Befürworter und Gegner der Altaischen Hypothese seit Jahrzehnten unangenehmste wissenschaftliche Grabenkämpfe liefern, denen es schon lange an Sachlichkeit entbehrt. Eine neutrale linguistische Begutachtung der Arbeit von Robbeets et al. ist daher — zumindest im Moment — leider gar nicht möglich, da alle Personen, die für Gutachten in Frage kämen, in gewisser Weise befangen sind, weil sie entweder mit dem Team der Studie zusammenarbeiten, oder gegen sie agieren.

Natürlich müsste von Seiten der Wissenschaft noch eine ganze Menge getan werden, um die Güte des Peer-Review-Verfahrens zu erhöhen. Das Veröffentlichen von Gutachten und die Forderung, der Offenen Wissenschaft durch das Teilen von Daten, Code, und Analyseergebnissen Rechnung zu tragen, sind ein erster Schritt, dem in Natur- wie Geisteswissenschaften leider nur langsam gefolgt wird. Aber auch von journalistischer Seite würde ich mir ein bisschen mehr Zurückhaltung wünschen, was das Anpreisen von Forschungsergebnissen angeht. Nur weil ein Artikel in einer prominenten Zeitschrift erscheint, heißt das noch lange nicht, dass die Erkenntnisse sich auch als gültig erweisen werden. Wissenschaftsjournalistinnen und -journalisten sollten sich bei der Beurteilung von Forschungsergebnissen nicht primär auf das vermeintliche Renommee der Zeitschriften verlassen, sondern — wo möglich — auch die Zeit investieren, das Begutachtungsverfahren zu verfolgen und zu prüfen, inwiefern eine Studie offen im Sinne der Offenen Wissenschaft ist.

Literatur

Lai, Yunfan (2021): Checking the reviews of Robbeets et al. (2021) (”Transeurasian languages” originated in Northeast China) 看看Robbeets et al (2021)（“泛欧亚语系”起源于中国东北的文章）的审稿意见 [Kànkàn Robbeets et al (2021)(“Fàn ōuyǎ yǔxì” qǐyuán yú zhōngguó dōngběi de wénzhāng) de shěngǎo yìjiàn]. Zhihu. https://zhuanlan.zhihu.com/p/433698910

List, Johann-Mattis and Forkel, Robert (2021): Automated identification of borrowings in multilingual wordlists [version 2; peer review: 4 approved]. Open Research Europe 1.79. 1-11. https://doi.org/10.12688/openreseurope.13843.2

Frank Miedema (2021): Open Science: the Very Idea. Utrecht: Springer.

Alessia Mongelli and Veronica Barbi and Michela Gottardi Zamperla and Sandra Atlante and Luana Forleo and Marialisa Nesta and Massimo Massetti and Alfredo Pontecorvi and Simona Nanni and Antonella Farsetti and Oronzo Catalano and Maurizio Bussotti and Laura Adelaide Dalla Vecchia and Tiziana Bachetti and Fabio Martelli and Maria Teresa La Rovere and Carlo Gaetano (2021): Evidence for biological age acceleration and telomere shortening in COVID-19 Survivors. International Journal of Molecular Sciences 22.11. 6151. https://doi.org/10.3390/ijms22116151

Martine Robbeets and Remco Bouckaert and Matthew Conte and Alexander Savelyev and Tao Li and Deog-Im An and Ken-ichi Shinoda and Yinqiu Cui and Takamune Kawashima and Geonyoung Kim and Junzo Uchiyama and Joanna Doli\’nska and Sofia Oskolskaya and Ken-Y\=ojiro Yamano and Noriko Seguchi and Hirotaka Tomita and Hiroto Takamiya and Hideaki Kanzawa-Kiriyama and Hiroki Oota and Hajime Ishida and Ryosuke Kimura and Takehiro Sato and Jae-Hyun Kim and Bingcong Deng and Rasmus Bj\orn and Seongha Rhee and Kyou-Dong Ahn and Ilya Gruntov and Olga Mazo and John R. Bentley and Ricardo Fernandes and Patrick Roberts and Ilona R. Bausch and Linda Gilaizeau and Minoru Yoneda and Mitsugu Kugai and Raffaela A. Bianco and Fan Zhang and Marie Himmel and Mark J. Hudson and Chao Ning (2021): Triangulation supports agricultural spread of the Transeurasian languages. Nature 599.7886. 616-621.

Starostin, Sergei A. and Dybo, Anna and Mudrak, Oleg (2003): Etymological dictionary of the Altaic Languages. Leiden:Brill.