Berlin - Nach einem der vielen Telefonate und Gespräche mit ihrem Supervisor am Institut für kognitive Neurowissenschaft weiß Natalie van Veen (Name geändert), dass es so nicht weitergehen kann, dass sie den Job wechseln muss. Die junge Frau hat alles richtig gemacht auf dem Weg zu einer universitären Laufbahn. Sie studierte zunächst in Bochum Psychologie, machte in den Niederlanden ihren Master in kognitiver Neurowissenschaft und anschließend ihren Ph.D. Dann kehrte sie der Universität abrupt den Rücken, ließ alles zurück, was sie passioniert und hart erarbeitet hatte.

Berliner Verlag
Die Wochenendausgabe

Dieser Text ist in der Wochenendausgabe der Berliner Zeitung erschienen – jeden Sonnabend am Kiosk oder hier im Abo.

Am 22. Mai 2021 im Blatt: 
Das große Glücksspezial: Berlin macht die Türen auf. Wie ist die Stimmung in der Stadt nach dem Lockdown?

Wie werde ich glücklich? Ein Selbstversuch bei einem Online-Kurs der Yale-Universität, der das Glück lehren will

Der Israel-Konflikt hat die Neuköllner Rütli-Schule erreicht. Unsere Reporterin hat die Schüler getroffen

Neues Gesetz zum autonomen Fahren: Ein Porträt eines deutschen Unternehmers, der die Technik dazu liefert

https://berliner-zeitung.de/wochenendausgabe

Ihre Geschichte ist typisch für das, was auf dem Gebiet der wissenschaftlichen Forschung heutzutage zunehmend schiefläuft. Der enorme Publikationsdruck führt zu einer Situation, in der sich Wissenschaftlerinnen und Wissenschaftler gezwungen sehen, unzureichend geprüfte Daten zu veröffentlichen oder sie sogar zu manipulieren. „Publish or perish“ – publizier oder stirb – heißt das Diktum, dem sich auch Natalie van Veen unterwerfen musste. Darauf hatte sie keine Lust mehr und auch keine Kraft dafür.

Fünf Prozent aller Postdocs bringen es zu einer Professur

„Der Publikationsdruck lässt eigentlich nie nach“, erzählt van Veen in sachlichem Tonfall im Zoom-Call an ihrem Schreibtisch in einer kleinen niederländischen Stadt. „Man ist sehr abhängig davon, bei welchem Supervisor man landet. Sie entscheiden maßgeblich über die Situation, in der man seine wissenschaftliche Arbeit verrichtet. Meiner setzte mich unter Druck, in meinen Daten die erhofften Ergebnisse zu finden, und war cholerisch. Einmal hat er mich 45 Minuten lang angeschrien, weil ich meine Forschung auf einer Tagung nicht nach seinen Vorstellungen präsentieren wollte.“

Mit einem leichten niederländischen Akzent beschreibt van Veen ihre Situation am neurowissenschaftlichen Institut und erzählt von ihrer Begeisterung für die Forschung. Sie war an das berühmte Institut in den Niederlanden gegangen, um ihren Traum einer akademischen Karriere zu verwirklichen. Die Realität des wissenschaftlichen Arbeitens erschien ihr jedoch so unerträglich, einengend und geradezu bizarr, dass sie ihre große Leidenschaft hinter sich ließ.

Im universitären Alltag sind Publikationen die wertvollste Währung, sie lassen Wissenschaftlerinnen und Wissenschaftler aller möglichen Fachbereiche und Disziplinen die Karriereleiter hinaufsteigen oder hinabstürzen. In einem großen Journal wie Science oder Nature zu publizieren, auch nur als eine oder einer von Hunderten Co-Autorinnen und Co-Autoren, kann der entscheidende Baustein für den Rest der Karriere sein und dazu führen, dass man einmal zu jenen glücklichen fünf Prozent der Postdocs gehört, die es zu einer Professur bringen.

Was nicht passt, wird passend gemacht

Gemessen wird die Arbeit von Wissenschaftlerinnen und Wissenschaftlern durch den berüchtigten h-Index, der sich daraus berechnet, wie oft die Publikationen eines Forschers zitiert werden. Ein hoher h-Index ist heute die wichtigste Voraussetzung für eine erfolgreiche universitäre Karriere. Der Wuppertaler Soziologie-Professor Mark Lutter beschreibt in seinem Buch „Who Becomes a Tenured Professor, and Why?“ die zentrale Rolle des Veröffentlichens: „Es zeigt sich, dass eine Berufung vor allem von der Anzahl wissenschaftlicher Publikationen abhängt.“

Honoriert wird zunehmend ein hohes Ranking von Wissenschaftlerinnen und Wissenschaftlern, das auch durch inhaltlich unbedeutende Co-Autorenschaft bei Publikationen in sogenannten High-Impact-Journalen zustande kommen kann. Gewissenhaftes, langwieriges Forschen, das die Anfangshypothese nicht bestätigt, kann da von Nachteil sein. Denn die High-Impact-Journals veröffentlichen ungern Null-Ergebnisse. Also findet man lieber das gesuchte Ergebnis in den Daten, denn sonst war die ganze Arbeit umsonst. Man bleibt hinter der fleißig publizierenden Konkurrenz zurück und wichtige Gelder für das eigene Institut bleiben möglicherweise aus.

Immer häufiger führt dieser Druck dazu, dass die eigenen Daten aufgrund von Zeitdruck oder günstiger Datenlage für die Anfangshypothese nicht ausreichend kritisch geprüft werden. Das ist der harmlosere Fall. In dem dunkleren Bereich dieser Grauzonen wird bewusstes p-Hacking betrieben. Das bedeutet nichts anderes, als dass die Forscher an den Daten, die sie erheben, so lange herumschrauben und sie verzerren, bis etwas Signifikantes herauskommt, also: der so genannte P-Wert stimmt. Was nicht passt, wird passend gemacht. Man lässt bestimmte Daten heraus, fügt andere hinzu oder zieht so oft eine neue Stichprobe, bis sich das erhoffte Resultat einstellt.

Viele Studien lassen sich nicht mit dem gleichen Ergebnis wiederholen

Dieser Mechanismus ist auch in van Veens Augen eines der ganz zentralen Probleme der heutigen wissenschaftlichen Praxis, die die Grundprinzipien des korrekten Forschens aushöhlt. Das p-Hacking und die unzureichende Prüfung der eigenen Daten hat fatale Konsequenzen für den Wissenschaftsbetrieb, der eine selbstreferenzielle, sich selbst kontrollierende Domäne ist. Und gerade Studien, die in High-Impact-Journals erscheinen, werden tausendfach als Grundlage für weitere Forschung genutzt und zitiert. Sie werden zu (teils fehlerhaften) Bausteinen elementarer Argumentationsketten für zukünftigen empirischen Erkenntnisgewinn.

Um die Auswirkungen des Publikationsdrucks und das p-Hacking genauer zu verstehen, muss man mit Leuten wie Dr. Robert Krause von der Freien Universität Berlin sprechen. Auch er ist ein junger Postdoc am Anfang seiner Karriere und promovierte zum Thema Netzwerkmodelle. Heute ist Krause an der Freien Universität am Arbeitsbereich „Methoden und Evaluation/Qualitätssicherung“ tätig. Er ist auch Reviewer für mehrere Journals, kennt also beide Seiten der Medaille.

Krause war unter anderem an Forschungen zur Reproduzierbarkeit psychologischer Studien beteiligt. Anhand von 100 Studien wurde geprüft, wie häufig sich das vermeintlich nachgewiesene Ergebnis erneut beweisen lässt. Das Fazit? 60 Prozent der Studien konnten bei erneuten Tests nicht in ihrem Resultat bestätigt werden. Gründe dafür können statistische Fehler sein, aber auch bewusstes p-Hacking der Autorinnen und Autoren der Erststudien. Unterm Strich lassen sich Studien oft schlicht nicht durch Wiederholungstests bestätigen. Eigentlich eine der fundamentalen Anforderungen wissenschaftlicher Arbeit. „Manchmal sind die Effekte, die ursprünglich nachgewiesen wurden, auch genau umgekehrt, wenn man versucht, die Studie zu replizieren“, berichtet Krause ebenfalls im pandemiebedingten Video-Call aus seinem Büro in der Silberlaube an der FU Berlin.

Fehler fallen oft nicht auf

Krause hat in seinem Umfeld schon häufig erlebt, wie sich der Publikationsdruck auf die Arbeit der Wissenschaftlerinnen und Wissenschaftler auswirkt. „Ein befreundeter Postdoc hat mich damals aufgrund fehlender Daten in seiner Stichprobe um Rat gefragt. Ich habe mir seine Arbeit angesehen und konnte ihm weiterhelfen. Mir ist aber auch aufgefallen, dass er die falsche Analyse benutzt hat und seine Daten nicht belastbar sein würden. Er sagte: ‚Das weiß ich. Aber ich habe keine Zeit. Ich muss jetzt publizieren, weil ich sonst keinen Job mehr finde.‘“

Natalie van Veen kennt den finanziellen, aber auch zeitlichen Druck. Sie hat ihre Promotion am Ende als Arbeitslosengeldempfängerin fertig gemacht. Sie wollte belastbare Ergebnisse liefern, obwohl sie von allen Seiten gedrängt wurde, doch endlich einfach zu publizieren. So geht es vielen Postdocs, sagt sie. Genügend Zeit habe man praktisch nie. Und damit sind Postdocs aus allen wissenschaftlichen Disziplinen gemeint.

Auf die Frage, ob das obligatorische Peer-Review-Verfahren nicht verhindere, dass solche inkorrekten Studien publiziert würden, reagiert Krause mit einem Lächeln. Die Reviewer hätten zum Teil keine Ahnung von Statistik. „Bei gestandenen Professoren kommt es vor, dass sie mir nicht erklären können, was der p-Wert ist. Dann können sie auch kein p-Hacking erkennen.“

Krauses Vergleich ist humorvoll gemeint, stimmt aber nachdenklich: „Man kann das, was viele Wissenschaftler da machen, in etwa so beschreiben: Sie schießen einen Pfeil irgendwo in die Landschaft und legen anschließend die Zielscheibe darauf. Dann gehen sie zu einem Journal und präsentieren das eindrucksvolle Ergebnis. Da die Reviewer nicht wissen, was das originale Ziel ist, fällt das niemandem auf.“

Einige Wissenschaftler entziehen sich der Kritik

Als ein Kollege von Krause aus Manchester eine wahrscheinlich fehlerhafte Studie über einen proteinbasierten Ansatz zur Heilung von Krebs beanstandete und ein entsprechend kritisches Paper bei einem bekannten High-Impact-Journal einreichte, bekam er die Antwort: „This was a disgusting read. If you publish this, your career will be ruined.“ Auch sein Professor sagte, dass diese Warnung keine leere Drohung sei. Denn die Reviewer sind andere Wissenschaftler aus seinem Feld, die auch in Zukunft seine Forschung bewerten, in Gremien über weitere Fördergelder bestimmen oder Gutachten für Beförderungen und Professuren erstellen. Gerade am Anfang der Karriere kann man es sich nicht erlauben, sich Feinde zu machen, egal wie die wissenschaftliche Faktenlage ist. Sonst schließen sich einige Türen für immer. Bis heute hat er seine kritische Studie also nicht veröffentlicht.

Auch bedeutende Wissenschaftler befördern diese Praxis. Beispielsweise bezeichnete die Sozialpsychologin und ehemalige Vorsitzende der Vereinigung Psychologischer Wissenschaft, Susan Fiske, Wissenschaftsbloggerinnen und -blogger, die auf statistische Fehler und Betrug vor allem in psychologischen Studien aufmerksam machten, als „Methodical Terrorists“. Der entsprechende Beitrag wurde zwar offline genommen, aber die Aussage war in der Welt und wird nun häufig zitiert, um zu zeigen, wie sich gerade etablierte Wissenschaftlerinnen und Wissenschaftler einer kritischen Betrachtung ihrer Forschung zu entziehen versuchen.

Publikationsdruck in der Corona-Pandemie

Die Wissenschaft krankt umfassend am Publikationsdruck: Unwissenschaftliches Verhalten wird belohnt. Zugleich werden Wissenschaftler bestraft, die nicht versuchen, im statistischen Graubereich ihre Ergebnisse zu optimieren.

In der Corona-Pandemie wurde der zum Teil absurde Publikationsdruck besonders deutlich. Die Pandemie ist eine epidemiologische, politische und soziale Ausnahmesituation. Es tut sich ein riesiges Feld auf, zu dem  geforscht und vor allem publiziert werden kann. Ein veritables Wettrennen hat begonnen.

Ein gutes Beispiel hat Christian Drosten im Coronavirus-Update-Podcast des NDR angeführt. Es ging um den Astrazeneca-Impfstoff. Dessen Wirksamkeit war unter anderem durch eine wenig aussagekräftige Teilstudie mit kaum mehr als 1000 Teilnehmern in Südafrika in Verruf geraten. Die laut Drosten teils „denkwürdig unpräzise“ Studie hatte eine so geringe Wirksamkeit des Impfstoffs zum Ergebnis, dass Südafrika die Impfungen mit Astrazeneca gänzlich einstellte. Solche offenbar ungenügenden Ergebnisse würden publiziert, weil Wissenschaft, so Drosten, „in ihrer Leistungsfähigkeit in Form von publikatorischen Einheiten bewertet“ wird. Einen wissenschaftlichen Mehrwert haben sie kaum, im Gegenteil: Sie richten, wenn Medien sie simplifizieren oder zuspitzen, sogar Schaden an.

Dieser Text ist in der Wochenendausgabe der Berliner Zeitung erschienen – jeden Sonnabend am Kiosk oder hier im Abo.