Wenn man ein wissenschaftliches Experiment zweimal genau gleich macht, sollte man damit rechnen können, dass das Gleiche herauskommt. Auf diesem Prinzip der Reproduzierbarkeit baut die Wissenschaft auf.
Doch immer mehr zeigt sich, so einfach ist es nicht. Das belegen Studien, aktuell aus den Sozialwissenschaften: Viele wissenschaftliche Versuche lassen sich gar nicht wiederholen – respektive im zweiten Versuch kommt etwas Anderes heraus. Das wirft grundsätzliche Fragen auf, sagt Wissenschaftredaktorin Katrin Zöfel.
SRF: Welche Wissenschaftsbereiche sind betroffen?
Katrin Zöfel: Eigentlich alle. Zuerst waren es nur ein paar spektakuläre Einzelfälle, wo berühmte Studien nicht reproduzierbar waren. Dann fingen einzelne Forscher von sich aus an, die Studien anderer zu wiederholen, um zu sehen, ob noch einmal dasselbe herauskommt.
Katrin Zöfel
Die Ergebnisse waren ein Schock: von 100 Psychologiestudien fielen mehr als die Hälfte durch diesen Test. Das war 2015. Das «Reproducibility Project Cancer Biology» überprüft zurzeit laufend krebsmedizinische Studien. Da hielten bisher sechs von zehn Studien der Prüfung stand. Auch das ist nicht viel besser.
Und jetzt dasselbe in den Sozialwissenschaften?
Ja. Aber besonders ist, dass die Forscher in dem Fall Studien wiederholt haben, die in den beiden weltweit renommiertesten Journals publiziert wurden, nämlich in «Nature» und in «Science». Von 21 untersuchten Studien fielen 8 durch. Die Macher dieser Tests werfen diesen grossen Journalen jetzt vor, dass sie das Problem verschärfen.
Warum?
Weil die grossen Journale sehr drauf schauen, dass sie aufregende Studien bekommen, mit überraschenden Ergebnissen, Studien, die vielleicht mal berühmt werden oder sich zumindest als Schlagzeile gut machen. Dabei hätten diese Journale zu wenig auf wissenschaftliche Qualität geschaut.
Und trotzdem wollen alle Forscher in diesen «Journals» publizieren?
Ja, die Journals haben schlicht die Macht. Forscher werden vor allem dran gemessen, wie viel sie publizieren. Wenn ein Forscher einmal eine Studie in einem grossen Journal untergebracht hat, dann hat er gute Karten für eine gute Karriere.
Und um dieses Ziel zu erreichen, wird dann auch mal wissenschaftlich unsauber gearbeitet?
Danach sieht es aus. Wichtig ist aber zu sagen, es geht nicht um Betrug. Es ist subtiler: mehr eine Art Fahrlässigkeit. Sie lesen Ergebnisse in einen Versuch hinein, sie überinterpretieren, ziehen zu weitreichende Schlüsse.
Das Problem ist: Es sind eben nicht nur ein paar Forscher. Es ist der ganze Wissenschaftsbetrieb, der da in Schieflage gerät.
Im Ergebnis trifft das den Kern der Wissenschaft, wenn man die Ergebnisse von Studien nicht mehr ernst nehmen kann.
Ja. Ich hab mich gefragt: Was macht das mit den Wissenschaftlern? Wie wird das an den Unis diskutiert? Von den Geldgebern? Also habe ich mich umgehört.
Und?
Es spricht einiges dafür, dass ein Umdenken beginnt. Roberto Weber zum Beispiel, Ökonom an der Uni Zürich, sagt: Die falschen Anreize und der Druck seien immer noch da, aber er und seine Kollegen seien wachsamer geworden. Er war beteiligt, als 2012 eine berühmte US-Studie als nicht reproduzierbar aufflog.
Und er kennt auch die andere Seite: Wie es ist, wenn die eigene Studie von anderen geprüft wird. Eine E-Mail, die fordert, dass man Methoden und Daten rausgibt, bekomme keine gern. Es sei ein bisschen als würde die Polizei klingeln. Aber für die Wissenschaft als Ganzes sei das sehr heilsam.
Das klingt nach einem Vorzeigeforscher. Das sehen wohl nicht alle so?
Natürlich nicht, aber scheinbar immer mehr … Roberto Weber sagt: Der Mehrheit sei inzwischen klar, dass etwas nicht stimmt und dass sich etwas ändern muss.
Aber die Wissenschaftler alleine werden das System kaum verändern können.
Nein, wenn die Institutionen nicht mitziehen, ändert sich nichts. Aber was aus dieser Richtung gehört habe, macht mich vorsichtig optimistisch. Die Universität Zürich richtet grade ein Kompetenzzentrum für Reproduzierbarkeit ein. Leonhard Held, der Leiter des Zentrums hat bei vielen Forschern an der Uni damit offene Türen eingerannt, sagt er.
Es ist noch offen, was sie genau machen werden, ob sie zum Beispiel selbst Studien reproduzieren oder Workshops anbieten, um Forschern zu zeigen, wie sie Studien von vorneherein robuster auflegen können. Aber zumindest scheint das Thema hier angekommen.
Müssten die Geldgeber nicht auch die Regeln ändern?
Der Schweizer Nationalfonds wird schon recht konkret, sagt Aysim Yilmaz, die dort die Abteilung Biologie und Medizin leitet. Wer Geld vom SNF bekommt, muss seine Forschungsergebnisse nachher öffentlich zugänglich machen. Das hilft. So wird überprüfbar, was genau gemacht wurde.
Und: Wenn ein Forscher sich um Geld bewirbt, dann honorieren die Gutachter vom Nationalfonds in Zukunft, wenn ein Forscher offen mit seinen Forschungsdaten umgeht. Solche Details sind zentral, denn bisher hatte ein Forscher kaum etwas davon, wenn er seine Daten geteilt hat.
Das klingt alles ziemlich ungemütlich?
Ja, es ist erschreckend. Und es wird spannend, ob die Wissenschaft als Ganzes es schafft, sich da wieder rauszuwühlen. Aber einiges, was ich gehört habe, macht auch Hoffnung.
Das Gespräch führte Christian von Burg.
