Hinter dem Faktencheck steckt ein junger Psychologie-Doktorand der niederländischen Universität Tilburg: Chris Hartgerink hat bei Diederik Stapel studiert, der als einer der grössten Hochstapler in die Geschichte der Psychologie eingegangen ist.
Als Diederik Stapel 2011 aufflog, stürzte das Chris Hartgerink in eine existenzielle Krise. Der Fall seines Lehrers habe sein Vertrauen in die Wissenschaft nachhaltig zerstört, sagt Chris Hartgerink heute. Doch machte er genau das zu seinem Forschungsthema: Fehler in der Wissenschaft.
Fehler in jeder zweiten Studie
Um Fehler in der Statistik von bereits publizierten Studien aufzuspüren, benutzt Chris Hartgerink ein Computerprogramm namens StatCheck. 2015 setzte er es ein erstes Mal im grossen Stil auf Psychologie-Studien an.
Mit dem Resultat: Fast jede zweite Studie weist mindestens einen Rechenfehler auf. Und in einer von acht Studien beeinflusst der Fehler potentiell die Aussage der Studie.
Nachberechnungen im Internet veröffentlicht
Jetzt hat Chris Hartgerink mit dem Computerprogramm noch einmal 50'000 online verfügbare Psychologie-Studien nach statistischen Kennwerten durchforstet. Das Programm hat nachgerechnet, ob die Werte stimmen können.
Doch damit nicht genug: Ein weiteres Computerprogramm hat diese Nachberechnungen automatisch an die jeweiligen Studienautorinnen und -autoren versendet und sie zusätzlich auf der Internetplattform PubPeer veröffentlicht.
Zustimmung, aber auch Ablehung
StatCheck hat in den sozialen Medien die ganze Bandbreite von Reaktionen hervorgerufen. Zustimmung:
Aber auch Ablehnung:
Unschöne Rundungen
Das Computerprogramm sei nicht perfekt, warnt Chris Hartgerink. Man müsse bei jeder einzelnen Studie nochmals überprüfen, ob tatsächlich ein Fehler vorliege. Und: Auch ein Fehler mache die Hauptaussage einer Studie nicht zwingend ungültig.
Viele Fehler sind sehr kleine Abweichungen. Falsch gerundete Werte etwa, die nicht ins Gewicht fallen. Aber dort, wo ein Fehler die Resultate ungültig macht, fordert Chris Hartgerink ein Korrigendum. Sonst bauten andere Forscher auf falschen Resultaten auf. Ressourcen-Verschwendung, sagt Chris Hartgerink.
Psychologie unter Generalverdacht
Das bestreiten nur wenige. Dennoch gab es Kritik, nicht nur im Internet. Die einen stören sich daran, dass Forscherinnen und Forscher durch die Emails unnötig aufgeschreckt oder gar an den Pranger gestellt würden.
Andere halten das Prozedere für zu ineffizient, um die tatsächlich problematischen Studien ausfindig zu machen. Am meisten stört die Kritiker, dass die Psychologie so in Generalverdacht gerate, schlechte Forschung zu betreiben.
Chris Hartgerink lässt das nicht gelten. Forscherinnen und Forscher machen Fehler, sagt er. Nur wenn man sie anerkennt, lernt man, mit ihnen umzugehen.
Der Traum vom Frühwarnsystem
Chris Hartgerink wünscht sich, dass sein Computerprogramm schon vor der Veröffentlichung einer Studie genutzt wird. Ähnlich wie die Rechtschreibekorrektur, die verhindert, dass Fehler überhaupt in der Forschungsliteratur landen. Nicht nur die Psychologie müsse das so handhaben, sagt Hartgerink, sondern alle anderen Forschungsdisziplinen auch.
Man müsse sich mit den Fehlern in der Wissenschaft zu beschäftigen, sagt Chris Hartgerink. Man vertraue sich in der Forschung gegenseitig viel zu stark, statt den Forschungsprozess möglichst transparent und überprüfbar zu machen. Und damit kontrollierbar.
