Wien – Wie sehr kann man sich tatsächlich auf das Ergebnis einer wissenschaftlichen Studie verlassen? Dank Brian Nosek, Psychologie-Professor der University of Virginia, wissen wir: nicht so sehr. In einem großangelegten Projekt ließ er 100 Studien reproduzieren. Nur in 39 Fällen kamen die Forscher auf das originale Resultat. Was läuft also falsch?

Nosek, mittlerweile auch Direktor des von ihm gegründeten Center for Open Science, eines unabhängigen Non-Profit-Instituts, das sich um Transparenz und Offenheit in der Forschung bemüht, hielt auf Einladung des IST Austria und des Wissenschaftsfonds FWF vergangene Woche in Wien einen Vortrag, in dem er Strategien für die Erhöhung der Qualität in der Wissenschaft aufzeigte.

Die erste große Reproduktionsstudie, mit der er auf die Unsicherheiten im Forschungsbetrieb aufmerksam machte, startete als Freiwilligenprojekt. Studien aus drei Psychologie-Journalen, die alle 2008 erschienen waren, wurden von den rekrutierten Teams in vier Jahre währender Arbeit erneut durchgeführt.

Die Reproduktionen folgten einem exakten Protokoll: "Die ursprünglichen Autoren wurden kontaktiert und nach Originalmaterial und gegebenenfalls zusätzlichen Informationen oder ,Tricks' gefragt", erklärt Nosek. "Die meisten Autoren – nicht alle – haben Material zur Verfügung gestellt." Nach einer weiteren Feedback-Runde zum Studiendesign wurden die Arbeiten auf Basis vorhandener Daten erneut durchgeführt.

Drei Möglichkeiten gebe es, warum die Ergebnisse abweichen, analysiert Nosek. "Entweder lagen die Originalautoren falsch, oder die Reproduktion ist falsch. Oder aber beide Studien sind wahr, und es gibt wichtige Unterschiede zwischen Originaldesign und Reproduktion." Dann brauche es zusätzliche Forschung, um die unbekannten, aber offenbar wesentlichen Gründe für die divergierenden Resultate festzunageln. "Weder Original noch Reproduktion sind endgültige Beweise. Es sind lediglich zwei Stücke, die die Unsicherheit der Forschung in einem Feld reduzieren wollen."

Wie kann nun also die Reproduzierbarkeit erhöht werden? "Wir dürfen weder Daten verlieren noch den Prozess vergessen, in dem sie geschaffen wurden", veranschaulicht Nosek. Zugänglichkeit und Nachvollziehbarkeit seien Minimalvoraussetzungen. Die Kriterien, nach denen ein Experiment durchgeführt wurde, müssen klar spezifiziert sein.

Fokus auf Studiendesign

Zudem schlägt Nosek ein sogenanntes Preregistration-Modell vor. Wissenschafter müssten dabei noch vor Durchführung einer Studie Fragestellung und Studiendesign bei einem Journal einreichen, das auf Basis dieser Informationen entscheidet, ob es die Studie – egal welches Ergebnis sie schließlich haben wird – veröffentlichen wird. Das würde der Praxis entgegenwirken, wonach Entscheidungen zum Studiendesign erst getroffen werden, wenn Daten vorliegen, um so zu "schöneren" Ergebnissen zu kommen.

Derartige Instrumente könnten einen Wissenschaftsbetrieb, der sich an einer möglichst hohen Publikationszahl in möglichst renommierten Journalen ausrichtet, langsam verändern. "Wir schaffen Forscher, die gute Publikationen machen können, nicht solche, die gute Wissenschaft machen", sagt Nosek. Wer eine "saubere Story" bieten will, lässt inkonsistente Daten, Ausnahmen und die vielen Unstimmigkeiten, die die Realität im Labor ausmachen, weg und verwendet Analysestrategien, die besser aussehen. Im Rahmen seines Open Science Center gestalten Nosek und sein Team deshalb Werkzeuge wie die Preregistration, die die Anreize hin zu mehr Qualität in der Wissenschaft selbst verschieben sollen.

An Journale, Geldgeber und Institutionen richten sich etwa die TOP-Guidelines (Transparency and Openness Promotion Guidelines), die von seinem Institut entwickelt wurden. Sie enthalten acht Standards, die etwa die Verfügbarkeit von Originaldaten regeln. Alle Standards können in verschieden strengen Stufen adaptiert werden, die jeweils mit unterschiedlichem Aufwand verbunden sind. "749 Journals haben bisher zugesagt, dass sie ihre Prozesse analysieren, um herauszufinden, welche Guidelines sie adaptieren können", sagt Nosek. Auch Science und Nature haben die Standards für sich adaptiert.

Laut Nosek gebe es Hinweise, dass so gut wie alle wissenschaftlichen Felder von mangelnder Reproduzierbarkeit betroffen seien – selbst die Computerwissenschaft, wie eine einschlägige Untersuchung ergab. Ein aktuelles Projekt widmet sich der Krebsforschung. 32 Studien aus den Jahren 2010 bis 2012 sollen reproduziert werden. Natürlich muss auch Nosek die bisher etablierten Instrumente des Wissenschaftsbetriebs nutzen. Besagte Psychologie-Studie erschien etwa im Journal "Science". (pum, 27.9.2016)