Wien – Arbeiten von Studenten enthalten zwar im Schnitt mehr Fehler als Studien, die in Fachartikeln veröffentlicht wurden – dafür wird in ihnen aber auch weniger mit der Statistik geschummelt. Zu diesem Ergebnis ist ein Forscherteam der Universität Wien gekommen, nachdem es 250 Diplom- und Masterarbeiten aus dem Bereich Wirtschaftspsychologie analysiert hat.
Hintergrund der Analyse war die sogenannte Replikationskrise, entsprungen aus der Erkenntnis, dass es um die Wiederholbarkeit von Studienergebnissen – ein zentrales wissenschaftliches Qualitätsmerkmal – vielfach nicht gut bestellt ist. So wurden in einem großen internationalen Projekt über 100 psychologische Experimente wiederholt, deren Ergebnisse in renommierten Fachzeitschriften veröffentlicht worden waren. Dabei konnten die Resultate von mehr als jeder zweiten Studie nicht repliziert, also nicht bestätigt werden; zumindest nicht in vollem Umfang.
Fokus auf bisher kaum beachtete Papers
Viel wurde seither dahin gehend geforscht, wie sich die Situation in jenem Bereich der Forschung, der auf Publikationen in Fachmagazinen abzielt, darstellt und was sich daran verbessern lässt. Weniger Aufmerksamkeit hätten bisher Diplom- und Masterarbeiten erfahren, schreiben die Wissenschafter von der Fakultät für Psychologie der Universität Wien in ihrer Arbeit im Fachblatt "Royal Society Open Science".
Das Team um Erstautor Jerome Olsen hat nun insgesamt 250 zwischen den Jahren 2000 und 2016 eingereichte Arbeiten aus dem Fachbereich Wirtschaftspsychologie an der Uni Wien auf Fehler, unsauberes Arbeiten und Hinweise auf Daten- und Ergebnismanipulation ("Questionable research practices" – kurz QRPs) untersucht. Unter QRPs werden etwa Methoden des sogenannten "p-Hackings" verstanden – eine ganze Reihe an Maßnahmen, die dazu beitragen, dass Studienergebnisse beispielsweise statistisch signifikant erscheinen, obwohl sie es eigentlich nicht sind.
Warum wird weniger getrickst?
Im Gegensatz zu so manchen Wissenschaftern dürften die Studenten weniger dazu neigen, in die statistische Trickkiste zu greifen, damit Ergebnisse bedeutsamer erscheinen, so ein Fazit der Wiener Forscher. Das sei vielleicht darauf zurückzuführen, dass in diesem Stadium der akademischen Karriere der Druck, ein signifikantes Ergebnis zu erzielen, in der Regel nicht vorhanden ist.
Ein anderer Grund könne freilich auch sein, dass die Studenten einfach noch nicht so gut über QRP-Methoden Bescheid wissen. Allgemeingültige Aussagen zu dem Phänomen könnten aber aufgrund der bei weitem nicht repräsentativen Stichprobe für das Fach Psychologie auch nicht gemacht werden, schränken die Wissenschafter ein.
Bessere statistische und methodologische Ausbildung gefordert
Im Vergleich zu Studien in Fachartikeln fanden die Forscher in den Abschlussarbeiten der Wiener Studenten jedoch mehr Fehler. So wiesen 32 von 174 überprüften Resultaten inkonsistente Werte auf, was allerdings nur in vier Fällen etwas an der statistischen Signifikanz geändert hätte. Abseits der Frage der Signifikanz würden Studenten auch Fragen dazu, wann ein gemessener Effekt tatsächlich praktisch bedeutsam ist (die sogenannte Effektgröße), zu wenig behandelt.
"Die Beobachtung, dass Studenten im Vergleich zu Forschern, die publizieren, zwar weniger zum Einsatz von QRPs, dafür aber häufiger zu Fehlern neigen, verstärkt den Ruf nach einer gründlicheren statistischen und methodologischen Ausbildung", schreiben die Wissenschafter. Außerdem sollte in der Lehre mehr Augenmerk auf offene und transparente Forschungspraktiken gelegt werden. (red, APA, 18. 12. 2019)