Im Sommer 2021 waren die Covid-19-Impfkampagnen in vielen Ländern Europas weit fortgeschritten, genauso wie die Debatte um die Wirksamkeit der Impfung. Laufend machten Meldungen die Runde, die Gegnerinnen und Gegnern neue Munition lieferten. Dass etwa beim damaligen Impf-Musterschüler Israel 60 Prozent der Corona-Infizierten in den Spitälern geimpft waren, war den selbsternannten Social-Media-Virologen zufolge Beweis für die Nutzlosigkeit der Impfung.

Die Schlussfolgerung führt in die Irre, da sie weder die hohe Impfquote noch die Altersstruktur der Betroffenen berücksichtigt. Es gab viel mehr Geimpfte als Ungeimpfte, ein sehr großer Anteil davon waren ältere oder vorbelastete Menschen. Statistikerinnen und Statistiker rechneten immer wieder vor, dass die Impfung das Risiko schwerer Verläufe um über 90 Prozent reduziert, doch dies erzeugte kein Social-Media-Lauffeuer.

Problematische Verkürzung

Für Siegfried Hörmann vom Institut für Statistik der TU Graz machen Interpretationen dieser Art die meisten missbräuchlichen Verwendungen von Statistiken aus: "Die Zahlen selbst sind vielleicht nicht falsch. Der Fehler ist aber, dass nicht das komplette Bild wiedergegeben wird, sondern Teile der Erzählung fehlen. Letztlich hat diese Praxis zur Folge, dass die Statistik oft in Verruf gerät."

Bei vielen Menschen haben Statistiken nicht den besten Ruf. Sie seien zu komplex, auf zu vielen Annahmen gegründet und spiegelten nur das, was Beauftragende belegt haben wollen, so die Wahrnehmung. "Traue keiner Statistik, die du nicht selbst gefälscht hast", lautet eine beliebte Redewendung. Aktuelle Skandale zu gefälschten Politumfragen wirken wie die Bestätigung einer lange gehegten Vermutung.

Ist die Statistik also – zumindest im öffentlichen Diskurs – tatsächlich ein Werkzeug der Lüge? Und welchen Strategien folgen etwaige Fehldarstellungen? Um Fragen dieser Art zu beantworten, müssen für Hörmann zuerst einige grundsätzliche Unterscheidungen getroffen werden. "Die erste Frage ist, ob es sich tatsächlich um eine absichtlich falsche Darstellung oder um eine fehlerhafte Interpretation handelt, bei der durch unsauberes Arbeiten falsche Schlüsse gezogen werden."

Mehrstufiger Prozess

Recht klar ist der Fall, wenn eine Statistik von Teilnehmenden einer öffentlichen Debatte ohne Rücksicht auf Verluste "zurechtgebogen" wird, um die eigene Agenda zu stützen, wie im Fall des Impfskepsis-Beispiels. Bei der tatsächlichen Erstellung der Statistiken entstehen Unschärfen dagegen eher durch Irrtümer als durch Vorsatz, sagt Hörmann. Natürlich ist aber auch Manipulation nichts anderes als ein bewusst gemachter Fehler.

"Statistik ist ein mehrstufiger Prozess. Bewusste oder unbewusste Fehler kann es schon beim Erheben der Daten geben, etwa indem eine selektive Auswahl von Probanden getroffen wird", erklärt Hörmann. "Bei der Auswertung kommt es etwa auf die Qualität der zugrundeliegenden Modellierungen an."

Prinzipiell seien bekanntlich alle Modelle falsch, weil sie nur Annäherungen an die Wirklichkeit sein könnten. Im Idealfall funktionieren sie gut, für viele individuelle Situationen aber weniger. Ein einfaches Beispiel für eine Modellierung, die oft mit der Realität kollidiert, sind Verbrauchs- und Reichweitenangaben von Pkws. Sie folgen standardisierten Erhebungen, die selten den Praxisfahrweisen entsprechen.

Qualitätsmerkmal: Transparenz

In den Erhebungen oder Auswertungen bewusste Fehler einzubauen sei "entsetzlich einfach, solange man die Herrschaft über die Daten hat", sagt Hörmann. Solange keine andere fachkundige Person Zugriff auf die zugrundeliegenden Daten hat, ist eine "frisierte" Umfrage kaum zu enttarnen. "Je transparenter in einer Studie mit statistischen Verfahren umgegangen wird, als desto seriöser ist sie einzuschätzen", betont der Statistiker. In wissenschaftlichen Publikationen gehört die Veröffentlichung von Rohdaten und Auswertungsalgorithmen heute zum guten Ton.

Auf der politischen Meinungsforschung lastet der Druck aus den Parteien und ideologischen Lagern, die – je nach Ergebnis – eine unterschiedliche Realitätsnähe attestieren. "Bei der Erstellung von Hochrechnungen gibt es eine Vielzahl von Freiheitsgraden bei Gewichtungen und Entscheidungen zu Modellierung und Methodik. Aus den vielen möglichen Varianten wählen die Meinungsforscher jene aus, die ihnen plausibel erscheinen – also wahrscheinlich ein Ergebnis, das nicht zu weit von einem Konsens bereits veröffentlichter Umfragen entfernt ist", sagt Laurenz Ennser-Jedenastik, Politikwissenschafter an der Uni Wien. Ein Problem, das in diesem Bereich besondere Relevanz hat.

Dieses sogenannte Herding könnte auch in Österreich relevant sein. "Natürlich ist es schwer, ein Ergebnis von 25 auf 35 Prozent ‚hinaufzugewichten‘. Ob ein Kandidat bei 32 oder 34 Prozent landet, kann aber an simplen methodischen Entscheidungen hängen, durch die man sich nicht angreifbar macht." Allgemeiner gesprochen: Jeder Meinungsforschende hat – bewusst oder nicht – bestimmte Vorstellungen von der Bevölkerung, die untersucht wird. Bei Daten, die nicht zu diesem Bild passen, ist man vielleicht versucht, nach Fehlern zu suchen, die gar nicht da sind.

Positivtrend in Österreich

Zumindest was Umfragen im Vorfeld der Nationalratswahlen betrifft, kann Ennser-Jedenastik eine positive Einschätzung abgeben: "Die Korrelation zwischen Umfragen und Wahlergebnissen ist hier sehr hoch. Grobe Fehlschläge sind nicht zu beobachten." Die zweite gute Nachricht: "Insgesamt gibt es – trotz der skandalumwitterten Ausreißer – einen Positivtrend bei der Umfragequalität in Österreich: Größe der Stichproben und Transparenz nehmen über die Jahre zu", sagt der Politikwissenschafter.

Generell rät Ennser-Jedenastik, bei jeder Statistik einen informativen Kontext miteinzubeziehen. "Man sollte sich immer fragen: Welche Information brauche ich noch, um eine Zahl zu verstehen?" Auch wenn man ihre Ergebnisse da und dort mit Vorsicht genießen sollte, bleiben statistische Methoden sinnvolle Instrumente, die einen die Welt ein bisschen besser verstehen lassen.

Dazu sagt Politikwissenschafter Ennser-Jedenastik: "Wenn Leute auf Daten gestützte Argumente machen, sind sie bis zu einem gewissen Grad zumindest falsifizierbar. Oder anders gesagt: Man kann mit Statistiken wunderbar lügen, aber noch besser geht es ohne." (Alois Pumhösel, 26.4.2022)