Die Wahl ist geschlagen, die Parteien ziehen Bilanz. Auch wir müssen abrechnen und unser Modell an den Wahlergebnissen messen. Den einfachsten Test präsentiere ich in folgender Tabelle, nämlich den Vergleich der von uns vor der Wahl für den 29. September berechneten politischen Stimmung mit dem Endergebnis.

Die Summe aller Fehler beträgt 8,8 Prozentpunkte, das heißt, wir verschätzen uns durchschnittlich um 1,3 Punkte pro Partei. Ganz besonders wichtig ist uns aber, dass alle Parteien in dem von uns angegebenen Konfidenzintervall liegen. Damit sehen wir uns in unserer Arbeit bestätigt und liefern, wie schon vor uns Nate Silver in den Vereinigten Staaten, starke Argumente für die statistische Behandlung von Umfragen – auch wenn natürlich die Arbeit mit sieben Parteien um einiges komplexer ist als mit zwei.

Erstens

Die wichtigste Information einer Wahlumfrage ist nicht das Ergebnis, sondern die Ungenauigkeit, sei sie als Schwankungsbreite oder als 95-Prozent-Konfidenzintervall angeführt. Leider bleibt das Thema in den meisten Beiträgen unerwähnt.

Zweitens

Die Ungenauigkeit der Wahlumfragen kann berechnet werden. Sie hängt nicht nur von der Stichprobengröße ab, sondern auch vom Alter der Umfrage und vom durchführenden Institut, und hat auch eine methodische Komponente.

Drittens

Wahlforschung ist kein Kaffeesudlesen. Ins Reich der Wahrsagerei begibt sich nur, wer sich auf die Ergebnisse einer Umfrage beschränkt. Wem die Ungenauigkeit einer Umfrage bekannt ist, der weiß auch, inwieweit er ihr vertrauen kann.

Damit könnten wir die Beitragsreihe schon abschließen, doch einen weiteren Test wollte ich Ihnen nicht vorenthalten. Auf der unten angeführten Grafik sieht man die Wahrscheinlichkeitsverteilung der Summe aller Fehler. Sie ergibt sich aus unserer Monte-Carlo-Simulation, bei der 100.000 Pseudowahlen gezogen und die Ergebnisse jeweils mit dem Mittelwert verglichen werden. Der Pfeil zeigt unseren tatsächlichen Fehler an, wie er weiter oben berechnet wurde.

Würden wir bei einem Fehler von zehn oder 15 Prozentpunkten liegen, müssten wir uns ernste Gedanken über unser Modell machen. Bei zwei bis drei Prozentpunkten könnten wir uns überlegen, ob unsere Schwankungsbreiten nicht stark überschätzt wären. So aber sehen wir unser Modell bestätigt.

Ich lade jeden, der zur Wahl eine Prognose abgegeben hat, ein, eine ähnliche Auswertung durchzuführen. Diese Grafik zeigt den Vergleich der von uns berechneten politischen Stimmung mit dem Wahlergebnis auf einen Blick.

Die Grafik gibt es hier in höherer Auflösung.

Nun bleibt mir noch, mich von Ihnen, den Leserinnen und Lesern, zu verabschieden. Ich bedanke mich für die spannenden Wochen! (Laurent Millischer, derStandard.at, 1.10.2013)