Im Laufe unseres Projekts haben wir die Akteure der Meinungsforschung und ihre Arbeit analysiert und dafür Qualitätsmerkmale definiert: Wie groß sind die Stichproben? Wie oft werden die kleinen Parteien einzeln angeführt? Wie treffsicher waren die Institute bei vergangenen Wahlen?
Während die Stichprobengröße die Genauigkeit der Umfrageergebnisse bestimmt, zeugt die Erwähnung der kleinen Parteien vom Bewusstsein der Wechselwirkung zwischen Wahlumfragen und Wahlergebnissen. Über die genauen Methoden der einzelnen Institute ist meist wenig bekannt. Um deren Qualität zu vergleichen, ist es notwendig die historischen Treffsicherheit zu berechnen*.
In der folgenden Tabelle haben wir die Ergebnisse unserer Analyse zusammengefasst. N/A bedeutet, dass wir nicht genügend Daten haben, um Schlüsse zu ziehen. Die drei Kriterien "Durchschnittliche Stichprobengröße", "Alle Parteien erwähnt" und "Historische Treffsicherheit" sind unabhängig voneinander zu betrachten, das heißt sie ergeben sich nicht aus den anderen, sondern sie sollen ein breit gefächertes Bild der Institute entwerfen.
Was kann man aus der Reihung der historischen Treffsicherheit schließen? Etwa, dass das Institut mit den kleinsten durchschnittlichen Stichprobengrößen die Wahlergebnisse am besten prognostizierte? Vielleicht gar, dass 400 befragte Personen ausreichen, um die politische Stimmung präzise zu messen? Ganz und gar nicht.
Die historische Treffsicherheit misst, wie gut das Institut mit der Stichprobe umgeht. Von einer Umfrage mit 400 Befragten erwarten wir uns, dass sie sich bei einer 20-Prozent-Partei nicht um mehr als vier Prozentpunkte verschätzt. Bei 1000 Befragten sind es zwei Prozentpunkte. Entsprechen die historischen Abweichungen eines Instituts diesen Zahlen, hat es eine optimale historische Treffsicherheit. Liegen die Umfrage- und Wahlergebnisse jedoch weiter auseinander als es die Statistik vorhersagt, so ist möglicherweise die Umfragemethodik nicht optimal und die historische Treffsicherheit ist geringer.
Ein weiteres Qualitätsmerkmal ist die (freiwillige) Mitgliedschaft beim Verband der Marktforscher Österreichs, die das Akzeptieren internationaler Qualitätsstandards voraussetzt. Alle acht oben angeführten Institute sind VMÖ-Mitglieder.
Zum Abschluss ist noch zu bemerken, dass keines der genannten Institute seine Arbeit auf politische Meinungsforschung beschränkt: Die Themenschwerpunkte liegen in privatwirtschaftlichen Analysen. Zudem ist nicht öffentlich bekannt, wieviel Medien für Umfragen bezahlen. Der potentielle Interessenskonflikt Wahlumfragen vs. Medienpräsenz kann dadurch nicht ausgeschlossen werden. Schließlich und endlich fällt die starke Marktkonzentration auf: Besonders hervorzuheben ist die dominante Stellung der Institute Gallup und Karmasin, die gemeinsam mehr als die Hälfte der Umfragen im letzten Jahr veröffentlichten. Beide haben die gleiche Anschrift, die gleichen Inhaber und die gleiche Geschäftsführerin. (Laurent Millischer, derStandard.at, 17.9.2013)