Warum macht der STANDARD überhaupt Umfragen?

Markt- und Meinungsforschung dient der Objektivierung und Quantifizierung von in der öffentlichen Meinung vorhandenen Einstellungen oder Wünschen der Bevölkerung, der Einschätzung von persönlichen Handlungsabsichten sowie der Ermittlung der politischen Stimmungslage. Derartige Umfragen werden im Auftrag verschiedener politischer Institutionen (Parteien und deren Unterorganisationen, Ministerien, Kammern et cetera) durchgeführt und dienen dort als Grundlagen für mehr oder weniger populäre Entscheidungen und politische Strategien. Um der politisch interessierten Leserschaft ähnliche Informationen liefern zu können, geben auch Medien Umfragen in Auftrag.

Für Eigenumfragen des STANDARD besteht seit 1992 eine Kooperation mit dem Market-Institut in Linz.

Wer wird da gefragt?

Als Zielgruppe wird die wahlberechtigte Bevölkerung Österreichs (ab 16 Jahren) definiert.

Warum fragt man nicht alle Österreicherinnen und Österreicher?

Natürlich kann man nicht die gesamte Bevölkerung fragen. Man muss eine repräsentative Stichprobe ziehen – und diese muss bei politischen Umfragen die Wahlberechtigten repräsentieren. Die wahlberechtigte Bevölkerung unterscheidet sich deutlich von der Gesamtbevölkerung Österreichs, da nicht alle Bewohner Österreichs wahlberechtigt sind – Kinder und Nichtösterreicher dürfen ja nicht wählen.

Das lässt sich am Beispiel der Bundesländer zeigen: Bei der letzten Nationalratswahl vom 15. Oktober 2017 waren 6.400.993 Personen wahlberechtigt, 1.154.184 davon im Bundesland Wien, dies entspricht einem Anteil von 18,03 Prozent. Vergleicht man dies mit den Bevölkerungszahlen der Statistik Austria – ohne Einschränkung mit Altersuntergrenze beziehungsweise Staatsangehörigkeit –, so lebten in Österreich (Ende 2016) 8.7654.540 Menschen, davon 1.861.599 in Wien, dies entspricht einem Bevölkerungsanteil von 21,24 Prozent. Mehr als 700.000 Bewohner Wiens haben also kein Wahlrecht, sie werden auch als Grundgesamtheit der Umfragen nicht berücksichtigt Und natürlich wird auch niemand aus diesem Personenkreis befragt.

Was heißt "repräsentativ"?

Repräsentativ bedeutet, dass die Struktur der Stichprobe ein verkleinertes Abbild der Grundgesamtheit darstellt. Mit anderen Worten, formuliert für eine österreichweite Erhebung: Die Stichprobe muss vom Anteil beim Geschlecht, beim Alter oder auch beim Bundesland so nach Quoten zusammengesetzt werden wie die wahlberechtigte österreichische Bevölkerung. Die Repräsentativität ist ein wesentliches Kriterium – nur wenn eine Studie repräsentativ erhoben wurde, lassen sich die Ergebnisse auf die Grundgesamtheit umlegen.

Wie wird die Erhebung durchgeführt?

Die Erhebung wird als Hybrid-Erhebung bei rund 800 Personen durchgeführt – es erfolgt ein Mix aus telefonischen Interviews und Online-Interviews. Etwa 200 Interviews kommen dabei aus der telefonischen Erhebung, 600 Interviews aus dem Market-Online-Panel.

Wie werden die Befragten ausgewählt?

Bei telefonischen Interviews wird eine Zufallsauswahl gezogen und mit Quotenkontrolle laufend überprüft, dass die Struktur der Stichprobe der Grundgesamtheit entspricht. Manche Zielgruppen sind am Telefon schwieriger zu erreichen als andere – daher wird dies während der Durchführung laufend überwacht. Bei der Erhebung selbst werden sowohl Festnetz- als auch Mobiltelefonnummern angerufen.

Die Online-Interviews kommen aus dem Market-Online-Panel. Die Panel-TeilnehmerInnen wurden in den vergangenen Jahren überwiegend telefonisch rekrutiert. Dieser Rekrutierungsvorgang ist von wesentlicher Bedeutung, weil dadurch auch sporadische Internetnutzer im Panel vertreten sind – bei einer Online-Rekrutierung im Internet hingegen finden sich vor allem intensive Internetnutzer im Panel.

Wie unterscheiden sich Face-to-Face-Umfragen von Telefonumfragen und von Online-Umfragen?

In der Erhebungsmethodik: Bei Face-to-Face-Umfragen findet ein persönliches Gespräch zwischen Interviewer und Befragtem statt, bei einer telefonischen Erhebung telefonieren Interviewer und Befragte, und bei einer Online-Befragung werden die Fragen am Computer beantwortet. Diese größere soziale Distanz bei Online-Befragungen führt dazu, dass sensible Fragen oft ehrlicher beantwortet werden und weniger soziale Wünschbarkeit spürbar wird. Beispielsweise ist die Bekennerquote von FPÖ-Anhängern bei Online-Befragungen realitätsnäher als bei telefonischen oder persönlichen Erhebungen.

Kann das, was 800 Leute sagen, wirklich abbilden, was die Bevölkerung meint?

Ja, wenn die Stichprobe sauber ausgewählt wurde, man methodisch korrekt vorgegangen ist und man die statistische Schwankungsbreite berücksichtigt. Bei einem Sample von n=800 liegt die maximale statistische Schwankungsbreite der Ergebnisse bei ±3,54 Prozent. Dies bedeutet, dass, wenn 50 Prozent der Befragten eine Frage mit Ja beantwortet haben, das Ergebnis umgelegt auf die Grundgesamtheit zwischen 46,46 und 53,54 Prozent liegt.

Zu berücksichtigen ist noch die Standardabweichung – die in der Marktforschung üblicherweise mit 2σ definiert ist und damit für 95,45 Prozent aller Fälle gilt. Entsprechend der Normalverteilung liegen damit 95,45 Prozent aller Ergebnisse der Erhebung in der oben definierten Bandbreite, die restlichen 4,55 Prozent sind "statistische Ausreißer". Vereinfacht gesagt: Unter 20 Umfragen ist vielleicht eine, deren Ergebnis sich von der tatsächlichen Verteilung der entsprechenden Meinung in der Gesamtbevölkerung stark unterscheidet. Gerade deshalb werden viele Fragen – etwa jene nach dem Wahlverhalten – häufig gestellt, damit die "statistischen Ausreißer" zumindest in der Reihe der Umfragen erkennbar sind.

Dies lässt sich auch in der Gauß'schen Glockenkurve darstellen:

Wer bestimmt, wie groß die Schwankungsbreite ist?

Voraussetzung für das Umlegen eines Ergebnisses einer Erhebung auf die Grundgesamtheit ist die Repräsentativität der Stichprobe! Die Schwankungsbreite selbst lässt sich – "ganz einfach" – berechnen, und sie wird von drei Parametern beeinflusst:

  • Stichprobengröße (n): Wie viele Personen wurden befragt – hier legen wir ein Sample von n=800.
  • Grundgesamtheit (N): Wie groß ist die Gruppe, aus der ausgewählt wird – bei unseren Erhebungen die wahlberechtige Bevölkerung Österreichs.
  • Ergebnis der Befragung (p, q): Je eindeutiger ein Ergebnis ist, desto geringer ist die Schwankungsbreite; wenn also zum Beispiel 10 Prozent einer Aussage zustimmen, ist die Schwankungsbreite deutlich niedriger, als wenn 50 Prozent zustimmen

Dies lässt sich mit der folgender Formel nachrechnen (Ausgangsbasis: 2σ und damit ein Signifikanzniveau von 95,45 Prozent):

Setzen wir obige Annahmen in die Formel ein – zuerst für ein Ergebnis von 50 Prozent:

  • n=800 (Stichprobe)
  • N=6.400.993 (Grundgesamtheit der wahlberechtigten Österreicherinnen und Österreicher)
  • p=50 / q=100-p -> q=50

Und nun für ein Ergebnis von 10 Prozent:

  • n=800 (Stichprobe, bleibt gleich)
  • N=6.400.993 (Grundgesamtheit der wahlberechtigten Österreicherinnen und Österreicher, ebenfalls unverändert)
  • p=10 / q=100-p -> q=90 (hier haben wir das Ergebnis eingesetzt – statt 50 : 50 nun 10 : 90)

Wenn das Ergebnis eindeutiger ist, ist die Schwankungsbreite also spürbar geringer – wie unser obiges Beispiel zeigt: Bei einer Zustimmung von 10 Prozent liegt die Schwankungsbreite bei ±2,12 Prozent und nicht bei ±3,54 Prozent wie bei einer 50-prozentigen Zustimmung.

Die folgende Tabelle zeigt die Schwankungsbreite in Abhängigkeit von Stichprobengröße und Ergebnis (ausgehend von einer großen Grundgesamtheit, zum Beispiel der wahlberechtigten Bevölkerung Österreichs):

Diese Tabelle zeigt auch, dass eine Stichprobengröße von 3.000 gegenüber einer Stichprobengröße von 800 die Schwankungsbreite bloß halbiert. Eine um ein Vielfaches größere Stichprobe bringt bei entsprechend höheren Kosten nicht im gleichen Ausmaß mehr Treffsicherheit. Dennoch können größere Stichproben dann sinnvoll sein, wenn man einzelne Untergruppen und ihr möglicherweise unterschiedliches Antwortverhalten genauer untersuchen will – etwa wenn es um die Motivation von Wählern kleinerer Parteien geht, die in einer kleinen Stichprobe nur mit relativ wenigen Personen vertreten wären.

Lügen nicht viele Befragte?

In manchen Fragenkomplexen spielen Aspekte wie soziale Erwünschtheit bestimmter Antworten eine Rolle – Befragten fällt es etwa leichter, sich als Besucher von Kulturveranstaltungen darzustellen denn als Konsumenten von Pornofilmen oder sich als Nichtwähler auszugeben statt als Wähler einer extremen Partei. Bei derartigen Fragenkomplexen muss schon bei der Fragestellung beziehungsweise bei der Erhebungssituation begonnen werden, um diese Neigung zu Ausflüchten so gering wie möglich zu halten.

Wie kann man da trotzdem erwarten, dass die Sonntagsfrage ein zutreffendes Ergebnis liefert?

Bei der Sonntagsfrage wird abgefragt, welche Partei man wählen würde, wenn am kommenden Sonntag zum Beispiel Nationalratswahlen wären. In wahlfernen Zeiten gibt es hier üblicherweise eine etwas niedrigere Bekennerquote, die mit näherrückendem Wahltag ansteigt. Die Hochrechnung kann damit nicht punktgenau auf das Zehntelprozent vorhersagen, wie eine Wahl ausgeht – sie kann aber Tendenzen aufzeigen: Welche Parteien haben gerade Rückenwind, welche tun sich hingegen eher schwer?

Der Komplex zur Sonntagsfrage besteht zumindest aus drei Fragestellungen, und zwar:

  • Wenn am kommenden Sonntag Nationalratswahlen wären, welcher Partei würde man da seine Stimme geben?
  • Wenn sich jemand nicht deklariert: Welche Partei kommt am ehesten infrage?
  • Welche Partei hat man bei der letzten Nationalratswahl gewählt?

Durch die Rückerinnerungsfrage wird überprüft, ob sich zum Beispiel in der Stichprobe ausreichend Personen zur FPÖ bekannt haben, um mit Rechenalgorithmen eine Hochrechnung zum aktuellen Wahlverhalten abgeben zu können.

In Wahlzeiten wird das Abfrageprogramm aber noch deutlich erweitert, und es wird beispielsweise auch abgefragt, wie sicher man bei der bevorstehenden Nationalratswahl auch wählen geht – um die wahrscheinlichen Nichtwähler ausschließen zu können.

Ist die Schwankungsbreite von Umfragen nicht viel zu groß, um konkrete Aussagen zum Wahlverhalten treffen zu können?

Zum Beispiel im Vorfeld der Nationalratswahl 2017: Es hat sich schon Monate vor der Wahl abgezeichnet, dass es schwer wird für die Grünen und sie bei weitem nicht das Ergebnis der Nationalratswahl 2013 erreichen werden. Ob allerdings die 4-Prozent-Hürde übersprungen wird oder nicht, ist bei einem Wahlergebnis von 3,8 Prozent unmöglich vorherzusagen. Andererseits war auch klar absehbar, dass die ÖVP an der ersten Stelle zu liegen kommen wird – Market hat für die ÖVP in den Monaten vor der Wahl stets 32 oder 33 Prozent ausgewiesen, tatsächlich hat die Liste Kurz 31,5 Prozent erreicht. Ähnlich treffsicher wurde das Ergebnis der FPÖ und der Neos in den Hochrechnungen aus der Sonntagsfrage ausgewiesen. Die Liste Pilz wurde dagegen über-, die SPÖ unterschätzt. Die Sonntagsfrage kann also Tendenzen klar aufzeigen, nicht aber präzise Wahlergebnisse darstellen.

Warum lässt der STANDARD erheben, wen man als Bundeskanzler wählen würde, wenn man doch tatsächlich nur eine Parteiliste wählen kann?

Personen sind ein wesentlicher Faktor der Wahlentscheidung – die getrennte Abfrage zeigt die Wirkung eines Personenwechsels. Dies war sowohl bei der SPÖ (Faymann – Kern) als auch bei der ÖVP (Mitterlehner – Kurz) sehr eindrucksvoll zu sehen. Solche Effekte sind in der Bevölkerung weit verbreitet und werden natürlich auch von den politischen Parteien angestrebt, verstärkt und selbstverständlich auch in den von politischen Parteien beauftragten Umfragen erhoben, um die Kandidaten entsprechend zu positionieren.

Welche Relevanz hat die Sonntagsfrage, wenn in absehbarer Zeit gar keine Wahlen anstehen?

Dass die Sonntagsfrage regelmäßig gestellt wird, hilft bei der Einschätzung der politischen Stimmungslage. Zudem ist es wichtig zu wissen, wie persönliche Werthaltungen und Präferenzen für bestimmte politische, wirtschaftliche oder gesellschaftliche Entscheidungen in den Wählerschaften einzelner Parteien verteilt sind. So hat sich in den Monaten vor der Nationalratswahl 2017 gezeigt, dass Pessimisten in einem hohen Maß dazu geneigt haben, die FPÖ zu präferieren. Nach der Nationalratswahl 2017 ist im freiheitlichen Lager der Anteil der Menschen, die ganz allgemein "der nahen Zukunft mit Optimismus und Zuversicht" entgegenblicken, erheblich gestiegen, während sich die SPÖ-Wähler (noch ehe sie nach ihrer Parteipräferenz gefragt wurden) in höherem Maß als pessimistisch deklarieren.

Klarerweise liefert die Sonntagsfrage nur eine Momentaufnahme – sie gibt aber auch in Nichtwahlzeiten Hinweise, welche Parteien mit ihrer Politik und ihrem Personal momentan auf Zustimmung stoßen und welche eher weniger Zustimmung finden, wenngleich durch Wahlkämpfe Veränderungen herbeigeführt werden würden.

Wieso wird gefragt, ob Menschen optimistisch sind? Das hat doch nichts mit Politik zu tun!

Optimismus ist ein wesentlicher Faktor – das sehen wir beispielsweise bei der Bereitschaft zum privaten Konsum: Wenn die Bevölkerung optimistisch ist, sitzt das Geldbörserl lockerer. Aber die Stimmung ist auch für Regierungen relevant: Eine allgemein gute Stimmungslage nützt regierenden Parteien, eine kritische Stimmungslage hingegen eher Oppositionsparteien.

In Grafiken und in den Artikeln selbst werden oft Prozentzahlen angegeben – diese summieren sich aber nicht immer auf 100. Wie kann das sein?

Bei den meisten Umfragen addieren sich die Prozentzahlen nicht auf 100. Das hat zwei Gründe: Erstens gibt es sehr oft Antwortverweigerer, also Befragte, die keine Antwort geben wollen oder auch nicht können. Die Frage, ob man ein gutes, neutrales oder schlechtes Verhältnis zu seinen Eltern habe, können etwa nur Menschen beantworten, die noch zumindest einen lebenden Elternteil haben. Und manche sagen vielleicht lieber nichts als dass sie eingestehen, ein schlechtes Verhältnis zu den Eltern zu haben.

Der zweite Grund liegt in der Rundung: Selbst wenn auf die Frage nach der Lieblingsfarbe jeder Befragte eine von fünf vorgegebenen Farben wählt, kann das Ergebnis lauten: 11,2 Prozent schwarz, 18,2 Prozent rot, 30,2 Prozent grün, 20,2 Prozent blau und 20,2 Prozent gelb. Summiert sich zwar schön auf 100 Prozent – da man aber keine Zehntelprozente ausweist (was eine statistische Genauigkeit vorspiegeln würde, die es nicht gibt), würde das als 11 Prozent schwarz, 18 Prozent rot, 30 Prozent grün, 20 Prozent blau und 20 Prozent gelb ausgewiesen. Und ein Prozentpunkt fiele unter den Tisch.

Warum werden in den Berichten über Meinungsforschung meistens Prozentzahlen angegeben, oft aber auch "jeder Vierte" oder auch "drei von zehn"?

Das hat zunächst mit der Textgestaltung zu tun:

  • Es ist für die Lesbarkeit eines Textes hilfreich, wenn er nicht aus einer Aneinanderreihung von Prozentwerten besteht.
  • Außerdem ist "drei von zehn" eine anschaulichere Darstellung als "30 Prozent". Und unter "jedem Vierten" kann man sich eher etwas vorstellen als unter "25 Prozent"

Ein weiterer Grund, eine die Größenordnung beschreibende Darstellung zu wählen, liegt im Bemühen, keinen falschen Eindruck von Präzision zu vermitteln, wo das statistisch nicht gerechtfertigt wäre. Wenn ein Tabellenwert nahelegt, dass die Anhänger einer Partei X, die von weniger als 100 Befragten als bevorzugte Partei angegeben wird, einen mit angenommen 29 Prozent stark vom Bevölkerungsdurchschnitt mit angenommen 51 Prozent abweichende Meinung haben, dann sollte man sich nicht allzu sehr auf den Prozentwert bei den Anhängern der Partei X kaprizieren. Wie die Tabelle oben zeigt, liegt die Schwankungbreite bei n=100 ja bei 9,3 Prozent. Der wahre Prozentwert unter den Wählern der Partei X läge also irgendwo zwischen 20 und 38 Prozent. Das ist immer noch signifikant unterschiedlich vom Durchschnitt der gesamten Stichprobe, der bei n=800 bei einer entsprechend kleineren Schwankungsbreite rund um den 50-Prozent-Wert von 3,54 Prozent also irgendwo zwischen 47,5 und 54,5 Prozent liegen dürfte. Daher würde man im Text schreiben: "Nur etwa drei von zehn Wählern der Partei X vertreten diese Meinung, während sie in der Gesamtbevölkerung von jedem Zweiten vertreten wird."

Warum werden bei grafischen Darstellungen die Balken oft verschoben dargestellt?

Es ist in gedruckten Zeitungen seit vielen Jahren üblich, positive Werte (etwa: "besser als früher") rechts von einer angenommenen Null-Linie und negative Werte (etwa "schlechter als früher") links davon abzubilden – Werte dazwischen (etwa "gleich gut") jeweils zur Hälfte links und rechts von der Null-Linie. Dadurch wird erstens grafisch darstellbar, wie viele Befragte sich enthalten haben (bei vielen Enthaltungen wird der Balken insgesamt kürzer) und zweitens ist der Vergleich möglich, in welchem Punkt die positive und in welchen die negative Einschätzung überwiegt.

Wenn solche Grafiken aus der gedruckten Zeitung übernommen werden, sieht die Darstellung wie oben beschrieben aus.

Sind nicht viele Befragte überfordert, wenn sie zu komplexen Inhalten befragt werden?

Ja, das kommt vor. Aber das kennt man auch aus allen möglichen Alltagssituationen: Es mag schwer zu entscheiden sein, ob die in der Auslage oder im Internet entdeckte karierte Jacke oder doch eher die gestreifte Jacke besser zu einem (und zum Rest der Garderobe) passt – aber dann kauft man doch spontan, was einem gefällt. Politische Fragen und Aussagen, die aufs Erste "gut" oder "schlecht" klingen, werden oft ähnlich spontan und nur teilweise informiert beurteilt und erst nachher mit der eigenen politischen "Garderobe", also den eigenen ideologischen Vorstellungen und Parteipräferenzen, abgeglichen.

Dementsprechend müssen die Fragebögen gestaltet werden, um spontane Entscheidungen zu ermöglichen. Dennoch gibt es bei vielen Fragen Menschen, die sich "überfragt" fühlen und daher mit "weiß nicht" antworten – und das ist bei Fragebögen nicht anders als beim Einkaufen, wo wir zur nächsten Auslage gehen oder die nächste Website anklicken, um diesmal vielleicht gar keine neue Jacke zu kaufen. (Conrad Seidl, 27.8.2018)