Es gibt einen Satz, der Michael Nitsche richtig wehtut. Es ist eigentlich nur ein Halbsatz, aber der Chef des Gallup-Instituts hört die zweifelnde Formulierung dieser Tage in vielen politischen Diskussionen: "... wenn man Umfragen überhaupt noch trauen darf". Diese Einschränkung werde der Branche nicht gerecht, die nach Zahlen des internationalen Marktforschungsverbands Esomar allein in Österreich im vergangenen Jahr 108 Millionen Dollar (94 Millionen Euro) umgesetzt hat.

Glaubwürdigkeit ist die harte Währung der Marktforschung, garantiert durch handwerklich saubere Arbeit, die sich an wissenschaftlich abgesicherten Methoden orientieren muss. Sie wird infrage gestellt durch einzelne in den vergangenen drei Wochen bekannt gewordene Veröffentlichungen, die im Verdacht stehen, manipuliert zu sein.

Aber der Einzelfall der Meinungsforscherin Sabine B. ist nur ein Teil des Bildes, das vielfach von der Demoskopie gezeichnet wird. Frau B. und ihr kleines Institut stehen bekanntlich im Verdacht, Umfragedaten nach Wünschen eines kleinen Kreises von ÖVP-Mitarbeitern im Sinne des damaligen Außenministers Sebastian Kurz frisiert, in das Boulevardmedium Österreich geschleust und die Kosten dafür der Republik verrechnet zu haben.

Zahlen – eine Diskussionsgrundlage

Reinhard Raml, Geschäftsführer des allgemein der roten Reichshälfte zugerechneten Ifes-Instituts, versteht die Verunsicherung, die so ein Fall auslöst, auch wenn er Details nicht kommentieren will: "Die Bevölkerung sieht ja nur jenen Teil der Meinungsforschung, der in den Medien veröffentlicht wird. Dabei muss man akzeptieren, dass Zahlen einfach eine Diskussionsgrundlage sind – es kommt ganz auf das Thema an, ob 30 Prozent für ,relativ viel‘ oder ,relativ wenig‘ gehalten werden."

Dazu kommt, dass Menschen sich schwertäten, Wahrscheinlichkeiten einzuschätzen: "Wer in ein Flugzeug steigt, hat ein mulmiges Gefühl, weil er den äußerst unwahrscheinlichen Fall eines Unfalls im Kopf hat." Aus demselben Grund neige man dazu, Umfrageergebnisse, die nicht mit den eigenen Vorstellungen übereinstimmen, anzuzweifeln.

Einem ehemals ranghohen ÖVP-Politiker, der im Zusammenhang mit den aktuellen Ereignissen nicht namentlich zitiert werden will, ist sehr bewusst, in welche Falle man da geraten kann. Er erzählt dem STANDARD von einer vor vielen Jahren durchgeführten Umfrage im Auftrag seiner Partei, die das erwartbare Ergebnis gebracht hat, dass der Volkspartei hohe Wirtschaftskompetenz zugetraut wird.

Gleichzeitig stand da, weniger erwartbar, schwarz auf weiß, dass der ÖVP in der Familienpolitik wesentlich weniger zugetraut wurde: "Da haben viele gesagt: ,Die Umfrage kann nicht stimmen, wir sind doch seit immer schon die Familienpartei‘", erinnert sich der Ex-Politiker.

Misstrauen gegenüber unangenehmen Daten

Der Impuls, Ergebnissen der politischen Marktforschung zu misstrauen, wenn sie nicht ins eigene Weltbild passen, ist seiner Erinnerung nach sehr stark. Aber er führt geradewegs ins politische Abseits. In seinem heutigen Beruf in der Privatwirtschaft hat der Ex-Politiker viel mit Marktforschung zu tun – "und da ist doch ganz klar, dass man vor allem wissen will, was man besser machen muss. Es hilft keinem, wenn er sich die Daten schönrechnet und behauptet, dass sein Produkt ohnehin so gut sei, wenn das von den Käufern eben nicht so gesehen wird."

Damit sind zwei Punkte angesprochen, die für das Verständnis der Branche wichtig sind, im Tagesgeschäft der Medienberichterstattung aber meist ausgeblendet werden: Zum einen muss die Zusammenarbeit zwischen Auftraggeber und durchführendem Institut von hohem Vertrauen in die jeweilige Methodik geprägt sein – wer zahlt, hat Anspruch auf valide Daten, auch wenn diese manche unangenehme Tatsachen ans Licht, beziehungsweise in die Excel-Tabelle, bringen.

Forschung für Unternehmen

Zum anderen wird vielfach nicht wahrgenommen, dass es in der Marktforschung nur selten um Politik geht. David Pfarrhofer vom Linzer Market-Institut schätzt: "95 Prozent von dem, was an unserer Forschung publiziert wird, hat mit Politik zu tun – also etwa die Umfragen, die wir für den STANDARD machen. Aber umgekehrt macht das vielleicht fünf Prozent unserer Tätigkeit aus, da ist das Verhältnis also genau umgekehrt. Und das meiste von dem, was wir da erheben, ist auch gar nicht für eine Publikation geeignet, weil es um Aufträge von Unternehmen geht, die etwa ihre Mitarbeiter befragen lassen, einen Slogan abgetestet haben wollen oder eine Vergleichsverkostung von Schokoriegeln brauchen."

Auch Ifes-Chef Raml schätzt, dass der Umsatz mit Wahlumfragen "im Branchenschnitt nur bei wenigen Prozenten" der erwähnten 94 Millionen Euro laut Esomar liegt. Bei Ifes, das nach seiner Gründung 1965 mit präzisen Analysen gesellschaftlicher Strömungen wesentlich zum Aufstieg von Bruno Kreiskys SPÖ zur Nummer eins beigetragen hat, mache die Politikforschung vielleicht einen etwas höheren Anteil aus als bei Mitbewerbern – weil das Ifes seinem Gründungsauftrag als "Institut für empirische Sozialforschung" gemäß eben die Sozialforschung in den Mittelpunkt der Tätigkeit stelle. Und das bedeute immer noch: "Probleme sichtbar machen, indem man sie mit Zahlen belegt."

Zahlen liefern Argumente

So hat das Ifes kürzlich eine Studie mit Pflegekräften gemacht: "Das meiste haben wir eh gewusst, das meiste hat auch der Auftraggeber gewusst, aber jetzt konnte man es eben mit Zahlen untermauern." So liefere die empirische Sozialforschung "Bausteine, um zu Entscheidungsgrundlagen zu gelangen". Aber die Umfrage allein sei nie das einzige Instrument.

Peter Hajek, durch viele Fernsehauftritte bei ATV bekannter Politik- und Sozialforscher, bestätigt, dass die Grenzen oft fließend seien. Wenn er etwa für einen Pharmakonzern Diabetiker befrage, gehe es um wichtige gesundheitspolitische Entscheidungen, und auch wenn er für Ministerien tätig werde, passiere das nicht im politikfreien Raum.

Aber da gehe es nicht um Parteipolitik. Wenn ein Möbelhaus wissen will, wie seine Produktlinie ankommt, ist es üblicherweise daran interessiert, welche Haushalte mit welchen Einkommen und aus welcher Region gut ansprechbar sind. Die Parteipräferenz ist da kaum von Bedeutung und wird meistens auch nicht abgefragt. Bei Aufträgen der öffentlichen Hand ist das ähnlich.

Allerdings könne es da Ausnahmen geben, sagt Gallup-Chef Nitsche: "Das Thema Impfen wird sehr politisch diskutiert und auch politisch instrumentalisiert. Da kann es sinnvoll sein, die politische Neigung der Befragten zu erheben. Aber ich sehe das wirklich als Ausnahme."

Falsche Erwartungen

Dass manche Meinungsforscher eher Aufträge bekommen, weil sie eine große Medienpräsenz haben, geben alle mehr oder weniger deutlich zu. Hajek bringt es auf den Punkt: "Die Leute sagen dann: Der kennt sich aus. Jeder hat Schwerpunkte, bei denen ihm Expertise zugeschrieben wird. Und manche Auftraggeber meinen vielleicht auch: Wir geben diesem Meinungsforscher einen Auftrag, dann wird er künftig nicht mehr so negativ über uns reden. Ich stelle immer klar, dass das nicht so läuft. Und mir hat noch niemand aus diesem Grund abgesagt."

Im Normalfall gehen Umfragen erst nach langer Planung und eingehender Bearbeitung des Fragenkatalogs ins Feld. Diesen zu erstellen und verständlich zu formulieren, ist eine der Grundkompetenzen der Marktforscher. "Wir machen nur Fragebögen, die wir für sinnvoll und seriös erachten", sagt Gallup-Mann Nitsche, der viel im Auftrag von wissenschaftlichen Institutionen forscht.

Spezielle Hürden gibt es da bei internationaler Zusammenarbeit – etwa wenn Gallup im Auftrag die Eurobarometer-Umfragen in Österreich durchführt. Bei internationalen Projekten müssen die Ergebnisse aller Länder vergleichbar sein – obwohl manche Begriffe in verschiedenen Ländern unterschiedliche Bedeutung haben. Nitsche: "In den USA gilt ,liberal‘ vielen als Synonym für ,linksextrem‘. In Deutschland steht die FDP für ,liberal‘, und in Österreich ist die FPÖ wieder etwas ganz anderes als die FDP in Deutschland."

Auch der Preis sei manchmal ein Thema für Umfragekunden: Die Spanne bewege sich zwischen 2000 bis 3000 Euro für ganz wenige an eine Online-Mehrthemenumfrage angehängte Fragen bis zu höheren sechsstelligen Beträgen für Langfriststudien, bei denen die eigentlichen Umfragewellen nur einen Teil eines umfassenden Unternehmensberatungsprozesses darstellen.

Schwierige Kunden, schwierige Zielgruppen

"Wenn jemand mit wahnwitzigen Zeitvorstellungen kommt und in fünf Tagen eine Untersuchung in einer sehr speziellen Zielgruppe will, dann müssen wir wohl Nein sagen", sagt Ifes-Forscher Raml. Die dafür aufzuwendenden Kosten und die praktischen Schwierigkeiten würden vielfach unterschätzt. Als Beispiel nennt er etwa Umfragen unter zwölf- bis 15-jährigen Kindern. Da eine repräsentative Stichprobe zustande zu bringen, sei schon allein wegen der erforderlichen Zustimmung der Eltern schwierig.

Das Problem der sauberen Stichprobenziehung treibt die Statistiker seit vielen Jahrzehnten um. Der Begriff kommt ursprünglich aus dem Agrarproduktehandel: Man hat einen Sack an zufälliger Stelle aufgestochen und 1000 Körner auf Eigenschaften wie Siebung, 1000-Korn-Gewicht oder Keimfähigkeit untersucht. Das hat – mit statistisch akzeptierten Abweichungen – Aussagen über den Inhalt der gesamten Lieferung zugelassen.

Bei Befragungen geht es um dasselbe Prinzip: Es muss eine Grundgesamtheit definiert werden (das können je nach Auftrag die Kunden eines Unternehmens, Patienten mit bestimmten Beschwerden oder eben auch die wahlberechtigte Bevölkerung eines Landes sein), und dann muss aus dieser Grundgesamtheit zufällig eine Anzahl von Personen befragt werden.

Für die Repräsentativität einer Stichprobe ist deren Zusammensetzung relevant. Für die mögliche Abweichung vom wahren Meinungsbild dagegen die Stichprobengröße. Umfasst die Stichprobe 800 Befragte, so liegt die maximale Schwankungsbreite bei einem Ja-zu-Nein-Verhältnis von 50:50 plus/minus 3,5 Prozent. Bei 1000 Befragten sind es noch 3,2 Prozent. Das heißt, dass 50:50 in Wahrheit auch 53,5:46,5 Prozent sein kann. Und auch das ist eine statistische Tücke: Dennoch kann eine von 20 Umfragen ein falsches Ergebnis liefern. Deshalb versuchen viele Institute, mit mehreren Umfragewellen länger an einem Thema dranzubleiben, um so statistische Ausreißer einzuhegen.

Umstrittene Methoden

Wie das passiert, ist im Lauf der vergangenen Jahrzehnte immer wieder umstritten gewesen. Das Face-to-Face-Interview, bei dem ein Interviewer bestimmte Personen aufzusuchen hat, um mit ihnen gemeinsam einen Fragebogen auszufüllen, galt lange als GoldStandard. Als vor gut 30 Jahren Telefoninterviews aufkamen, richteten einige Marktforschungsunternehmen aufwendige Callcenter ein. Heraus kamen Computer-Assisted-Telephone-Interviews (CATI), die viel schneller Ergebnisse lieferten als die Papierfragebögen.

Prompt warf man den Innovatoren mangelnde Seriosität vor – bis sie beweisen konnten, dass die Ergebnisse nicht nur ähnlich treffsicher waren, sondern auch noch billiger. Damals war das OGM-Institut von Wolfgang Bachmayer Vorreiter. Er wurde in der Branche angefeindet. Inzwischen ist er vom Telefon weitgehend abgegangen und macht bevorzugt Online-Interviews.

Diese sind noch preisgünstiger und seit etwa 15 Jahren etabliert – obwohl auch ihnen zunächst mangelnde Repräsentativität vorgeworfen wurde. Damals gingen ältere Menschen noch nicht so selbstverständlich mit dem Computer um wie heute. Inzwischen hat sich das umgekehrt: Vielfach sind Senioren viel eher bereit, online zu antworten, als jüngere, berufstätige Zielgruppen. Auch die Deklarationsbereitschaft, welche Partei man derzeit wählen würde, ist vielfach einem anonymen Computersystem gegenüber höher als gegenüber einem Anrufer oder gar einem Interviewer in der Nachbarschaft.

Der Verband der Markt- und Meinungsforschungsinstitute Österreichs (VdMI) – viele Mitglieder haben aufwendige Callcenter – hat den Brancheninnovator Bachmayer wegen seiner Online-Umfragen ausgeschlossen. Was diesen wiederum wenig kratzt, da der VdMI für die Marktbedeutung der Institute wenig Relevanz hat. Viele Institute sind stattdessen im VMÖ, dem alteingesessenen Verband der Marktforscher, und bei Esomar. So auch Market-Chef Werner Beutelmeyer: "Wir sind seit Jahrzehnten Mitglied beim Verband der Marktforscher. Der VMÖ ist der Hauptverband der Marktforscher, beim europäischen Verband Esomar sind wir auch Mitglied. Es braucht keinen dritten Verband. Man sieht ja auch, wie schlecht er in der Krise agiert." Im Übrigen, sagt Beutelmeyer, sei er "voll solidarisch mit Bachmayer". Dem VdMI gehe es "nur um handfeste kommerzielle Interessen".

Die meisten Institute kombinieren verschiedene Systeme, vor allem in konkreter Wahlforschung. Market setzt auf ein – offline rekrutiertes – breites Online-Panel, aus dem die Stichprobe gezogen wird. Ergänzt wird es mit sogenannten CAPI-Points. Das sind computerassistierte persönliche Interviews, für die Interviewer mit Tablets losgeschickt werden, um vor allem in gewissen ländlichen Regionen die Repräsentativität herzustellen. Hajek schwört bei Wahltagsforschungen auf eine "Zauberformel" aus zwei Drittel Telefoninterviews und einem Drittel Onlinefragen.

Sonntagsfrage nicht das Wichtigste

Dann wird gerechnet und geschätzt, wie die Antworten von 800 bis 1500 Befragten auf die Sonntagsfrage und ihre Erinnerung an die letzte Wahl wohl das wahre Wahlverhalten der Bevölkerung abbilden. Die vor den Wahlen der letzten Jahre durchgeführten Umfragen haben das mit Abweichungen von wenigen Prozentpunkten ziemlich treffsicher hinbekommen.

Wobei das Public-Opinion-Polling gar nicht so sehr auf treffsichere Wahlprognosen schielt, sondern das gedankliche und emotionale Umfeld ausleuchten will, in dem Wahlentscheidungen getroffen werden.

Nitsche hält diese Veröffentlichungen für eine demokratische Tugend: "Die Bürger bekommen dadurch die Chance zu sehen, wo sie mit ihrer eigenen Meinung im Verhältnis zur Gesamtbevölkerung stehen." (Conrad Seidl, 23.10.2021)

Nachtrag vom 23.10, 20:10:

Edith Jaksch, die Vorstandsvorsitzende des VdMI, legt Wert auf die Feststellung, dass es dem VdMI nicht um ökonomische Interessen gehe. "Dieser Vorwurf ist absurd. OGM wurde ausgeschlossen, weil Wolfgang Bachmayer an den Qualitätskriterien des Verbandes zwar mitgewikrt und diese auch an die Redaktionen dieses Landes kommuniziert hat, sich aber selbst diesen Normen nicht verpflichtet fühlt. Die Nichteinhaltung wurde uns zudem verschleiert, den die Methodik wurde weder im Kurier noch auf der Website von OGM angeführt. Die Notwendigkeit eines Methoden-Mix steht bei all unseren Mitglieder-Instituten, ob Online- oder Telefondienstleister, außer Streit. Der Vorwurf der kommerziellen Interessen ist lächerlich. Die Kriterien des Methoden-Mix beziehen sich auf eine einzige Fragestellung, nämlich die Sonntagsfrage. Die Erhebung der Sonntagsfrage ist für kein Institut ein wirtschaftlicher Faktor. Aber die Sonntagsfrage steht bei den Qualitätskriterien zu Recht im Fokus", sagt VdMI-Vorsitzende Edith Jaksch.

Der von Jaksch aus dem VdMI ausgeschlossene OGM-Chef Wolfgang Bachmayer erklärt seinerseits: "OGM selbst hat vor 16 Jahren das "Mix Mode"-Kriterium im VdMI eingebracht und forciert, weil die damals neuen "Online only"-Umfragen für eine Wahlprognose noch nicht geeignet waren. Denn damals hatten lediglich 41% aller österreichischen Haushalte einen Internet-Anschluss, bei der größten Wählergruppe der PensionistInnen war die Online-Penetration noch weitaus geringer. Mittlerweile haben sich die technologischen und gesellschaftlichen Grundlagen fundamental geändert. So haben heute 89% aller Haushalte einen Internetanschluss und nur mehr 31% ein Festnetztelefon, über das lt. Telekom-Regulierungsbehörde RTR nur mehr 10% aller Gesprächsminuten abgewickelt werden. Die dominierenden Mobilnummern sind kaum im öffentlichen Telefonverzeichnis eingetragen und daher weder bekannt noch regional zuordenbar, dazu kommen wegen der geänderten Rechtslage (DSGVO, E-Privacy-Verordnung) juristische Herausforderungen. Das waren für OGM gute Gründe, die mittlerweile nicht mehr zeitgemäße Mix Mode-Methode bei Wahlumfragen durch Online-only-Erhebungen zu ersetzen und unser hauseigenes Telefonstudio nur noch bei speziellen Umfragen einzusetzen. Auch die Media-Analyse als seit Jahrzehnten anerkannte "Währung" der Reichweite von Medien wurde mittlerweile umgestellt, die Zielperson können zwischen persönlichem oder online-Interview wählen."