D
Foto: thinkstock.com/M-image
Praxis

Welchen Umfragen können wir vertrauen?

Medien berichten gern und ausführlich über Umfragen. Vor allem online gibt es aber auch viele Befragungen, die nicht sonderlich seriös, geschweige denn repräsentativ sind. Umso wichtiger ist es zu wissen, worauf es bei Umfragen und der Berichterstattung darüber ankommt.

von Janina Mütze

"Es wird knapp", schrieb "Spiegel Online" keine 48 Stunden vor Öffnung der Wahllokale in Nordrhein-Westfalen. Beide Volksparteien lägen kurz vor der Wahl fast gleichauf. Die Autoren des Artikels bezogen sich dabei auf die Umfrageergebnisse, die sie in den Wochen zuvor kontinuierlich in Auftrag gegeben hatten. Am Freitag vor der Wahl, dem Tag der letzten Veröffentlichung, kam die SPD demnach auf 32,5 Prozent. Die CDU erreichte 31,6 Prozent und lag somit in der Umfrage knapp hinter den Sozialdemokraten. Die Aussage der Journalisten wirkte erstaunlich nüchtern. Sollten diese Ergebnisse nicht der SPD Sicherheit geben, als stärkste Kraft hervorzugehen? Und sahen andere Institute nicht die CDU vorne?

Womit wir beim Thema wären: Über Umfragen wird viel berichtet, aber nicht immer scheint klar zu sein, welche Informationen aus den veröffentlichten Ergebnissen gezogen werden können. Zunehmend schwierig wird es für Leser insbesondere deshalb, weil immer mehr Unternehmen Daten veröffentlichen. Allein in Deutschland sind laut Arbeitskreis Deutscher Markt- und Sozialforschungsinstitute (ADM) 117 Institute tätig. Dazu kommen Unternehmen oder Verbände, die eigene Erhebungen durchführen. Die Zahl des Tages, der Woche und des Monats findet sich in jedem PR-Portfolio.

Als Leser von Online-Medien konsumieren wir allerdings nicht nur seriöse Umfrageergebnisse. Es gibt auch immer mehr nicht-repräsentative Umfrage-Tools, die uns zur Mitarbeit an Umfragen auffordern. Einfache Klicktools werden von Online-Medien gerne in Artikel eingebettet, da sie das Engagement der Leser steigern und diese länger auf der eigenen Webseite halten.

Auch Plattformen wie Facebook oder Twitter haben deshalb Umfrage-Features für die Nutzer entwickelt. So stellte zum Beispiel Jan Böhmermann Ende Mai auf Twitter die Frage: "Was findet Ihr besser?" Als Antworten standen "Das Grundgesetz" oder "100.000 Euro in bar" zur Auswahl. Zwar konnte sich Böhmermann drei Tage später über fast 35.000 Abstimmungen und einen knappen Sieg für das Grundgesetz (52 Prozent zu 48 Prozent) freuen, doch absurde Beispiele wie dieses zeigen, dass die Ergebnisse solcher Umfragen trotz massenhafter Klicks höchst fraglich sind.

Durch die schnelle Verbreitung der einfachen Klicktools vergessen wir manchmal, dass Online-Befragungen auch repräsentativ sein können. Die entscheidende Frage lautet daher: Welchen Umfragen können wir bei der Vielzahl von Erhebungen überhaupt vertrauen? Eine ehrliche Antwort geben uns dabei die Maßstäbe, die sich Meinungsforscher selbst gesetzt haben: Vertrauen können wir den Umfragen, bei denen wir wissen, wer wen in welcher Form wann und für wen befragt hat. Vereinigungen wie die American Association for Public Opinion Research (AAPOR) oder der ADM in Deutschland haben zum Beispiel für die Produktion und Veröffentlichung von Umfragedaten umfangreiche Leitlinien festgelegt.

Darauf aufbauend hat der Deutsche Presserat – um das Leseerlebnis nicht durch mehrere Absätze zur Methodik negativ zu beeinflussen – Richtlinien zur Berichterstattung über Umfragedaten herausgegeben, in denen die seiner Meinung nach wichtigsten Informationen enthalten sind. Demnach müssen zumindest die Zahl der Befragten, der Zeitpunkt der Befragung, der Auftraggeber sowie die Fragestellung für den Leser erkenntlich sein. Darüber hinaus muss mitgeteilt werden, ob eine Umfrage repräsentativ ist oder nicht.

Wichtig zu verstehen ist außerdem: Umfragen sind keine Prognosen. Sie geben die Meinung zu einem bestimmten Zeitpunkt wieder. Es gilt daher: Nach der Wahl sind wir alle am schlauesten. Im Falle der NRW-Wahl lagen einige Meinungsforscher gut. Die Umfrage, auf die "Spiegel Online" am Freitag vor der Wahl Bezug nahm, war die klassische Sonntagsfrage: "Wen wählen Sie bei der Landtagswahl am kommenden Sonntag?" (Bis zum 8.5.2017 lautete die Frage: "NRW: Wen würden Sie wählen, wenn am nächsten Sonntag Landtagswahl wäre?") Befragt wurden 5.031 Wahlberechtigte in Nordrhein-Westfalen im Zeitraum vom 6. Mai bis zum 11. Mai 2017. Der statistische Fehler lag bei 2,5 Prozent. Das heißt, mit einer Wahrscheinlichkeit von 95 Prozent lag die Wahlpräferenz der Wahlberechtigten in Nordrhein-Westfalen zum Zeitpunkt der Erhebung innerhalb einer Spannungsbreite von 2,5 Prozent um das ausgewiesene Ergebnis.

Zwischen CDU und SPD lagen im Moment der Erhebung lediglich 0,9 Prozent. Die beiden Parteien lagen also zu nah beieinander, um auf ein Führen der einen oder der anderen Seite zu schließen. Eine Aussage darüber zu treffen, wer wirklich "stärkste Kraft" würde, wäre nicht richtig gewesen. Die Ergebnisse waren schlicht "too close to call".

Janina Mütze

ist Co-Founder & COO von Civey. Das Berliner Unternehmen für Meinungsforschung hat eine Live-Datenbank für repräsentative Umfragen entwickelt, die das Unternehmen selbst erhebt. Vor der Unternehmensgründung war die studierte Volkswirtin zuletzt als Referentin der Geschäftsführung für einen Branchenverband tätig. (Foto: Götz Schleser)