Umfragen bestimmen häufig das politische Geschäft. Sie spiegeln Parteien und Kandidaten ihre Beliebtheit und heben politische Themen auf die Agenda. Aber bilden sie wirklich die Realität im Lande ab? Das wollten die beiden Wahl- und Sozialforscher Sabine Pokorny und Dominik Hirndorf genauer herausfinden.
Das Ergebnis ihrer Studie: Reine Online-Stichproben zeichnen grundsätzlich kein repräsentatives Abbild der Bevölkerung. Sie eignen sich zwar für eine bessere Erreichbarkeit von jungen Menschen, doch schließen „Offliner“ aus: Menschen, die das Internet nicht oder selten nutzen. Telefonbefragungen, die nach dem Zufallsverfahren funktionieren, erreichen hingegen über Festnetz- und Mobilfunkanschlüsse fast jede Person.
Mixed-Mode-Verfahren (halb Telefon, halb Online) bieten zwar eine ausgeglichenere Erreichbarkeit aller Altersgruppen als die beiden oben genannten Methoden, doch weisen sie signifikante inhaltliche Abweichungen auf. Diese ergeben sich aus der fehlenden Zufallsauswahl im Online-Teil.
Die Forscher folgern: Nur Umfragen, die auf einer Zufallsstichprobe basieren können bevölkerungsrepräsentativ sein. Und nur bevölkerungsrepräsentative Umfragen lassen Schlussfolgerungen auf Einstellungen in der Bevölkerung zu.
Die Methodik des Methodenvergleichs
Für den Methodenvergleich beauftragte die Konrad-Adenauer-Stiftung sechs Umfrageinstitute, die insgesamt drei unterschiedliche Umfragemethoden anwendeten: Eine reine Telefon-Befragung, zwei Online- und drei Mixed-Mode-Befragungen. Für alle Methoden wurde ein fast identischer Fragebogen verwendet. Während für die Telefonbefragung eine Zufallsstichprobe mit 60 Prozent Festnetz- und 40 Prozent Mobilfunkanteil angewandt wurde, entstammten die Teilnehmer der Online-Befragungen den jeweils registrierten Gruppen für Onlinestudien der verschiedenen Institute, den sogenannten Online-Access-Panels. Die Mixed-Mode-Befragungen wurden jeweils zur Hälfte online und zur Hälfte telefonisch durchgeführt. Nicht alle Methoden konnten die erforderliche Grundgesamtheit der deutschen wahlberechtigten Bevölkerung abbilden. Nicht alle konnten Gewichtungen liefern.
Die Stichprobe entscheidet
Während bei reinen Telefonumfragen überdurchschnittlich viele ältere Menschen erreicht werden, reicht deren Anteil bei Online-Umfragen oftmals nicht aus, um die älteren Altersgruppen zu repräsentieren. Zehn Prozent der Wahlberechtigten nutzen nicht das Internet. Besonders viele davon sind Personen ab 70 Jahren. Auch die Mixed-Mode-Methode ist hinsichtlich der Datenerhebung nicht repräsentativ für die Bevölkerung. Da 21 Prozent der Gesamtbevölkerung in Deutschland über 70 sind, müsse diese Altersgruppe stärker berücksichtigt werden, schreiben die Studienautoren. Das gilt insbesondere für politische Umfragen, denn beim Wahlverhalten wirken deutliche Alterseffekte.
Befragte, die sich freiwillig für Online-Access-Panels registrieren, unterscheiden sich hinsichtlich ihres politischen Verhaltens im Internet von denen, die an rein telefonischen Befragungen teilnehmen. Im untersuchten Fall lesen die Teilnehmer der Telefonbefragungen häufiger politische Inhalte im Internet. Die online-affinen Teilnehmer hingegen verbreiten und schreiben aktiver politische Inhalte.
Die Gewichtung gleicht die Stichprobe nicht aus
Verzerrungen der Stichprobe durch die Art der Stichprobenziehung können nicht durch eine nachträgliche Gewichtung ausgeglichen werden. Werden die Antworten nach Geschlecht, Bildung und Alter gewichtet, kann das eine vorhandene Schlagseite noch vergrößern. Selbst innerhalb der Parteianhängerschaften gibt es Verzerrungen, wie eine Gewichtung nach der Sonntagsfrage zeigt. AfD-Anhänger, die sich online für Umfragen eintragen, unterscheiden sich von zufällig ausgewählten AfD-Anhängern. Auch eine stärkere Gewichtung von älteren Teilnehmern bei Online-Befragungen zum Zweck eines Ausgleichs der Altersstruktur, verzerrt das Ergebnis: Ältere Menschen, die das Internet sowie ein Smartphone nutzen, unterscheiden sich in ihren Lebenswelten, Meinungen und Einstellungen von denen in ihrer Altersgruppe, die es nicht tun.
Die Stichprobe entscheidet
Online-Befragungen und auch Mixed-Mode-Verfahren liegen im Trend, da sie schnell und kostengünstig Meinungen und Einstellungen einer großen Personenzahl abbilden. Allerdings weisen beide Methoden qualitative Mängel auf, die die Validität der Umfrageergebnisse zumindest in Zweifel ziehen. Telefonbefragungen und Face-to-Face-Befragungen sind repräsentativ und damit vertrauenswürdiger, da deren Stichproben zufallsbasiert sind und durch deren Kontaktwege eine größere und vielfältigere Gruppe an Personen erreicht werden kann.
Die Studie kann hier online aufgerufen werden.
