Logo

Longchamps SRG-Umfragen im 10-Jahres-Check

Von DB, 9. Dezember 2014 Kommentarfunktion geschlossen
SRG-Trendstudien vor Abstimmungen: Hokuspokus oder zuverlässiges Werkzeug? Wir haben alle Umfragen analysiert. Daraus resultieren sechs Erkenntnisse.

Ein Gastbeitrag von Marko Kovic

Nach der Ecopop-Abstimmung standen Politologe Claude Longchamp und sein Umfrageinstitut einmal mehr in der Kritik. Die Vorlage wurde mit 74,1 Prozent Nein-Stimmen abgelehnt – GFS Bern ermittelte im Auftrag der SRG vor der Abstimmung einen Wert von voraussichtlich 56 Prozent Nein-Stimmen.

Es ist nicht das erste Mal, dass das Abstimmungsergebnis markant von der jeweils letzten SRG-Trendumfrage vor der Abstimmung abweicht. Im November 2009 wurde die Minarettinitiative mit 57,5 Prozent Ja-Stimmen angenommen, obschon die letzte Trendumfrage vor der Abstimmung lediglich ein Potenzial für 37 Prozent Ja-Stimmen festgestellt hatte. Infolge dieser Diskrepanz hatte die SRG die Publikation der Trendumfragen für einige Monate sistiert.

Auch in jüngerer Vergangenheit gab die Trendumfrage zu reden: Im Februar 2014 wurde die Masseneinwanderungsinitiative mit 50,3 Prozent angenommen, obschon in der letzten Trendumfrage vor der Abstimmung lediglich 43 Prozent Ja-Stimmen zu verzeichnen waren.

Der Datenblog hat nun alle SRG-Trendumfragen der letzten zehn Jahre analysiert. Wie oft lag Longchamp daneben? Und vor allem: um wie viel?

Datengrundlage

Die SRG-Trendumfragen werden seit 2004 vom Forschungsinstitut GFS Bern durchgeführt. Für diesen Beitrag sind alle Umfragewerte der Umfragen von 2004 bis 2014 berücksichtigt. Die Daten sind in dieser Tabelle zusammengefasst. Die Rohdaten in Form der GFS-Berichte können hier eingesehen werden. Die Grafiken wurden mit dem Statistikpaket R erstellt. Den dazugehörigen Datensatz mitsamt Code können Sie hier herunterladen.

Befragungen können eine Abstimmung grundsätzlich nicht voraussagen, sondern lediglich robuste Hinweise geben. Folgende Grafik fasst zusammen, wie stark die Ja- und Nein-Werte bei den SRG-Umfragen von den effektiven Ja- und Nein-Werten abweichen:

Abweichungen

Die Bandbreite an Abweichungen zwischen Umfragen und Ergebnissen ist für fakultative Referenden am geringsten, für obligatorische Referenden am höchsten. Bei Volksinitiativen deutet sich ein bestimmtes Muster an: In den Umfragen werden oft deutlich weniger Nein-Stimmen erfasst, als es nachfolgend effektiv gibt. Handkehrum überbetonen die Umfragen den Anteil der Ja-Stimmen.

Warum sind die Abweichungen bei obligatorischen Referenden so gross? Diese Vorlagen sind bisweilen wenig «prickelnd», also etwas abstrakterer, und kaum umstrittener Natur. Bei Umfragen wissen schlicht noch viele Leute nicht, worum es genau geht; sie sind noch unentschlossen.

Blosse Abweichungen vom Endergebnis sagen nicht zwingend viel aus. So gibt es bei jeder Umfrage eben die Restgruppe der Unentschlossenen, welche ein Wählerpotenzial bedeuten, das zum Zeitpunkt der Umfrage noch nicht ausgeschöpft ist. Zum anderen hat jede Umfrage, je nach Stichprobengrösse, eine Fehlerquote. Die nachfolgenden zwei Grafiken berücksichtigen diese zwei Aspekte.

Die schwarzen Punkte in den nachfolgenden zwei Grafiken sind die effektiven Ja-Anteile (erste Grafik) bzw. Nein-Anteile (zweite Grafik) der Abstimmungen. Die fette Linie repräsentiert den Umfragewert inklusive einer Fehlerquote von +/–3 Prozent. Die dünne Linie ist der Anteil der Unentschlossenen bei der jeweiligen Umfrage inklusive einer Fehlerquote von +/–3 Prozent. Wenn ein schwarzer Punkt die fette Linie berührt, liegt das Abstimmungsergebnis sehr nah an der Umfrage. Wenn ein Punkt nur die dünne Linie berührt, liegt das Abstimmungsergebnis im Rahmen dessen, was innerhalb der Umfrage möglich ist. Wenn ein Punkt gar nicht berührt wird, handelt es sich um einen Ausreisser: ein Ergebnis, das aufgrund der Umfrage nicht zu erwarten ist.

Die erste Grafik fasst die erfragten und die effektiven Ja-Anteile zusammen:

Ja-Anteile

Bei den Ja-Anteilen gibt es insgesamt sehr wenige Ausreisser: einen bei obligatorischen Referenden, zwei bei fakultativen Referenden sowie zwei bei Volksinitiativen. Die zwei Ausreisser bei den Initiativen sind die Minarettinitiative von 2009 und die Ecopopinitiative von 2014.

Wie ist die Situation bei den Nein-Anteilen?

Nein-Anteile

Im Vergleich zu den Ja-Anteilen fällt eine systematische Verzerrung auf: Die Nein-Anteile der Umfragen liegen meistens deutlich unter den effektiven Nein-Anteilen. Besonders bei Volksinitiativen macht sich dieses Bias bemerkbar: Insgesamt 16 Ausreisser sind vorhanden, allesamt Ausreisser nach oben. Der einzige Fall, bei dem der Nein-Anteil einer Initiative in der Umfrage zu hoch war, ist die Minarettinitiative von 2009.

Nebst den Ausreissern bei den Volksinitiativen sind noch deren vier bei obligatorischen und vier bei fakultativen Referenden vorhanden.

Auch wenn Umfrage und Ergebnis deutlich auseinandergehen, kann der Ausgang der Abstimmung immer noch zutreffend sein. Wie oft wurde die Annahme oder Ablehnung einer Vorlage falsch «vorausgesagt»?

Anzahl falscher Prognosen

In keinem Jahr gab es mehr als zwei falsche Prognosen. Ganz klar zeigt sich, dass die Volksinitiativen die am wenigsten berechenbaren Vorlagen sind. Der Anteil, den diese falschen Prognosen an den gesamten Prognosen machen, ist von Jahr zu Jahr unterschiedlich, weil nicht immer über gleich viele Vorlagen abgestimmt wird:

Anteil falscher Prognosen

Im Jahr 2011 gab es nur eine nationale Vorlage an der Urne, darum der Ausreisser nach oben.

Fazit: Relativ unpräzise, aber relativ genau

Ein Vergleich der SRG-Trendstudien mit den Abstimmungsergebnissen fördert sechs Erkenntnisse zutage.

  • Die Umfragen sind relativ unpräzise (geringe «Reliabilität»). Die effektiven Ja- und Nein-Anteile bei Abstimmungen unterscheiden sich im Grunde immer von den Umfragewerten.
  • Die Umfragen sind relativ genau (hohe «Validität»). In knapp 80 Prozent der Fälle zeigen die Umfragen den bevorstehenden Ausgang richtig an (im Sinne der Annahme oder der Ablehnung der Vorlage).
  • Volksinitiativen sind unberechenbar. 13 von 73 Abstimmungen wurden falsch «vorausgesagt». Von diesen 13 falschen Voraussagen sind 9 Volksinitiativen.
  • Die Umfragen haben möglicherweise eine systematische Verzerrung hin zu zu wenig Nein-Anteilen. Wodurch dieses Bias zustande kommt, ist ohne Einsicht in die Umfrage-Rohdaten unklar.
  • Die Minarettinitiative von 2009, welche oft als pars pro toto für die Kritik an den Trendstudien genutzt wird, ist ein Spezialfall. Es ist die einzige Vorlage, bei welcher der effektive Ja-Anteil im Kontext der Umfrage einen Ausreisser nach oben darstellt.
  • Die Umfragen scheinen über die Zeit nicht an Zuverlässigkeit eingebüsst zu haben.

Den SRG-Trendumfragen widerfährt zum Teil heftige Kritik. Zum einen ist das wohl Kritik an der Methodik an und für sich: In Zeiten von Mobiltelefonen und permanenter Mobilität ist es nicht einfach, mittels Festnetztelefonanrufen einigermassen repräsentative Zufallsstichproben zu generieren.
Zum anderen ist die Kritik aber auch anekdotischer Natur: Bei einzelnen Vorlagen wie der Minarettinitiative von 2009 gehen Umfrage und Ergebnis stark auseinander, und wir schreiben solchen Fällen subjektiv mehr Bedeutung zu als solchen, bei denen Umfrage und Ergebnis näher beisammen sind.

Zuletzt schwingt in der Debatte rund um Sinn und Unsinn der SRG-Trendumfragen vielleicht auch die latente Vorstellung mit, Sozialwissenschaften müssten so genaue und so präzise Ergebnisse liefern wie Naturwissenschaften. Das ist ein Missverständnis. Naturwissenschaften ermöglichen es uns, eine Sonde ins Weltall zu katapultieren, um zehn Jahre später fast perfekt auf einem Kometen zu landen. Sozialwissenschaften hingegen ermöglichen uns höchstens, den Grad der Unsicherheit in Fragen der sozialen Realität ein Stück weit zu senken.

Marko Kovic doktoriert am Institut für Publizistikwissenschaft und Medienforschung der Universität Zürich (IPMZ). Er ist Präsident des Vereins Skeptiker Schweiz – Verein für kritisches Denken. Er interessiert sich für den unkritischen Umgang der klassischen Massenmedien mit (pseudo-)wissenschaftlichen Themen.