Mennyire számolták el magukat a közvélemény-kutatók?

Vajon a pártok népszerűségéről szóló közvélemény-kutatások mennyire mutatnak pontos eredményt, és a különböző intézetek pártállástól függően manipulálják-e az adatokat? Bár politikai közvélemény-kutatások már több mint 25 éve készülnek Magyarországon, ez a kérdés újra és újra fölmerül. Pedig 1990 óta egyre pontosabb választási előrejelzések születtek. A most következő összeállításban azt mutatjuk meg, hogy az elmúlt húsz évben mennyire voltak sikeresek a közvélemény-kutatók a választási eredmények előrejelzésében. Ki mennyit tévedett?

Ehhez összegyűjtöttük az 1998 és 2014 közötti országgyűlési választások első fordulója előtt kiadott választási előrejelzések adatait, amelyek a pártokra leadott listás szavazatokat becsülték meg. Azért csak a listás szavazatokat vizsgáltuk, mert ez mutatja a pártok népszerűségét, és ezt mindegyik intézet vizsgálja is, míg a részvételi arányt és mandátumok számát nem. 

Azokat az előrejelzéseket vettük figyelembe, amelyeket a választás előtt utoljára állítottak össze az intézetek, vagy az urnazárás után, de még a hivatalos végeredmény ismertetése előtt publikáltak.  A választás napján végzett exit pollok eredményét nem vettük figyelembe, mert az ezeknél alkalmazott módszer és mintanagyság (olykor több százezres) miatt nem lenne fair az összehasonlítás. 

Ezeket az előrejelzéseket vetettük össze a valós eredményekkel, az eltéréseket pedig vizualizáltuk.

A 2002-es fekete nap 

* 2010-ben az ábrázoláson nem szereplő Forsense Intézeté volt a legpontosabb becslés. A Forsense csak ezen a választáson készített önállóan becslést, korábban a Századvéggel közösen dolgozott.

Itt azt láthatja, hogy a választási években mennyire tudták megközelíteni a közvélemény-kutató intézetek a későbbi eredményt, vagy mennyire lőttek mellé. Minél nagyobb és sötétebb valahol a kör, annál nagyobb a becslési hiba. Az öt választás során átlagban a Medián tudta a legkisebb hibával előre jelezni a listás választási eredményt. A legrosszabb eredményt a pártpreferenciákat csak 2010 óta felmérő Nézőpont Intézet produkálta.

A magyar politikai közvélemény-kutatás fekete napja hagyományosan 2002. április 7-én volt. A választásokra mind az öt intézet egyértelmű Fidesz–KDNP-győzelmet jósolt, és az exit pollok is 8-12 százalékos listás győzelemmel számoltak. A legkisebbet a Medián tévedett.

A Fidesz azonban elveszítette a választást. A Fideszt a legtöbben túlmérték, az MSZP-t pedig a legtöbben alábecsülték. A tévedés komoly önvizsgálatra késztette a szakmát. Magyarországon addig a kutatók a biztos szavazó pártválasztók vagy a választani tudó „biztos” szavazók válaszait tekintették előrejelzésnek. 2002-ben azonban magas volt a rejtőzködő választók aránya: nőtt a válaszmegtagadók aránya, viszont a korábbihoz képest jóval kevesebben állították azt, hogy biztos nem mennek el szavazni. A Medián ezért számolt már akkor az „aktív bizonytalanok” pártpreferenciáival.

És aztán még rosszabbul mértek 

A kutatók levonták a tanulságokat, és ennek is szerepe lehetett abban, hogy 2006-ban már minden korábbinál pontosabb előrejelzések születtek. 2006-ra minden korábbinál több intézet vállalkozott a pártpreferenciák becslésére. A készültség érthető volt: a négy évvel korábbi kudarc után fokozott figyelem övezte a közvélemény-kutatók szereplését.

Az más kérdés, hogy 2010-ben és 2014-ben jóval nagyobb volt a tévedés a 2002-es választáshoz képest. Míg a 2002-es választások alkalmával meglehetősen nagy visszhangja volt a választási előrejelzések pontatlanságának, addig a sokkal pocsékabb előrejelzéseket hozó 2010-essel messze nem foglalkozott annyit a sajtó. 

Ennek magyarázata, hogy 2002-ben történt először és utoljára az, hogy a véletlenek furcsa összjátékának következményeképpen a legtöbb intézet rosszul becsülte a választás győztesét (míg 2010-ben és 2014-ben csak az arányokat lőtték mellé). Korábban azzal érveltek, hogy a rossz előrejelzésekben szerepet játszott a választások előtti moratórium is. 2014-re azonban ezt már eltörölték, de akkor sem született pontosabb eredmény.

A Nézőpont a Fideszt túl-, az MSZP-t alulmérte

Külön kiemeltük a legpontosabb és a legrosszabb találatot az elmúlt húsz évből. Az eddigi legpontosabb előrejelzést a Tárki adta, amely 2006-ban csak 0,89 százalékos értékkel tért el a tényleges választási eredménytől.

Az eddigi legpontatlanabb előrejelzés a Nézőpont Intézeté. 2010-ben 6,25 százalékos értékkel tértek el a tényleges választási eredménytől, de a sorrend legalább stimmelt. Viszont több mint 10 százalékkal becsülték túl a Fideszre adott listás szavazatok arányát, és 4,3 százalékkal mérték alul az MSZP-re, illetve 5,67 százalékkal a Jobbikra adott szavazatokat.

A közvélemény-kutatók általában 500-1500 fős reprezentatív minták alapján készítik felméréseiket. Korábban az volt a gyakorlat, hogy a választások előtti időszakban több pénzt áldoztak nagyobb mintanagyságú, akár 10 ezer fős felmérésekre. Kiderült azonban, hogy ennek nem sok értelme van, mert a jól elkészített kisebb minták is legalább olyan pontos eredményt hoznak mint a nagyobbak.

Az ábrán az egyes becsléseket jelző körök mérete a minta nagyságát jelzi. Itt is megfigyelhető, hogy az elmúlt választások alkalmával egyre kisebb és kisebb mintákkal dolgoztak a kutatók. Ennek egyik oka, hogy jelentősen csökkent a közvélemény-kutatásokon a válaszadási kedv az évek során. Másrészt bebizonyosodott, hogy egy bizonyos ponton túl nem érdemes arra forrásokat fordítani, hogy a mintanagyságot növeljék. 2010-ben így 1500, az utolsó választásnál pedig 1000 válasz volt az átlagos mintanagyság.

A minta miatt azonban ezeknek a méréseknek vagy egyfajta bizonytalansága. Amikor a felméréseket közzéteszik, a legtöbbször megadják az értelmezéskor figyelembe veendő hibahatárt. Ez az ábra kutatóintézetenként és pártonként hasonlítja össze a hibahatárt (vízszintes tengely) és a valósan vétett hibát (függőleges tengely). Értelemszerűen minél jobban a határ alatt van egy előrejelzés, annál jobb.

A legnépszerűbb pártnál becsülnek a legrosszabbul   

A harmadik fülön azt az állítást demonstráljuk, hogy minél népszerűbb egy párt, annál nagyobb az előrejelzésekben velük kapcsolatban közölt becslések hibája. Az ábrán jól látszik, hogy ez a tétel mind az öt választásra igaz. Mindez azért fontos, mert Magyarországon kevesen bíznak a közvélemény-kutatásokban, annak ellenére, hogy tulajdonképpen viszonylagosan pontosan dolgozik a legtöbb intézet.

Borítókép: MTI / Fotós: Kovács Tamás