Mi a baj a közvélemény-kutatásokkal

Ha kicsit lassan, ha kicsit furcsán is, de elindult a 2010-es választási kampány. Nemcsak a pártok, de az egész hazai közélet készül, helyezkedik, mozgolódik, csak kicsit másképp mint négy, nyolc vagy tizenkét éve; így vannak ezzel a közvélemény-kutatók is. A nagy kérdés most az, mit higgyünk el a hétről hétre publikált adatokból?

A szakma júliusban az Európai Parlamenti választások kapcsán egy jó időre kiheverhetetlen pofont kapott. E mögé szeretnénk röviden betekinteni, mélyebben megvizsgálni, hogy mi is történt, és valamiféle kiutat javasolni. Annál is inkább, mert az egyik mértékadó közvélemény-kutató honlapja saját kutatási módszereit reklámozandó, annak megbízhatóságáról ezt írja: „Mintavételi módszerünk és országos kérdezőbiztos-hálózatunk megbízhatóságát a leglátványosabban a parlamenti választások eredményét előrejelző kutatásaink pontossága igazolta”. E reklámmondat finoman szólva is szerencsétlenül hangzik, ismerve a közelmúltat.

Nézzünk először egy kis statisztikai visszatekintést!

Az EP választás végeredményét megtippelendő a 2009-es évben rekordszámú versenyző jött ki a „tutival” a közvetlen a választást megelőzően, ezeket összegzi az alábbi táblázat:

	Medián	Szonda	Gallup	Tárki	Század- vég	Nézőpont	Marketing C.	Össz.
MSZP	21	21	21	17	16	14	19	17.37
Fidesz	60	67	68	70	72	66	61	56.36
SZDSZ	4	2	1	3	2	4	5	2.16
MDF	4	3	2	1	3	6	4	5.31
Jobbik	7	4	5	4	6	7	8	14.77

Az utolsó oszlopban található a választások végeredménye, azaz a listára leadott szavazatok százalékos megoszlása, előtte pedig a közvélemény-kutatók utolsó prognózisa, melyek jó része az urnazárást követően került publikálásra.

Az elemzés szépségét az adja, ha kicsit elmerülünk a részletekben is: tudjuk, hogy minden kutatás mellékletét képezi egy rövid információ a mintavételről, mintanagyságról és a megállapított maximális hibahatárról. Ez a maximális hibahatár 3.1%-ban van meghatározva általában, amennyiben 1000 fős „reprezentatív mintáról” van szó (... és 95%-os szignifikancia szintről, amit nem szoktak ideírni, de ez kb. annyit jelent, hogyha 20-szor egymás után elvégezzük a kutatást, akkor 19-szer olyan eredményt kapunk, ami ezen a +/- 3.1%-es tartományon belül van). Tehát ez a +/- 3.1% a hiba maximuma de ez is csak az 50%-os várható értékű szavazatarányra igaz, tehát jelenleg a Fidesz eredményeit kell, hogy ezzel a hibával kezeljük. Egy 5%-osra becsült eredmény esetén ez a hiba-maximum +/-1.35% lenne. (Hogy miért és hogyan kalkulálódik ez az érték, azt például az itt letölthető .ppt fájlban el lehet olvasni igen leegyszerűsítve, de bármelyik sokasági aránybecsléssel foglalkozó statisztikai tankönyvben megtalálható a magyarázat.)

Elgondolkodtató, hogy van olyan elismert közvélemény-kutató, aki egy párt támogatottságát sem jelezte előre úgy, hogy az hibahatáron belül maradt volna. A Gallup az öt felmérésben szereplő pártból öt, a Medián, a Szonda, a Marketing Centrum és a Nézőpont négy-négy, a Századvég és a Tárki három párt népszerűségének megtippelésében tévedett „szignifikánsat”. A Fidesz és a Jobbik eredményeit egyetlen felmérésnek sem sikerült pontosan előre jeleznie. Nem egyedi problémáról van tehát szó.

Ha számba vesszük a tévedések nagyságát is, akkor azért itt tényleg vannak elképesztő tévedések: a Századvég a Fideszt 16 ponttal mérte „túl”, a Tárki 14-gyel és a Szonda meg a Gallup is bőven 10 % felett tévedtek, nemhogy a 3.1-gyel. A Jobbik alulmérése ennél még durvább, hiszen itt a szavazótábor nagyságrendjének eltalálása sem sikerült. A Tárki és a Szonda a valós szavazataránynak csak a negyedét mérte tavaly nyáron.

Szembeötlő ugyanakkor, hogy a közvélemény-kutatók mennyire konzisztensek voltak saját korábbi méréseikkel, a választások előtt szinte alig mutattak változásokat trendek. Erős tehát a gyanú, hogy módszertani problémával van dolgunk.

Ha még távolabbra tekintünk vissza, a közvélemény-kutatások igazolt tévedéseinek van előtörténete is. A 2002-es országgyűlési választások éjszakáján publikált adatok közül például még a legjobb becslés is 4-5 pontos (máshol 9 pontos) Fidesz győzelmet jelzett előre, míg végül az MSZP szűk 1 %-kal, de megelőzte a Fideszt. Öt éve, az EP választásokon éppen az MSZP eredményét mérték látványosan túl a valósnál (3-8 ponttal) az MDF-ét pedig alulbecsülték 2-3 ponttal.

Kétségtelen tény, hogy a 2006-os parlamenti választások kivételt képeztek, mert az itt született eredményt elég jól visszaadták a mérések.

Mi a valódi ok?

Többször hallottunk már elemzőktől magyarázatokat, melyek egyik része amellett érvel, hogy a megkérdezett emberek titkolóznak, míg mások szerint az utolsó pillanatig bizonytalanok, vagy félre tájékoztatnak. Nyilván valamilyen szinten igazak ezek az érvek, de nem hiszek abban, hogy ezek ilyen mértékű torzításokat okoznának.

Valójában az a helyzet, hogy a listás szavazás végeredményét nem is olyan egyszerű mérni. A laikus azt gondolná, hogy ez úgy működik, hogy kiválasztanak véletlenszerűen 1000 embert, megkérdezik őket, hogy kire szavaznának „ha most vasárnap lennének a választások”, összesítik az eredményeket, százalékot számolnak, hümmögnek egy kicsit a bizonytalanokon és a választ nem adókon, majd írnak hozzá egy flekknyi összekötő szöveget két színes ábrával. Úgy tűnik, a közvélemény-kutatók többsége így is gondolkodik, pedig a dolog távolról sem ilyen egyszerű.

Valójában a szavazás napján minden magyar állampolgár legalább két fontos döntést hoz, mely a fenti felmérést alapvetően befolyásolja: az egyik persze az, hogy melyik pártra szavaz. De a másik, ami jelen esetben legalább ilyen fontos: hogy elmegy-e egyáltalán szavazni és érvényes szavazatot ad-e le. Ezt a két egymástól többé-kevésbé független döntést nem lehet összemosni, ha arra a kérdésre keressük a választ, hogy mi lesz a választások végeredménye és nem arra, hogy a teljes magyar választójoggal rendelkező lakosság hogyan szavazna, ha mindenki elmenne szavazni. A pártszimpátiára vonatkozó kérdést ugyanis szavazási hajlandóság nélkül is meg lehet válaszolni és ez fordítva is igaz.

Ahhoz, hogy pontos legyen a felmérés egy szavazási hajlandóság szempontjából nem homogén sokaságban is, az kell, hogy megértsük, milyen emberek mennek el szavazni és milyenek nem. Ettől egyáltalán nem független a pártokra valóban leadott szavazatok aránya.

A tévedések okát tehát a mintavételi-felmérési módszerekben kell keresnünk. A legsúlyosabb kérdés az, hogy minden választópolgárnak ugyanakkora eséllyel kell-e belekerülni a mintába? Az EP választások arra mutatnak rá, hogy nyilvánvalóan nem: ez ugyanis azt feltételezi, hogy mindenki ugyanakkora eséllyel megy el szavazni, és ez nem igaz. Miért kérdezzünk meg olyanokat, kire szavaznának, akik úgyse mennek el?

Tanmese

Hogy közérthetőbb legyen, miről is van szó, mutatok egy példát!

Egy 50 ovisból és 50 iskolásból álló gyerekcsoportban elhatározzák, hogy szavaznak, milyen játékot vegyenek a tanév végén megmaradt osztálypénzekből. Szavazás előtt véletlenszerűen kiválasztunk közülük 10-et és szóban meginterjúvoljuk őket a preferenciájukról. Kiderül, hogy a mintába 6 ovis és 4 iskolás került, közülük 5-en a társasjátékot mondták kedvenc játékuknak, 5-en pedig a trambulinon ugrálást. Ezután a gyerekek elvonulnak szavazni, titkosan, írásban.

A helyzet azonban az, hogy az ovisok még nem tudnak írni, így az 50 ovis közül csak egy tudta a szavazáson kinyilvánítani, hogy ő bizony trambulinon szeret ugrálni, a másik 49 többségének hiába ez a kedvenc játéka, nem írt fel semmit a papírra, nem szavazott. A sulisok közül persze majdnem mindenki kitöltötte a cetlijét, és többségük, 45-en, fel is írták, hogy társasjátékot vásárolnának, 4-en ugrálnának trambulinon szívesebben, és csak egyvalaki nem szavazott. A szavazás végeredménye tehát 90%-10% (45-5-ös szavazati arány) a társasjáték javára, a mi mérésünk alapján pedig 50-50% jött ki. Hát bizony ez jócskán a hibahatáron kívül van, pedig mi mindent a nagy könyv szerint csináltunk. Vettünk reprezentatív mintát és becsültünk.

De miért is tévedtünk? Hát azért, mert a felméréskor nem vettük figyelembe azt a tényt, hogy az ovisok nagy része nem tud írni, az iskolások viszont majdnem mind tudnak. Ha tudtuk volna, akkor a mintánkat is úgy válogatjuk össze, hogy főleg iskolásokat kérdezünk (mondjuk 9-et) és kevésbé az ovisokat (közülük csak egyet), valószínűleg a becslésünk sokkal jobb eredménnyel zárult volna.

Nos ugyanez a helyzet a közvélemény-kutatással, csak ott egy kicsit bonyolultabb a helyzet, de nem annyival, hogy ne lehessen e problémát leküzdeni. Arra kell ugyanis „csak” rájönni, hogy melyek azok a mérhető tulajdonságok, melyek alapján elég szignifikánsan el lehet különíteni a szavazni ténylegesen szándékozó embereket, a nem szavazóktól. Arra vagyunk kíváncsiak, hogy a politikai aktivitásban mik azok a tulajdonságok, ami az előző példában az ovis / iskolás megkülönböztetésből ered.

Ehhez pedig nem egy, hanem két kérdőívet és két felmérést kell készíteni. Az első kérdőíven azt kellene kutatni, hogy a megkérdezett választó el szándékozik-e menni szavazni „most vasárnap”? Egy ilyen cselekvés kutatásának is megvan a maga módszertana, nem elég direkt rákérdezni, ahogy a mostani kutatások teszik. A jelenleg általános „biztos szavazós” kérdések gyakorlatilag használhatatlan eredményeket adnak: mintha úgy végeznék csokoládé-piackutatást, hogy megkérdezem: szoktál-e csokit enni? Aztán az erre a kérdésre adott válaszból kiértékelném, hogy az emberek általában szoktak csokit enni, mert mindenki igennel felelt. Nem véletlen, hogy a közvélemény-kutatók a legnagyobbat mindig a részvétel megbecslésében tévednek, pedig hát itt aztán tényleg nincs szerepe a rejtőzködésnek vagy titkolózásnak.

Az első kutatásban tehát arra a kérdésre keressük a választ, hogy milyen emberek mennek el nagyobb valószínűséggel szavazni. Ha azt tapasztaljuk, hogy pl a nők aránya a teljes népességben 51%, de a szavazni hajlandók között csak 41%, akkor bizony a nők az eredeti mintában felül vannak reprezentálva, (mint a példánkban az ovisok) és ezt figyelembe kell venni a második minta megkreálásánál. Ez persze egy sokváltozós regressziós analízis követ, hiszen több (akár 8, de akár 15) ilyen tulajdonságot is találhatunk, ami alapján ki kell majd igazítani a második minta összetételét.

A második szakaszban olyan mintát kell összeállítani, amin a fenti kutatás által javasolt megfelelő mintatorzítások elvégezhetők. A fenti példát használva: ne 6 ovist és 4 iskolást, hanem 9 iskolást és egy ovist kérdezzünk meg. Ehhez azonban az kell, hogy a második felmérést az 1000 főnél jóval nagyobb alapmintán végezzük, hogy aztán a torzított minta is még elég nagy legyen.

Másik bukó elem – a telefon

Van egy másik elem, ami miatt a közvélemény-kutatók adatai jelentősen torzulnak: a főleg az újonnan megjelent cégek által használt olcsó telefonos megkeresési módszer. Bárki beláthatja, hogy ma Magyarországon nem lehet reprezentatív mintát készíteni, ha valaki csak a telefonnal - és döntően vezetékes telefonnal - rendelkezők közül válogat. Ezzel azt feltételezik, hogy a telefonon elérhetők ugyanolyan arányban mennének el szavazni, és ugyanolyanok a pártpreferenciáik, mint a teljes népességé. Ez nyilvánvaló torzítás. Bármilyen kőkorszakinak tűnik is: a személyes megkereséses módszer az, amit reprezentatív kutatásként el lehet fogadni.

Amerikai példák

Tekintsünk vissza a legutóbbi amerikai elnökválasztási kampányra! Ha az ottani közvélemény-kutatási adatokat böngésszük, olyanokat találunk, hogy „Obama növelte támogatottságát a feketék körében”, vagy „Clinton egyedül a hagyományos bázisának számító nők között tudott csak nyerni”, vagy esetleg olyat, hogy „McCainnek nem sikerült megszólítani a kékgallérosokat”.

Ezeket a megállapításokat nem a kristálygömbből olvassák ki a közvélemény-kutatók, hanem az adatokból, amiket ők mértek fel. Igen, a politikai korrektség hazájában, ahol nem lehet valakire büntetlenül azt mondani, hogy mozgássérült (legfeljebb annyit, hogy fizikai cselekvőképességében kihívásokkal küszködik), ott bizony felmérik, hogy a főbb kisebbségek (miszerint „feketék” és „latinók”), a főbb marxi értelemben vett osztályokhoz tartozók („blue collar”, „white collar”) hogyan szavaznak. Az emberek meg válaszolnak, nincs tiltakozás, hogy mégis hogyan mértek fel ilyen érzékeny adatokat. És ne legyen kétségünk: nem azért készülnek ezek az elemzések, mert ez érdekli leginkább a közvéleményt, vagy hogy gazdagítsák az elemzést (persze ez is cél), hanem azért, mert e nélkül nem tudták volna elég pontosan becsülni, hogy mondjuk Obama, vagy Clinton győz adott helyzetben. A szavazási hajlandóság és szavazótáborok elkülönítése szempontjából ezek a lényeges kérdések. Félre ne értsük: nem (csak) ettől lesz tuti pontos egy felmérés, hiszen komoly felmérési mellélövések Amerikában is voltak és vannak. Viszont biztos recept arra, hogyan lehet a szisztematikusan elkövetett hibákat kiküszöbölni. Ha a magyar kutatók eredményeit átlagoljuk, és az attól való eltéréseket nézzük, a hiba nem csökken, mert nem az a helyzet, hogy valaki fölé, valaki meg alábecsülte az adott párt támogatottságát, hanem mindenki egy irányba tévedett. A hiba szisztematikus.

Nálunk szegmentáción alapuló mélyelemzést csak a nemzeti statisztikában általánossá vált kategóriák (nem, életkor, iskolai végzettség és a lakóhely településtípus) alapján végeztek el kutatók, így a rétegzett mintavételnél csak e szempontok alapján képeztek „rétegeket” a mintában, ebből következően a bármiféle súlyozást is csak e szegmensek mentén tudtak elvégezni. Lehet, hogy lenne értelme felmérni, hogy a magyar egyetemisták, romák, nyugdíjasok, rokkant-ellátásból élők, értelmiségiek, közalkalmazottak, templomba járók, növénytermesztők, állattartók, vállalkozók és kereskedők milyen arányban és hogyan szavaznak. Több mint valószínű, hogy ha lennének ilyen felmérések, jobb lenne a kutatások színvonala.

Itthon ezt a feladatot nem végezte el senki, legalábbis az EP választást megelőző hónapban biztosan nem, pedig számtalan figyelmeztetést kaptunk a kutatások bizonytalanságára. Igazából az a helyzet, hogy a profik kihagytak egy ziccert, hogy megmutassák mennyivel jobbak az újabban fel-feltűnő cégektől, akik nem rendelkeznek olyan háttérrel, hogy képesek legyenek egy ilyen kutatás lebonyolítására.

Fogolydilemma

Nem nagyon hiszem, hogy arról lenne itt szó, hogy politikailag jelentősen manipuláltak lennének a közvélemény-kutatások, főleg azt nem, hogy mindegyik ugyanabba az irányba. Azt sem hiszem, hogy a jelenség és a módszer, amit fent leírtam, új lenne bármelyik ismert közvélemény-kutatónak. Én sokkal inkább azt gondolom, hogy van egy hallgatólagos egyezmény arról a szakmában, hogy nem csinálják meg ezt a munkát rendesen. Elsősorban azért mert drága, és a kis haszonért cserébe, miszerint, hogy kétévente, a választások idején, leégnek (vagyis inkább leéghetnek), nem érdemes kifizetni a három-négyszeres árat, amit a két nagyobb mintás, személyes megkeresésen alapuló és mélyebb jellegű elemzés jelent. Mindezt ráadásul sokszor meg kellene csinálni, hiszen a kereslet óriási. Inkább maradnak a megszokott módszereknél, amiknek kétségtelen előnye, hogy havonta egyszer megvan. Ez a klasszikus és tiszta piaci megvalósulása a játékelméletből ismert fogolydilemma esetének.

Meg kell érteni a piacot: a közvélemény-kutató nem ezekből a kutatásokból él, hanem – jó esetben – konkrét piaci kutatási megbízásokból: például, hogy felmérjék egy új csokoládé ízlik-e, és érdemes-e bevezetni a gyártását. A politikai közvélemény-kutatás elsősorban a reklám a kutatócégnek. Annyit jelez: „Itt vagyok, mi is csinálunk csoki-kóstolást ám!” A sok közvélemény-kutatás meg sok reklámot jelent... csak ebben az esetben hiába fordulunk a fogyasztó-védelemhez, hogyha a reklám hamisat állít.

Egy ilyen bukta után, mint ami most volt az EP kapcsán, remélhetőleg megindul valami a szakmában. Ez ugyanis azért már veri az ingerküszöböt a piacon is. Én, megmondom őszintén, egy fillért nem költenék olyan szakvéleményekre, amilyenek az EP választást követően jelentek meg. Van olyan vezető elemző, aki szerint az ő előrejelzésük igenis megfelelő (!) volt még ilyen hiba mellett is, mert végül is megmondta, hogy ki nyert. Mások szerint a jelenség mögött az áll, hogy a megkérdezettek a közvélemény-kutatónak azt mondták, a Fideszre szavaznak, pedig közben nagy titokban a Jobbikra, de ezt azért mégis ciki volt bevallani (mindezt többszázezres nagyságrendben???). Ki-ki döntse el, melyik magyarázat hangzik jobban.

Bátorkodok mindenkit arra buzdítani, ne fogadjon el olyan jellegű érvelést közvélemény-kutatótól, ami „rejtőzködő magatartást”, vagy „hallgatási spirált”, emleget. Ezek a jelenségek nem magyarázzák az ilyen jellegű és mértékű hibákat, elsősorban azok szisztematikus előfordulása okán. Felhívnám a figyelmet arra is, hogy nem készült releváns bizonyító erejű kutatás, hogy kik azok az emberek, akik nem szeretik bevallani a pártpreferenciájukat. Jellemzően a radikális-jobboldali szimpatizánsokra szokták ezt a bélyeget rásütni, de a tények azt mutatják, hogy ez nem feltétlenül igaz. Több alkalom is volt, amikor többé-kevésbé alul- vagy felülmérték már az összes párt támogatottságát.

Miért baj ez?

Őszintén, az egész kérdés azért ér meg egy kézlegyintésnél többet, mert a magyar választási rendszer szinte kiabál a kutatási adatokért.

Egyrészt azért, mert aki 5% alatti eredményt elérő pártra szavazna, annak a listára adott szavazata elvész, másrészt azért, mert aki az egyéni választókerületben nem olyan jelöltre szavaz, aki reálisan nem nyerhet, szintén elvész a szavazata (itt persze van némi kompenzáció az országos listán, de többé-kevésbé azért igaz a megállapítás). Így az országgyűlési választásokon a racionális döntés meghozásához a választó rá van utalva e két kérdésben a közvélemény-kutatásokra, hiszen nélkülük nem tudni, kire érdemes egyáltalán szavazni.

Az utóbbi 12 évben azért nem volt komoly baj a közvélemény-kutatókkal a kisebb nagyobb félremérések ellenére, mert e két igazán lényeges kérdésre megadták a választ. Mindenki pontosan tudta mi a képlet: csak két párt nyerhet - a Fidesz vagy az MSZP. Elvétve fordult csak elő, hogy más pártok jelöltjei is elérjenek komoly eredményt egyéni választókerületekben. Azt is mindig tudtuk, hogy listás szavazáson kinek van esélye bejutni a parlamentbe. Most az a baj, hogy a 12-14 éve többé kevésbé stabil rendszer éppen változik. Hogy mi lenne, ha „most vasárnap lennének a választások”, arra a kérdésre sajnos még körülbelül sem tudjuk a választ, mert adekvát felmérés nincs a piacon. Igaz, nem is most kell, hogy legyen. De a választások előtt egy-két héttel azért jó lenne...