Szisztematikus eltérések a közvélemény-kutatók mérései között, 2018-19

Marián Béla (nyugdíjas szociálpszichológus, az egykor volt Marketing Centrum egykori kutatási igazgatója)

Az elmúlt 2 évben Magyarországon 9 intézet publikált többé-kevésbé rendszeresen közvélemény-kutatási eredményeket a pártok aktuális támogatottságáról. Sajnálatos módon az eredményeket közzé tevő sajtóban nincs egységes gyakorlat abban, hogy miként prezentálják a kutatási eredményeket, így nem ritka jelenség az se, hogy almát hasonlítanak körtével azok, akik szerint a közvélemény-kutatók össze-vissza beszélnek, és ebben a nagy össze-visszaságban komoly szerepe van az egyes intézetek, illetve az eredményeket publikáló sajtótermékek politikai elfogultságainak is. Ebben a cikkben arra vállalkozok, hogy szakmai szemüvegemet feltéve megvizsgálom: mekkora is ez az össze-visszaság. Elöljáróban: nagy.

Egyáltalán nem hungaricum az, hogy ugyanarról a közvéleményről egészen mást mondanak az egyes közvélemény-kutató intézetek. A közvélemény-kutatások szülőföldjén – az Egyesült Államokban – sokkal több felmérés készül, mint nálunk, és az elemzések bizony ott is találtak szisztematikus eltéréseket az egyes intézetek eredményei között, és ezeknek az eltérések egy része ott is olyan nagy, hogy az már átlépi a sajtó, illetve a szélesebb közvélemény ingerküszöbét is. Nevet is adtak a gyereknek: „house effect[1]”, amit talán intézet-hatásként lehetne magyarra fordítani.

A Vox Populi adatbázisában (ld. „Közvéleménykutatási adatok Excel-ben” a fenti menüben) 105 olyan 2018 januárja és 2019 szeptembere közötti felmérés szerepel, amelyikből kiderül, hogy a kutatást készítő intézet becslése szerint aktuálisan mekkora volt az egyes pártok támogatottsága az összes megkérdezett körében. A jelen vizsgálódást erre a 105 felmérése fokuszálom. Először is nézzük meg az egyes pártok átlagait és a rájuk vonatkozó becslések szórását. Függetlenül attól, hogy pontosan mikor, mekkora mintán, milyen módszerrel készítette valamelyik intézet az adott közvélemény-kutatást.

A pártok támogatottságára vonatkozó becslések változatossága 105 közvélemény-kutatásban, 2018. január–2019. szeptember

N=105 minimum maximum átlag szórás[2]
Fidesz-KDNP 17 46 33,8 5,6
Jobbik 6 22 9,9 2,9
MSZP-P 3 13 7,8 1,8
DK 2 11 5,3 2,0
LMP 1 8 3,3 1,4
Momentum 1 8 2,6 1,8
egyéb pártok 1 12 3,7 1,8
bizonytalanok 18 50 33,4 5,8

Az egész időszakra vonatkozóan tehát az a közvélemény-kutatások fő üzenete, hogy a választásra jogosultak kb. harmada kormánypárti volt, másik harmaduk nem kormánypártra szavazott volna, harmadik harmaduk pedig bizonytalan (tehát nem mondta meg, vagy nem tudta, hogy kire szavazna, esetleg azt mondta: semmiképpen se szavazna senkire). Másrészt azt látjuk, hogy a kormánypártok és a „bizonytalanok” lakossági aránya kb. 30 százalék terjedelemben változott, ami több millió pártválasztásban ide-oda ingadozó magyart sejtet 2018 januárja és 2019 szeptembere között, és ez azért nehezen hihető. Akár már ebből is szinte biztosnak látszik, hogy nem csak a tényleges politikai változások és a véletlen alakították az egyes közvélemény-kutatások eredményeit, hanem például az intézet-hatások is.

A pártok támogatottsága közti mozgásokról viszont elég sok mindent elmond az, ha megnézzük: miként korrelálnak egymással a becslések a rendelkezésünkre álló 105 felmérésben. A táblázatban csak a szignifikáns korrelációk mértékét tüntettem fel.

Szignifikáns korrelációk a pártok támogatottságai között 105 közvélemény-kutatás között, 2018. január–2019. szeptember

  Fidesz Jobbik MSZP+P DK LMP MM egyéb
bizonytalan -0,68 ns 0,31 -0,51 -0,35 ns -0,29
Fidesz 1 -0,37 -0,57 ns ns ns ns
Jobbik   1 0,32 -0,28 0,51 -0,45 ns
MSZP-P     1 -0,34 0,26 -0,38 0,31
DK       1 ns 0,68 0,29
LMP         1 -0,53 ns
Momentum           1 ns

ns=nem szignifikáns

A „bizonytalanok” aránya erősen negatívan korrelál a Fidesz és a DK támogatottságával, valamint kevésbé szorosan, de szintén negatívan az LMP és az egyéb pici pártok összevont támogatottságával. Az MSZP+P esetében viszont pozitív a nem túl szoros korreláció előjele. Ez azt jelenti, hogy az intézetek általában akkor jeleztek támogatottság növekedést az MSZP+P-nél, amikor valami miatt elbizonytalanodott a kormánypárti közvélemény egy része, míg a Fidesz, a DK és kisebb mértékben az LMP támogatottsága általában akkor növekedett, amikor az átlagosnál többen tudtak és akartak kedvencet választani a pártpalettáról.

Amikor a Fidesz támogatottsága csökkent, akkor elsősorban a bizonytalanok száma növekedett, de nem csak az övék, hanem olykor az MSZP+P és/vagy a Jobbik tábora is. A többi ellenzéki párt viszont nem nagyon gyarapodott a Fidesz támogatók időnkénti bizonytalanságaiból. Ők tipikusan akkor tudták növelni a támogatóik számát, amikor fokozódott a belpolitikai helyzet.

Figyelemreméltó az is, hogy a DK és a Momentum Mozgalom általában ugyanazokban a felmérésekben került a saját átlagai fölé, miközben mindkét párt támogatottsága negatívan korrelál az MSZP+P és a Jobbik támogatottságával. Mindez az ellenzéken belüli átrendeződések választási eredményekben is látszó mintáját követi: a DK és a Momentum leginkább a többi ellenzéki párt rovására szokott gyarapodni, és nem a kormányoldalról hódít el szavazókat.

Az ismertetett korrelációk nem mutatják meg, hogy az egyes intézetek adataiban vannak-e szisztematikus alá- vagy fölébecslések, és az időbeli trendekről se tudósítanak. Ha erről is szeretnénk megtudni valamit, akkor először is érdemes megnézni, hogy az intézek pártámogatottság becsléseinek homogén-e a varianciája:[3] azaz, hihető-e, hogy ugyanabból a népességből vették-e mintát. A cél persze elvben azonos, mindenki a választásra jogosult magyarokra céloz, de nem lehet, hogy másképp hord mellé egyik és másik mintavételi eljárás? Azért is el kell végezni ezt a tesztet, mert a varianciák homogenitása alkalmazási feltétele annak a tesztnek, amivel eldöntjük majd, hogy az egyes pártok támogatottságára vonatkozó becsléseknél vannak-e szisztematikus különbségek az intézetek között.

A varianciák homogenitás vizsgálatára a Levene-teszt való. A 0 hipotézis ennél az, hogy csak a véletlennek köszönhető az, hogy intézetek szerint nézve különbözik az egyes pártokra vonatkozó becslések varianciája. Az alternatív hipotézis (amit akkor fogadunk el, ha el kell vetnünk a 0 hipotézist) pedig az, hogy egy vagy több intézet mintái más populáció(k)ból származnak. Feltéve persze, hogy minden intézet egymástól független véletlen mintákra alapozta a becsléseit[4].

A Tárki, a Republikon és az Iránytű csak kevés közvélemény-kutatási eredményt publikált a vizsgált 22 hónapban, ezért az ő esetükben az intézetre jellemző „house effect” és a valódi politikai trendek hatása nem különíthető el. Érdemes tehát kihagyni a további elemzésekből ezeket az intézeteket. Így 95 egymástól független közvélemény-kutatás pártpreferencia felmérésének eredményei alkotják az adatbázist. Mivel elméletileg a normál eloszlástól nem nagyon eltérő folytonos eloszlású változókat vizsgálunk, ez az esetszám is lehetővé teszi azt, hogy értelmes statisztikákat készítsünk.

Az úgynevezett bizonytalanok arányára adott becsléseket intézetenként nézve először is azt találtuk, hogy a varianciák nem homogének: Levene statistic=5,75; df=5;89; p=0,0001. Az IDEA intézet esetében 5,2 a különböző időpontokban készült becslések szórása, és a Publicus esetében is meglehetősen változékony a bizonytalanok aránya: szórás=4,9. A ZRI-nél viszont csak 2,0 a szórás, míg a teljes adatbázisban 5,9, azaz alig valamivel nagyobb, mint az IDEA és a Publicus intézeteknél a házon belül elért szórás.

Vajon melyik az igazi Magyarország, ahol kevésbé, vagy ahol erősebben ingadozik a bizonytalanok aránya?  Tudományos alapon csak azt tudjuk, hogy mi inflálhatja vagy deflálhatja az adatsorok varianciáját mesterségesen.

Deflációt az okozhatna, ha egy intézet mintái nem teljesen függetlenek egymástól. A személyes kérdezés esetén például a valódi minta azt (is) jelentené, hogy minden településről egyforma eséllyel kerüljön valaki a mintába. Ez viszont rendkivül megdrágítaná a terepmunkát, ezért világszerte mindig is az volt a gyakorlat, hogy először a településekből vesznek egy mintát (Magyarországon intézettől függően 70-120 közötti számról lehet hallani), és csak azon belül a személyekből. Ez persze válhat egy sajátos intézmény-hatás forrásává, főleg mivel szervezési és anyagi okokból az is bevett gyakorlat, hogy a településmintáját nem változtatja meg egy-egy intézet egyik hónapról a másikra. Ebből pedig az következik, hogy az intézet adatsora valódi országos véletlen mintákhoz képest kisebb időbeli ingadozást mutathat. Márpedig a Medián és a ZRI személyes interjúkkal gyűjti havi adatait.

Mesterséges variancia-inflációt ezzel szemben például az okozhat, ha egy intézet menet közben változtat valamit a kérdezés módján. A pártválasztásukban  bizonytalanok aránya ugyanis nagyban függ a módszertani megoldásoktól (személyes vagy telefonos kérdezés, kérdőív elején kérdezünk rá a pártszimpátiákra vagy csak később, megmutatjuk-e a válaszható pártok listáját a megkérdezetteknek vagy fejből kell bemondaniuk egy párt nevét, stb.).  Nem tudjuk, hogy volt-e ilyen megoldások tekintetében változás az IDEA és a Publicus vizsgálataiban 2018-19-ben (az ismert csak, hogy 2018 nyarán az IDEA átfogóan felülvizsgálta az általuk alkalmazott módszereket, és ennek nyomán valóban sokkal közelebb is kerültek az általuk publikált adatok a többi intézetek átlagához). Az biztos, hogy ez a két intézet nem személyes kérdezést alkalmaz, ezért a településminta-választás variancia-csökkentő hatása náluk nem volt várható.

Anélkül, hogy részletesen kitérnénk az intézetek közti minden ismert módszertani különbségre, érdemes megnézni a bizonytalanok számára vonatkozó becslések varianciáinak homogenitását aszerint is, hogy személyes interjúkkal, telefonhívásokkal vagy online kérdőívek segítségével készültek-e a felmérések. A Levene teszt itt is szignifikáns különbségeket jelez: Levene statistic=5,05; df=2;102; p=0,008. A részleteket nézve azt találtuk, hogy a személyes interjúknál a legkisebb a becslések szórása (3,8), és a telefoninterjúknál a legnagyobb (6,4). Itt az is figyelemre méltó, hogy a személyes interjúknál 31% a becslések átlaga, míg a telefoninterjúknál 37%. Egyszerűen azért, mert telefonon sokkal könnyebb elhallgatni a pártkötődésünket, mint titkolózni egy szimpatikus kérdezőbiztos előtt.

A bizonytalanok arányára vonatkozó becslések főleg azért érdekesek, mert többé-kevésbé szorosan korrelálnak a pártok aktuális támogatottságára vonatkozó becslésekkel. Ezért az azokban mutatkozó intézet-hatásokat csökkenti, ha közös nevezőre hozzuk a párttámogatottság becsléseket, és a továbbiakban a pártválasztók körében becsült arányokkal számolunk.[5] Az is komoly érv emellett, hogy a pártválasztók körében jelzett számok általában minden más számnál pontosabban szokták előre jelezni a választási eredményeket a választások előtti közvélemény-kutatásokban.[6]

A támogatottság becslések átlagai a pártválasztók körében intézetenként, 2018. január–2019. szeptember

A LMP-re és a Momentumra vonatkozó becslések varianciája nem tekinthető homogénnek. Előbbi esetében a Századvég becslései lógnak ki a leginkább a sorból (átlag=6,8, szórás=3,0), utóbbinál a Publicus mért a többi intézetnél nagyobb ingadozásokat (átlag=4,7 szórás=3,8), a Medián viszont a többieknél ritkábban (átlag=4,1 szórás=1,6).

A többi párt esetében viszont nem kell elvetnünk a homogén varianciák nullhipotézisét, bár a DK és az MSZP-P esetében rezeg a léc.

Homogenitás teszt a pártpreferencia becslések intézet-független varianciájára a pártválasztók körében, 2018. január–2019. szeptember

6 intézet N=95 Levene Statistic df1 df2 Sig.
LMP 6,192 5 89 ,000
MM 2,656 5 89 ,028
DK 2,279 5 89 ,053
MSZP+P 2,168 5 89 ,065
egyéb 1,545 5 89 ,184
Fidesz 1,178 5 89 ,326
Jobbik 1,398 5 89 ,326

Ami pedig a becslések átlagát illeti, a Fidesz esetében találtuk a legnagyobb szisztematikus különbséget az intézetek között: F=61,9 df=5;89; p=0,000. Az ábrán látható különbségek mindegyike szignifikáns vagy legalább tendencia erősségű. A legnagyobb eltérést egyfelől a Publicus (45%) és az IDEA (47%), másfelöl pedig a Nézőpont intézet (59%) között találtuk.

Igen nagyok az intézetek közti kontrasztok az MSZP+P támogatottságának becslésénél is: F=43,4, df=5;89; p=0,0000. A Századvég becsléseinek átlaga egyik intézet átlagától se tér el szignifikánsan, a Medián és a ZRI átlaga pedig csak a Nézőpont és a Publicus átlagától. A Nézőpont és Publicus átlaga viszont minden más intézet átlagától szignifikánsan eltér. A Publicus szisztematikusan magasabbra méri az MSZP+P támogatottságát (átlag=16,5) a összes többi intézethez viszonyítva (átlag=12%), a Nézőpont intézet pedig szisztematikusan alacsonyabbra (átlag=8,3).

Számottevő még az egyéb kis pártok összegzett támogatottságára vonatkozó becsléseknél is az intézet-hatás: F=16,5 df=5;89; p=0,000. Az IDEA jellemzően másoknál magasabbnak, míg a Publicus és a Medián másoknál kisebbnek látja ezek támogatottságát. A többi eltérés ezekhez képest elhanyagolható, bár a DK és az LMP estében is statisztikailag szignifikánsak a különbségek (F=5,1, illetve F=2,9). Hiába töröm a fejem, egyszerű módszertani okokkal nem tudom magyarázni ezeket a szisztematikus eltéréseket.

2011-ben a Fidesz olyan választási rendszert vezetett be, amelynek keretén belül csak akkor győzheti le a sokpárti ellenzék a kormánypártot, ha egységes ellenzéki tömbként száll vele szembe. Miután mára az ellenzék és szavazói láthatólag elfogadták ezt a stratégiát, a hagyományos: „Melyik pártra szavazna Ön, ha most vasárnap lenne a választás?” kérdésre adott válaszok egyre kevésbé alkalmasak a ténylegesen várható választói viselkedések felmérésére. Érdemes tehát megnézni, hogy a pártválasztók körében miket mondtak a két szembenálló politikai tömb esélyeiről a közvélemény-kutatások. Ennek vizsgálatához egy különbség mutatót képeztünk, így: különbség=Fidesz-(Jobbik+MSZP-P+Dk+LMP+MM). Az egyéb pici pártoknak jutó támogatókat nem adtuk hozzá a kihívók összevont támogatottságához, mert ezek nem kívánnak szerepet vállalni az ellenzéki együttműködéseben.

A különbségmutató főátlaga +7±1 százalék (szórás=12,7), azaz a vizsgált időszak egészét nézve jelentős Fidesz előnyt jeleztek a közvélemény-kutatások. A mutató azonban -46% (2018. február, Iránytű intézet, online felmérés) és +27% (2018. október, Medián, személyes interjúk) között szóródik. Ugyanakkor a 6 rendszeresen publikáló intézet számait nézve homogénnek tekinthető a mutató varianciája: Levene statistic=1,99 df=5;89, p=0,28, míg az átlaga egyértelműen különbözik az intézetek között (F=65,3, df=5;89, p=0,0000).

A Fidesz-KDNP és az ellenzéki összefogásban résztvevő pártok összevont támogatottsága közti különbség átlagai intézetek szerint, a pártválasztók körében, 2018. január–2019. szeptember

Attól, hogy az intézetek közt nagyon is jelentős szisztematikus eltéréseket találtunk az átlagok tekintetében, a becslések még futhatnának közel párhuzamosan az időskálán[7]. De ez sincs így. A Nézőpont idősora megingathatatlan Fidesz-KDNP fölényről szól, míg a Publicusé arról, hogy általában az ellenzéknél volt az előny, de néha azért ott lihegett a nyakában a kormányoldal. Nehezen hihető, hogy a két intézet ugyanazon országban kutakodott.

A kormánypárt és az összefogásban résztvevő ellenzéki pártok támogatottság-különbségének alakulása a rendszeresen publikáló közvélemény-kutató intézetek felméréseiben, 2018. január–2019. szeptember


[1] Ld. https://fivethirtyeight.com/features/calculating-house-effects-of-polling-firms/

[2] szórás=az átlagtól való négyzetes eltérések átlaga, minél magasabb a szórás, annál nagyobbak az ingadozások

[3] A variancia a szórások négyzete.

[4] Ez a feltétel akkor teljesül, ha a populáció (jelen esetben a választásra jogosult magyarok) minden tagja azonos valószínűséggel kerülhet bele a mintákba. Ez persze olyan cél, amit a gyakorlatban lehetetlen elérni, ám nagyon is törekedni kell rá, és minél jobb a közelítés, annál jobbnak tekinthetjük módszertani szempontból a mintavételi eljárást.

[5] Az összes megkérdezett körében jelzett párttámogatottságok természetesen függvényszerűen szorosan korrelálnak a pártválasztók körében jelzett támogatottságokkal.

[6] Marián Béla. 2009. „A várható választási eredmények modellezése – Miről adnak hírt a pártpreferencia-kutatások?” in: Mérésről mérésre, szerk. Angelusz Róbert és Tardos Róbert. Budapest: Századvég, 135-162. o.

[7] A hiányzó adatokat extrapolálással töltöttem fel az ábra olvashatósága érdekében.

1 Comment

Vélemény, hozzászólás?

Adatok megadása vagy bejelentkezés valamelyik ikonnal:

WordPress.com Logo

Hozzászólhat a WordPress.com felhasználói fiók használatával. Kilépés /  Módosítás )

Google kép

Hozzászólhat a Google felhasználói fiók használatával. Kilépés /  Módosítás )

Twitter kép

Hozzászólhat a Twitter felhasználói fiók használatával. Kilépés /  Módosítás )

Facebook kép

Hozzászólhat a Facebook felhasználói fiók használatával. Kilépés /  Módosítás )

Kapcsolódás: %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.