(A szerk. megjegyzése): Vendégszerzőnk áttekinti, hogy a 2002 és 2024 közötti összes országgyűlési és európai választáson mennyire estek közel a közvélemény-kutatók a választások előtti utolsó publikált mérései, köztük akár exit poll-ok is, a tényleges választási eredményekhez. A tanulságok röviden: vannak kutatók, akik mindig ugyanazt a pártot becsülik felül, amelynek elkötelezettjeként tartja őket számon az újságolvasó közönség. És vannak olyanok, akik hol erre, hol amarra tévednek, viszont jóval kisebbeket, kb. úgy, mint ahogy véletlen mintavétel esetén várhatnánk az egyes kutatásoktól.
Vendégszerző: Koltai Mihály matematikai biológus
Mérésünk ugyan nincs róla, de eléggé elterjedtnek érződik az az elképzelés, hogy Magyarországon a közvélemény-kutatások általában véve megbízhatatlanok és/vagy politikailag manipuláltak.
Mennyiben indokolt ez az utóbbi két évtized közvetlenül az országos választások előtt készült és publikált előrejelzései alapján? Ebben a posztban 2002-ig visszamenőleg összeszedtem az európai parlamenti (EP) és országgyűlési (OGY) választások előtti utolsó méréseket, és intézetenként, illetve pártonként elemeztem őket. Minden választásnál az adott intézet a választáshoz legközelebb eső, de három-négy hétnél semmiképp sem távolabbi kutatását használtam1 (lábjegyzetek a poszt végén), ha volt ilyen. A Tárki és a Századvég-Forsense 2006-os választás napi kutatásai miatt két exit poll is bekerült az itt elemzett adatbázisba (részletek és link az adatokhoz ebben a lábjegyzetben: 2).
A hibákat a “választani tudó biztos szavazók” kategória alapján számoltam ki, ahol ez meg volt különböztetve a “választani tudók” kategóriától. Bár az előbbi nem feltétlenül jobb előrejelzője a tényleges eredményeknek, de az intézetek maguk ezt szokták megjelölni “végső“ számként a választások előtt. Az előrejelzéseket az országos (belföldi) listás szavazataránnyal hasonlítottam össze, amiben nincsenek benne a külföldön leadott levélszavazatok, mivel a közvélemény-kutatások a szomszédos országokban élő magyarokra és a kivándoroltakra és leszármazottaikra nem terjednek ki.
Az egyes intézetek mérlege jelentősen különbözik. Keresésem alapján a Medián az egyetlen intézet amelynek 2002 óta az összes OGY és EP választás – összesen 11 választás – előtti napokban-hetekben volt publikált mérése, őket követi a Századvég (n=10) és a Nézőpont Intézet (n=8). Több, a 2002-2014 időszakban aktív cég ma már nem publikál kutatásokat (Ipsos, Forsense, Tárki), vagy meg is szűnt (Magyar Gallup Intézet, Marketing Centrum).
1. ábra: A jelenleg is aktív intézetek rangsora átlagos négyzetes hiba (RMSE) alapján. Az n_választás oszlop a mért választások számát jelöli, az n_adatpont az adatpontok számát (egy választásra nézve a mért pártok számát). Minden választásnál az adott intézet választáshoz legközelebbi (általam megtalált) mérését használtam
A jelenleg is aktív intézetek közül, amelyek legalább három választás előtt publikáltak előrejelzést, a legalacsonyabb átlagos hiba-szint a Mediánnál van: az átlagos abszolút hiba (MAE) itt 2.15%, a nagyobb tévedéseket felerősítő átlagos négyzetes hiba (RMSE=root mean square error=gyökös átlagos négyzetes hiba) pedig 2.8% (egy tizedesjegyre kerekítve). Ennél kb. 25%-kal nagyobb átlagos hiba van a Nézőpontnál (RMSE=3.4) és a Závecznél (3.5).
A spektrum másik végén a Publicus (4.1, n=4), a Századvég (4.3, n=10), és az IDEA (4.4, n=4) van, a Medián hibaszintjének kb. másfélszeresével. Ennél is nagyobb a csak két választás előtt posztoló Republikon (4.6, n=2), illetve a már nem publikáló Tárki (4.8, n=5) négyzetes hibája.
A 2022-es OGY illetve 2024-es EP választáson megjelent több új intézet, amely 2-3% közötti átlagos négyzetes (RMSE) hibával mért, illetve a 21 Kutatóközpont (21KK), amely mindössze 1.1%-kal. Egy-két választás alapján ugyanakkor nehéz megítélni ebből mi következik: a Társadalomkutató például a legközelebb járt az eredményhez az OGY2022-n, de az ezt követő EP2024-en – holtversenyben a Publicus-szal és a Századvéggel – a legrosszabb előrejelzést produkálta. Ezek az újabb intézetek a 21KK-n kívül ráadásul a kormányhoz kötődnek, és soha nem posztoltak olyan választás előtt, ahol nem – mások szerint is – a Fidesz vezetett jelentősen. 2026 áprilisa ilyen szempontból is érdekes teszt lesz.
Van néhány intézet ahol a tévedéseknek mintha visszatérő “irányultsága” lenne, bár igazság szerint ilyen kevés szám alapján – kizárólag a számokból – robusztus következtetést nem lehet levonni; inkább az egyéb, kvalitatív jellegű információk árulkodók.
A Századvég szinte mindig felülmérte a Fideszt (7/10 választás), háromszor hibahatáron3 (>4%) felül, az EP2009-en a Nézőponttal együtt nehezen megmagyarázható mértékben (10 illetve 16%-kal). Emellett e két intézet többször jelentősen alulmérte a Jobbikot, illetve az EP2024-en 6-7%-kal a Tiszát.
2. ábra: A jelenleg is létező és legalább kettő választás előtt mérést publikáló intézetek abszolút hibáinak eloszlása 2002-2024 közötti EP és OGY választásokon. A függőleges vonal az átlagos abszolút hibát jelöli, amit a felette lévő szám is mutat (zárójelben az előrejelzések száma).
A másik véglet az IDEA, amely mindig alulmérte a Fidesz támogatottságát (bár négyből háromszor csak 1-3%-kal) és hatból négyszer felülbecsülte a baloldali ellenzéki listákat (MSZP, DK illetve a 2022-es összellenzéket). Hasonló mintázat figyelhető meg a Publicusnál: itt is inkább a baloldali ellenzék – 2022-ben masszív, bár ez ekkor általános volt – túlbecslése volt a jelentősebb, mintsem a Fidesz alulbecslése (ami viszont 4/4 választásnál megfigyelhető volt, de csak egyszer 2% fölött).
Nem látszik ilyen “egyirányú” mintázat a Mediánnál és a Závecznél. A Fideszt a Medián hatszor alul-, ötször felülbecsülte: míg az alulbecslések sosem haladták meg a 3%-ot, a felülbecslések háromszor is 4-5%-osak voltak, tehát egyáltalán nem igaz, hogy a választási előrejelzéseik a Fideszre nézve szisztematikusan vagy akár csak többnyire kedvezőtlenek voltak. Ugyanők általában enyhén túlbecsülték az MSZP-s illetve összellenzéki listákat, de a tévedés nem haladta meg a 3-4%-ot és szinte mindig kisebb volt, mint más cégeknél. A Medián négyből kétszer jelentősen alábecsülte a DK-t választási méréseiben (az EP2019-en gyakorlatilag mindenki más is), kétszer pedig tökéletesen (<1% hiba) mérte – fölül viszont egyszer sem becsülte.
A Závecz négyből háromszor mindössze 0-2%-os hibával jelezte előre a Fidesz szavazatarányát, 2018-ben pedig 4%-kal becsülte alá. Ugyanők hatból háromszor 2-3%-kal becsülték túl a baloldali ellenzéket, az EP2019-en a túlbecslés 5% volt (MSZP-PM lista), az OGY2022-ben pedig 10%-os; de az 5%-os alulbecslés (EP2019 DK lista) is előfordult egyszer.
3. ábra: Hibahatáron kívüli tévedések aránya az összes becslésből a jelenleg is aktív, legalább két választás előtt mérést publikált intézeteknél
Mi a helyzet a súlyosabb (>4-5%) tévedések gyakoriságával? A legalább három választásra előrejelzést készítő intézetek közül a Mediánnál az összes becslést nézve (59 db) kb. hétből egyszer gyakorisággal (15%) fordult elő 4%-nál nagyobb tévedés és kb. tizenkettőből egyszer (8.5%) 5%-nál nagyobb. Ez messze a legalacsonyabb arány az említett mezőnyben. A Nézőpontnál a >4% tévedések kb. 1.5-szer ilyen gyakran fordultak elő (becslések 22%-a), a Századvégnél (27%) és a Závecznél (25%) még gyakrabban. A IDEA, Republikon és Publicus intézeteknél az összes becslés több mint 30%-a 4%-nál nagyobb tévedést mutatott.
Néhány választáson egy-egy pártot szinte mindenki jelentősen alul- vagy fölülmért. Ilyen volt az EP2009 és OGY2010 választáson a Fidesz szavazatarányának felülbecslése. Az EP2009-en a Jobbik, az EP2014-en és EP2019-en a DK jelentős alulbecslése volt általános, míg az EP2019-en a Momentumot, az EP2024-en pedig a Tiszát (itt kivétel volt a 21KK) becsülte mindenki alá. Itt mintha az a tendencia lenne kivehető, hogy az éppen felívelő erőket alulmérik (erről ld. a Vox Populi-n korábban: https://tinyurl.com/k2ef3k44).
A leghíresebb-hírhedtebb példa alighanem az összellenzéki lista 2022-es felülbecslése. Fontos kiemelni, hogy az OGY2022-n a rendszeresen mérő intézetek – a kormányhoz kötődők is – szinte mind jelentősen, hibahatáron túl (6-11%) felülmérték az ellenzéket, csak a Mediánnal, illetve az ekkor először posztoló Társadalomkutatónál és Real-PR-nél volt a felülbecslés hibahatár közeli (4-5%). Ez egyben azt is jelentette, hogy az OGY2022-n a Medián és a jobban szereplő kormányközeli intézetek (Real-PR, Társadalomkutató) majdnem azonos számokat közöltek. Szintén majdnem azonos – kb. ugyanannyira és ugyanarra “félrement” – számokat közölt ekkor a Závecz illetve a Századvég és a Nézőpont: mindegyik túlbecsülte az ellenzéket és alul a Fideszt.
4. ábra: A jelenleg is létező és legalább három választás előtt mérést publikáló intézetek hibái az EP és OGY választásokon. Kék szín=alulbecslés (negativ érték, a jósolt eredmény kisebb volt a valósnál), piros=felülbecslés
Az intézetek közötti masszív divergencia csak kb. 2024 ősze óta jellemző, amikor is a nem-kormányzati intézetek Tisza vezetést kezdtek jelezni. Ez a helyzet valamennyire a 2002-es választások előtti szituációra emlékeztet (de sokkal nagyobb számbeli eltérésekkel), amikor a Századvég-Tárki és a Magyar Gallup jelentős Fidesz előnyt jósolt és egyedül a Medián jelzett előre döntetlen közeli Fidesz vs. MSZP eredményt és ezáltal kormányváltást. Akkor, 2002-ben, a Mediánnak lett igaza, helyesen (+1%) becsülve meg a Fidesz szavazatarányát, míg a Gallup és a Századvég-Tárki 5-6%-kal túlbecsülték. Kicsiben megismétlődött ugyanez 2006-ban is, amikor a Magyar Gallup, a Századvég-Forsense és a Tárki is 3-4%-kal túlbecsülték a Fideszt, míg a Medián csak 1%-ot tévedett.
Az utolsó három tábla mutatja az összes választásra számolt átlagos hibát előbb választásonként, aztán pártonként, és végül intézetenként. Csak a legalább két választás előtt posztoló intézetek adatai szerepelnek az ábrákon. Az itt megjelenő intézetek közül ma már nem létezik vagy nem aktív a választási kutatásokban a Szonda, a Gallup, és a Tárki.
5. ábra: Az egyes intézetek átlagos négyzetes hibái (RMSE) választásonként csoportosítva, 2002 óta
6. ábra: Az egyes intézetek átlagos négyzetes hibái (RMSE) pártonként csoportosítva, 2002 óta
7. ábra: Az egyes intézetek átlagos négyzetes hibái (RMSE) intézetenként csoportosítva és pártokra lebontva, 2002 óta. Zárójelben, hogy az adott pártot az adott intézet hány választáson mérte
A múltból nem feltétlenül következtethetünk a jövőre. De tudni róla mindenesetre nem árt.
-kmb- azaz Koltai Mihály
A szerkesztő függeléke (-tg-)
Az egyes választások előtt a közvélemény-kutatók által posztolt összes választáskutatási adat, időnként exit poll vagy “szakértői becslés” megfeleléséről a tényleges választási eredményekben az alábbi publikációkban talál további részleteket:
1990-1998-as választások: Tóka Gábor. 1998. „Választási közvélemémy-kutatások és előrejelzések 1998-ban.” Jel-Kép Vol. 19 Issue 4, pp. 53-76. URL: https://drive.google.com/file/d/1uKGEHmhb3hg_KNl3p-wQ_ypJmWuVzsjc/view?usp=sharing
Fischer György. 2001. Hihetünk-e a közvélemény-kutatásoknak? Hogyan készülnek, és mennyire pontosak a közvélemény-kutatások? Budapest: Bagolyvár.
1990-2002-es választások: Fischer György. 2005. “Sikerek és kudarcok magyarországi választási elõrejelzésekben.” In: Magyarország politikai atlasza, szerk. Mészáros József és Szakadát István. Budapest: Gondolat, pp. 13-36.
2002-es választás: Tóth István János. 2002. „Szisztematikus eltérések a pártpreferencia-vizsgálatok eredményeiben.” In: Társadalmi riport 2002, szerk. Kolosi Tamás, Tóth István György és Vukovich György. Budapest: Tárki. URL: https://www.tarki.hu/adatbank-h/kutjel/pdf/a839.pdf
2006-os választás: Marián Béla. 2006. „A várható választási eredmények modellezése – Mirõl adnak hírt a pártpreferencia-kutatások?” In: Mérésrõl mérésre. A választáskutatás módszertani kérdései, szerk. Angelusz Róbert és Tardos Róbert. Budapest: DKMKA, pp. 135-162.
1990-2006-os választások: Karácsony Gergely és Lakatos Zsuzsa. 2006. “Választási előrejelzések Magyarországon, 1990–2006. Sikerek, tévedések és tanulságok.” In: Mérésről mérésre. A választáskutatás módszertani kérdései, szerk. Angelusz Róbert és Tardos Róbert. Budapest: DKMKA, pp. 185-217.
2010-es választás: Lakatos Zsuzsa. 2011. „Választási előrejelzések.” In: Új képlet. Választások Magyarországon, 2010, szerk. Enyedi Zsolt, Szabó Andrea és Tardos Róbert. Budapest: DKMKA, pp. 241-269. URL: https://web.archive.org/web/20140408043156/http://www.valasztaskutatas.hu/kiadvanyok/uj-keplet/lakatos-zsuzsa-valasztasi-elorejelzesek
2014-es választások: Kmetty Zoltán. 2014. „Választási előrejelzések.” In: Választás 2014: Kampány, közvélemény, új szabályok, szerk. Szomszéd Orsolya. Budapest: Nézőpont Elemzőintézet Nonprofit Kft. 2014, pp. 53-60.
2018-as választások: Závecz Gergő. 2018. „A 2018-as magyarországi országgyűlési választást megelőző közvélemény-kutatások.” In: Várakozások és csalódások. Parlamenti választás 2018, szerk. Böcskei Balázs és Szabó Andrea. Budapest: MTA TK-PTI, pp. 455-483.
Tóka Gábor. 2024. „A 2018-as választási közvélemény-kutatásokról fennmaradt szörnyű kudarc emlékét egyáltalán nem támasztja alá az adatok korrekt elemzése.” Vox Populi blog, 2024. május 20. URL: https://kozvelemeny.org/2024/05/20/a-2018-as-valasztasi-kozvelemeny-kutatasokrol-fennmaradt-szornyu-kudarc-emleket-egyaltalan-nem-tamasztja-ala-az-adatok-korrekt-elemzese/
2019-es európai választások: Tóka Gábor. 2024. „A 2019. májusi európai választások előtt megjelent választási közvélemény-kutatások pontatlanságai: tanulságok 2024-re.” Vox Populi blog, 2024. május 17. URL: https://kozvelemeny.org/2024/05/17/a-2019-majusi-europai-valasztasok-elott-megjelent-valasztasi-kozvelemeny-kutatasok-pontatlansagai-tanulsagok-2024-re/
2022-es választások: Tóka Gábor. 2024. „Miért tévedtek akkorát a választási közvélemény-kutatások 2022 tavaszán, és mi várható ez alapján 2024-ben?” Vox Populi blog, 2024. május 27. URL: https://kozvelemeny.org/2024/05/27/miert-tevedtek-akkorat-a-valasztasi-kozvelemeny-kutatasok-2022-tavaszan-es-mi-varhato-ez-alapjan-2024-ben/
1990-2022-es országgyűlési választások: Stefkovics Ádám. 2024. Hova tovább, magyar választáskutatás? Budapest: Századvég Kiadó.
2024-es európai választások: Tóka Gábor. 2024. „2024-ben ismét jól eltalálta az országos eredményeket az összes választási előrejelzések átlaga, de néhány durva melléfogás komoly magyarázatra szorul.” Vox Populi blog, 2024. június 19. URL: https://kozvelemeny.org/2024/06/19/2024-ben-ismet-jol-eltalalta-az-orszagos-eredmenyeket-az-osszes-valasztasi-elorejelzesek-atlaga-de-nehany-durva-mellefogas-komoly-magyarazatra-szorul/
Lábjegyzetek
- Minden választásnál megpróbáltam megtalálni az adott intézet választáshoz legközelebbi mérését, a választás előtt maximum két-három héttel (általában ennél közelebb). Bizonyos intézetek egy adott választás előtti hetekben többször is mértek, ilyenkor is a legutolsó mérést használtam, akkor is, ha a korábbi mérés esetleg jobb volt. Volt néhány választás, ahol bizonyos intézetek nem pontbecslést (egy számot) adtak meg, hanem egy sávot; ezeknek a középértékét használtam a hibaszámításnál. A fenti táblázatban az összes adatpontnál ott van az eredeti url; különösen kb. 2018 előtt gyakran a Web Archive-ra volt szükség, hogy bejöjjön a keresett oldal. Korrekciókat szívesen fogadok a Vox.Populi.HU gmail címen. ↩︎
- Összes adat url-lel: https://tinyurl.com/2nkvphmr (google docs táblázat)
Az ábrákat generáló R kód: https://tinyurl.com/4nfxmr34 (R file google drive-on). ↩︎ - Valójában a becslések szinte mindig súlyozásokat is tartalmaznak, mivel egyes alcsoportoknál jóval kisebb minták is vannak, mint a teljes népességben való súlyuk. Emiatt a tényleges “hibahatár” valószínűleg szinte mindig nagyobb 4%-nál, de konvencionális kb. ezt szok’s “hibahatárnak” mondani a “biztos pártválasztó” kategória tekintetében, és ezért az egyszerűség kedvéért ebben a cikkben is ezt tettem. ↩︎
Vox Populi 