Opinionsundersökningar III - Vilken är den bästa opinionsmätningen?

Jag skrev om en enkel misstanke jag haft, att vissa opinionsmätningar ständigt ligger högre i siffrorna för SD. Det stämde efter en ytlig analys. Det visade sig vara de två företag som (enligt vad jag vet) använder internetrekryterade paneler istället för slumpmässigt urval; United minds och Yougov. De har överlag klart högre resultat för SD. Jag uppfattar, utan att ha siffror, att även Sentio har höga siffror för SD.

När jag skrev den artikeln råkade jag springa på en artikel i Forskning och Framsteg som hade följande rubrik:

Bästa opinionsinstitutet utsett

Tjoho! Jag kastade mig över den, på det sätt som det går att göra när en tvååring vill leka. Det fick alltså vänta och tas i små omgångar. Därmed kan jag kanske ställa min enkla tabell mot forskarnas analys.

Det är två statistiker från Lund som jämfört opinionsföretagens resultat för att se hur de skiljer sig från varandra. Det går att läsa mer här: Spelar det någon roll vem som mäter opinionen?Deras metod är att med statistisk analys analysera opinionsmätningar mellan 2006 och 2013 för att se om det går att hitta systematiska urvalsfel eller systematiska fel i mätningarna. Totalt 509 mätningar. Måttet nedan är medelavståndet från det skattade medelvärdet av alla mätningar. And the winner is: 

Tabell 1. Medelavstånd från den sammanvägda skattningen samt totalt antal partisympatimätningar för de olika opinionsinstituten.

Institut	Medelavstånd	Antal mätningar
Novus	0,022	71
Sifo	0,024	81
SCB	0,026	12
Ipsos/Synovate	0,026	85
YouGov	0,027	26
Demoskop	0,032	65
Skop	0,032	64
United Minds	0,034	64
Sentio Research	0,035	41

Novus som etta, Sifo som tvåa och SCB, Ipsps och Yougov som nåt slags delad trea. Utan att göra övertolkningar är det ändå intressant att de tre som (jag tror) använder internetrekryterade paneler - Yougov, United minds och Sentio - utmärker sig negativt, med de två bottenplatserna.

De konstaterar att de som gör många mätningar är gynnade eftersom de drar medelvärdet med sig i större utsträckning. Men både SCB och Yougov klarar sig bra trots få (för SCB väldigt få) mätningar.

Men det blir intressantare än så i deras granskning. De gör en fortsatt analys för att se vilka som gör systematiska mätfel på partinivå. Under rubriken "Olika partier gynnas av olika institut går det att... titta på färgskalan och jämföra den med streck som motsvarar en niondel. Jag har inte gjort något ambitiöst försök att få tag på originalartikeln (Bergman, J. & Holmquist, B. (2013). Poll of polls: A compositional loess model.Scandinavian Journal of Statistics, In press)

Deras sammanfattning av figuren är:

• Novus, SCB, Sifo och Yougov har inga tydliga avvikelser. Här finns en skillnad mot min enkla tabell, eftersom Yougov i min genomgång visade sig ligga högt för SD:s siffror, men framför allt för 2013, inte för 2012. 
• United minds underskattar M, Fp, C och S och överskattar SD och Övriga partier. 
• Skop tenderar att överskatta alliansen och underskatta SD och Övriga partier. 

Eftersom deras studie är gjord över många år kan olika företag självklart ha ändrat sina mätmetoder och blivit bättre. Eller sämre. Och i slutändan spelar det ingen roll om vi spår i fisk eller hänvisar till Novus eller någon annan. Det finns bara ett facit vart fjärde år.