VG konkluderer med utgangspunkt i en ny meningsmåling at det fins et klart flertall blant KrF velgerne for å gå i regjering med AP og SP.
Nettavisens redaktør Gunnar Stavrum kan ikke forstå at analysen kan være riktig, spesielt fordi tilsvarende målinger gjort av NRK og TV2 kommer ut med motsatt resultat.
Stavrum’s analyse blir avvist av eksperter som mener VG har sitt på det tørre.
Ekspertene velger imidlertid å se helt bort fra de to andre undersøkelsene, og mister dermed hele poenget med Stavrum’s kritikk.
Stavrum mener at et utvalg basert på intervjuer kan gi en skjev fordeling. Dette er rett, og effekten kan være vesentlig.
Gunnar Stavrum: VGs sjokkmåling er fake news
Meningsmålinger knyttet til valget av Trump var trolig systematisk feil fordi noen velgere enten unnlot å svare eller oppga et annet alternativ fordi Trump var ansett som kontroversiell.
Måten utvalget er trukket på er imidlertid ikke noe problem i denne analysen.
Stavrum mener at et utvalg på 48 respondenter er for lite til å konkludere. Ekspertene repliserer at utvalget er stort nok til å si at andelen med 95% sikkerhet ligger mellom 67% og 92%.
Det er riktig, men lar seg vanskelig forene med resultatene fra de andre undersøkelsene.
Riktignok er målingen fra Respons Analyse den eneste som i sin helhet er gjort etter at Hareide flagget sitt syn på regjeringssamarbeid, men effekten av dette er vanskelig å vurdere.
Stavrum poengterer at meningsmålinger ofte bommer, og det skal de gjøre en gang i blant.
Respons Analyse kan ikke gå på vannet. Når resultatene med 95% sikkerhet ligger mellom 67% og 92%, kan vi regne med at andelen i ett av tjue tilfeller ligger utenfor dette intervallet.
Det er ikke noen sensasjon, tvert imot er dette noe som både kan og skal skje med jevne mellomrom.
Mange meningsmålinger blir gjort i løpet av ett år, og det ligger i sakens natur at noen av dem vil bomme i vesentlig grad.
Tar vi hensyn til de andre undersøkelsene, er det nærliggende å tro at resultatet fra Respons Analyse kan være en falsk positiv i den forstand at andelen ligger ett stykke utenfor et 95% konfidensintervall.
Falske positiver er et stort og økende problem i forskning og formidling.
Problemet er at nyhetsbildet systematisk søker det spesielle og uventede, og det gjør at falske positiver blir sterkt overrepresentert blant publiserte resultater.
Løsningen er å se mange undersøkelser i sammenheng, og det virker som ekspertene har glemt dette i denne saken.
Jan Ubøe, professor i matematikk NHH
Gunnar Stavrum: VGs sjokkmåling er fake news