Virheellinen virhemarginaali

Kuten syyskuussa lupailin, saamme nauttia kannatusmittauksista lähes viikottain.  Saimmekin viime viikolla kuulla kahdesti missä presidenttiehdokkaat menevät. Yle julkisti 12.10 Taloustutkimuksen tekemän kannatuskyselyn, josta riitti juttua perjantain Pressiklubiin asti, jossa juuri ja juuri oltiin toivuttu Sanna Ukkolan ”ei intiaanipäähine” kohusta. Ohjelmassa ”Sipilän kiusaaja Parkkonen” lupasi lisää löylyä tuoreella Iltalehden teettämällä kyselyllä, joka julkistettiin 14.10. tekijänä Tietoykkönen. Muut tiedot sitten puuttuivatkin!

Ylen politiikan toimittaja Pirjo Auvinen kommentoi tuloksia heti Ylen aamu-tv:ssä. Kuuntelin sujuvasti Auvisen ihmetellessä Niinistön ylivoimaa. Sitten hän siirtyi arvioimaan haastajien mahdollisuuksia todeten, ettei muutaman prosentin kannatuksen saaneiden menestystä voinut luotettavasti arvioida koska kannatus oli pienempi kuin virhemarginaali. Taloustutkimuksen yhteenvedossa kerrotaan virhemarginaalin olevan ”koko otoksessa noin +/- 1,9 %”.  Voisiko Haataisen kannatus olla -0,9% tai Vanhasen 0,1% – no ei!

Iltalehden uutisointi oli pahempaa luettavaa. Ei tietoa otoksen koosta saatika tiedonkeruumenetelmästä.  ”Jos putsaamme pois  nämä eos-ryhmäläiset, saamme Niinistön kannatukseksi karkeasti noin 70 %”.  Onneksi Parkkonen ei kommentoinut tätä kyselyä Pressiklubissa.  ESOMARin ja ICC tutkimussäännöstö toteaa artiklassa  kahdeksan  – tulosten julkistaminen: Tuloksia julkistettaessa tulee yleisölle tarjota riittävä perusinformaatio tutkimustiedon laadun ja johtopäätösten arviointiin. lltalehti ei siis antanut mitään informaatiota tutkimuksen toteutuksesta.

Ikävä – toivottavasti – työtapaturma , etenkin kun artikkeli kertoi haastatteluista.  Maanantain lehdestä löytyi tuo puuttuva tietolaatikko.  Haastattelut olivat muuttuneet nettikyselyksi,  jossa ajalle tyypillisesti paneelissa tehtyä kyselyä kutsuttiin satunnaisotannaksi. Tutkimuksen tekijä ei ollut yksin Tietoykkönen. Tiedon keruu oli tilattu ranskalaiselta Bilendiltä, joka osti pari vuotta sitten tanskalaisen M3 Researchin. M3:lla on  nettipaneeli tai yhteisö, myös Suomessa.  Otos 1000 ja virhemarginaali joko +/- 3,1 tai  +/- 3,3  (kantansa ilmaisseet) . Eli kaikkien pienehdokkaiden kannatus voisi annettua virhemarginaalia tulkiten olla pakkasella – No ei.

Virhemarginaalin koko määräytyy otoksen koon ja jakauman mukaan.  Eli Ylen kyselyssä kantansa ilmaisseet 89%  vastaajista (n=1308) toteuttaa Niinistölle tuloksella virhemarginaalin  +/- 2,4 % eli  kannatus liikkuu haarukassa 78,4 % – 73,6 %.   Iltalehden kyselyn virhemarginaali (n= 860) antaa Niinistölle  73,5 – 66,5%   tuloksen.  Ero YLEn tutkimukseen selittyy otannalla sekä puhelinhaastatteluilla.  Kaikki suomalaiset eivät kuulu Bilendin paneeliin, tosin kaikkia äänestysikäisiä ei  puhelimella, joten satunnaisotoksessakin on katveensa.

Matti Vanhasen 2 %  kannatuksen virhemarginaali on noin 0,8 % Eli Matin kannatus  liikkuu välillä 1,2 – 2,8 %.  Toinen juttu olisi avata toimittajalle mitä tarkoitaa 95 %  luotettavuustaso.  Eli jos tutkimus toistetaan täysin samankaltaisena 100 kertaa menee tulos tuon virhemaarginaalin sisään 95 kertaa.

Käsite virhemarginaali on mielestä edellä kuvatuin esimerkein  sekava ja antaa hyvin tehdystä työstä huonon kuvan,  jos virhemarginaalin muodostumista ei avata, ei ymmärretä tai jos sitä laiskasti tukitaan.

Omassa taskussani kulkee hollantilaisen NIPOn pahvinen taskulaskin. Simppelissä liukuritaulukossa  puhutaankin tuloksen standardi poikkeamasta  (standard deviation)  eikä virhemarginaalista.  Poikkeama kuulostaa ammatissamme paremmalta kuin virhe – eikö totta?

 

 

 

Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out /  Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out /  Muuta )

Muodostetaan yhteyttä palveluun %s