Virheellinen virhemarginaali

Kuten syyskuussa lupailin, saamme nauttia kannatusmittauksista lähes viikottain.  Saimmekin viime viikolla kuulla kahdesti missä presidenttiehdokkaat menevät. Yle julkisti 12.10 Taloustutkimuksen tekemän kannatuskyselyn, josta riitti juttua perjantain Pressiklubiin asti, jossa juuri ja juuri oltiin toivuttu Sanna Ukkolan ”ei intiaanipäähine” kohusta. Ohjelmassa ”Sipilän kiusaaja Parkkonen” lupasi lisää löylyä tuoreella Iltalehden teettämällä kyselyllä, joka julkistettiin 14.10. tekijänä Tietoykkönen. Muut tiedot sitten puuttuivatkin!

Ylen politiikan toimittaja Pirjo Auvinen kommentoi tuloksia heti Ylen aamu-tv:ssä. Kuuntelin sujuvasti Auvisen ihmetellessä Niinistön ylivoimaa. Sitten hän siirtyi arvioimaan haastajien mahdollisuuksia todeten, ettei muutaman prosentin kannatuksen saaneiden menestystä voinut luotettavasti arvioida koska kannatus oli pienempi kuin virhemarginaali. Taloustutkimuksen yhteenvedossa kerrotaan virhemarginaalin olevan ”koko otoksessa noin +/- 1,9 %”.  Voisiko Haataisen kannatus olla -0,9% tai Vanhasen 0,1% – no ei!

Iltalehden uutisointi oli pahempaa luettavaa. Ei tietoa otoksen koosta saatika tiedonkeruumenetelmästä.  ”Jos putsaamme pois  nämä eos-ryhmäläiset, saamme Niinistön kannatukseksi karkeasti noin 70 %”.  Onneksi Parkkonen ei kommentoinut tätä kyselyä Pressiklubissa.  ESOMARin ja ICC tutkimussäännöstö toteaa artiklassa  kahdeksan  – tulosten julkistaminen: Tuloksia julkistettaessa tulee yleisölle tarjota riittävä perusinformaatio tutkimustiedon laadun ja johtopäätösten arviointiin. lltalehti ei siis antanut mitään informaatiota tutkimuksen toteutuksesta.

Ikävä – toivottavasti – työtapaturma , etenkin kun artikkeli kertoi haastatteluista.  Maanantain lehdestä löytyi tuo puuttuva tietolaatikko.  Haastattelut olivat muuttuneet nettikyselyksi,  jossa ajalle tyypillisesti paneelissa tehtyä kyselyä kutsuttiin satunnaisotannaksi. Tutkimuksen tekijä ei ollut yksin Tietoykkönen. Tiedon keruu oli tilattu ranskalaiselta Bilendiltä, joka osti pari vuotta sitten tanskalaisen M3 Researchin. M3:lla on  nettipaneeli tai yhteisö, myös Suomessa.  Otos 1000 ja virhemarginaali joko +/- 3,1 tai  +/- 3,3  (kantansa ilmaisseet) . Eli kaikkien pienehdokkaiden kannatus voisi annettua virhemarginaalia tulkiten olla pakkasella – No ei.

Virhemarginaalin koko määräytyy otoksen koon ja jakauman mukaan.  Eli Ylen kyselyssä kantansa ilmaisseet 89%  vastaajista (n=1308) toteuttaa Niinistölle tuloksella virhemarginaalin  +/- 2,4 % eli  kannatus liikkuu haarukassa 78,4 % – 73,6 %.   Iltalehden kyselyn virhemarginaali (n= 860) antaa Niinistölle  73,5 – 66,5%   tuloksen.  Ero YLEn tutkimukseen selittyy otannalla sekä puhelinhaastatteluilla.  Kaikki suomalaiset eivät kuulu Bilendin paneeliin, tosin kaikkia äänestysikäisiä ei  puhelimella, joten satunnaisotoksessakin on katveensa.

Matti Vanhasen 2 %  kannatuksen virhemarginaali on noin 0,8 % Eli Matin kannatus  liikkuu välillä 1,2 – 2,8 %.  Toinen juttu olisi avata toimittajalle mitä tarkoitaa 95 %  luotettavuustaso.  Eli jos tutkimus toistetaan täysin samankaltaisena 100 kertaa menee tulos tuon virhemaarginaalin sisään 95 kertaa.

Käsite virhemarginaali on mielestä edellä kuvatuin esimerkein  sekava ja antaa hyvin tehdystä työstä huonon kuvan,  jos virhemarginaalin muodostumista ei avata, ei ymmärretä tai jos sitä laiskasti tukitaan.

Omassa taskussani kulkee hollantilaisen NIPOn pahvinen taskulaskin. Simppelissä liukuritaulukossa  puhutaankin tuloksen standardi poikkeamasta  (standard deviation)  eikä virhemarginaalista.  Poikkeama kuulostaa ammatissamme paremmalta kuin virhe – eikö totta?

 

 

 

ESOMAR 70 vuotta  -markkinatutkimus tienhaarassa vai umpikujassa?

 

 

 

Logo.png

 

 

 

 

 

 

But its key challenge is from those companies who say ‘I couldn’t care less about quality standards. I’m going to do whatever I want to do’. If Google were to sign up to ESOMAR standards, it would fundamentally change the importance of the organisation.”

Näin kiteytti Tom Cowling  TNS:n ex-toimitusjohtaja  toimialaraportissa sen, mikä on vakiintuneen tutkimusalan keskeisin haaste.  Syyskuun  lopulla pidetty vuosikokous juhlisti 70-vuotisjuhlaa positiivisin mielin, vaikka taivaalla roikkuu ukkospilviä.

Monen vuoden odottelun jälkeen toimiala näyttää kääntyneen kasvuun.  Maailman laajuisesti kasvua monimutkaisten kurssimuunnelmien mukaan oli joko 1,3 % tai 2,3 %.  Tämä siis perinteisessä tutkimustoiminnassa, uudet tutkimusratkaisut kasvoivat peräti 8,7 %.  ESOMAR näyttääkin tarttuvan toimialan laajennettuun määritelmään sitä tiukemmin mitä selvemmin ”vanhat” menetelmät taantuvat. Kokonaismarkkinat ovatkin 71,5 Miljardia dollaria. Perinteisen toiminnan  500 miljoonan kasvun  voi selittää  kyynisesti yksin   AC Nielsenin   2 % vuosikasvulla.

Toimialaraportista ja vuosikongressista  voi vetää yhden selkeän johtopäätöksen ja se on  vahvistuva polarisaatio. Tässä muutama keskeinen tekijä kaksinapaisuuden seurauksista.

Markkinat ovat jakautuneet kypsiin ja kehittyviin

Euroopassa tökkii – laskua 16,6 miljardista 15,8 miljardiin, poikkeuksena Itä-Euroopan maiden kasvu ja ehkä yllättäen Venäjän tutkimuskasvu, ken lukuihin luottaa. Myös Pohjois-Amerikan markkinat pysyivät paikallaan.  Kypsien markkinoiden sisällä näkyy kuitenkin vahvaa kasvua uusien menetelmien ja ratkaisujen hyödyntämisessä.  Kompastuuko Eurooppa EU:n datadirektiiviin?  USA on data-analytiikan kasvun kärkimaa. Alueellisesti kasvua on vahvaa  Afrikassa Aasia-Pacific-alueella Japani etunenässä.  Näissä kulttuureissa face2face-tutkimuksilla on edelleen vahva ote.

Menetelmät jakautuvat perinteisiin ja  webpohjaisiin ratkaisuihin.

Vuonna 2016  alan liikevaihdosta   44 % generoitui erilaisten  on-line tutkimusten kautta.  Mukaan lasketaan myös web-liikenteen mittaaminen.  Mobiilitutkimusten osuus oli lähes 7 % – se on lähes yhtä paljon kuin puhelinhaastattelujen osuus.   Erään asiantuntijan mukaan 80 % puhelinhaaastatteluista ”häviää” viiden vuoden sisällä. Pitäisikö muuten  Suomessa olla huolissaan on-line-tutkimustemme kehityksestä? Aiempien vuosien  kärkipaikka on taantunut pistesijoille 30 %markkinaosuudella kun se on Japanissa 50 %.  Data-analytiikka ja someseurailu kasvavat kohisten. Sellaisten yritysten kuten Cision ja Meltwater liikevaihto on kasvanut  vuodessa lähes 30 %.  Myös Salesforce on tehnyt lähes 10 % kasvun.

Tutkijat jakautuvat laadukkaan osaamisen leiriin tai vaihtoehtoisen tutkimusmaailman tekijöihin

Kun alalla pitkään vaikuttaneet toimijat  – niin yhteisöt kuin tutkijat  – painivat etiikan, menetelmien toimivuuden ja tulosten luotettavuuden parissa on  samaan aikaan  syntynyt  uudenlainen tutkimusten tuottajaväki.  Philipsin Anneke Quinn de Jong kertoi näistä rinnakkaisen tutkimusmaailman tekijöistä, jotka hyödyntävät helppokäyttöistä tutkimusteknologiaa ja erilaisia mukavuusnäytteitä. Tuloksena syntyy aidonnäköistä, mutta laadullisesti kuuluisaa mutu-tietoa tai pahimmillaan vaihtoehtoista  faktaa. Pelko on, että  tämäkin riittää kiireisille operatiivisille päätöksentekijöille.

 

Asiakkaat jakautuvat ala carte ruokailijoihin tai fast food tankkaajiin

Asiakkaat voidaan karkeasti jaotella jo nyt  kahteen kategoriaan.  Ensinnäkin vaativiin insightin hakijoihin, jotka panostavat paljon resursseja  – aikaa ja rahaakin kiitos -tutkimusprojektiin.  He odottavat konsultatiivista osaamista ja näkemyksellisiä ratkaisuehdotuksia. PowerPoint-ähky tai taulukkosulkeiset eivät tule kyseeseen.

GfKn  tulevaisuuden tutkija  Fabian Buder toteaa,  etteivät asiakkaat toivo yhteydenottaja tutkijoilta kuulakseen uusista menetelmistä  kuten tekoälystä vaan uusista ratkaisuista asiakkaiden päätöksenteon ongelmiin.

Toisen segmentin muodostavat pikatiedon hakijat.   Tämä asiakas painottaa nopeutta ja kohtuullista – lue aiempaa edullisempaa  – hintaa. Jos tätä ei ole tarjolla on vaara, että asiakas hakee tiedon itse netistä, asiakastiedoista tai hyödyntää DIY-ratkaisuja tai jättää koko tutkimuksen tekemättä.

Juna meni jo.