Mielipidemittaukset – tilastotieteen perusteita
Eräs silmiinpistävä piirre poliittisessa keskustelussa on joidenkin ryhmien epäluuloinen suhtautuminen mielipidemittauksiin. Moinen tiedevastaisuus on männävuosina levinnyt myös suomalaiseen kontekstiin erityisesti perussuomalaisten ajamana. Koska ihmiskuvani on positiivinen, lähden siitä olettamuksesta, että yllä kuvattu johtuu yksinkertaisesti tietämättömyydestä. Ei täysin oikeutetusti olla tutustuttu matematiikkaan mielipidemittausten takana muun työnteon ja elämisen ohessa, eikä sosiaalisesta kuplautumisesta johtuen tulokset aina vastaa omia käsityksiä aiheena olevasta asiasta.
Seuraavassa käydään läpi mielipidemittausten perustava toimintaperiaate, sekä havainnollistetaan esimerkin avulla miten mielipidemittausta ei kannata toteuttaa todellisuutta vastaamattomien tuloksien välttämiseksi.
Mielipidemittausten yksinkertaisena tarkoituksena on siis kartoittaa halutun ryhmän, esimerkiksi suomalaisten, mielipidettä tiettyyn aiheeseen. Tutuimmat mielipidemittaukset lienevät kuukausittaiset puoluegallupit, jotka julkaistaan maamme tiedotusvälineistössä.
Jokaiselta suomalaiselta erikseen kysyminen olisi kuitenkin äärimmäisen vaivalloista, kallista ja aikaa vievää. Onneksemme mielipiteen tarkahko kartoitus onnistuu myös kysymällä mielipidettä pienemmältä, satunnaisesti valitulta joukolta. Se, miksi esimerkiksi tuhannelta ihmiseltä kysymällä saadaan suhteellisen tarkasti selvitettyä miljoonien ihmisten mielipidejakauma, havainnollistuu helposti seuraavalla intuitiivisella esimerkillä.
Ajattele, että sinun tulisi selvittää kruunien ja klaavojen jakauma, kun kolikkoa heitetään miljoona kertaa. Oletettavasti pystytään jo ennen heittoa arvioimaan, että jakauma on noin puolet ja puolet, kolikonheiton matematiikka kun on kohtuullisen hyvin tunnettua. Tahdot kuitenkin selvittää asian itse.
Ensimmäisellä heitolla saat joko kruunan tai klaavan. Tällöin jakauma on 1-0, mikä on suhteellisen kaukana arvioidusta 50-50 jakaumasta. Kolmen heiton jälkeen tilanne on joko 2-1 tai 3-0, mitkä nekin ovat suhteellisen kaukana siitä. Kymmenen heiton jälkeen tilanne on todennäköisesti jo tasaisempi. Sadan heiton jälkeen todennäköisesti jo huomattavasti lähempänä 50 kruunaa ja 50 klaavaa. Tuhannen heiton jälkeen ollaan suhteellisen suurella varmuudella erittäin lähellä miljoonan kolikonheiton jakaumaa.
Voit itse testata.
Yllä kuvattua periaatetta kutsutaan tilastotieteen tutkimuksessa suurten lukujen laiksi. Sen mukaan kun toistetaan satunnaista suoritetta uudestaan, suuremmalla määrällä vastausten keskiarvo hakeutuu kohti "oikeata" arvoa. Siis satunnaisen kolikon heitossa noin puolet kruunaa, puolet klaavaa. Mielipidemittauksissa tarpeeksi monelta satunnaisesti valitulta kysymällä puolueiden tai ehdokkaiden kannatus asettuu lähelle niiden tosiasiallista kannatusta.
Samaa periaatetta siis käytetään mielipidemittausten yhteydessä. Koska ei voida kysyä miljoonilta suomalaisäänestäjiltä, kysytään pienemmältä satunnaiselta ryhmältä, joka yllä kuvatun periaatteen mukaisesti antaa suhteellisen tarkan kuvan oikeasta tilanteesta.
Useammalta ihmiseltä kysyminen on tietenkin aina parempi. Viimeistään kahden tuhannen vastaajan kohdalla kuitenkin hyöty alkaa olla niin marginaalinen, ettei saavutettu muutaman prosentin kymmenyksen tarkennus ole keräyskustannusten arvoinen. Vastaavasti, jos olet heittänyt kolikkoa jo tuhat kertaa, seuraavat viisisataa heittoa tuskin muuttavat jakaumaa merkittävästi mihinkään suuntaan, mutta aiheuttavat kosolti vaivaa ja vievät rutosti aikaa.
Se, mikä on tarpeeksi suuri otanta, on matemaattisen yhtälön tulosta. Nyrkkisääntönä Suomen neljän ja puolen miljoonan äänioikeutetun mielipiteen kartoitus onnistuu kolmen prosenttiyksikön tarkkuudella, kun mittauksen otanta on tuhat henkilöä.
Ymmärrettävästi osin keräyskustannuksista johtuen jää mittauksiin muutaman prosenttiyksikön virhemarginaali, jonka sisällä todellinen arvo on 95% luottamuksella.
Läpi tekstin olen painottanut termiä satunnainen. Mielipidemittausten(kin) yhteydessä otannan on tärkeänä osana oltava täysin sattumanvarainen. Kolikonheitossa kolikon on niin ikään oltava satunnainen kolikko, ei esimerkiksi ennalta valittu ja muokattu päätymään vain noin joka neljännellä heitolla klaavaksi. Tästä syystä esimerkiksi internetissä toteutetut klikkauskyselyt eivät yleensä ole kovinkaan tarkkoja, vaan vääristävät otannan kysymällä yleisöltä, joka ei vastaa Suomen neljän ja puolen miljoonan äänestäjäkuntaa.
Erinomainen esimerkki yllä mainitusta on viime päivinä jälleen aktiivisuutta ja huomiota kerännyt Facebook-sivusto Gallup – Suomi. Samainen sivusto muun muassa ennusti kyselyineen alkuvuoden presidentinvaaleissa Sauli Niinistölle 12% ääniosuutta. Lisäksi uskottiin Laura Huhtasaaren saavan 88% äänistä Sauli Niinistöä vastaan.
Huolimatta suhteellisen suuresta otannasta (yli viisi tuhatta), on otanta ymmärrettävästi vinoutunut, sillä se kysyy mielipidettä käytännössä Facebookia käyttäviltä, kyseistä sivua seuraavilta ihmisiltä. Jo yksistään internetin sekä Facebookin käyttäjät eivät vastaa Suomen äänestäjäkuntaa, vaan ovat keskimääräistä nuorempaa sekä miesvoittoisempaa. Lisäksi kyseisen sivun lukijakunnan jakauma tuskin vastaa edes Facebookin käyttäjäjakaumaa.
Ymmärrettävästi yllä olevasta johtuen sivuston mielipidemittaus Niinistön 12% ääniosuuksineen oli virheellinen kymmenillä prosenteilla. Kyseessä on havainnollistava osoitus siitä, miksi vastaavat internet-kyselyt harvoin tarjoavat totuudenmukaista kuvaa käsiteltävästä aiheesta.
Kiitos! Hyvää perustietoa. Tämä kannattaisi jokaisen lukea. Erityisesti niiden, jotka epäilevät puolue-gallupien olevan manipuloituja.
Ilmoita asiaton viesti
Eivät epäile vaan väittävät. Väyryset.
Ilmoita asiaton viesti
Sitä ensimmäistä ”Kokoomuksen Eero Lehti omistaa Taloustutkimuksen sössönsöö” kokemista odotellessa myös täältä peukku kansantajuisesta esityksestä.
Ilmoita asiaton viesti
Tuli mieleeni tuosta kruunan ja klaavan heittelystä kun aikoinaan pelasin rulettia kasinolla ja mietin kuinka kannattavaa olisi veikata mustaa tai punasta häviön sattuessa aina tuplaamalla edellisen panoksen verran niin kauan kunnes voittaa, jolloin siis jäisi vähintään omilleen.
Kysyin sääntöjä ruletinpitäjältä ja sääntöjen mukaan olisi voinut tuplata kaksitoista kertaa korkeintaan.
Seuraavana aamuna olin jo päättänyt, että yrittäisin illalla sitä. Siinä tosin pitäisi varautua siihen, ettei kaksitoista kertaa peräkkäin tulisi sama väri mustasta ja punasesta. Jos niin onnettomasti sattuisi käymään, niin häviäisin monta kymmentätuhatta markkaa. (Se oli siis markka-aikaa).
Huvin vuoksi testasin kuitenkin hotellihuoneessani heittämällä kruunua ja klaavaa saadakseni kuvan kuinka suuri riski siinä voisi olla.
Heittäessäni minulle tuli viisitoista kertaa peräkkäin klaava!
(Arvatkaa riskeerasinko sitä rahasummaa sittenkään.)
Ilmoita asiaton viesti
Veikeitä tosiaan ovat todennäköisyyksien tiet silloin tällöin. Tää oli symppis tarina, kiitos!
Ilmoita asiaton viesti
Kyllä minä epäilen aina kun joku ”laatu”media julkistaa jonkun gallupin.
Vähän aikaa sitten HS gallupin mukaan yli puolet suomalaisista kannattaa X asiaa. Sama galluppi tehtiin naamakirjassa ja niitä kannattajia olikin vain 9% . Ero tossa on niin suuri että HS gallup on taatusti tehty luovasti soveltaen.
Ilmoita asiaton viesti
@6 olihan tää hupikommentti?
Vai ootko hupiukko tai peräti trolli? Luit vain otsikon?
Ilmoita asiaton viesti
Niin, satunnaisesti valitulta joukolta saadaan erilaisia vastauksia kuin rajatulta ryhmältä. Jos facebookin gallupin vastaajien jakauma ei vastaa koko populaation jakaumaa (tässä tapauksessa suomalaisia äänioikeutettuja) iän, sukupuolen yms. perusteella niin tietenkään gallupit eivät anna samanlaisia tuloksia.
Jos luet vaikka gallup-kyselyn kehittäjän tarinan, huomaat että George Gallup ennusti USA:n presidentinvaalien tuloksen luotettavammin 50 000 satunnaisesti valitun vastaajan avulla kuin sen ajan suosituimman lehden 2 miljoonan lukijan vastauksen perusteella ennustettiin. Ero siis HS- ja fb-gallupeissa on se, että HS-gallup on tehty satunnaisotannalla ja fb-gallup taas ei. Some-gallupeihin ei saada edustavaa otosta vastaajia ellei osallistujia ole jotenkin rajattu eikä nettikyselyiden tuloksiin nyt voi täysin luottaa muutenkaan, joillain tyypeillä kun voi olla useampia fb-tilejäkin.
https://fi.wikipedia.org/wiki/George_Gallup
Ilmoita asiaton viesti
http://www.fivethirtyeight.com/features/the-polls-are-all...
Ilmoita asiaton viesti
Poliittisten toimittajien lempipuuhaa on uusimman galluptuloksen intuitiivis-spekulatiivinen märehdintä.
Ilmoita asiaton viesti
Kerroppas Lehtinen, miten se oikea oppinen gallup toteutetaan, kun olet niin perillä asiasta. Vastaa siis kysymyksiin.
Millä menetelmällä kontakti otetaan?
Mistä valinnat tehdään kontaktoitavista ja millä perusteella?
Miten suhtaudutaan niihin joihin ei saadakaan yhteyttä tai ei halua vastata?
Mikä on vastaamattomien osuus?
Miten kysymykset asetetaan?
Mihin ajankohtaan mielipidekysely tehdään?
Ilmoita asiaton viesti
Meikä ei ole yhdelläkään galluptehtailijalla töissä, joten en sisäpiiriniksejä osaa antaa, mutta osaan noin suunnilleen vastata:
Q: Millä menetelmällä kontakti otetaan?
A: Riippuu mittauksen tekijästä, yleensä (matka)puhelimella, joita pääasiassa tässä kommentissa käsittelen. Maailmalla käytetään myös internettiä, jolla päästään vähemmän tarkkoihin mutta oikein painottamalla ja kohdistamalla säällisiin lopputuloksiin. Suomessa tätä ei käsittääkseni tehdä, se on hieman vaativampi ja obskuurimpi juttu, kun täytyy painottaa vastaamaan populaatiota, ja kohdistaa mahdollisimman hyvin. Puhelinten ja internetin yhdistelmiäkin on esiintynyt, niitä myös Suomessa
Q: Mistä valinnat tehdään kontaktoitavista ja millä perusteella?
A: Riippuu mittauksen tekijästä, mutta kun kyseessä on puhelinhaastattelu, yleensä menetelmä on ns. satunnaisnumerosoitto[1], jossa automaatilla(?) valitaan suomalainen satunnainen puhelinnumero satunnaisia numeroita yhteenlaittamalla. Joka tapauksessa kyseisessä tavassa ehdoton kriteeri on otantajoukon satunnaisuus, jossa koko mitattavalla perusjoukolla (esim. suomalaiset) on periaatteen tasolla yhtäläinen mahdollisuus tulla haastatelluksi.
Q: Miten suhtaudutaan niihin joihin ei saadakaan yhteyttä tai ei halua vastata?
A: Normaali käytäntö on merkata ”eos” tai ”ei halua vastata”, joskus nämä kategoriat ovat erillään, joskus yhdessä. Käsittääkseni mikäli ei saada kiinni, ei haastattelua ole tapahtunut. (Tässä on kentis modernisti heikoin lenkki, jos ihmiset eivät vastaa tai halua kertoa, mutta tarkkuuden kannalta tämä ei faktisesti ole ollut ongelma.)
Q: Mikä on vastaamattomien osuus?
A: Riippuu mittauksesta, jotkin mittaajat perinteisesti ilmoittavat myös vastaamattomien osuuden, ks. esim [2].
Q: Miten kysymykset asetetaan?
A: Riippuu täysin tutkimuksen tekijästä. Asettelulla on vaikutusta, ja yleensä se pyritään tekemään mahdollisimman neutraalisti. Yleistä on, että jos vaihtoehtoja mainitaan (kuten vaikka presidentinvaalien toisella kierroksella), näiden mainintajärjestys vaihtelee ja on satunnainen.
Q: Mihin ajankohtaan mielipidekysely tehdään?
A: Riippuu mittaajasta. Yleensä keräys kestää joitakin päiviä, yleensä maksimissaan viikon. Kellonajoista ei mitään käsitystä, kuvittelisin että 8-17, kun haastattelijat ovat töissä.
Toivottavasti oli apua.
[1]: https://en.wikipedia.org/wiki/Random_digit_dialing
[2]: https://en.wikipedia.org/wiki/Finnish_presidential…
Ilmoita asiaton viesti
Eli selitit juuri itse, ettei mielipidetiedustelua voida verrata kolikon heittoon.
Heippa!
Ilmoita asiaton viesti
Tervemenoa.
Ilmoita asiaton viesti
Poliittisissa kyselyissä ei tietääkseni oteta huomioon vastaamattomien osuutta, joka vastaa suurinpiirtein nukkuvien puoluetta. Näin toimien ajatellaan, että kyseiset henkilöt eivät todellisuudessa myöskään äänestä. Jos vastaamattomat otettaisiin huomioon, niin suurin puolue olisi aina nukkuvien puolue. Kun kerrottaan jonkin puolueen kannatusprosentti, niin se on aina laskettu vastausten lukumäärästä vastaamattomat jätetään ulos, joten se aiheuttaa tietyn virheen.
Näissä gallupeissa on se ongelma, että pienien puolueiden kohdalla jo yksi tai kaksi vastaajaa voi ratkaista puolueen kannatuksen muutoksen.
Ilmoita asiaton viesti
Kyllä vastauksensa ilmoittamatta jätäneiden lukmäärä yleeensä myös ilmoitetaan, vaikka siä ei uutislööpeissä suoraan tuotaisikaan esiin. Se ei siis ole salaisuus.
Ja on selvää, että pienien puolueiden kohdalla voi olla enemmän stokastista vaihtelua kannatuksen suunnasta mainitsemastasi syystä. Mutta aivan pieniä kuppikuntia ei erikseen mainita, vaan ne lankevat kategoriaan ”muut”.
Ilmoita asiaton viesti
@16. Sininen tulevaisuus pitäisi langeta tuonne ”muut”-kategoriaan eikä erikseen. Jos halutaan kuitenkin esittää ST:tä gallupeissa, pitäisi myös tuoda ne kaikki ”muut”-kategoriassa olevat. Silloin ollaan tasa-arvoisessa tilanteessa esitystavassa.
Ilmoita asiaton viesti
Kyllä ne siniset sentään ihan itse saivat äänensä ihan niinkuin muutkin silloiset persut. Ne äänet ovat nyt sinisten ääniä. Sitä saa mitä tilaa. Eli hommagalla-aho sai mitä tilasi.
Missään puolueessa ei voi olla ikuista pakkoliittymistä.
Ilmoita asiaton viesti
Eli et olisi ollenkaan äänestänyt persuja jos olisit tiennyt että osa lähtee myöhemmin?
Ilmoita asiaton viesti
Siinä hallituksessa kuitenkin ehjä persupuolue oli täysin rinnoin mukana.
Persujen hajoamista ei voi sälyttää muiden syyksi. Se on persujen omien liikkeiden ja ristiriitojen tulosta. Persut tarjosivat huonolle hallitukselle itsensä ja olivat osa huonoa hallitusta ja ovat sitä tavallaan vielä.
Ilmoita asiaton viesti
Niin ja nykyiset sinisiä ja hallitusta morkkaavat olivat ihan täpinöissä kokoomuskeskustapersut-oikeistohallituksesta jonka tarkoitus tietysti oli yksityistäminen ja muu sotesotku.
Ilmoita asiaton viesti
Juu sinisiä saa ja pitää morkata mutta se vaan ei mitenkään aseta persuja parempaan valoon.
Persujen/sinusten rooli yhteiskunnassa on kuten SDn rooli Ruotsissa, tuoda kansainvälisen reseptin mukaan äänestäjiä oikeistopolitiikan taakse. Siitä hyötyvät/sitä hyödyntävät perinteiset vanhat oikeistopuolueet. Kokoomus saa yksityistää ja kepu saa kepuloida koska PS/siniset.
Ilmoita asiaton viesti
Todella erikoinen lauserakenne. Persut menivät hallitukseen hallituskiimassa. Persut/siniset kuten SD lonksuttavat suullaan jotain vasemmistopolitiikasa joskus joissain tilanteissa. Itse asiassa ovat äärioikeistolaisia. Itse asiassa huiputtavat.
Ja sen näkee sokea Reetakin.
Ilmoita asiaton viesti
Ei ole mitään näyttöä siitä, etteikö kantansa ilmoittamatta jättäneiden keskuudessa kannatus jakauma vastaisi äänestystilanteessa kantansa ilmoittaneiden jakaumaa.
Siispä oletus, että kantansa ilmoittaneiden jakauma vastaa äänestäjän perusjoukon jakaumaa, on ihan hyvä 0-hypoteesi. Kunnes toisin todistetaan…
Ilmoita asiaton viesti
Toiston poisto
Ilmoita asiaton viesti
Hieman huumorilla mielipidemittauksista.
Venäjällä mielipidemittaukset ja vaalin tulos osuivat yksiin. Putin oli mielipidemittausten mukaan ykkönen ja niin myös vaalissa valittiin presidentiksi.
USA:ssa mielipidemittausten ja ennusteiden mukaan presidentiksi tulisi Clinton. Mutta kuinka kävikään, Trump valittiin presidentiksi. Osuttiin melkein oikeaan, kahdesta toinen valittiin. Jos heitettiin kolikkoa, niin lukiko kolikon kummallakin puolella Clinton?
Kun venäläisten mielipidemittaukset ja ennusteet osuvat paremmin oikeaan, niin pitäisikö esim. Ylen vaihtaa ennusteiden tekijää venäläiseen yritykseen?
Ilmoita asiaton viesti
”USA:ssa mielipidemittausten ja ennusteiden mukaan presidentiksi tulisi Clinton. Mutta kuinka kävikään, Trump valittiin presidentiksi. Osuttiin melkein oikeaan, kahdesta toinen valittiin. Jos heitettiin kolikkoa, niin lukiko kolikon kummallakin puolella Clinton?”
Yhdysvaltain presidentinvaalit ovat itse asiassa myös hyvä esimerkki yhdestä (painotetusta) kolikonheitosta. Esimerkiksi eräs alan laadukkaimpia saitteja, FiveThirtyEight, ennusti[1] Clintonilla olevan reilun kahden kolmasosan mahdollisuudet voittaa Trump.
Kyseisten kahden ehdokkaan välinen kannatusero mahtui säännöllisesti virhemarginaaliin, joten todennäköisesti tilanne oli hyvin tasainen. Jälkeenpäin katsottuna 2016 vaalien mittauskeskiarvo oli yhtä tarkka kuin normaalistikin (Ks. Mauri Lindgrenin kommentti, #7).
Omat venkslauksensa tilanteeseen ja ennustukseen luo Yhdysvaltojen sekava sekä epädemokraattiinen valitsijamiesjärjestelmä, joka menee jo normaalin vaaliennustamisen ulkopuolelle taitovaatimuksiltaan. Esimerkiksi Suomen vaaleja lienee ym. syystä helpompi ennustaa kuin Yhdysvaltojen.
[1]: https://projects.fivethirtyeight.com/2016-election…
Ilmoita asiaton viesti
Eiköhän suurin tilastovirhe synny siitä, että osa ihmisistä ei vastaa itselleen tuntemattomiin numeroihin ja osalla on numerot ovat salaisia. Voihan sekin tapa jakautua satunnaisesti kansalaisten keskuudessa, mutta luultavasti ei.
Ilmoita asiaton viesti
Vastaamattomuus voi olla merkittäväkin tekijä, mikäli, kuten sanoit, ne edustavat säännöllisesti yhtä ryhmää. Tähän mennessä vastaamattomuus ei vielä ole vaikuttanut kovin epätarkentavasti tuloksiin, sillä yleensä vastaamattomat jakautuvat tasaisesti puolueiden kesken tai kuuluvat heihin jotka eivät äänestä.
Ilmoita asiaton viesti