3.4 Kuka kysyä
Digitaalinen aikakausi tekee todennäköisyysnäytteenoton käytännössä kovemmaksi ja luo uusia mahdollisuuksia ei-todennäköisyysnäytteille.
Näytteenottohistorian aikana on ollut kaksi kilpailevaa lähestymistapaa: todennäköisyysnäytteenottomenetelmät ja ei-todennäköisyysnäytteenottomenetelmät. Vaikka molempia lähestymistapoja käytettiin näytteenoton varhaisina päivinä, todennäköisyysnäytteillä on tullut hallitsevaa, ja monet yhteiskuntatieteilijät ovat opettaneet näkemään todennäköisyysnäytteenoton erittäin skeptisesti. Kuitenkin, kuten jäljempänä kuvataan, digitaalisen aikakauden muutokset merkitsevät sitä, että tutkijoiden on aika harkita uudelleen todennäköisyysnäytteenottoa. Erityisesti on todennäköistä, että todennäköisyysnäytteenotto on käytännössä vaikeaa ja todennäköisyysnäytteiden ottaminen on nopeampaa, halvempaa ja parempaa. Nopeammat ja halvemmat kyselyt eivät ole pelkästään päämääriä itsessään: ne mahdollistavat uusia mahdollisuuksia, kuten useammin tehtyjä tutkimuksia ja suurempia otoskokoja. Käyttämällä esimerkiksi ei-todennäköisyysmene- telmiä CCES: llä voi olla kymmenkertaisesti enemmän osallistujia kuin aikaisemmat tutkimukset, joissa käytetään todennäköisyysnäytteitä. Tämä paljon suuremman otoksen avulla poliittiset tutkijat voivat tutkia asenteiden ja käyttäytymisen vaihtelua eri alaryhmissä ja sosiaalisissa yhteyksissä. Lisäksi kaikki tämä lisätty asteikko muuttui ilman arvioiden laatua (Ansolabehere and Rivers 2013) .
Tällä hetkellä yhteiskunnallisen tutkimuksen näytteenoton hallitseva lähestymistapa on todennäköisyysnäytteenotto . Todennäköisyysnäytteessä kaikilla kohderyhmän jäsenillä on tunnettu, ei-todennäköinen näytteenottokyky, ja kaikki otokseen valitut ihmiset vastaavat kyselyyn. Kun nämä ehdot täyttyvät, tyylikkäät matemaattiset tulokset tarjoavat todistettavia takeita tutkijan kyvystä käyttää näytettä tekemään johtopäätöksiä kohderyhmästä.
Todellisessa maailmassa kuitenkin näiden matemaattisten tulosten taustalla olevat olosuhteet ovat harvoin täyttyneet. Esimerkiksi on usein kattavuusvirheitä ja vastaamattomia. Näiden ongelmien vuoksi tutkijoiden on usein käytettävä erilaisia tilastollisia muutoksia, jotta heidän otoksensa kohdennettaisiin heidän kohderyhmäänsä. Täten on tärkeää erottaa toisistaan teoriassa käytettävät todennäköiset näytteenotot , joilla on vahvat teoreettiset takuut ja käytännössä todennäköisyysnäytteet , joka ei tarjoa tällaisia takuita ja riippuu erilaisista tilastollisista muutoksista.
Ajan myötä teoriassa todennäköisyysnäytteenoton ja todennäköisyysnäytteenoton väliset erot ovat lisääntyneet. Esimerkiksi vastaamattomat määrät ovat kasvaneet jatkuvasti myös laadukkaissa, kalliissa tutkimuksissa (kuvio 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Ei-vastuuhinnat ovat paljon korkeammat kaupallisissa puhelintutkimuksissa - jopa jopa jopa 90% (Kohut et al. 2012) . Nämä lisääntymisvastuut uhkaavat arvioiden laatua, koska arvioinnit riippuvat yhä enemmän tilastollisista malleista, joita tutkijat käyttävät sopeuttamatta vastuuseen. Lisäksi näiden laadun heikkeneminen on tapahtunut huolimatta kysynnän tutkijoiden yhä kalliimmista ponnisteluista ylläpitää korkeita vastausasteita. Jotkut ihmiset pelkäävät, että nämä kaksinkertaiset suuntaukset laadun heikkenemisestä ja kasvavista kustannuksista uhkaavat tutkimuksen perustan (National Research Council 2013) .
Kuva 3.5: Ei-vastuu on lisääntynyt tasaisesti myös korkealaatuisissa kalliissa tutkimuksissa (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Ei-vastuuhinnat ovat huomattavasti korkeammat kaupallisten puhelinkeskustelujen tapauksessa, jopa jopa jopa 90% (Kohut et al. 2012) . Nämä pitkän aikavälin vastattavuuden muutokset merkitsevät sitä, että tiedonkeruu on kalliimpaa ja arviot ovat vähemmän luotettavia. Mukautettu BD Meyer, Mok, and Sullivan (2015) , kuva 1.
Samaan aikaan, että todennäköisyysnäytteenottomenetelmissä on lisääntynyt vaikeuksia, on ollut myös jännittävää kehitystä todennäköisyysnäytteenottomenetelmissä . On olemassa monenlaisia ei-todennäköisyysnäytteenottomenetelmiä, mutta niiden yhteistä on se, että ne eivät pysty helposti sovittamaan todennäköisyysnäytteen matemaattiseen kehykseen (Baker et al. 2013) . Toisin sanoen ei-todennäköisyysnäytteenottomenetelmissä ei kaikilla ole tunnettua ja ei-todennäköistä integraation todennäköisyyttä. Ei-todennäköisyysnäytteenottomenetelmillä on kauhea maine yhteiskunnallisten tutkijoiden keskuudessa ja ne liittyvät johonkin tutkimustutkimuksen dramaattisiin epäonnistumisiin, kuten kirjallisuuden digest fiasco (aiemmin käsitelty) ja "Dewey Defeats Truman", vääriä ennusteita Yhdysvalloista vuoden 1948 presidentinvaalit (kuva 3.6).
Kuva 3.6: Presidentti Harry Truman ylläpitää sanomalehden otsikkoa, joka oli virheellisesti ilmoittanut hänen tappionsa. Tämä otsikko perustui osittain arvioimattomiin ei-todennäköisyysnäytteisiin (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Vaikka "Dewey Defeats Truman" tapahtui vuonna 1948, se on edelleen yksi syy siihen, että jotkut tutkijat ovat epäileviä arvioita ei-todennäköisyysnäytteistä. Lähde: Harry S. Trumanin kirjasto ja museo .
Eräs digitaalisen aikakauden kannalta erityisen sopivan todennäköisyysnäytteen muoto on online-paneeleiden käyttö . Verkkopaneeleja käyttävät tutkijat ovat riippuvaisia joistakin paneelin tarjoajista - yleensä yrityksestä, hallituksesta tai yliopistosta - rakentamaan suuri, monipuolinen ihmisryhmä, joka suostuu palvelemaan vastaajina kyselyihin. Näitä paneelin osallistujia rekrytoidaan usein erilaisilla ad hoc -menetelmillä, kuten online-bannerimainoksilla. Sitten tutkija voi maksaa paneelin palveluntarjoajan pääsyn näytteeseen vastaajista, joilla on halutut ominaisuudet (esim. Aikuisten edustajat kansallisesti). Nämä online-paneelit ovat ei-todennäköisyysmenetelmiä, koska kaikilla ei ole tunnettua, ei-todennäköistä integraation todennäköisyyttä. Vaikka yhteiskunnalliset tutkijat (esim. CCES) käyttävät todennäköisesti verkkokeskusteluja, keskustelu siitä, millaisia arvioita heistä tulee (Callegaro et al. 2014) .
Näistä keskusteluista huolimatta mielestäni on kaksi syytä, joiden vuoksi yhteiskunnallisten tutkijoiden on aika harkita uudelleen todennäköisyysnäytteen ottamista. Ensinnäkin digitaalisessa aikakaudes- sa on tapahtunut monia kehityksiä ei-todennäköisyysnäytteiden keräämisessä ja analysoinnissa. Nämä uudemmat menetelmät ovat riittävän erilaisia kuin menetelmät, jotka aiheuttivat aiempia ongelmia, ja mielestäni on järkevää ajatella niitä "ei-todennäköisyysnäytteenä 2.0". Toinen syy, jonka vuoksi tutkijoiden olisi harkittava uudelleen todennäköisyyden otantaa, johtuu siitä, käytäntö on yhä vaikeampaa. Kun vastauksia ei ole paljon, kuten on olemassa todellisissa tutkimuksissa nyt, vastaajien todellisia integroitumismahdollisuuksia ei tiedetä, joten todennäköisyysnäytteet ja todennäköisyysnäytteet eivät ole niin erilaisia kuin monet tutkijat uskovat.
Kuten aiemmin sanoin, monien yhteiskunnallisten tutkijoiden näkemys ei-todennäköisyysnäytteistä nähdään suuresti, osittain siksi, että heidän tehtävänsä on ollut eräissä epäilyttävissä epäonnistumisissa tutkimuksen alkuvaiheessa. Selkeä esimerkki siitä, kuinka pitkälle olemme tulleet todennäköisyysnäytteillä, on Wei Wangin, David Rothschildin, Sharad Goelin ja Andrew Gelmanin (2015) jotka palauttivat oikein vuoden 2012 Yhdysvaltain vaalien tuloksesta käyttämällä ei-todennäköisyysmallia Amerikkalaiset Xbox-käyttäjät - ratkaisevasti ei-satunnaiset amerikkalaisten näytteet. Tutkijat rekrytoivat XBox-pelijärjestelmän vastaajia, ja Xbox-näyte voi odottaa olevan heikosti urosta ja nuoria. 18- 29-vuotiaat muodostavat 19 prosenttia äänestäjistä, mutta 65 prosenttia Xbox-näytteestä ja miehet muodostavat 47 prosenttia äänestäjistä, mutta 93 prosenttia Xbox-näytteestä (kuva 3.7). Näiden voimakkaiden väestökehityksen takia raaka Xbox -tieto oli heikko vaalituloksen indikaattori. Se ennusti vahvan voiton Mitt Romneylle Barack Obaman yli. Jälleen tämä on toinen esimerkki raakojen, sopeuttamattomien ei-todennäköisyysnäytteiden vaaroista ja muistuttaa Literary Digest fiascoa.
Kuva 3.7: Vastaajien demografinen kuvaus W. Wang et al. (2015) . Koska vastaajat otettiin palvelukseen XBoxista, he olivat todennäköisemmin nuoria ja todennäköisemmin miespuolisia suhteessa äänestäjiin vuoden 2012 vaaleissa. Mukautettu W. Wang et al. (2015) , kuva 1.
Wang ja kollegat kuitenkin olivat tietoisia näistä ongelmista ja pyrkivät sopeuttamaan niiden ei-satunnaisen näytteenottoprosessin arvioitaessa. Erityisesti ne käyttivät post-stratifikaatiota , tekniikkaa, jota käytetään laajalti myös todennäköisyysnäytteiden säätämiseen, joilla on kattavuusvirheet ja ei-vaste.
Jälkimmäisen kerroksen pääajatus on käyttää lisätietoa kohderyhmästä, mikä auttaa parantamaan näytteestä saatua arviota. Kun käytettiin post-stratifikaatiota estimaattien tekemiseksi niiden todennäköisyysnäytteestä, Wang ja hänen kollegansa pilkkoivat väestön eri ryhmille, arvioivat Obama-tuen kussakin ryhmässä ja otti sitten ryhmän arvioiden painotetun keskiarvon saadakseen kokonaisarvion. Esimerkiksi he voisivat jakaa väestön kahteen ryhmään (miehet ja naiset), arvioivat Obama-tuen miesten ja naisten keskuudessa ja arvioivat sitten yleistä tukea Obamalle ottamalla painotettu keskiarvo huomioon ottaakseen sen, että naiset tekevät jopa 53% äänestäjistä ja miehistä 47%. Jälki- kerrostuminen auttaa korjaamaan epätasapainoisen näytteen antamalla lisätietoa ryhmien koosta.
Jälkimmäisen stratifikaation avain on muodostaa oikeat ryhmät. Jos pystyt hajottamaan väestön homogeenisiin ryhmiin siten, että vastauspotentiaalit ovat samanlaiset jokaiselle ryhmälle, niin post-stratifiointi tuottaa puolueettomia arvioita. Toisin sanoen, sukupuolen jälkeinen kerrostuminen tuottaa puolueettomia arvioita, jos kaikilla miehillä on vastauspotentiaali ja kaikilla naisilla on sama vastauspotentiaali. Tätä olettamusta kutsutaan homogeeniseksi-vastaukseksi-propensities-within-ryhmien olettamaksi, ja kuvaan sitä hieman enemmän matemaattisten muistiinpanojen lopussa tämän luvun.
Tietenkin on epätodennäköistä, että vastausominaisuudet ovat samat kaikille miehille ja kaikille naisille. Kuitenkin homogeeninen-vaste-propensities-ryhmässä-oletus tulee todennäköisempää kuin ryhmien lukumäärä kasvaa. Lähinnä, on helpompi jakaa väestö homogeenisiksi ryhmiksi, jos luot useampia ryhmiä. Esimerkiksi saattaa tuntua mahdottomalta, että kaikilla naisilla on sama vastaus taipumus, mutta saattaa olla uskottavaa, että kaikilla naisilla, jotka ovat 18-29-vuotiaita, jotka ovat valmistuneet yliopistosta ja jotka asuvat Kaliforniassa . Siten, kun ryhmittymien lukumäärä post-stratifioinnissa kasvaa, menetelmän tukemiseen tarvittavat olettamukset tulevat kohtuullisemmiksi. Tämän vuoksi tutkijat haluavat usein luoda suuren määrän ryhmiä post-stratifikaatiolle. Kuitenkin, kun ryhmien määrä kasvaa, tutkijat joutuvat erilaiseen ongelmaan: tietojen harvaan. Jos kussakin ryhmässä on vain pieni määrä ihmisiä, arviot ovat epävarmempia, ja äärimmäisissä tapauksissa, joissa on ryhmä, jolla ei ole vastaajia, sitten jälkikasvatus kokonaan hajoaa.
Kaksi eri tavasta poiketa tästä sisäisestä jännitteestä homogeenisen-vastaus-taipumuksen sisällä-ryhmien olettamuksen uskottavuuden ja kunkin ryhmän kohtuullisen koon koon välillä. Ensinnäkin tutkijat voivat kerätä suurempaa, monipuolisempaa otosta, joka auttaa varmistamaan kohtuulliset otoskoot kussakin ryhmässä. Toiseksi he voivat käyttää kehittyneempää tilastollista mallia arvioitaessa ryhmissä. Ja itse asiassa joskus tutkijat tekevät molemmat, kuten Wang ja kollegat tekivät, kun he tutkivat vaaleja käyttämällä Xbox-vastaajia.
Koska he käyttivät todennäköisyysnäytteenottomenetelmää tietokoneohjattujen haastattelujen avulla (puhutaan enemmän tietokoneohjelmiin liittyvistä haastatteluista osassa 3.5), Wang ja hänen kollegansa saivat erittäin edullisen tiedonkeruun, minkä ansiosta he keräsivät tietoja 345 858 ainutlaatuisesta osallistujasta , valtava määrä vaalitarkkailun normien mukaan. Tämä massiivinen otoskoko mahdollisti niiden muodostavan valtavan määrän jälkikartoitumisryhmiä. Jälkikirjoitus tarkoittaa tyypillisesti populaation pilkkomista satoihin ryhmiin, Wang ja kollegat jakavat väestön 176 256 ryhmään, jotka on määritelty sukupuolen mukaan (2 luokkaa), rotu (4 luokkaa), ikä (4 luokkaa), koulutus (4 luokkaa), valtio (51 luokkaa), puolueen ID (3 kategoriaa), ideologia (3 kategoriaa) ja 2008 äänestys (3 kategoriaa). Toisin sanoen niiden valtava otoskoko, jonka mahdollistivat edullisten tietojen kerääminen, mahdollisti niiden tekemisen todennäköisempää olettamusta arviointimenetelmässä.
Jopa 345 858 ainutlaatuisen osanottajan kanssa oli kuitenkin monta, monta ryhmää, joista Wang ja hänen kollegansa olivat melkein vastaajia. Siksi he käyttivät menetelmää, jota kutsutaan monitasoiseksi regressioiksi arvioidakseen tukea kussakin ryhmässä. Pohjimmiltaan, jotta voitaisiin arvioida Obama-tuen tiettyyn ryhmään, monitasoinen regressio keräsi yhteen tietoa monista läheisistä ryhmistä. Kuvittele esimerkiksi, että yrität arvioida Obaman tukea naispuolisten latinalaisamerikkalaisten 18-29-vuotiaiden, jotka ovat korkeakoulututkinnon suorittaneita, jotka ovat rekisteröityjä demokraatteja, jotka itse tunnistavat maltillisina ja jotka äänestävät Obaman puolesta vuonna 2008. Tämä on hyvin , hyvin erityinen ryhmä, ja on mahdollista, että näissä ominaisuuksissa ei ole näytteessä ketään. Siksi arvioitaessa tätä ryhmää, monitasoinen regressio käyttää tilastollista mallia yhdistämään arvioita ihmisistä hyvin samanlaisissa ryhmissä.
Siksi Wang ja kollegat käyttivät lähestymistapaa, joka yhdisteli monitasoisen regressiivisen ja jälkikartoituksen, joten he kutsuivat strategiansa monitasoiseksi regressioksi post-stratifikaatiolla tai, hellästi, "Mr. P. "Kun Wang ja kollegat käyttivät Mr. P: n tekemään arvioita XBox-todennäköisyysnäytteestä, he tuottivat arvioita hyvin lähellä sitä yleistä tukea, jota Obama sai vuoden 2012 vaaleissa (kuva 3.8). Itse asiassa niiden arviot olivat tarkempia kuin perinteisten mielipidekyselyjen kokonaismäärä. Tällöin tilastolliset korjaukset, erityisesti P.-näyttävät, tekevät hyvää työtä korjaamalla esijännitteet epätodennäköisyystietoihin; jotka näkyivät selvästi, kun tarkastelet arvioita säätelemättömistä Xbox-tiedoista.
Kuva 3.8: W. Wang et al. (2015) . Epätasapainoinen XBox-näyte tuotti virheellisiä arvioita. Painotettu XBox-näyte tuotti kuitenkin arvioita, jotka olivat tarkempia kuin todennäköisyysperustaisten puhelintutkimusten keskiarvo. Mukautettu W. Wang et al. (2015) , luvut 2 ja 3.
Wangin ja kollegoiden tutkimuksesta on kaksi keskeistä oppituntia. Ensinnäkin sopeuttamattomat ei-todennäköisyysnäytteet voivat johtaa huonoihin arvioihin; tämä on oppitunti, jota monet tutkijat ovat aiemmin kuulleet. Toinen oppitunti on kuitenkin se, että ei-todennäköisyysnäytteet analysoitaessa oikein pystyvät tuottamaan hyviä arvioita; ei-todennäköisyysnäytteet eivät välttämättä automaattisesti johda kirjallisuuden digest fiascon kaltaiseen tapaan.
Jatkossa eteenpäin, jos yrität päättää käytettäessä todennäköisyysnäytteenottomenetelmää ja ei-todennäköisyysnäytteenottomenetelmää, kohtaat vaikean valinnan. Joskus tutkijat haluavat nopean ja jäykän säännön (esim. Aina todennäköisyysnäytteenottomenetelmien käyttäminen), mutta tällaista sääntöä on yhä vaikeampi tarjota. Tutkijoiden on vaikea valita käytännössä todennäköisyysnäytteenottomenetelmien välillä, jotka ovat yhä kalliimpia ja kaukana teoreettisista tuloksista, jotka oikeuttavat niiden käytön ja todennäköisyysnäytteenottomenetelmien - jotka ovat halvempia ja nopeampia mutta vähemmän tuttuja ja monipuolisempia. Yksi asia, joka on kuitenkin selvää, on se, että jos olet joutunut työskentelemään todennäköisyysnäytteiden tai ei-edustavien suurien tietolähteiden kanssa (luulet takaisin luvussa 2), on olemassa vahva syy uskoa, että arviot, jotka on tehty käyttäen liittyvät tekniikat ovat parempia kuin sopeuttamattomat, raaka-arvot.
