3.4 Tko pitati
Digitalno dobi čine praktičnost uzorkovanja vjerojatnosti i stvaraju nove mogućnosti za uzorkovanje ne-vjerojatnosti.
U povijesti uzorkovanja postojala su dva konkurentska pristupa: metode uzorkovanja vjerojatnosti i metode uzorkovanja ne-vjerojatnosti. Iako su oba pristupa korištena u ranim danima uzorkovanja, dominira se uzorkovanjem vjerojatnosti, a mnogi su socijalni istraživači poučeni da uzimaju skeptičan pogled na uzorkovanje ne-vjerojatnosti. Međutim, kako ću opisati u nastavku, promjene koje stvara digitalno doba znače da je vrijeme da istraživači preispitaju uzorkovanje ne-vjerojatnosti. Konkretno, uzorkovanje vjerojatnosti postaje teško u praksi, a uzimanje uzoraka ne-vjerojatnosti postaje brže, jeftinije i bolje. Brže i jeftinije ankete nisu samo sami krajevi: omogućuju nove mogućnosti kao što su češća istraživanja i veće veličine uzoraka. Na primjer, pomoću metoda ne-vjerojatnosti studija izborne promidžbe (CCES) u kooperacijskoj skupini može imati otprilike deset puta više sudionika nego ranijih istraživanja pomoću uzorka vjerojatnosti. Ovaj mnogo veći uzorak omogućuje političkim istraživačima da proučavaju razlike u stavovima i ponašanju u podskupinama i društvenim kontekstima. Nadalje, sve ove dodane ljestvice došle su bez smanjenja kvalitete procjena (Ansolabehere and Rivers 2013) .
Trenutno, dominantan pristup uzorkovanju za društvena istraživanja je uzorkovanje vjerojatnosti . U uzorku vjerojatnosti, svi članovi ciljne populacije imaju poznatu, nerezervativnu vjerojatnost uzimanja uzoraka, a svi ljudi koji se uzorkuju reagiraju na anketu. Kada su ti uvjeti ispunjeni, elegantni matematički rezultati pružaju dokazna jamstva o sposobnosti istraživača da koristi uzorak kako bi donio zaključke o ciljnoj populaciji.
U stvarnom svijetu, međutim, uvjeti pod kojima se ti matematički rezultati rijetko susreću. Na primjer, često postoje pokrivenosti pogrešaka i nedostatak odgovora. Zbog tih problema, istraživači često moraju zaposliti različite statističke prilagodbe kako bi iz njihova uzorka zaključili ciljnu populaciju. Stoga je važno razlikovati teoriju uzorkovanja vjerojatnosti koja ima jaka teorijska jamstva i uzorkovanje vjerojatnosti u praksi , koja ne nudi takva jamstva i ovisi o različitim statističkim prilagodbama.
Tijekom vremena, razlike između uzorka vjerojatnosti u teoriji i uzorkovanja vjerojatnosti u praksi povećavaju. Na primjer, neodrživost stopa se stalno povećavala, čak iu visokokvalitetnim i skupim anketama (slika 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Neodredbene stope su mnogo veće u komercijalnim telefonskim anketama - ponekad čak čak 90% (Kohut et al. 2012) . Ta povećanja neodržavanja ugrožavaju kvalitetu procjena jer procjene sve više ovise o statističkim modelima koje istraživači koriste za prilagodbu neodrživosti. Nadalje, to smanjenje kvalitete se dogodilo usprkos sve skupim naporima istraživača istraživanja da održe visoke stope odgovora. Neki se ljudi boje da će ove dvostruke trendove smanjenja kvalitete i povećanja troškova ugroziti osnivanje istraživanja (National Research Council 2013) .
Slika 3.5: Neodržavanje je sve neprestano, čak iu visokokvalitetnim skupe ankete (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Neodredbene stope su znatno veće za ankete za komercijalne telefone, ponekad čak čak 90% (Kohut et al. 2012) . Ovi dugoročni trendovi u neodgovoru znači da je prikupljanje podataka skuplje i procjene su manje pouzdane. Prilagođeno iz BD Meyer, Mok, and Sullivan (2015) , slika 1.
Istovremeno s rastućim poteškoćama za metode uzorkovanja vjerojatnosti, došlo je do uzbudljivih kretanja u metodama uzorkovanja ne-vjerojatnosti . Postoje razni stilovi metoda uzorkovanja ne-vjerojatnosti, ali njihova zajednička stvar je da oni ne mogu lako uklopiti u matematički okvir uzorkovanja vjerojatnosti (Baker et al. 2013) . Drugim riječima, u metodama uzorkovanja ne-vjerojatnosti, svatko nema poznatu i neredovitu vjerojatnost uključivanja. Metode za uzorkovanje ne-vjerojatnosti imaju strašan ugled među socijalnim istraživačima i povezani su s nekim od najdramatičnijih neuspjeha istraživača istraživanja, kao što su književni Digest fiasco (ranije diskutirani) i "Dewey Defeats Truman", netočna predviđanja o SAD-u predsjedničkih izbora iz 1948. godine (slika 3.6).
Slika 3.6: Predsjednik Harry Truman podigao je naslov novina koji je netočno objavio njegov poraz. Ovaj je naslov djelomično utemeljen na procjenama iz uzoraka ne-vjerojatnosti (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Iako se "Dewey poraza Truman" dogodio 1948. godine, još uvijek je jedan od razloga što su neki istraživači skeptični prema procjenama iz uzoraka ne-vjerojatnosti. Izvor: Harry S. Truman knjižnica i muzej .
Jedan oblik ne-vjerojatnosti uzorkovanja koji je posebno pogodan za digitalno doba je korištenje online panela . Istraživači koji koriste mrežne ploče ovise o nekom pružatelju panela - obično tvrtki, vladi ili sveučilištu - za izgradnju velike, raznolike skupine ljudi koji se slažu da će služiti kao ispitanici za ankete. Ovi sudionici panela često se regrutiraju pomoću različitih ad hoc metoda kao što su oglasi na mreži. Zatim, istraživač može platiti pružatelju panela za pristup uzorku ispitanika s željenim karakteristikama (npr. Nacionalno predstavnik odraslih osoba). Ove online ploče su metode ne-vjerojatnosti jer nisu svatko poznat, neredovite vjerojatnosti uključivanja. Iako su mrežni paneli koji nisu vjerojatni, već ih koriste socijalni istraživači (npr. CCES), još uvijek postoji rasprava o kvaliteti procjena koje dolaze od njih (Callegaro et al. 2014) .
Unatoč ovim raspravama, mislim da postoje dva razloga zbog kojih je vrijeme da društveni istraživači preispitaju uzorkovanje ne-vjerojatnosti. Prvo, u digitalnom dobu, bilo je mnogo zbivanja u prikupljanju i analiziranju uzoraka ne-vjerojatnosti. Ove novije metode su dovoljno različite od metoda koje su prouzročile probleme u prošlosti da mislim da ima smisla da ih se sagleda kao "uzorkovanje ne-vjerojatnosti 2.0". Drugi razlog zašto bi istraživači trebali ponovno razmotriti uzorkovanje ne-vjerojatnosti su zbog uzorkovanja vjerojatnosti praksa postaje sve teža. Kada postoje visoke stope neodaziva - kao što postoje u stvarnim anketama - sada nisu poznate stvarne vjerojatnosti inkluzije za ispitanike, pa su uzorci vjerojatnosti i uzorci ne-vjerojatnosti različiti kao što vjeruju mnogi istraživači.
Kao što sam već rekao, uzorci ne-vjerojatnosti s velikim su skepticizmom promatrani od strane mnogih društvenih istraživača, dijelom zbog njihove uloge u nekim od najzagonetnijih neuspjeha u ranijim istraživanjima. Jasni primjer koliko smo došli s uzorcima ne-vjerojatnosti istražujemo Wei Wang, David Rothschild, Sharad Goel i Andrew Gelman (2015) koji su ispravno oporavili ishod američkih izbora 2012 pomoću uzorka ne-vjerojatnosti Američke Xbox korisnike - definitivno nerazumni uzorak Amerikanaca. Istraživači su angažirali ispitanike iz XBox sustava igranja, a kao što se i očekuje, uzorak Xboxa naginjao je muške i neravne mlade: 18 do 29 godina čine 19% birača, ali 65% uzorka Xbox, a muškarci čine 47% biračkog tijela, ali 93% uzorka Xboxa (slika 3.7). Zbog tih jakih demografskih predrasuda, sirovi podaci o Xboxu bili su slabi pokazatelj izbora. Predvidio je snažnu pobjedu Mitt Romneyu nad Barackom Obamom. Opet, ovo je još jedan primjer opasnosti sirovih, neusklađenih uzoraka ne-vjerojatnosti i podsjeća na književni Digest fiasco.
Slika 3.7: Demografija ispitanika u W. Wang et al. (2015) . Budući da su ispitanici angažirani iz XBoxa, imali su veću vjerojatnost da će biti mladi i vjerojatnije će biti muški, u odnosu na birače na izborima 2012. godine. Prilagođen od W. Wang et al. (2015) , slika 1.
Međutim, Wang i njegovi kolege bili su svjesni tih problema i pokušali se prilagoditi njihovom ne-slučajnom uzorkovanju prilikom procjene. Konkretno, oni su koristili post-stratifikaciju , tehniku koja je također široko korištena za prilagodbu uzoraka vjerojatnosti koji imaju pogreške pokrivanja i neodgovor.
Glavna ideja post-stratifikacije je korištenje pomoćnih informacija o ciljnoj populaciji kako bi se poboljšala procjena koja proizlazi iz uzorka. Kada su koristili post-stratifikaciju kako bi napravili procjene iz njihovog uzorka ne-vjerojatnosti, Wang i njegov kolega sjeckali su stanovništvo u različite skupine, procijenili podršku Obami u svakoj grupi, a zatim procijenili procjenu skupine kako bi proizveli ukupnu procjenu. Na primjer, mogli su podijeliti stanovništvo u dvije skupine (muškarci i žene), procjenjuju podršku Obame među muškarcima i ženama, a zatim procjenjuju ukupnu podršku Obami uzimanjem prosječnog prosjeka kako bi se uzela u obzir činjenica da žene čine do 53% biračkog tijela i muškaraca 47%. Grubo, poststratifikacija pomaže u ispravljanju neuravnoteženog uzorka dovođenjem pomoćnih informacija o veličinama grupa.
Ključ za post-stratifikaciju je stvaranje pravih grupa. Ako možete popiti stanovništvo u homogene skupine tako da su odgovori za odgovore isti za svakoga u svakoj skupini, tada će poststratifikacija proizvesti nepristrane procjene. Drugim riječima, poststratifikacija prema spolu će proizvesti nepristrane procjene ako svi ljudi imaju sklonost odgovoru, a sve žene imaju istu sklonost reakciji. Ova se pretpostavka naziva pretpostavkom homogene odgovora-propagande unutar grupe , a opisujem ga malo više u matematičkim bilješkama na kraju ovog poglavlja.
Naravno, izgleda malo vjerojatno da će odgovornost za odgovor biti jednaka za sve muškarce i sve žene. Međutim, pretpostavka homogene odgovora-sklonosti-unutar grupe postaje vjerojatnija jer se broj grupa povećava. Grubo, postaje lakše presijecati stanovništvo u homogene skupine ako stvorite više grupa. Na primjer, može se činiti nevjerojatnim da sve žene imaju jednaku sklonost odaziva, ali čini se više uvjerljivim da postoji jednaka sklonost odgovoru za sve žene u dobi od 18 do 29 godina, koje su diplomirale na koledžu i koje žive u Kaliforniji , Dakle, budući da se broj skupini korištenih u post-stratifikaciji povećava, pretpostavke potrebne za podupiranje metode postaju razumnije. S obzirom na tu činjenicu, znanstvenici često žele stvoriti ogroman broj skupina za poststratifikaciju. Međutim, kako se broj grupa povećava, istraživači se pojavljuju u drugačijem problemu: rasprostranjenost podataka. Ako u svakoj grupi postoji mali broj ljudi, procjene će biti neizvjesnije, au ekstremnom slučaju gdje postoji skupina koja nema ispitanika, tada se poststratifikacija potpuno raspada.
Postoje dva načina iz ove inherentne napetosti između vjerojatnosti pretpostavke homogene odgovora-sklonosti unutar skupine i potražnje za razumnim veličinama uzoraka u svakoj skupini. Prvo, istraživači mogu prikupiti veći, raznovrsniji uzorak koji pomaže u razumnoj veličini uzoraka u svakoj grupi. Drugo, oni mogu koristiti sofisticirani statistički model za izradu procjena unutar grupa. I, zapravo, ponekad istraživači rade oboje, kao što su Wang i kolege učinili sa svojim proučavanjem izbora pomoću ispitanika s Xboxa.
Budući da su koristili metodu uzorkovanja od ne-vjerojatnosti s računalnim intervjuima (više o intervjuima koji su upravljali računalom u poglavlju 3.5), Wang i njegovi kolege imali su vrlo skupu prikupljanje podataka, što im je omogućilo prikupljanje informacija s 345.858 jedinstvenih sudionika , ogroman broj po standardima izbornih izbora. Ova masivna veličina uzorka omogućila ih je da formira veliki broj post-stratifikacijskih grupa. Budući da je poststratifikacija obično uključila nasilje stanovništva na stotine skupina, Wang i kolege podijelili su populaciju u 176.256 skupina definiranih spolom (2 kategorije), rasnim (4 kategorije), dobi (4 kategorije), obrazovanjem (4 kategorije), državnom (51 kategorije), ID stranke (3 kategorije), ideologiju (3 kategorije) i glasovanje za 2008. (3 kategorije). Drugim riječima, njihova velika veličina uzorka, koja je omogućena skupljanjem podataka s niskim troškovima, omogućila im je da postanu vjerodostojnija pretpostavka u procesu procjene.
Čak i sa 345.858 jedinstvenih sudionika, bilo je još mnogo, mnogo skupina za koje Wang i njegovi kolege nisu imali gotovo nikakvih ispitanika. Stoga su koristili tehniku nazvanu multilevel regresija kako bi procijenili podršku u svakoj grupi. U osnovi, za procjenu podrške Obama u određenoj skupini, višerazinska regresija prikupila je podatke iz mnogih blisko povezanih skupina. Na primjer, zamislite kako pokušavate procijeniti potporu Obamu kod ženskih Hispanica između 18 i 29 godina, koji su diplomirani, koji su registrirani demokrati, koji se samoidentificiraju kao umjereni i koji su 2008. godine glasali za Obamu. To je vrlo , vrlo specifična skupina, a moguće je da u uzorku nitko nema takve karakteristike. Stoga, da biste napravili procjene o ovoj grupi, višerazinska regresija koristi statistički model za grupiranje procjena od ljudi u vrlo sličnim skupinama.
Tako su Wang i njegovi kolege koristili pristup koji je kombinirao višerazinsku regresiju i poststratifikaciju, tako da su njihova strategija nazvali multilevel regresijom post-stratifikacijom ili, s više ljubaznosti, "gospodine. P. "Kada su Wang i njegovi kolege iskoristili gospodina P. kako bi napravili procjene iz uzorka XBox neizvjesnosti, proizveli su procjene vrlo blizu ukupne potpore koju je Obama dobio na izborima za 2012. (slika 3.8). Zapravo, njihove procjene bile su preciznije od agregata tradicionalnih istraživanja javnog mnijenja. Stoga, u ovom slučaju, statističke prilagodbe - konkretno gospodin P. - čini se da dobar posao ispravlja pristranosti u podacima o ne-vjerojatnosti; pristranosti koje su bile jasno vidljive kada pogledate procjene iz neprilagođenih podataka o Xboxu.
Slika 3.8: Procjene W. Wang et al. (2015) . Neusklađeni uzorak XBoxa proizveo je netočne procjene. No, ponderirani uzorak XBoxa proizveo je procjene koje su bile preciznije od prosjeka telefonskih istraživanja temeljenih na vjerojatnosti. Prilagođen od W. Wang et al. (2015) , slike 2 i 3.
Postoje dvije glavne lekcije iz studije Wang i suradnika. Prvo, neusklađeni uzorci ne-vjerojatnosti mogu dovesti do loših procjena; ovo je lekcija koju su mnogi istraživači već čuli. Druga lekcija je, međutim, da uzorci ne-vjerojatnosti, kada se pravilno analiziraju, zapravo mogu proizvesti dobre procjene; uzorci ne-vjerojatnosti ne moraju automatski dovesti do nečega poput književnog probavnog fiasksa.
Ako se pokušavate odlučiti da koristite pristup uzorkovanja vjerojatnosti i pristup uzorkovanja ne-vjerojatnosti, morate se suočiti s teškim izborom. Ponekad istraživači žele brzo i kruto pravilo (npr. Uvijek koristite metode uzorkovanja vjerojatnosti), ali sve je teže ponuditi takvo pravilo. Istraživači se suočavaju s teškim izborom između metoda uzorkovanja vjerojatnosti u praksi - koji su sve skuplji i daleko od teorijskih rezultata koji opravdavaju njihovu upotrebu - i metode uzorkovanja ne-vjerojatnosti - koji su jeftiniji i brži, ali manje poznati i raznovrsniji. Jedna od stvari koja je jasna je, međutim, da, ako ste prisiljeni raditi s uzorcima ne-vjerojatnosti ili velikim izvorima podataka koji se ne prikazuju (razmišljam o poglavlju 2), onda postoji snažan razlog da vjerujemo da su procjene napravljene pomoću poststratifikacije i srodne tehnike bit će bolje od neprilagođenih, sirovih procjena.
