3.4.2 Uzorci koji nisu vjerojatnosti: ponderiranja

S uzorcima koji nisu vjerojatnosti, utezi mogu poništiti poremećaje uzrokovane pretpostavljenog procesu uzorkovanja.

Na isti način na koji znanstvenici težinu odgovora iz uzoraka vjerojatnosti, oni također mogu biti mase odgovore od uzoraka koji nisu vjerojatnosti. Na primjer, kao alternativa za CPS, zamislite da ste stavili banner oglase na tisuće web stranica za zapošljavanje sudionika za istraživanje procjene stope nezaposlenosti. Naravno, ti bi bio skeptičan da je srednja vrijednost vašeg uzorka će biti dobra procjena stope nezaposlenosti. Vaš skepticizam je vjerojatno zato što misle da su neki ljudi više vjerojatno da će završiti svoju anketu od drugih. Na primjer, ljudi koji ne provode puno vremena na webu su manje vjerojatno da će završiti svoju anketu.

Kao što smo vidjeli u posljednjem poglavlju, međutim, ako znamo kako je uzorak izabran-kao što radimo s vjerojatnošću uzorci-onda možemo poništiti poremećaje uzrokovane postupkom uzorkovanja. Nažalost, kada se radi s uzorcima koji nisu vjerojatnosti, ne znam kako je izabran uzorak. No, možemo napraviti pretpostavke o procesu uzorkovanja, a zatim primijeniti ponder na isti način. Ako su ove pretpostavke točne, onda je ponderiranje će poništiti distorzije uzrokovane postupkom uzorkovanja.

Na primjer, zamislite da u odgovoru na vaš banner oglase, regrutiraju 100.000 ispitanika. Međutim, ne vjerujem da su ovi 100.000 ispitanici su jednostavan slučajni uzorak odraslih Amerikanaca. U stvari, kada se uspoređuju svoje ispitanike da nas stanovništva, te da ljudi iz nekih država (npr, New York) je više zastupljena i da ljudi iz nekih država (npr Aljaske) su nedovoljno zastupljene. Tako je stopa nezaposlenosti vašeg uzorka je vjerojatno da će biti loša procjena stope nezaposlenosti u ciljnoj populaciji.

Jedan od načina da se poništi izobličenja koja se dogodila u procesu uzorkovanja je dodijeliti težine za svaku osobu; niže težine do ljudi iz država koje su zastupljene u uzorku (npr, New York) i veće težine do ljudi iz država koje su nedovoljno zastupljene u uzorku (npr Alaska). Točnije, težina za svaki ispitanik je vezana uz njihove učestalosti u svom uzorku u odnosu na njihove učestalosti u populacije SAD. Ovaj postupak ponderiranja se zove post-stratifikacija, a ideja za vaganje treba podsjetiti na primjer u poglavlju 3.4.1, gdje su dobili ispitanici iz Rhode Islanda manje težine nego ispitanici iz Kalifornije. Post-stratifikacija zahtijeva da znate dovoljno staviti svoje ispitanike u grupe i da znaju udio ciljane populacije u svakoj skupini.

Iako Težina uzorka vjerojatnosti i uzorka koji nisu vjerojatnosti su isti matematički (vidi tehnički dodatak), oni rade dobro u različitim situacijama. Ako istraživač ima savršen uzorak vjerojatnosti (tj, nema greške pokrivenosti i ne bez odgovora), a zatim ponderiranje će proizvoditi nepristrane procjene za sva svojstva u svim slučajevima. Ova snažna teorijska garancija Zato zagovornici uzoraka vjerojatnosti ih naći tako atraktivno. S druge strane, ponderiranja uzorci nisu vjerojatnosti će samo proizvoditi nepristrane procjene za sva svojstva ako su sklonosti odgovora su isti za svakoga u svakoj grupi. Drugim riječima, misleći natrag na naš primjer, korištenjem post-slojevitost će proizvoditi nepristrane procjene da su svi u New Yorku ima istu vjerojatnost sudjelovanje i svatko na Aljasci ima istu vjerojatnost sudjelovanja i tako dalje. Ova pretpostavka se zove homogene-odgovor-sklonostima-unutar-grupe pretpostavku, i igra ključnu ulogu u znamo da li post-stratifikacija će raditi dobro sa uzorcima koji nisu vjerojatnosti.

Nažalost, u našem primjeru, homogena-odgovor-sklonosti-u-grupa pretpostavka čini se malo vjerojatno da bi bilo istinito. To jest, malo je vjerojatno da su svi na Aljasci ima istu vjerojatnost da budu u svom istraživanju. No, postoje tri važne točke koje treba imati na umu o post-raslojavanja, sve što bi se činiti više obećava.

Prvo, homogena-odgovor-sklonosti-u-grupa pretpostavka postaje vjerojatna kao i broj grupa povećava. I, istraživači nisu ograničeni samo na skupine samo na temelju jedne geografske dimenzije. Na primjer, mogli bismo stvoriti grupe na temelju stanja, dobi, spolu i stupnju obrazovanja. Čini se vjerojatnim da postoji homogeni odgovor sklonosti unutar skupine 18-29, žena, College diplomanata koji žive na Aljasci nego u skupini svih ljudi koji žive na Aljasci. Dakle, kako se broj skupina se koriste za post-stratifikacije povećava, pretpostavke potrebne za podršku da postanu razumni. S obzirom na ovu činjenicu, čini se kao znanstvenici bi željeli stvoriti veliki broj grupa za post-raslojavanja. No, kao i broj grupa povećava, istraživači su pokrenuti u drugom problem: raspršenost podataka. Ako postoji samo mali broj ljudi u svakoj grupi, a zatim procjene će biti neizvjesna, au krajnjem slučaju gdje postoji grupa koja nema ispitanika, a zatim nakon raslojavanja u potpunosti razgrađuje. Postoje dva načina iz ovog urođenog napetosti između vjerodostojnosti homogeneous- odgovor-sklonost-u-grupa pretpostavke i potražnje za razumne veličine uzorka u svakoj skupini. Jedan pristup je da se presele u više sofisticirane statističke modela za izračunavanje težine, a drugi je prikupiti veći, više raznolik uzorak, čime se osigurava razumne veličine uzoraka u svakoj skupini. I, ponekad istraživači učiniti oboje, kao što ću detaljnije opisati u nastavku.

Drugi obzir kada se radi s post-raslojavanja iz uzoraka koji nisu vjerojatnost da je homogena-odgovor-sklonost-u-skupina pretpostavka je već često se pri analizi uzoraka vjerojatnosti. Razlog da se ta pretpostavka je potrebno za uzorke vjerojatnosti u praksi je da uzorci vjerojatnosti imaju neodaziva, a najčešći način za podešavanje za ne-odgovor je post-stratifikacija kao što je gore opisano. Naravno, samo zato što su mnogi znanstvenici čine određeni pretpostavka ne znači da bi trebali to učiniti previše. No, to ne znači da kada se uspoređuju uzorci nisu vjerojatnost da uzoraka vjerojatnosti u praksi, moramo imati na umu da su i ovise o pretpostavkama i pomoćne informacije kako bi se proizvoditi procjene. U većini realnih postavki, jednostavno nema pretpostavka bez pristupa zaključivanja.

Konačno, ako vam je stalo do jedne procjenu posebno-U našem primjeru nezaposlenosti stopa-onda vam je potreban uvjet slabiji od homogene-odgovor-sklonost-unutar-grupe pretpostavke. Naime, ne trebate pretpostaviti da svatko ima isti odgovor sklonost, samo trebate pretpostaviti da ne postoji povezanost između sklonosti odgovora i stope nezaposlenosti u svakoj skupini. Naravno, čak i ovaj slabiji uvjet neće držati u nekim situacijama. Na primjer, zamislite procjeni udio Amerikanaca koji bi volontirali. Ako ljudi koji su volontirali su više vjerojatno da će se slažu da se u istraživanju, a zatim su istraživači se sustavno i precjenjuju količinu volontiranja, čak i ako se radi prilagodbe post-stratifikacijske, rezultat koji je bio empirijski dokazan kroz Abraham, Helms, and Presser (2009) .

Kao što sam rekao ranije, uzorci nisu vjerojatnost gleda s velikom skepsom društvenim znanstvenicima, dijelom zbog svoje uloge u nekim od najsramotniji propusta u prvim danima anketama. Jasan primjer kako daleko smo došli s uzorcima koji nisu vjerojatnost je istraživanje Wei Wang, David Rothschild, Sharad Goel i Andrew Gelman da je ispravno oporavio ishod američke izbore 2012. pomoću uzorka ne-vjerojatnosti American Xbox korisnika -a izrazito ne-slučajni uzorak Amerikanaca (Wang et al. 2015) . Istraživači su regrutirani ispitanika iz sustava za igru ​​Xbox, a kao što se moglo očekivati, uzorak Xbox iskrivljena muško i iskrivljena mlada: 18-29 godišnjaci čine 19% biračkog tijela, ali 65% uzorka Xbox, a muškarci čine 47% biračkog tijela i 93% uzorka Xbox (Slika 3.4). Zbog tih jakih demografskih predrasuda, sirovi Xbox podataka bio siromašan pokazatelj rezultatima izbora. To predviđa snažnu pobjedu Mitt Romney tijekom Baracka Obame. Opet, ovo je još jedan primjer opasnosti od sirovih, neusklađeni uzoraka nisu vjerojatnosti i podsjeća na Književni Digest fijasko.

Slika 3.4: Stanovništvo ispitanika u Wang et al. (2015) . Budući da su ispitanici regrutirani iz Xbox, oni su više vjerojatno da će biti mladi i više vjerojatno da će biti muško, u odnosu na birače u 2012 izborima.

Međutim, Wang i kolege su bili svjesni tih problema i pokušali težine ispitanici ispraviti za proces uzorkovanja. Konkretno, oni koriste sofisticiranije oblik post-raslojavanja sam ti pričao. To je vrijedno učenje malo više o svom pristupu jer izgrađuje intuiciju o post-stratifikacije, a posebno verzija Wang i suradnici koristi je jedan od najuzbudljivijih pristupa ponderiranja uzoraka nisu vjerojatnosti.

U našem jednostavnom primjeru o procjeni nezaposlenosti u poglavlju 3.4.1, podijelili smo populaciju u skupine na temelju stanja boravka. Za razliku od toga, Wang i suradnici dijele populaciju u u 176,256 skupine definirane po: spolu (2 kategorija), rasu (4 kategorije), dob (4 kategorije), obrazovanju (4 kategorije), države (51 kategorija), stranka ID (3 kategorije), ideologija (3 kategorije) i 2.008 glasa (3 kategorije). Sa više skupina, istraživači su se nadali da bi bilo sve vjerojatnije da je u svakoj skupini, odgovor sklonost je uncorrelated s podrškom za Obamu. Dalje, umjesto izgradnje individualne razine težine, kao što smo učinili u našem primjeru, Wang i njegovi kolege koristili složene modele za procjenu udio ljudi u svakoj skupini da bi glasovali za Obamu. Konačno, oni kombiniraju ove grupe procjene potpore s poznatim veličine svake skupine da bi se proizveo procijenjena ukupna razina podrške. Drugim riječima, oni sjeckani stanovništva u različite grupe, procjenjuje podršku za Obamu u svakoj grupi, a onda je uzeo ponderirani prosjek procjena grupe za izradu cjelovitu procjenu.

Tako je veliki izazov u svom pristupu je procijeniti podršku za Obamu u svakoj od tih 176,256 skupina. Iako je njihova ploča uključena 345,858 jedinstvenih sudionika, veliki broj prema standardima izborne glasovanja, bilo je mnogo, mnogo grupa za koje Wang i suradnici imao gotovo nikakve ispitanika. Stoga, kako bi procijenili podršku u svakoj skupini su koristili tehniku ​​višerazinski regresija s post-raslojavanja, koje znanstvenici od milja zovemo gospodina P. U suštini, procijeniti potporu Obame unutar određene grupe, gospodin P. bazeni informacije iz mnogih usko povezane skupine. Na primjer, smatra da je izazov procjene podršku za Obamu među ženskim, Latinoamerikanaca, između 18-29 godina, koji su College diplomanata koji su registrirani demokrati, koji su sebe identificiraju kao moderira, a koji su glasali za Obamu u 2008. To je vrlo, vrlo specifična grupa, a moguće je da nema nikoga u uzorku s ovim karakteristikama. Stoga, kako bi procjene o ovoj grupi, gospodin P. bazeni zajedno procjenjuje s ljudima u vrlo sličnim skupinama.

Korištenjem ove analize strategije, Wang i suradnici bili u mogućnosti koristiti Xbox uzorak nije vjerojatnost da se vrlo pažljivo procijeniti ukupnu podršku koju je Obama primio u 2012 izborima (Slika 3.5). U stvari njihove procjene bile točnije od agregat javnog mnijenja. Dakle, u ovom slučaju, ponderiranje-konkretno gospodin P.-čini se da napraviti dobar posao ispravljanja pristranost u podacima koji nisu vjerojatnosti; predrasude koje su vidljive kada pogledate procjenama podataka neusklađeni Xbox.

Slika 3.5: Procjene Wang et al. (2015) . Neusklađeno uzorak XBox proizvedena netočne procjene. No, ponderirani uzorak Xbox proizvedena procjenjuje da je točniji od prosječno temeljen na vjerojatnosti telefonskim anketama.

Postoje dvije glavne pouke iz studija Wang i kolege. Prvo, neprilagođene uzorci nisu vjerojatnosti može dovesti do loših procjena; to je lekcija koju su mnogi istraživači čuli. Međutim, druga pouka je da uzorci nisu vjerojatnost, kada je ponderirana ispravno, zapravo može proizvesti prilično dobre procjene. U stvari, njihove procjene bile točnije od procjene iz pollster.com, agregaciji tradicionalnim izbornim anketama.

Na kraju, postoje značajne ograničenja na ono što možemo naučiti iz ove jedne određene studije. Samo zato što post-raslojavanje radio dobro u ovom konkretnom slučaju, ne postoji jamstvo da će raditi dobro u drugim slučajevima. Naime, izbori su možda jedan od najjednostavnijih postavke jer anketari su proučavanje izbore za gotovo 100 godina, tu je redovna povratne informacije (možemo vidjeti tko će pobijediti na izborima), te identifikaciju stranke i demografske karakteristike su relativno prediktivni glasovanja. U ovom trenutku, nemamo čvrstu teoriju i empirijske iskustva da zna kada ponderiranje prilagodbe uzoraka koji nisu vjerojatnosti će proizvoditi dovoljno točne procjene. Jedna stvar koja je jasna, međutim, ako ste prisiljeni raditi s uzorcima koji nisu vjerojatnosti, onda postoji jak razlog da vjerujemo da će i podešene procjene biti bolje od ne-podešava procjena.