3.4.2 Non-bagay na maaaring mangyari samples: weighting

Sa mga di-posibilidad samples, weights maaaring i-undo distortions sanhi ng ipinapalagay sampling proseso.

Sa parehong paraan na ang mga mananaliksik timbang tugon mula probabilidad samples, maaari din sila pagbaba kasagutan mula sa mga di-posibilidad samples. Halimbawa, bilang isang alternatibo sa ang CPS, isipin na inilagay mo banner ads sa libu-libong ng mga website upang kumalap kalahok para sa isang survey upang matantya ang pagkawala ng trabaho rate. Naturally, gusto mo may pag-aalinlangan na ang mga simpleng ibig sabihin ng iyong sample ay magiging isang magandang pagtatantya ng pagkawala ng trabaho rate. Ang iyong pag-aalinlangan ay maaaring mangyari dahil sa tingin mo na ang ilang mga tao ay mas malamang na kumpletuhin ang iyong survey kaysa sa iba. Halimbawa, mga tao na hindi gumastos ng maraming oras sa web ay mas malamang na kumpletuhin ang iyong survey.

Tulad ng nakita natin sa nakaraang seksyon, gayunpaman, kung alam namin kung paano ang sample ay napili-ng ginagawa namin na may posibilidad samples-pagkatapos ay maaari naming i-undo distortions sanhi ng sampling proseso. Sa kasamaang palad, kapag nagtatrabaho sa non-bagay na maaaring mangyari samples, hindi namin alam kung paano ang sample ay napili. Subalit, maaari naming gumawa ng mga pagpapalagay tungkol sa sampling proseso at pagkatapos ay ilapat ang weighting sa parehong paraan. Kung ang mga pagpapalagay ay tama, pagkatapos ay ang weighting ay i-undo ang distortions sanhi ng sampling proseso.

Halimbawa, isipin na bilang tugon sa iyong mga ad na banner, ikaw hinikayat 100,000 respondents. Gayunpaman, hindi ka naniniwala na ang mga 100,000 respondents ay simpleng random sample ng mga Amerikano mga matatanda. Sa katunayan, kapag ihambing mo ang iyong respondents sa populasyon US, hanapin mo na ang mga tao mula sa ilang mga estado (eg, New York) ay over-kinakatawan at na ang mga tao mula sa ilang mga estado (eg, Alaska) ay sa ilalim-kinakatawan. Kaya, ang pagkawala ng trabaho rate ng iyong sample ay malamang na maging isang masamang pagtatantya ng pagkawala ng trabaho rate sa target na populasyon.

Ang isang paraan upang i-undo ang pagbaluktot na nangyari sa sampling proseso ay upang magtalaga weights sa bawat tao; mas mababang weights sa mga tao mula sa mga estado na over-kinakatawan sa sample (eg, New York) at mas mataas na timbang sa mga tao mula sa mga estado na sa ilalim-kinakatawan sa sample (eg, Alaska). Higit pang mga partikular, ang bigat para sa bawat respondent ay may kaugnayan sa kanilang pagkalat sa iyong sample na may kaugnayan sa kanilang pagkalat sa populasyon ng US. Ito weighting pamamaraan ay tinatawag na post-pagsasapin-sapin, at ang ideya ng pagtimbang dapat ipaalala sa iyo ng mga halimbawa sa Section 3.4.1 kung saan respondents mula sa Rhode Island ay ibinigay mas timbang kaysa respondents mula sa California. Post-pagsasapin-sapin ay nangangailangan na alam mo sapat na upang ilagay ang iyong mga respondents sa mga grupo at malaman ang proporsyon ng target na populasyon sa bawat grupo.

Kahit na ang weighting ng probabilidad sample at ng mga di-posibilidad sample ay pareho mathematically (tingnan teknikal appendix), gumagana ang mga iyon na rin sa iba't ibang sitwasyon. Kung ang researcher ay may perpektong posibilidad sample (ie, walang coverage error at walang di-tugon), pagkatapos ay weighting makabuo walang pinapanigan pagtatantya para sa lahat ng mga ugali sa lahat ng kaso. Ang malakas na panteorya garantiya ang dahilan kung bakit tagapagtaguyod ng probabilidad samples masumpungan sila sa gayon kaakit-akit. Sa kabilang dako, weighting non-bagay na maaaring mangyari halimbawa ay lamang makabuo ng walang pinapanigan pagtatantya para sa lahat ng traits kung ang sagot propensities ay pareho para sa lahat ng tao sa bawat grupo. Sa ibang salita, iniisip bumalik sa aming halimbawa, ang paggamit post-pagsasapin-sapin ay makakapagdulot ng walang pinapanigan pagtatantya kung lahat ng tao sa New York ay may parehong posibilidad ng kalahok at lahat ng tao sa Alaska ay may parehong posibilidad ng mga kalahok at iba pa. Palagay na ito ay tinatawag na ang homogenous-response-propensities-loob-grupo palagay, at ito ay gumaganap ng isang mahalagang papel sa pag-alam kung post-pagsasapin-sapin ay gumagana ng maayos na may di-posibilidad samples.

Sa kasamaang palad, sa aming halimbawa, ang homogenous-response-propensities-loob-grupo palagay tila malamang na hindi totoo. Iyon ay, ito tila walang kasiguruhan na ang lahat sa Alaska ay may parehong posibilidad ng pagiging sa iyong survey. Ngunit, mayroong tatlong mahahalagang punto na dapat tandaan tungkol sa post-pagsasapin-sapin, ang lahat ay gawin itong tila mas promising.

Una, homogenous-response-propensities-loob-grupo palagay nagiging mas plausible bilang ang bilang ng mga grupo ay nagdaragdag. At, ang mga mananaliksik ay hindi limitado sa mga grupo lamang batay sa isang solong pang-heograpiyang dimensyon. Halimbawa, maaari naming lumikha ng mga grupo batay sa estado, edad, kasarian, at antas ng edukasyon. Tila mas plausible na homogenous propensities tugon sa loob ng grupo ng mga 18-29, nagtapos babae, kolehiyo na nakatira sa Alaska sa loob ng mga grupo ng lahat ng mga taong naninirahan sa Alaska. Kaya, bilang ang bilang ng mga grupo na ginagamit para sa post-pagsasapin-sapin ay nagdaragdag, ang pagpapalagay na kailangan upang suportahan ang mga ito maging mas makatwirang. Given na ito katunayan, ito tila tulad ng isang mananaliksik ay nais na lumikha ng isang malaking bilang ng mga grupo para sa post-pagsasapin-sapin. Subalit, tulad ng bilang ng mga grupo ay nagdaragdag, ang mga mananaliksik tumakbo sa isang iba't ibang mga problema: data sparsity. Kung may mga lamang ng isang maliit na bilang ng mga tao sa bawat grupo, at pagkatapos ay ang mga pagtatantya ay magiging mas hindi sigurado, at sa matinding kaso kung saan may isang grupo na ay walang respondents, pagkatapos post-pagsasapin-sapin ganap Pinaghihiwa-hiwalay. Mayroong dalawang mga paraan sa labas ng ito likas na pag-igting sa pagitan ng pagkatotoo ng homogeneous- tugon-likas na hilig-loob-grupo palagay at ang demand para sa mga makatwirang laki sample sa bawat grupo. Isa diskarte ay upang lumipat sa isang mas sopistikadong statistical modelo para sa pagkalkula ng mga timbang at ang iba pang ay upang mangolekta ng isang mas malaki, mas magkakaibang sample, na kung saan ay makakatulong na siguraduhin makatwirang sample laki sa bawat pangkat. At, kung minsan mga mananaliksik gawin ang parehong, tulad ng makikita ko ilarawan nang mas detalyado sa ibaba.

Isang pangalawang-alang kapag nagtatrabaho sa post-pagsasapin-sapin sa mga pagkakasalang di-posibilidad samples ay na ang homogenous-response-likas na hilig-loob-grupo palagay ay naka-madalas na ginawa kapag pag-aaral ng probabilidad samples. Ang dahilan na ito palagay ay kailangan para sa bagay na maaaring mangyari samples sa pagsasanay ay na probabilidad halimbawa ay may non-tugon, at ang pinaka-karaniwang paraan para sa pag-aayos ng para sa mga di-tugon ay post-pagsasapin-sapin tulad ng inilarawan sa itaas. Of course, dahil lang sa maraming mga mananaliksik gumawa ng isang tiyak na palagay ay hindi nangangahulugan na dapat mong gawin ito masyadong. Ngunit, ito ang ibig sabihin na kapag ang paghahambing ng non-bagay na maaaring mangyari samples sa probability samples sa pagsasagawa, dapat nating tandaan na ang parehong depende sa pagpapalagay at auxiliary na impormasyon upang makabuo ng mga pagtatantya. Sa pinaka-makatotohanang mga setting, walang pagkukunwari-free na diskarte sa hinuha lamang.

Sa wakas, kung mahalaga sa iyo tungkol sa isang pagtantiya sa partikular-sa aming mga halimbawa ng kawalan ng trabaho rate-pagkatapos ay kailangan mo ng isang kondisyon weaker kaysa homogenous-response-likas na hilig-loob-grupo palagay. Sa partikular, hindi mo na kailangan upang ipalagay na ang lahat ay may parehong sagot likas na hilig, kailangan mo lamang na ipalagay na walang ugnayan sa pagitan ng tugon likas na hilig at kawalan ng trabaho rate sa loob ng bawat grupo. Of course, sa makatuwid baga'y nitong weaker kondisyon ay hindi hold sa ilang mga sitwasyon. Halimbawa, isipin estimating ang bahagdan ng mga Amerikano na gawin volunteer trabaho. Kung ang mga tao na gawin volunteer trabaho ay mas malamang na sumasang-ayon upang maging sa isang survey, pagkatapos mananaliksik ay systematically over-matantya ang halaga ng volunteering, kahit na gawin nila post-pagsasapin-sapin adjustments, isang resulta na ay nagpakita empirically sa pamamagitan Abraham, Helms, and Presser (2009) .

Tulad ng sinabi ko mas maaga, non-bagay na maaaring mangyari samples ay tiningnan na may mahusay na pag-aalinlangan sa pamamagitan ng panlipunang siyentipiko, sa bahagi dahil sa kanilang papel sa ilan sa mga pinaka-nakakahiya pagkabigo sa mga unang araw ng survey pananaliksik. Isang malinaw na halimbawa ng kung paano malayo kami ay dumating sa mga di-posibilidad samples ay ang pananaliksik ng Wei Wang, David Rothschild, Sharad Goel, at si Andres Gelman na tama mababawi ang kinahinatnan ng 2012 US halalan gamit ang isang non-bagay na maaaring mangyari sample of American Xbox user -isang nagpasya sa hindi pang-random sample ng mga Amerikano (Wang et al. 2015) . Ang mga mananaliksik hinikayat respondents mula sa sistema ng Xbox gaming, at bilang maaari mong asahan, ang Xbox sample skewed lalaki at skewed batang: 18 - 29 taong gulang bumubuo 19% ng mga manghahalal ngunit 65% ng Xbox sample at lalaki gumawa ng up 47% ng mga manghahalal at 93% ng Xbox sample (Figure 3.4). Dahil sa mga malakas na demographic biases, ang raw Xbox data ay isang mahinang tagapagpahiwatig ng election returns. Ito hinulaang isang malakas na tagumpay para Mitt Romney higit Barack Obama. Muli, ito ay isa pang halimbawa ng mga panganib ng raw, unadjusted non-bagay na maaaring mangyari at mga halimbawa ay nakapagpapaalaala ng Literary Digest ganap na kabiguan.

Figure 3.4: Demograpiko ng mga respondents sa Wang et al. (2015) . Dahil respondents ay hinikayat na mula sa XBox, sila ay mas malamang na maging bata at mas malamang na maging lalaki, kamag-anak sa mga botante sa 2012 halalan.

Gayunman, Wang at kasamahan ay magkaroon ng kamalayan ng mga problemang ito at tinangka sa pagbaba ng mga respondents sa tama para sa sampling proseso. Sa partikular, ginagamit ang mga ito ng isang mas sopistikadong paraan ng ang post-pagsasapin-sapin sinabi ko sa iyo tungkol sa. Ito ay nagkakahalaga ng pag-aaral ng kaunti pa tungkol sa kanilang diskarte dahil ito ay nagbubuo mula intuwisyon tungkol sa post-pagsasapin-sapin, at ang partikular na bersyon Wang at kasamahan na ginagamit ay isa sa mga pinaka-nakakasabik na mga pamamaraang sa weighting non-bagay na maaaring mangyari samples.

Sa aming simpleng halimbawa tungkol sa pagtantya pagkawala ng trabaho sa Section 3.4.1, hinati namin ang populasyon sa mga grupo batay sa estado ng paninirahan. Sa kaibahan, Wang at kasamahan nahahati populasyon sa sa 176,256 mga grupo na tinukoy sa pamamagitan ng: kasarian (2 mga kategorya), lahi (4 mga kategorya), edad (4 mga kategorya), edukasyon (4 mga kategorya), estado (51 mga kategorya), party ID (3 mga kategorya), ideolohiya (3 mga kategorya) at 2008 boto (3 mga kategorya). Sa higit pang mga pangkat, ang mga mananaliksik inaasahan na magiging increasingly malamang na sa loob ng bawat grupo, tugon likas na hilig ay uncorrelated may suporta para sa Obama. Next, sa halip na paggawa sa mga indibidwal na antas ng timbang, tulad ng ginawa namin sa aming mga halimbawa, Wang at kasamahan na ginagamit ng isang kumplikadong modelo upang matantya ang proporsyon ng mga tao sa bawat grupo na bumoto para sa Obama. Sa wakas, sila pinagsama ang mga grupo ng mga pagtatantya ng suporta sa mga kilalang laki ng bawat pangkat upang makabuo ng isang tinatayang pangkalahatang antas ng suporta. Sa ibang salita, sila ay tinadtad up populasyon sa iba't-ibang mga grupo, tinatayang ang suporta para sa Obama sa bawat grupo, at pagkatapos ay kinuha ng isang weighted average ng mga pagtatantya grupo upang makabuo ng isang pangkalahatang pagtatantya.

Kaya, ang malaking hamon sa kanilang mga diskarte ay upang matantya ang suporta para sa Obama sa bawat isa sa mga 176,256 mga grupo. Kahit na ang kanilang panel kasama 345,858 natatanging mga kalahok, isang malaking bilang ng mga pamantayan ng halalan botohan, may mga marami, maraming mga grupo para sa kung saan Wang at kasamahan ay halos walang respondents. Samakatuwid, upang matantya ang support sa bawat grupo na ginagamit nila ang isang pamamaraan na tinatawag na multilevel pagbabalik sa post-pagsasapin-sapin, na mananaliksik affectionately tumawag Mr. P. Mahalaga, upang matantya ang suporta para sa Obama sa loob ng isang tiyak na pangkat, Mr. P. pool impormasyon mula sa maraming malapit na nauugnay groups. Halimbawa, isaalang-alang ang mga hamon ng estimating ang suporta para sa Obama sa mga babaeng, Hispanics, sa pagitan ng 18-29 taong gulang, na nagtapos sa kolehiyo, na nakarehistro Democrats, na self-makilala bilang moderates, at kung sino ang bumoto para sa Obama sa 2008. Ito ay isang napaka, napaka-tukoy na grupo, at ito ay posible na walang tao sa sample na may mga katangian. Samakatuwid, upang gumawa ng mga pagtatantya tungkol sa pangkat na ito, Mr P. pool magkasama estima mula sa mga tao sa halos katulad na grupo.

Gamit ang pag-aaral diskarte, Wang at kasamahan ay able sa gamitin ang XBox non-bagay na maaaring mangyari sample sa masyadong malapit matantya ang kabuuang suporta na Obama natanggap sa 2012 halalan (Figure 3.5). Sa katunayan ang kanilang mga pagtatantya ay mas tumpak na kaysa sa isang pinagsama-samang ng mga pampublikong lugar ng botohan opinyon. Kaya, sa kasong ito, weighting-partikular Mr. P.-tila sa gumawa ng isang magandang trabaho correcting ang biases sa mga di-posibilidad ng data; biases na maaaring makita kapag tumingin ka sa ang mga pagtatantya mula sa unadjusted Xbox data.

Figure 3.5: Estimates mula Wang et al. (2015) . Unadjusted XBox sample ginawa hindi tumpak estima. Subalit, ang weighted XBox sample ginawa pagtatantya na ay mas tumpak na kaysa sa isang average ng probabilidad-based survey ng telepono.

Mayroong dalawang pangunahing mga aralin mula sa pag-aaral ng Wang at kasamahan. Una, unadjusted non-bagay na maaaring mangyari samples maaaring humantong sa masamang estima; ito ay isang aralin na maraming mga mananaliksik ay may narinig bago. Gayunman, ang ikalawang aralin ay na non-bagay na maaaring mangyari samples, kapag tinimbang nang maayos, ay maaaring aktwal na gumawa ng lubos na mabuti estima. Sa katunayan, ang kanilang mga pagtatantya ay mas tumpak na kaysa sa mga pagtatantya mula pollster.com, isang pagsasama-sama ng mga tradisyonal na mga lugar ng botohan sa halalan.

Sa wakas, may mga mahalagang mga limitasyon sa kung ano ang maaari naming matuto mula sa isang ito partikular na pag-aaral. Dahil lamang post-pagsasapin-sapin ay nagtrabaho ng mabuti sa partikular na kasong, walang garantiya na ito ay gumagana ng maayos sa ibang kaso. Sa katunayan, halalan ay marahil ang isa sa mga pinakamadaling mga setting dahil pollsters ay makapag-aral halalan para sa halos 100 taon, may regular feedback (maaari naming makita kung sino ang mananalo sa halalan), at party identification at demograpikong katangian ay relatibong mahuhulain ng pagboto. Sa puntong ito, ang kakulangan namin solid teorya at empirical na karanasan na malaman kung kailan weighting adjustments sa mga di-posibilidad samples ay makakapagdulot ng sapat na tumpak na pagtatantya. Ang isang bagay na ay malinaw, gayunpaman, ay kung ikaw ay pinilit na magtrabaho sa mga di-posibilidad samples, pagkatapos ay doon ay malakas na dahilan upang maniwala na nababagay pagtatantya ay magiging mas mahusay kaysa sa mga di-nababagay pagtatantya.