3.4 Sino ang magtanong

Ang digital age ay gumagawa ng probability sampling sa pagsasanay mas mahirap at ang paglikha ng mga bagong pagkakataon para sa di-posibilidad sampling.

Sa kasaysayan ng sampling, nagkaroon ng dalawang nakikipagkumpitensyang mga diskarte: mga posibilidad ng sampling na pamamaraan at mga di-posibilidad na paraan ng sampling. Kahit na ang parehong mga diskarte ay ginamit sa unang bahagi ng araw ng sampling, probabilidad sampling ay dumating sa mangibabaw, at maraming mga social mananaliksik ay tinuturuan upang tingnan ang hindi probabilidad sampling na may mahusay na pag-aalinlangan. Gayunpaman, tulad ng ilalarawan ko sa ibaba, ang mga pagbabago na nilikha ng digital na edad ay nangangahulugan na oras na para sa mga mananaliksik na muling isaalang-alang ang di-posibilidad na sampling. Sa partikular, ang pagkuha ng posibilidad sa pagkuha ay mahirap gawin sa pagsasagawa, at ang di-posibilidad na sampling ay nakakakuha ng mas mabilis, mas mura, at mas mahusay. Ang mas mabilis at mas murang mga survey ay hindi lamang nagtatapos sa kanilang sarili: pinagana nila ang mga bagong pagkakataon tulad ng mas madalas na mga survey at mas malaking laki ng sample. Halimbawa, sa pamamagitan ng paggamit ng mga di-posibilidad na paraan ang Cooperative Congressional Election Study (CCES) ay maaaring magkaroon ng halos 10 beses na mas kalahok kaysa sa mga naunang pag-aaral gamit ang probability sampling. Ang mas malaking sample na ito ay nagbibigay-daan sa mga mananaliksik sa pulitika na pag-aralan ang pagkakaiba-iba sa mga saloobin at pag-uugali sa mga subgroup at mga konteksto sa lipunan. Dagdag dito, ang lahat ng ito ay nagdagdag ng sukatan ay dumating nang hindi bumababa sa kalidad ng mga estima (Ansolabehere and Rivers 2013) .

Sa kasalukuyan, ang nangingibabaw na diskarte sa sampling para sa panlipunang pananaliksik ay posibilidad na sampling . Sa posibilidad na sampling, ang lahat ng mga miyembro ng target na populasyon ay may isang kilalang, di-posibleng probabilidad na ma-sample, at ang lahat ng tao na sinasabing tumutugon sa survey. Kapag natugunan ang mga kundisyong ito, ang mga eleganteng resulta ng matematika ay nagbibigay ng mga napatunayang garantiya tungkol sa kakayahan ng isang mananaliksik na gamitin ang sample upang makagawa ng mga inference tungkol sa target na populasyon.

Gayunpaman, sa totoong mundo, ang mga kondisyon na pinagbabatayan ng mga resulta ng matematika ay bihirang natutugunan. Halimbawa, madalas may mga error sa pagsakop at hindi pagsang-ayon. Dahil sa mga problemang ito, ang mga mananaliksik ay madalas na gumamit ng iba't ibang mga pagsasaayos ng istatistika upang makilala ang kanilang sample sa kanilang target na populasyon. Samakatuwid, mahalaga na makilala sa pagitan ng posibilidad na sampling sa teorya , na may malakas na teoretikal na mga garantiya, at posibilidad na sampling sa pagsasagawa , na hindi nagbibigay ng ganitong mga garantiya at depende sa iba't ibang mga pag-aayos ng statistical.

Sa paglipas ng panahon, ang mga pagkakaiba sa pagitan ng posibilidad na sampling sa teorya at probabilidad sampling sa pagsasanay ay lumalaki. Halimbawa, ang mga rate ng hindi pagtugon ay patuloy na lumalaki, kahit na sa mataas na kalidad, mga mamahaling survey (figure 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Ang mga rate ng hindi pagtugon ay mas mataas sa mga survey ng komersyal na telepono-kung minsan ay kasing dami ng 90% (Kohut et al. 2012) . Ang mga pagtaas na ito sa nonresponse ay nagbabanta sa kalidad ng mga pagtatantya dahil ang mga pagtatantya ay higit na nakasalalay sa mga istatistika ng modelo na ginagamit ng mga mananaliksik upang mag-ayos para sa mga hindi tumutugon. Dagdag dito, ang mga bumababa sa kalidad ay nangyari sa kabila ng lalong mahal na pagsisikap ng mga mananaliksik ng survey upang mapanatili ang mataas na mga rate ng pagtugon. Ang ilang mga tao ay natatakot na ang mga twin trend ng nagpapababa ng kalidad at pagtaas ng gastos ay nagbabanta sa pundasyon ng pagsasaliksik ng survey (National Research Council 2013) .

Figure 3.5: Ang hindi pagsang-ayon ay unting patuloy, kahit na sa mataas na kalidad na mga mamahaling survey (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Mas mataas ang mga rate ng hindi pagtugon para sa mga survey ng komersyal na telepono, kung minsan kahit hanggang 90% (Kohut et al. 2012) . Ang mga long-term na trend na ito sa nonresponse ay nangangahulugan na ang pagkolekta ng data ay mas mahal at ang mga pagtatantya ay mas maaasahan. Inangkop mula sa BD Meyer, Mok, and Sullivan (2015) , tayahin 1.

Kasabay nito ay nagkaroon ng lumalaking mga problema para sa posibilidad ng mga paraan ng sampling, mayroon ding mga kapana-panabik na pag-unlad sa mga di-posibilidad na mga paraan ng sampling . Mayroong iba't ibang mga estilo ng mga di-posibilidad na sampling na mga pamamaraan, ngunit ang isang bagay na mayroon sila sa karaniwan ay hindi madali ang mga ito na magkasya sa matematika na balangkas ng probability sampling (Baker et al. 2013) . Sa madaling salita, sa mga di-posibilidad na paraan ng sampling hindi lahat ay may isang kilalang at di-posibilidad ng pagsasama. Ang mga di-posibilidad na paraan ng sampling ay may kakila-kilabot na reputasyon sa mga mananaliksik na panlipunan at nauugnay sila sa ilan sa mga pinaka-dramatikong pagkabigo ng mga mananaliksik ng survey, tulad ng kasawiang Pampanitikan (tinalakay nang mas maaga) at "Dewey Defeats Truman," ang maling hula tungkol sa US pampanguluhan halalan ng 1948 (tayahin 3.6).

Figure 3.6: Pangulong Harry Truman na humahawak sa headline ng isang pahayagan na mali ang inihayag ang kanyang pagkatalo. Ang headline na ito ay batay sa bahagi sa mga pagtatantya mula sa mga di-posibilidad na mga halimbawa (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Kahit na ang "Dewey Defeats Truman" ay nangyari noong 1948, ito ay kabilang sa mga dahilan na ang ilang mga mananaliksik ay may pag-aalinlangan tungkol sa mga pagtatantya mula sa mga di-posibilidad na mga halimbawa. Pinagmulan: Harry S. Truman Library & Museum .

Ang isang paraan ng di-posibilidad na sampling na partikular na angkop sa digital age ay ang paggamit ng mga online na panel . Ang mga mananaliksik na gumagamit ng mga online na panel ay nakasalalay sa ilang panel provider-karaniwang isang kumpanya, gobyerno, o unibersidad-upang makagawa ng isang malaking, magkakaibang grupo ng mga tao na sumasang-ayon na magsilbing mga respondent para sa mga survey. Ang mga kalahok sa panel ay madalas na hinihikayat gamit ang iba't ibang mga paraan ng ad hoc tulad ng mga online na banner ad. Pagkatapos, ang isang mananaliksik ay maaaring magbayad sa panel provider para ma-access sa isang sample ng mga respondent na may ninanais na mga katangian (halimbawa, nationally kinatawan ng mga matatanda). Ang mga online na panel ay mga di-posibilidad na mga pamamaraan dahil hindi lahat ay may isang kilalang, nonzero posibilidad ng pagsasama. Bagama't ginagamit na ng mga panlipunang mananaliksik ang mga di-posibilidad na mga panel ng online (hal., Ang CCES), mayroon pa ring debate tungkol sa kalidad ng mga pagtatantya na nagmumula sa kanila (Callegaro et al. 2014) .

Sa kabila ng mga debate na ito, sa palagay ko may dalawang dahilan kung bakit tama ang oras para sa mga sosyal na mananaliksik upang muling isaalang-alang ang di-posibilidad na sampling. Una, sa digital age, nagkaroon ng maraming mga pagpapaunlad sa koleksyon at pagtatasa ng mga di-posibilidad na mga halimbawa. Ang mga mas bagong pamamaraan na ito ay sapat na naiiba mula sa mga pamamaraan na nagdulot ng mga problema sa nakaraan na sa palagay ko ay makatuwiran na isipin ang mga ito bilang "di-posibilidad na sampling 2.0." Ang ikalawang dahilan kung bakit ang mga mananaliksik ay dapat muling isaalang-alang ang di-posibilidad na sampling ay dahil sa probability sampling sa ang pagsasanay ay nagiging lalong mahirap. Kapag may mga mataas na rate ng di-tugon-tulad ng sa real survey ngayon-ang mga aktwal na probabilidad ng pagsasama para sa mga respondent ay hindi kilala, at sa gayon, ang mga posibilidad ng mga halimbawa at di-posibilidad na mga halimbawa ay hindi kasing-iba ng maraming naniniwala ang mga mananaliksik.

Tulad ng sinabi ko mas maaga, di-posibilidad halimbawa ay tiningnan na may mahusay na pag-aalinlangan sa pamamagitan ng maraming mga sosyal na mga mananaliksik, sa bahagi dahil sa kanilang papel sa ilan sa mga pinaka-nakakahiya pagkabigo sa mga unang araw ng survey pananaliksik. Ang isang malinaw na halimbawa kung gaano kalayo kami ay may mga di-posibilidad na halimbawa ay ang pananaliksik ni Wei Wang, David Rothschild, Sharad Goel, at Andrew Gelman (2015) na tama na nakuhang muli ang kinalabasan ng 2012 US election gamit ang isang di-posibilidad na sample ng Amerikano na mga gumagamit ng Xbox-isang di-wastong di-pangkaraniwang sample ng mga Amerikano. Ang mga mananaliksik ay nagrerekrut ng mga sumasagot mula sa sistema ng paglalaro ng XBox, at kung ano ang maaari mong asahan, ang Xbox sample skewed male at skewed young: 18- hanggang 29 taong gulang ay bumubuo ng 19% ng mga botante ngunit 65% ng sample ng Xbox, at mga lalaki bumubuo sa 47% ng mga manghahalal ngunit 93% ng sample ng Xbox (figure 3.7). Dahil sa malakas na demographic biases, ang raw na data ng Xbox ay isang mahinang tagapagpahiwatig ng mga pagbalik sa halalan. Inihula ang isang malakas na tagumpay para kay Mitt Romney sa paglipas ng Barack Obama. Muli, ito ay isa pang halimbawa ng mga panganib ng raw, unadjusted na mga probabilidad na di-posibilidad at nakapagpapaalaala sa kasawiang Pampanitikan .

Figure 3.7: Mga demograpiko ng mga sumasagot sa W. Wang et al. (2015) . Dahil ang mga sumasagot ay hinikayat mula sa XBox, mas malamang na sila ay bata pa at mas malamang na lalaki, na may kaugnayan sa mga botante sa halalan ng 2012. Inangkop mula sa W. Wang et al. (2015) , tayahin 1.

Gayunman, alam ni Wang at mga kasamahan ang mga problemang ito at sinubukang i-adjust para sa kanilang di-random na proseso ng sampling kapag gumagawa ng mga pagtatantya. Sa partikular, gumamit sila ng post-stratification , isang pamamaraan na malawakang ginagamit din upang ayusin ang mga posibilidad ng mga sample na may mga error sa coverage at di-tugon.

Ang pangunahing ideya ng post-stratification ay ang paggamit ng katulong na impormasyon tungkol sa target na populasyon upang makatulong na mapabuti ang pagtatantya na nagmula sa isang sample. Kapag gumagamit ng post-stratification upang makagawa ng mga pagtatantya mula sa kanilang di-posibilidad na sample, inalis ni Wang at kasamahan ang populasyon sa iba't ibang mga grupo, tinatantya ang suporta para kay Obama sa bawat grupo, at pagkatapos ay kinuha ang isang timbang na average ng mga pagtatantya ng grupo upang makagawa ng pangkalahatang pagtantya. Halimbawa, maaari nilang hatiin ang populasyon sa dalawang grupo (mga kalalakihan at kababaihan), tinatantya ang suporta kay Obama sa mga kalalakihan at kababaihan, at tinatantya ang pangkalahatang suporta para kay Obama sa pamamagitan ng pagkuha ng timbang na average upang maitala ang katotohanan na ang mga kababaihan ay gumagawa up 53% ng mga botante at lalaki 47%. Halos, ang post-stratification ay tumutulong sa tama para sa isang hindi timbang na sample sa pamamagitan ng pagdadala ng katulong na impormasyon tungkol sa mga laki ng mga grupo.

Ang susi sa post-stratification ay upang bumuo ng mga tamang grupo. Kung maaari mong i-chop up ang populasyon sa mga homogenous na mga grupo tulad na ang mga likas na tugon ay pareho para sa bawat isa sa bawat grupo, pagkatapos ang post-stratification ay makakapagdulot ng mga walang kinikilingan na pagtatantya. Sa madaling salita, ang post-stratifying ayon sa kasarian ay magbubunga ng mga walang kinikilingan na pagtatantiya kung ang lahat ng tao ay may likas na pagtugon at ang lahat ng kababaihan ay may katulad na likas na sagot. Ang palagay na ito ay tinatawag na homogeneous-response-propensities-in-group assumption, at inilarawan ko ito ng kaunti pa sa mathematical notes sa dulo ng kabanatang ito.

Siyempre, tila hindi na ang mga likas na tugon ay magiging pareho para sa lahat ng kalalakihan at kababaihan. Gayunpaman, nagiging mas mapaniniwalaan ang mga homogenous-response-propensity-sa-pangkat na palagay habang ang bilang ng mga grupo ay nagtataas. Halos, nagiging mas madali ang pagputol ng populasyon sa mga magkakatulad na grupo kung lumikha ka ng higit pang mga grupo. Halimbawa, maaaring tila hindi katanggap-tanggap na ang lahat ng kababaihan ay may parehong likas na pagtugon, ngunit maaaring mukhang mas makatwiran na mayroong parehong likas na pagtugon sa lahat ng kababaihan na may edad na 18-29, na nagtapos sa kolehiyo, at nakatira sa California . Kaya, habang ang bilang ng mga pangkat na ginagamit sa post-stratification ay nakakakuha ng mas malaki, ang mga pagpapalagay na kinakailangan upang suportahan ang paraan ay maging mas makatwirang. Dahil sa katotohanang ito, madalas na nais ng mga mananaliksik na lumikha ng isang malaking bilang ng mga grupo para sa post-stratification. Gayunpaman, habang ang pagtaas ng bilang ng mga grupo, ang mga mananaliksik ay may iba't ibang problema: ang data sparsity. Kung mayroon lamang isang maliit na bilang ng mga tao sa bawat grupo, ang mga pagtatantya ay magiging mas hindi sigurado, at sa matinding kaso kung saan mayroong isang grupo na walang mga sumasagot, pagkatapos ay ang post-stratification ay ganap na masira.

Mayroong dalawang mga paraan mula sa likas na pag-igting sa pagitan ng posibilidad ng palagay na homogenous-response-propensity-within-groups at ang demand para sa makatuwirang mga laki ng sample sa bawat grupo. Una, ang mga mananaliksik ay maaaring mangolekta ng isang mas malaki, mas magkakaibang sample, na tumutulong na matiyak ang mga makatwirang laki ng sample sa bawat grupo. Pangalawa, maaari nilang gamitin ang isang mas sopistikadong statistical model para sa paggawa ng mga pagtatantya sa loob ng mga grupo. At, sa katunayan, kung minsan ang mga mananaliksik ay pareho, tulad ng ginawa ni Wang at mga kasamahan sa kanilang pag-aaral ng halalan gamit ang mga sumasagot mula sa Xbox.

Dahil ginagamit nila ang isang paraan ng di-posibilidad na sampling sa mga interbyu na pinangangasiwaan ng computer (mas marami akong mag-uusap tungkol sa mga panayam na pinangangasiwaan ng computer sa seksyon 3.5), ang Wang at mga kasamahan ay may napaka-murang koleksyon ng data, na nagpapagana sa kanila na mangolekta ng impormasyon mula sa 345,858 natatanging kalahok , isang malaking bilang ng mga pamantayan ng botohan sa eleksiyon. Ang napakalaking sample size na ito ay nagpapahintulot sa kanila na bumuo ng isang malaking bilang ng mga post-stratification group. Kung saan ang karaniwang post-stratification ay nagsasangkot ng pagputol ng populasyon sa daan-daang grupo, ang Wang at mga kasamahan ay hinati ang populasyon sa 176,256 na grupo na tinukoy ng kasarian (2 kategorya), lahi (4 kategorya), edad (4 na kategorya), edukasyon (4 na kategorya) (51 kategorya), partido ID (3 kategorya), ideolohiya (3 kategorya), at 2008 boto (3 kategorya). Sa madaling salita, ang kanilang malaking sukat ng sample, na pinagana ng mababang halaga ng koleksyon ng data, ay nagpapagana sa kanila na gumawa ng isang mas matibay na palagay sa kanilang proseso ng pagtingin.

Kahit na may 345,858 natatanging kalahok, gayunpaman, marami pa rin, maraming mga grupo kung saan halos walang mga sumasagot si Wang at mga kasamahan. Samakatuwid, ginamit nila ang isang pamamaraan na tinatawag na multilevel regression upang tantiyahin ang suporta sa bawat grupo. Mahalaga, upang tantiyahin ang suporta kay Obama sa loob ng isang partikular na grupo, ang pagsasaayos ng multilevel ay nagtaglay ng impormasyon mula sa maraming malapit na kaugnay na mga grupo. Halimbawa, isipin na sinusubukan mong tantyahin ang suporta para kay Obama sa mga babaeng Hispanics sa pagitan ng 18 at 29 taong gulang, na nagtapos sa kolehiyo, na nakarehistro sa Demokratiko, na makilala ang sarili bilang mga katamtaman, at bumoto kay Obama noong 2008. Ito ay isang napaka , napaka tiyak na grupo, at posible na walang sinuman sa sample na may mga katangiang ito. Samakatuwid, upang gumawa ng mga pagtatantya tungkol sa grupong ito, ang multilevel regression ay gumagamit ng isang istatistika na modelo upang magkasama ang mga pagtatantya mula sa mga taong nasa magkatulad na grupo.

Kaya, ginamit ni Wang at mga kasamahan ang isang diskarte na pinagsama ang pagbabalik ng multilevel at post-stratification, kaya tinawag nila ang kanilang diskarte na multilevel na pagbabalik sa post-stratification o, mas mapang-akit, "Mr. P. "Nang gumamit si Wang at mga kasamahan ng Mr P. upang gumawa ng mga pagtatantya mula sa XBox na di-posibilidad na sample, gumawa sila ng mga pagtatantya na malapit sa pangkalahatang suporta na tinanggap ni Obama sa 2012 na halalan (figure 3.8). Sa katunayan ang kanilang mga pagtatantya ay mas tumpak kaysa sa isang pinagsama-samang tradisyonal na pampublikong opinyon sa mga botohan. Kaya, sa kasong ito, ang mga pagsasaayos ng statistical-partikular na si Ginoong P.-tila gumawa ng isang mahusay na trabaho ng pagwawasto ng biases sa di-posibilidad na data; mga biases na malinaw na nakikita kapag tiningnan mo ang mga pagtatantya mula sa hindi naka-adjust na data ng Xbox.

Figure 3.8: Mga pagtatantya mula sa W. Wang et al. (2015) . Ang hindi naka-adjust na sample ng XBox ay gumawa ng mga hindi tumpak na pagtatantya. Subalit, ang tinimbang na sample ng XBox ay gumawa ng mga pagtatantya na mas tumpak kaysa sa isang average ng posibilidad na batay sa mga survey ng telepono. Inangkop mula sa W. Wang et al. (2015) , mga numero 2 at 3.

Mayroong dalawang pangunahing aralin mula sa pag-aaral ng Wang at mga kasamahan. Una, ang mga di-sinadya na di-posibilidad na mga halimbawa ay maaaring humantong sa masamang mga pagtatantya; ito ay isang aralin na maraming mga mananaliksik ay narinig bago. Ang pangalawang aralin, gayunpaman, ay ang mga di-posibilidad na mga halimbawa, kapag pinag-aralan nang maayos, ay maaaring makabuo ng mga mahusay na pagtatantya; Ang mga di-posibilidad na mga sample ay hindi kailangang awtomatikong humahantong sa isang bagay na tulad ng pagkasira ng Literary Digest .

Pasulong, kung sinusubukan mong magpasya sa pagitan ng paggamit ng isang posibilidad na sampling na diskarte at isang hindi posibilidad na sampling diskarte nakaharap ka ng isang mahirap na pagpipilian. Minsan ang mga mananaliksik ay nagnanais ng isang mabilis at matibay na panuntunan (hal., Laging gumamit ng mga paraan ng sampling na posibilidad), ngunit mahirap na mag-alok ng gayong patakaran. Ang mga mananaliksik ay nakaharap sa isang mahirap na pagpipilian sa pagitan ng mga paraan ng pagbabawas ng posibilidad sa pagsasanay-na kung saan ay lalong mahal at malayo mula sa mga teoretikong resulta na nagpapawalang-bisa sa kanilang mga pamamaraan ng paggamit-at hindi posibilidad ng sampling-na mas mura at mas mabilis, ngunit hindi gaanong pamilyar at mas magkakaiba. Gayunman, isang bagay na malinaw na kung ikaw ay pinilit na magtrabaho kasama ang mga di-posibilidad na mga sample o hindi pangkalahatan na malaking pinagkukunan ng data (isipin pabalik sa Kabanata 2), pagkatapos ay mayroong isang malakas na dahilan upang maniwala na ang mga pagtatantiya na ginawa gamit ang post-stratification at ang mga kaugnay na diskarte ay magiging mas mahusay kaysa sa hindi nakaayos, raw na mga pagtatantya.