3.4 Kinsa sa pagpangutana

Ang digital nga edad mao ang paghimo sa probability sampling sa praktis nga mas lisud ug nagmugna og bag-o nga mga oportunidad alang sa dili pagkapili sa probabilidad.

Sa kasaysayan sa sampling, dihay duha ka nagkasumpaki nga mga pamaagi: mga posibilidad sa sampling methods ug non-probability sampling methods. Bisan tuod ang duha nga mga pamaagi gigamit sa unang mga adlaw sa sampling, ang sampling sa posibilidad miabut sa pagdominar, ug daghang mga tigdukiduki sa katilingban gitudloan sa pagtan-aw sa dili posibilidad nga sampling uban ang dakong pagduhaduha. Apan, ingon sa akong paghulagway sa ubos, ang mga kausaban nga gimugna sa digital nga edad nagpasabot nga panahon na alang sa mga tigdukiduki sa pag-usisa pag-usab sa non-probability sampling. Sa partikular, ang sampling sa probabilidad nagkalisud sa pagbuhat sa praktis, ug ang dili-probability sampling mas paspas, mas barato, ug mas maayo. Ang mas taas ug mas barato nga surbey dili lamang sa ilang mga kaugalingon: kini naghimo sa mga bag-o nga mga oportunidad sama sa mas kanunay nga survey ug mas dako nga mga gidak-on sa sample. Pananglitan, pinaagi sa paggamit sa mga pamaagi sa dili posibilidad nga ang Cooperative Congressional Election Study (CCES) makabaton sa halos 10 ka pilo nga mga partisipante kaysa sa mga naunang mga pagtuon gamit ang probability sampling. Kini nga mas daghan nga sample naghimo sa mga tigdukiduki sa politika sa pagtuon sa kalainan sa mga kinaiya ug kinaiya sa mga subgroup ug mga sosyal nga konteksto. Dugang pa, ang tanan niini nga gidugang nga timbangan miabut nga walay pagkunhod sa kalidad sa mga pagbanabana (Ansolabehere and Rivers 2013) .

Sa pagkakaron, ang nag-una nga pamaagi sa sampling alang sa social research mao ang probability sampling . Sa posibilidad nga sampling, ang tanan nga mga sakop sa target nga populasyon adunay usa ka nahibal-an, dili mahimo nga sampol, ug ang tanan nga mga sampol nga mitubag sa survey. Sa diha nga kini nga mga kondisyon nahimamat, ang matahum nga mga resulta sa matematika naghatag og kasaligang mga garantiya mahitungod sa abilidad sa usa ka tigdukiduki sa paggamit sa sample aron paghimo sa mga pagsabut mahitungod sa target nga populasyon.

Sa tinuod nga kalibutan, bisan pa niana, ang mga kondisyon nga nagpahipi niining mga pagtuon sa matematika panagsa ra nahimamat. Pananglitan, kasagaran adunay mga sayop nga pagsakop ug dili responsibilidad. Tungod niini nga mga problema, ang mga tigdukiduki kasagaran kinahanglan nga mogamit sa nagkalain-laing mga pag-adjust sa istatistika aron mahibal-an ang ilang sample ngadto sa ilang target nga populasyon. Busa, mahinungdanon ang pag-ila tali sa probability sampling sa teoriya , nga adunay lig-on nga teoretical nga mga garantiya, ug ang posibilidad nga sampling sa praktis , nga wala naghatag sa ingon nga mga garantiya ug nag-agad sa nagkalainlain nga pag-adjust sa istatistika.

Sa paglabay sa panahon, ang mga kalainan tali sa probability sampling sa teorya ug ang probability sampling sa practice nagkadako. Pananglitan, ang dili pagtubag nga mga rate padayon nga nag-uswag, bisan sa taas nga kalidad, mahal nga survey (numero 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Mas taas ang rates sa mga nonresponse sa mga survey sa komersyal nga telepono-usahay gani taas ang 90% (Kohut et al. 2012) . Kini nga pag-uswag sa mga dili responsibilidad naghulga sa kalidad sa mga pagbanabana tungod kay ang mga pagbanabana mas nagdepende sa mga istatistikong estatistika nga gigamit sa mga tigdukiduki sa pag-adjust alang sa dili pagtubag. Dugang pa, kini nga mga pagkunhod sa kalidad nahitabo bisan pa sa nagkadaghang gasto nga paningkamot sa mga tigdukiduki sa surbey aron sa pagpadayon sa taas nga mga tubag Ang pipila ka mga tawo nahadlok nga kining duha nga mga uso sa pagkunhod sa kalidad ug pagdugang sa gasto naghulga sa pundasyon sa pagsiksik sa survey (National Research Council 2013) .

Figure 3.5: Ang nonresponse nagkadaghan, bisan sa mga mahalon nga mahal nga survey (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Mas taas ang rate sa mga nonresponse alang sa mga komersyal nga mga survey sa telepono, usahay bisan sa hataas nga 90% (Kohut et al. 2012) . Kining dugay na nga mga uso sa dili pagtubag nagpasabot nga ang pagkolekta sa datos mas mahal ug ang mga pagbanabana dili masaligan. Gikuha gikan sa BD Meyer, Mok, and Sullivan (2015) , numero 1.

Sa samang higayon nga nagkadaghan ang mga kalisud sa mga pamaagi sa pag-sampol sa posibilidad, dunay usab ka kulbahinam nga mga kalambuan sa mga dili-posibilidad nga sampling nga pamaagi . Adunay nagkalainlaing mga estilo sa mga dili-posibilidad nga sampling nga mga pamaagi, apan ang usa ka butang nga parehas nila mao nga dili kini sayon ​​nga mahimo sa matematika nga balangkas sa probability sampling (Baker et al. 2013) . Sa laing pagkasulti, sa mga pamaagi sa pag-sampol nga dili posibilidad nga dili tanan ang adunay usa ka nahibal-an ug dili mahimo nga paglakip. Ang mga pamaagi sa pag-sampol sa dili posibilidad adunay usa ka makalilisang nga dungog sa mga tigdukiduki sa katilingban ug sila nakig-uban sa pipila ka mga labing dramatikong kapakyasan sa mga tigdukiduki sa surbey, sama sa sayup nga Literary Digest (gihisgutan sa sayo pa) ug "Dewey Defeats Truman," ang sayop nga panagna mahitungod sa US eleksyon sa 1948 (numero 3.6).

Figure 3.6: Si Presidente Harry Truman naghupot sa ulohan sa usa ka mantalaan nga sayop nga nagpahibalo sa iyang kapildihan. Kini nga ulohan gibase sa bahin sa mga gibana-bana gikan sa mga dili posibilidad nga mga sampol (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Bisan pa ang "Dewey Defeats Truman" nahitabo sa 1948, kini usa gihapon sa mga hinungdan nga ang pipila ka tigdukiduki nagduhaduha mahitungod sa mga pagbanabana gikan sa mga dili probabilidad nga mga sampol. Source: Harry S. Truman Library & Museum .

Usa ka porma sa dili posibilidad nga sampling nga partikular nga haum sa digital age mao ang paggamit sa mga online nga mga panel . Ang mga tigdukiduki nga naggamit sa mga online nga panel nagdepende sa pipila ka panel provider-kasagaran usa ka kompaniya, gobyerno, o unibersidad-aron sa pagtukod sa usa ka dako, nagkalainlain nga pundok sa mga tawo nga mouyon nga magsilbing mga tubag alang sa mga survey. Kini nga mga partisipante sa panel kasagaran girekrut gamit ang lainlaing mga pamaagi sa ad hoc sama sa online ad banner. Dayon, ang usa ka tigdukiduki mahimo nga mobayad sa tigsuportar sa panel alang sa pag-access sa usa ka sampol nga mga respondent uban sa mga gusto nga mga kinaiya (pananglitan, nasudnong representante sa mga hamtong). Ang mga online nga mga panel dili mga pamaagi sa dili posibilidad tungod kay dili tanan adunay usa ka nahibal-an, dili mahimo nga paglakip. Bisan tuod ang dili posibilidad nga mga drowing sa internet gigamit na sa mga tigdukiduki nga sosyal (pananglitan, ang CCES), aduna gihapoy debate bahin sa kalidad sa mga pagbanabana nga gikan kanila (Callegaro et al. 2014) .

Bisan pa niini nga mga debate, sa akong hunahuna adunay duha ka mga rason ngano nga ang panahon tukma alang sa sosyal nga mga tigdukiduki aron pag-usisa pag-usab sa dili posibling sampling. Una, sa digital age, adunay daghan nga mga kalamboan sa pagkolekta ug pagtuon sa mga dili posibilidad nga mga sampol. Kining mas bag-o nga mga pamaagi lahi ra gikan sa mga pamaagi nga maoy hinungdan sa mga problema sa nangagi nga sa akong hunahuna mas maayo nga hunahunaon sila isip "non-probability sampling 2.0." Ang ikaduha nga rason ngano nga ang mga tigdukiduki kinahanglan mag-usisa sa dili probability sampling tungod kay ang probability sampling sa ang praktis nagkalisud. Sa diha nga adunay taas nga mga rate sa dili pagtubag-ingon nga adunay tinuod nga mga survey karon-ang tinuod nga kalagmitan sa paglakip alang sa mga respondents wala mahibaloi, ug sa ingon, ang mga sampol sa probabilidad ug mga dili posibilidad nga mga sampol dili sama ka lahi sa gituohan sa daghang tigpanukiduki.

Sama sa akong gisulti sa sayo pa, ang dili mga posibilidad nga mga sampol giisip nga adunay dakong pagduhaduha sa daghan nga mga tigdukiduki sa katilingban, sa bahin tungod sa ilang papel sa pipila sa labing makauulaw nga mga kapakyasan sa unang mga adlaw sa panukiduki sa surbey. Ang usa ka tin-aw nga pananglitan kon unsa kami ka layo sa mga dili posibilidad nga mga sampol mao ang panukiduki ni Wei Wang, David Rothschild, Sharad Goel, ug Andrew Gelman (2015) nga nakuha sa husto ang resulta sa eleksyon sa 2012 sa US gamit ang usa ka non-probability sample Amerikano nga mga tiggamit sa Xbox-usa ka dili tin-aw nga sampol nga mga Amerikano. Ang mga tigdukiduki mi-recruit sa mga respondent gikan sa sistema sa pasugal sa XBox, ug ingon sa imong gilauman, ang sample sa Xbox nag-us aka mga lalaki ug skewed nga batan-on: Ang 18 ngadto sa 29 anyos naglangkob sa 19% sa mga electorate apan 65% sa Xbox sample, ug mga lalaki naglangkob sa 47% sa mga electorate apan 93% sa Xbox sample (numero 3.7). Tungod niining malig-on nga demographic biases, ang hilaw nga data sa Xbox usa ka dili maayo nga timailhan sa mga pagbalik sa eleksiyon. Gitagna kini nga usa ka kusog nga kadaugan alang kang Mitt Romney batok ni Barack Obama. Usab, kini usa pa ka pananglitan sa mga kapeligro sa mga hilaw, wala-adjust nga mga dili posibilidad nga mga sampol ug nagpahinumdum sa pagpanghilabot sa Literary Digest .

Figure 3.7: Demograpiya sa mga mitubag sa W. Wang et al. (2015) . Tungod kay ang mga respondents gi-recruit gikan sa XBox, sila mas lagmit nga mahimong mga batan-on ug mas lagmit nga lalaki, kon itandi sa mga botante sa eleksyon sa 2012. Gikuha gikan sa W. Wang et al. (2015) , numero 1.

Apan, nahibal-an ni Wang ug mga kaubanan ang mga problema ug misulay sa pag-adjust sa ilang dili-random sampling nga proseso sa paghimo sa mga pagbanabana. Ilabi na, gigamit nila ang post-stratification , usa ka pamaagi nga gigamit usab sa pag-adjust sa mga sampol nga posibilidad nga adunay mga coverage nga mga sayup ug dili pagtubag.

Ang nag-unang ideya sa post-stratification mao ang paggamit sa impormasyon nga dugang mahitungod sa target nga populasyon aron makatabang sa pagpalambo sa banabana nga nagagikan sa usa ka sample. Sa dihang gigamit ang post-stratification sa paghimo sa mga pagbanabana gikan sa ilang dili probabilidad nga sample, si Wang ug kaubanan nagbugha sa populasyon ngadto sa nagkalainlaing mga grupo, gibana-bana ang suporta ni Obama sa matag grupo, ug dayon gikuha ang usa ka timbang nga aberids sa mga gibana-bana nga grupo aron sa pagmugna og usa ka kinatibuk-ang banabana. Pananglitan, mahimo nga gibahinbahin nila ang populasyon ngadto sa duha ka grupo (mga lalaki ug mga babaye), gibanabana ang suporta ni Obama sa mga lalaki ug babaye, ug gibanabana ang kinatibuk-ang suporta ni Obama pinaagi sa pagkuha sa usa ka timbang nga timbang aron sa pag-asoy sa kamatuoran nga ang mga babaye makahimo 53% sa mga botante ug mga tawo 47%. Sa kasarangan, ang post-stratification makatabang sa pagkorihir alang sa usa ka dili balanse nga sample pinaagi sa pagdala sa impormasyon sa auxiliary mahitungod sa mga gidak-on sa mga grupo.

Ang yawe sa post-stratification mao ang paghimo sa husto nga mga grupo. Kung mahimo nimo nga maputol ang populasyon ngadto sa mga homogenous nga mga grupo sa ingon nga ang mga tubag nga mga panglantaw parehas alang sa matag usa sa matag grupo, nan ang post-stratification magpamatuod nga dili mapamatud-an. Sa laing pagkasulti, ang post-stratifying sa gender magpatunghag dili angay nga mga pagbana-bana kon ang tanan nga mga lalaki adunay tubag nga kahinam ug ang tanan nga mga babaye adunay susama nga panglantaw sa tubag. Kini nga pangagpas gitawag nga homogeneous-response-aspensities-sa sulod nga grupo nga gipangita, ug akong gihulagway kini sa usa ka gamay pa sa mga nota sa matematika sa katapusan niini nga kapitulo.

Siyempre, daw dili tingali nga ang mga tubag nga mga panglantaw sama ra sa tanang lalaki ug babaye. Bisan pa, ang mga homogenous-response-aspenidad-sa sulod nga grupo nga pangagpas nahimong labi ka katuohan samtang nagkadaghan ang mga grupo. Sa hinay-hinay, mahimong mas sayon ​​ang pagputol sa populasyon ngadto sa mga homogenous nga mga grupo kung makahimo ka og dugang mga grupo. Pananglitan, daw dili katuohan nga ang tanan nga mga kababayen-an parehas nga tubag, apan tingali mas makatumong nga adunay susama nga pagtubag sa tanan nga kababayen-an nga nag-edad 18-29, kinsa migradwar sa kolehiyo, ug kinsa nagpuyo sa California . Busa, samtang ang gidaghanon sa mga grupo nga gigamit sa post-stratification mas dako, ang mga pangagpas nga gikinahanglan aron masuportahan ang pamaagi mahimong mas makatarunganon. Tungod niini nga kamatuoran, ang mga tigdukiduki sa kasagaran gusto nga maghimo og daghang mga grupo alang sa post-stratification. Bisan pa, samtang nagkadaghan ang mga grupo nga nagdugang, ang mga tigdukiduki nahulog ngadto sa usa ka lain nga problema: sparsity sa datos. Kung adunay usa ka gamay nga gidaghanon sa mga tawo sa matag grupo, nan ang mga gibana-bana mas dili sigurado, ug sa grabeng kaso diin adunay usa ka grupo nga walay mga respondent, nan ang post-stratification hingpit nga maguba.

Adunay duha ka mga paagi gikan niining tiunay nga tensyon tali sa pagkamahinungdanon sa homogeneous-response-liksiyon-sa sulod nga grupo nga pangagpas ug ang panginahanglan alang sa makatarunganon nga mga gidak-on sa sample sa matag grupo. Una, ang mga tigdukiduki makahimo sa pagkolekta sa usa ka mas dako, mas lain-laing mga sample, nga makatabang sa pagsiguro nga ang mga sukaranan nga sukod sa matag grupo. Ikaduha, makagamit sila sa usa ka labaw nga komplikado nga estatistika nga modelo sa paghimo sa mga pagbanabana sulod sa mga grupo. Ug, sa pagkatinuod, usahay gihimo sa mga tigdukiduki, sama sa gihimo ni Wang ug kauban sa ilang pagtuon sa eleksiyon ginamit ang mga mitubag gikan sa Xbox.

Tungod kay sila migamit sa usa ka non-probability sampling nga pamaagi sa mga interbyu nga gipadumala sa computer (maghisgut ko og dugang mahitungod sa mga interbyu nga gipadumala sa computer sa seksyon 3.5), si Wang ug mga kaubanan adunay dili kaayo mahal nga pagkolekta sa datos, nga nakahimo kanila sa pagkolekta og impormasyon gikan sa 345,858 nga talagsaon nga mga partisipante , usa ka dako nga gidaghanon sa mga sumbanan sa polling sa eleksyon. Kining dako nga sampol nga sukod nakahimo kanila sa pagporma sa usa ka dako nga gidaghanon sa mga post-stratification nga mga grupo. Samtang ang post-stratification kasagaran naglakip sa pagputol sa populasyon ngadto sa gatusan ka mga grupo, gibahin sa mga Wang ug kaubanan ang populasyon ngadto sa 176,256 nga mga grupo nga gilatid sa gender (2 nga mga kategoriya), lumba (4 ka kategoriya), edad (4 ka kategoriya), edukasyon (4 ka kategoriya) (51 ka kategoriya), partido ID (3 ka kategoriya), ideolohiya (3 ka kategoriya), ug 2008 nga boto (3 ka kategoriya). Sa laing pagkasulti, ang ilang dako nga sample nga gidak-on, nga nakab-ot pinaagi sa pagkolekta sa datos nga ubos ang gasto, nakahimo kanila sa paghimo sa usa ka mas masaligan nga pangagpas sa ilang pagbana-bana nga proseso.

Bisan pa sa 345,858 nga talagsaon nga mga partisipante, bisan pa, adunay daghan pa, daghan nga mga grupo diin ang mga kaubanan ni Wang ug mga kauban walay hapit walay mga tubag. Busa, gigamit nila ang usa ka pamaagi nga gitawag nga multilevel regression aron mabanabana ang suporta sa matag grupo. Sa pagkatinuod, aron mabanabana ang pagpaluyo ni Obama sulod sa usa ka piho nga pundok, ang pagtan-aw sa multilevel naglangkob sa kasayuran gikan sa nagkalainlain nga mga grupo. Pananglitan, hunahunaa ang pagsulay sa pagbana-bana sa suporta alang ni Obama sa mga babaye nga Hispanics sa taliwala sa 18 ug 29 anyos, kinsa mga gradwado sa kolehiyo, nga rehistrado nga mga Democrats, nga nagpaila sa kaugalingon nga mga moderate, ug kinsa nagboto alang ni Obama sa 2008. Kini usa ka , piho kaayo nga pundok, ug kini posible nga walay usa diha sa sample nga adunay kini nga mga kinaiya. Busa, aron paghimo sa mga pagbanabana mahitungod niini nga grupo, ang multilevel regression naggamit sa usa ka estatistika nga estilo nga magtigum sa mga pagbanabana gikan sa mga tawo nga adunay susama nga mga grupo.

Sa ingon, gigamit ni Wang ug mga kaubanan ang usa ka pamaagi nga gihiusa ang pagsaysay sa multilevel ug post-stratification, mao nga gitawag nila ang ilang estratehiya nga multilevel nga pagbag-o sa post-stratification o, labaw pa ka mabination, "Mr. P. "Sa dihang gigamit ni Wang ug mga kaubanan si G. P. sa paghimo sa mga pagbanabana gikan sa XBox non-probability sample, naghimo kini sa mga pagbanabana nga duol kaayo sa kinatibuk-ang suporta nga nadawat ni Obama sa 2012 nga eleksyon (numero 3.8). Sa pagkatinuod ang ilang mga pagbanabana mas tukma kay sa usa ka kinatibuk-an sa tradisyonal nga mga opinyon sa publiko. Busa, niining kasoha, ang mga kausaban sa estadistika-ilabi na si Mr. P.-daw sa usa ka maayong trabaho sa pagtul-id sa mga biases sa dili nga probabilidad nga datos; ang mga pagtan-aw nga tin-aw nga makita sa dihang imong gitan-aw ang mga gibana-bana gikan sa wala-adjust nga datos sa Xbox.

Figure 3.8: Estimates gikan sa W. Wang et al. (2015) . Ang dili adjust nga XBox nga sampol naghimo og dili tukmang pagbanabana. Apan, ang gibug-aton nga sample sa XBox naghatag og mga gibana-bana nga mas tukma kay sa kasagaran sa posibilidad nga nakabase nga survey sa telepono. Gikuha gikan sa W. Wang et al. (2015) , mga numero 2 ug 3.

Adunay duha ka mga leksyon gikan sa pagtuon ni Wang ug mga kaubanan. Una, ang dili-adjust nga dili posibilidad nga mga sampol mahimong mosangpot sa dili maayo nga pagbanabana; Kini usa ka pagtulon-an nga nadungog sa kadaghanan sa mga tigdukiduki kaniadto. Ang ikaduha nga pagtulun-an, bisan pa, mao nga ang mga dili posibilidad nga mga sampol, kung maayo ang pag-analisar, sa tinuud makahimo og maayong mga pagbanabana; ang mga sample sa dili posibilidad nga dili awtomatik nga mosangpot sa usa ka butang sama sa sayup nga Literary Digest .

Ang pag-uswag, kon nagtinguha ka sa paghukom tali sa paggamit sa usa ka probability sampling approach ug usa ka dili-probability sampling approach nga imong atubangon ang lisud nga pagpili. Usahay ang mga tigdukiduki gusto usa ka dali ug rigid nga lagda (pananglitan, kanunay mogamit sa mga pamaagi sa pag-sampol sa kalagmitan), apan nagkalisud kini sa paghalad sa maong lagda. Ang mga tigdukiduki nag-atubang sa lisud nga pagpili tali sa mga pamaagi sa pag-sampol sa posibilidad sa praktis-nga mas mahal ug layo sa mga resulta sa teoretikal nga naghatag og katarungan sa ilang mga paggamit-ug dili-probability sampling methods-nga mas barato ug mas paspas, apan dili kaayo pamilyar ug nagkadaiya. Apan, usa ka butang nga klaro mao nga kon napugos ka nga magtrabaho uban sa mga dili probabilidad nga mga sample o wala magrepresentar nga dagkong mga tinubdan sa datos (hunahunaa balik sa Kapitulo 2), nan adunay lig-on nga rason sa pagtuo nga ang mga pagbanabana nga gigamit gamit ang post-stratification ug ang mga pamaagi nga may kalabutan mas maayo pa kay sa dili na-adjust, mga pagbanabana sa bili.