3.4 Kiu demandi

La cifereca aĝo faras la probablecon de samplado en praktiko pli malfacila kaj kreas novajn ŝancojn por ne-probabla sampado.

En la historio de la specimeno, estis du konkurantaj aliroj: probabloj de specimeno kaj specimenoj de ne-probabloj. Kvankam ambaŭ aliroj estis uzataj en la fruaj tagoj de sampado, probabloj de samplado venis por regi, kaj multaj sociaj esploristoj instruas vidi neprobablan sampadon kun granda escepticismo. Tamen, kiel mi priskribos sube, la ŝanĝoj kreitaj de la cifereca aĝo signifas, ke temas pri esploristoj reconsideri neprobablan samplon. En aparta, probabla specimeno estis malfacile fariĝi en praktiko, kaj ne-probabla specimeno estis pli rapide, pli malmultekosta kaj pli bona. Pli rapidaj kaj malmultekostaj enketoj ne nur finiĝas en si mem: ili ebligas novajn ŝancojn kiel pli oftaj enketoj kaj pli grandaj specimenaj grandecoj. Ekzemple, per uzado de ne-probablaj metodoj la Kooperativa Kongresa Kongresa Studo (CCES) povas havi proksimume 10 fojojn pli da partoprenantoj ol antaŭaj studoj uzantaj probablajn specimenojn. Ĉi tiu multe pli granda specimeno ebligas politikajn esploristojn studi varion en sintenoj kaj konduto trans subgrupoj kaj sociaj kuntekstoj. Plie, ĉio ĉi aldonita skalo venis sen malpliigoj en la kvalito de korinklinoj (Ansolabehere and Rivers 2013) .

Nuntempe, la reganta aliro al samplado por socia esplorado estas probabla specimeno . En probabla specimeno, ĉiuj membroj de la cela loĝantaro havas konatan, ne-probablon de esti montrita, kaj ĉiuj homoj, kiuj estas montritaj, respondas al la enketo. Kiam ĉi tiuj kondiĉoj estas renkontitaj, elegantaj matematikaj rezultoj ofertas pruvebajn garantiojn pri la kapablo de esploristo uzi la specimenon por fari konferencojn pri la cela loĝantaro.

En la reala mondo, tamen, la kondiĉoj sub ĉi tiuj matematikaj rezultoj malofte renkontiĝas. Ekzemple, ofte estas kovraj eraroj kaj ne respondoj. Pro ĉi tiuj problemoj, esploristoj ofte devas uzi diversajn statistikajn adaptojn por fari konkludon de sia specimeno al ilia celo populacio. Tiel, gravas distingi inter probabloj de teorio de specimeno , kiu havas fortajn teoriajn garantiojn kaj probablojn en praktiko , kiuj ne ofertas tiajn garantiojn kaj dependas de diversaj statistikaj ĝustigoj.

Laŭlonge de la tempo, la diferencoj inter probabla specimeno en teorio kaj probabla specimeno en praktiko pliiĝis. Ekzemple, ne-respondaj indicoj konstante kreskis, eĉ en altkvalitaj, multekostaj enketoj (figuro 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Neresponaj indicoj estas multe pli altaj en komercaj telefonaj enketoj - kelkfoje eĉ pli alta ol 90% (Kohut et al. 2012) . Ĉi tiuj pliigoj en ne respondas minacas la kvaliton de taksoj ĉar la taksoj pli dependas de la statistikaj modeloj, kiujn esploristoj uzas por ĝustigi por ne respondo. Plue, ĉi tiuj malkreskoj en kvalito okazis malgraŭ pli multekostaj penoj de enketaj esploristoj por subteni altajn respondojn. Iuj homoj timas, ke ĉi tiuj ĝemaj tendencoj de malpliiĝanta kvalito kaj pliiĝanta kosto minacas la fundamenton de enketa esplorado (National Research Council 2013) .

Figuro 3.5: Neresponse estis ĉiufoje pli konstante, eĉ en multekvalitaj multekostaj enketoj (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Neresponaj indicoj estas multe pli altaj por komercaj telefonaj enketoj, kelkfoje eĉ pli alta ol 90% (Kohut et al. 2012) . Ĉi tiuj longtempaj tendencoj en ne responda signifas, ke kolekto de datumoj estas pli multekosta kaj taksoj estas malpli fidindaj. Adaptita de BD Meyer, Mok, and Sullivan (2015) , figuro 1.

Samtempe, ke kreskis malfacilaĵoj por probabloj de specimeno, ekzistis ankaŭ ekscitaj evoluoj en ne-probablaj specimenaj metodoj . Ekzistas vario de stiloj de ne-probablaj specimenaj metodoj, sed la unu afero, kiun ili havas en komuna, estas, ke ili ne facile kapablas en la matematika kadro de probabla specimeno (Baker et al. 2013) . Alivorte, en ne-probablaj specimenaj metodoj ne ĉiuj havas konatan kaj ne-probablan probablon de inkludo. Neprobablaj specimenaj metodoj havas teruran reputacion inter sociaj esploristoj kaj ili estas asociitaj kun kelkaj el la plej dramaj fiaskoj de enketaj esploristoj, kiel ekzemple la Literatura Digesto- fiasko (diskutita antaŭe) kaj "Dewey Defeats Truman", la malĝusta antaŭdiro pri Usono prezidantaj elektoj de 1948 (figuro 3.6).

Figuro 3.6: Prezidanto Harry Truman tenante la titolon de ĵurnalo, kiu malĝuste anoncis sian malvenkon. Ĉi tiu titolo estis bazita parte de taksoj de ne-probablaj specimenoj (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Kvankam "Dewey Defeats Truman" okazis en 1948, ĝi estas ankoraŭ inter la kialo, ke iuj esploristoj estas skeptikaj pri taksoj de ne-probablaj specimenoj. Fonto: Harry S. Truman Library & Museum .

Unu formo de ne-probabla specimeno kiu aparta al la cifereca aĝo estas uzado de interretaj paneloj . Esploristoj uzante interretaj paneloj dependas de iu panelo-provizanto - kutime kompanio, registaro aŭ universitato - por konstrui grandan, diversan grupon de homoj, kiuj konsentas servi kiel enketitaj por enketoj. Ĉi tiuj panelaj partoprenantoj ofte estas varbitaj per diversaj ad-metodoj, kiel enretaj banner-anoncoj. Tiam, esploristo povas pagi al la panelo-provizanto aliri al specimeno de respondantoj kun deziritaj trajtoj (ekz., Nacia reprezentanto de plenkreskuloj). Ĉi tiuj interretaj paneloj estas ne-probablodaj metodoj ĉar ne ĉiuj havas konatan, ne-verŝan probablon de inkludo. Kvankam sociaj esploristoj (ekzemple, la CCES) jam estas uzataj paneloj en linio ne probablaj, ekzistas ankoraŭ debato pri la kvalito de korinklinoj, kiuj venas de ili (Callegaro et al. 2014) .

Malgraŭ ĉi tiuj debatoj, mi pensas, ke ekzistas du kialoj, kial la tempo rajtas al sociaj esploristoj reconsideri neprobablan samplon. Unue, en la cifereca aĝo, estis multaj evoluoj en la kolekto kaj analizo de ne-probablaj specimenoj. Ĉi tiuj pli novaj metodoj diferencas sufiĉe de la metodoj, kiuj kaŭzis problemojn en la pasinteco, ke mi opinias, ke ĝi sentas pensi pri ili kiel "ne-probabla specimeno 2.0." La dua kialo, kial esploristoj devus reconsideri ne-probablajn specimenojn, estas ĉar probablo de samplo en praktikoj fariĝas ĉiam pli malfacilaj. Kiam estas altaj impostoj de ne-respondo -kiel estas en realaj enketoj nun-la realaj probabloj de inkludo por enketintoj estas nekonataj, kaj tiel, probablaj specimenoj kaj ne-probablaj specimenoj ne estas tiel malsamaj kiel multaj esploristoj kredas.

Kiel mi diris antaŭe, ne-probablaj specimenoj estas vidataj per granda esceptiko fare de multaj sociaj esploristoj, parte pro sia rolo en iuj el la plej embarasaj fiaskoj en la fruaj tagoj de enketa esploro. Klara ekzemplo de kiom ni alvenis kun specimenoj de neprobablaj estas la esplorado de Wei Wang, David Rothschild, Sharad Goel kaj Andrew Gelman (2015) kiuj rekte rekuperis la rezulton de la elekto de la usonaj elektoj de 2012 per neprobabla specimeno de Uzantoj de usonaj Xbox-specimeno ne indomena de usonanoj. La esploristoj varbis enketitajn el la XBox-videoludado, kaj kiel vi povus atendi, la Xbox-specimeno skuis virkapablajn virojn kaj skekajn junulojn: 18- ĝis 29-jaraj konsistigas 19% el la elektantaro sed 65% el la Xbox-specimeno kaj viroj konsistigas 47% de la elektantaro sed 93% de la Xbox-specimeno (figuro 3.7). Pro ĉi tiuj fortaj demografiaj antaŭjuĝoj, la krudaj Xbox-datumoj estis malriĉa indikilo de elektoj. Ĝi antaŭdiris fortan venkon por Mitt Romney super Barack Obama. Denove, ĉi tio estas alia ekzemplo de la danĝeroj de malpuraj, ne-konfiditaj ne-probablaj specimenoj kaj rememoras la Literatan Kreskonfiaskon .

Figuro 3.7: Demografio de enketintoj en W. Wang et al. (2015) . Ĉar enketistoj estis varbitaj de XBox, ili estis pli verŝajne esti junaj kaj pli verŝajne esti maskloj, rilate al balotantoj en la elekto de 2012. Adaptita de W. Wang et al. (2015) , figuro 1.

Tamen, Wang kaj kolegoj konsciis pri ĉi tiuj problemoj kaj provis ĝustigi por sia ne-hazarda specimena procezo, kiam ili faris taksojn. En aparta, ili uzis post-estratigon , teknikon kiu ankaŭ estas vaste uzata por ĝustigi probablajn specimenojn kiuj havas kovradajn erarojn kaj ne-respondon.

La ĉefa ideo de post-estratigo estas uzi helpajn informojn pri la cela loĝantaro por helpi plibonigi la takson de specimeno. Kiam uzanta post-estratifikon por taksado de ilia ne-probabla specimeno, Wang kaj kolego trinkis la loĝantaron en malsamajn grupojn, taksis la subtenon por Obama en ĉiu grupo, kaj tiam prenis pezon mezumita de la grupaj taksoj por produkti ĝeneralan takson. Ekzemple, ili povus disigi la loĝantaron en du grupojn (viroj kaj virinoj), taksis la subtenon al Obama inter viroj kaj virinoj, kaj tiam taksas ĝeneralan subtenon al Obama prenante pezan mezumon por rimarki la fakton, ke virinoj faras Supre 53% De la elektantaro kaj viroj 47%. Malmulte, post-stratigo helpas korekti por senkonsidera specimeno per helpo de informoj pri la grandecoj de la grupoj.

La ŝlosilo por post-estratigo estas formi la ĝustajn grupojn. Se vi povas forpreni la loĝantaron en homogeneajn grupojn, tiaj, ke la respondaj kapabloj estas samaj por ĉiuj en ĉiu grupo, tiam post-estratigo produktos nepreciajn taksojn. Alivorte, post-stratigado laŭ sekso produktos senpreciajn taksojn, se ĉiuj viroj havas la respondan propenson kaj ĉiuj virinoj havas la saman respondan propenson. Ĉi tiu supozo estas (nomita, vokis) la homogena-respondo-propensoj-inter-grupoj- supozo, kaj mi priskribas ĝin iom pli en la matematikaj notoj ĉe la fino de ĉi tiu ĉapitro.

Kompreneble, ŝajnas neprobabla, ke la respondaj kapabloj estos samaj por ĉiuj viroj kaj ĉiuj virinoj. Tamen, la supozo de homogenea respondo-propensoj-ene-grupoj fariĝas pli komprenebla laŭ la nombro da grupoj pliiĝas. Iomete, ĝi fariĝas pli facila eltiri la homaron al homogeneaj grupoj, se vi kreas pli da grupoj. Ekzemple, ŝajnas nekomprenebla, ke ĉiuj virinoj havas la saman respondan propenson, sed eble ŝajnas pli plaĉebla, ke ekzistas la sama respondo de ĉiuj virinoj, kiuj estas de 18 al 29 jaroj, kiuj diplomiĝis el la kolegio kaj loĝas en Kalifornio. . Tiel, ĉar la nombro da grupoj uzataj en post-estratifiko pliiĝas, la supozoj necesaj por subteni la metodon fariĝas pli racia. Konsiderante ĉi tiun fakton, esploristoj ofte volas krei grandegan grupon por post-estratigo. Tamen, kiel la nombro da grupoj pliiĝas, la esploristoj kuras al malsama problemo: datumpeco. Se estas nur malgranda nombro da homoj en ĉiu grupo, tiam la taksoj estos pli malcertaj, kaj en la ekstrema kazo, kie ekzistas grupo, kiu havas neniun respondon, tiam la post-estratigo tute rompas.

Ekzistas du manieroj el ĉi tiu propra streĉiĝo inter la plablebleco de la homogena respondo-propensiteco-ene-grupoj supozo kaj la postulo por raciaj specimenaj grandecoj en ĉiu grupo. Unue, esploristoj povas kolekti pli grandan kaj pli diversan specimenon, kiu helpas certigi raciajn specimenajn grandecojn en ĉiu grupo. Due, ili povas uzi pli kompleksan statistikan modelon por fari taksojn ene de grupoj. Kaj, fakte, kelkfoje esploristoj faras ambaŭ, kiel Wang kaj kolegoj faris kun ilia studado pri la elekto uzante respondantoj de Xbox.

Ĉar ili uzis ne-probablon-samplan metodon kun komputila administritaj intervjuoj (mi parolos pli pri komputil-administritaj intervjuoj en sekcio 3.5), Wang kaj kolegoj havis tre malmultekostan kolekton de datumoj, kiuj ebligis al ili kolekti informojn de 345.885 unikaj partoprenantoj , grandega nombro per la normoj de elekto-balotado. Ĉi tiu amasa specimena grandeco ebligis al ili formi grandegan numeron de post-estratigrupoj. Ĉar post-estratigo kutime implikas la popolon en centojn da grupoj, Wang kaj kolegoj dividis la loĝantaron en 176,256 grupoj difinitaj de sekso (2 kategorioj), raso (4 kategorioj), aĝo (4 kategorioj), edukado (4 kategorioj), ŝtato (51 kategorioj), partio ID (3 kategorioj), ideologio (3 kategorioj) kaj 2008 voĉdono (3 kategorioj). Alivorte, ilia grandega specimeno, kiu estis ebligita per malalta kostaj datumoj, ebligis al ili fari pli plaĉeblan supozon en ilia taksado.

Eĉ kun 345.885 unikaj partoprenantoj, tamen, ankoraŭ estis multaj, multaj grupoj por kiuj Wang kaj kolegoj preskaŭ ne respondis. Sekve, ili uzis teknikon nomitan multenevel-regreson por taksi la subtenon en ĉiu grupo. Esence, por taksi la subtenon al Obama ene de specifa grupo, la multenevela regresado kunigis informojn de multaj proksime rilataj grupoj. Ekzemple, imagu provi taksi la subtenon al Obama inter inaj hispanoj inter 18 kaj 29 jaroj, kiuj estas kolegiaj diplomatoj, kiuj estas registritaj Demokratoj, kiuj mem-identigas kiel moderaj, kaj kiuj voĉdonis por Obama en 2008. Ĉi tio estas tre , tre specifa grupo, kaj eblas ke neniu en la specimeno kun ĉi tiuj trajtoj. Sekve, por fari taksojn pri ĉi tiu grupo, multenevela regresado uzas statistikan modelon por kunflui korinklinojn de homoj en tre similaj grupoj.

Tiel, Wang kaj kolegoj uzis aliron, kiu kombinis multenevelajn regresojn kaj post-estratifikiĝojn, do ili nomis ilian strategion multenevelan regresiĝon kun post-estratifiko aŭ, pli amike, "sinjoro. P. "Kiam Wang kaj kolegoj uzis sinjoron P. por fari taksojn de la XBox-ne-probabla specimeno, ili produktis taksojn tre proksime al la ĝenerala subteno, kiun Obama ricevis en la elekto de 2012 (figuro 3.8). Fakte iliaj taksoj estis pli precizaj ol tuta de tradiciaj publikaj opinioj. Tiel, en ĉi tiu kazo, statistikaj ĝustigoj - specife sinjoro P. - ŝajnas fari bonan laboron korektante la antaŭjuĝojn en neprobablaj datumoj; parcialoj klare videblaj kiam vi rigardas la taksojn de la neoksenditaj Xbox-datumoj.

Figuro 3.8: Takso de W. Wang et al. (2015) . Neoksendita XBox-specimeno produktis malprecizajn korinklinojn. Sed, la peza XBox-specimeno produktis taksojn, kiuj estis pli precizaj ol mezumo de probablaj bazitaj telefonaj enketoj. Adaptita de W. Wang et al. (2015) , ciferoj 2 kaj 3.

Estas du ĉefaj lecionoj de la studado de Wang kaj kolegoj. Unue, ne-konfiditaj ne-probablaj specimenoj povas konduki al malbonaj taksoj; ĉi tio estas leciono, kiun multaj esploristoj antaŭe aŭdis. La dua leciono, tamen, estas (tiu, ke, kiu) ne-probablaj specimenoj, kiam analizite konvene, povas efektive produkti bonajn korinklinojn; Ne-probablaj specimenoj ne bezonas aŭtomate konduki al io simila al la fiasko de Literaturaj Digestoj .

Antaŭenirinte, se vi provas decidi inter uzado de probabla specifa alproksimiĝo kaj neprobabla specimeno, vi alfrontas malfacilan elekton. Kelkfoje la esploristoj deziras rapidan kaj rigidan regulon (ekz. Ĉiam uzu probablajn specimenajn metodojn), sed ĉiufoje pli malfacile ofertas tian regulon. Esploristoj alfrontas malfacilan elekton inter probabloj de specimeno de probabloj en praktiko, kiuj estas ĉiam pli multekostaj kaj malproksimaj de la teoriaj rezultoj, kiuj pravigas ilian uzon-kaj ne-probablajn specimenajn metodojn, kiuj estas pli malmultekostaj kaj pli rapidaj, sed malpli familiaraj kaj pli diversaj. Unu klara afero tamen estas, ke se vi devos labori kun ne-probablaj specimenoj aŭ ne reprezentantaj grandaj datumaj fontoj (pensu reen al Ĉapitro 2), tiam ekzistas forta kialo por kredi, ke taksoj faritaj per post-estratigo kaj rilataj teknikoj estos pli bonaj ol senjustigitaj, krudaj taksoj.