3.4 Wa om freegje
De digitale leeftiid makket wierskynlik problemen yn 'e praktyk hurder en makket nije mooglikheden foar net-probabilite-sampling.
Yn 'e skiednis fan sampling binne der twa konkurrearjende oanwêzings west: probabele problemenmetoaden en net-probabiliteit samplingmetoaden. Hoewol't beide oanwêzigen yn 'e begjinde dagen fan' e problemen brûkt waarden, is problemen problemen te behearjen kommen, en in soad sosjale ûndersikers wurde leard om net-probabiliteit-sampling te sjen mei grutte skeptisy. As lykwols ik hjirûnder beskreau, feroarings dy't makke binne troch de digitale leeftiid betsjutte dat it tiid is foar ûndersikers om net te probearjen fan problemen foar problemen. Foaral problemen problemen is hurd yn 'e praktyk te dwaan, en net-probabiliteit-sampling is hurderer, goedkeaper en better. Feroarings en goedkeapere ûndersiken binne net allinich yn 'e hichte: se makket nije kânsen, lykas faker oersjoggen en gruttere problemen. Bygelyks troch de net-probabele metoaden te brûken, kin de Cooperative Congressional Election Study (CCES) omtrint 10 kear mear dielnimmers hawwe as eardere stúdzjes dy't probearre probearjen brûke. Dizze folle gruttere probleem makket politike ûndersikers fergeliking foar fariant yn hâlding en gedrach oer subgroups en sosjale konteksten. Fierder kaam al dizze tafoege skaal sûnder ferminders yn 'e kwaliteit fan skatten (Ansolabehere and Rivers 2013) .
Op it stuit is de dominante oanpak foar sampling foar sosjaal ûndersyk probearre probearjen . Yn wierskynlik sampling hawwe alle leden fan 'e doelbefolking in bekende, nonzero-problemen foar it probleemjen, en alle minsken dy't sampliede reagearje op' e survey. Wannear't dizze betingsten foldien binne, elke matematyske resultaten biede beklagebare garânsjes oer de kapasiteiten fan 'e ûndersiker om it probleem te brûken om ynferesingen te meitsjen oer de doelstellende populaasje.
Yn 'e echte wrâld binne lykwols de betingsten dy't dizze matematyske resultaten te finen binne selden te krijen. Bygelyks binne der faak fersekere flaters en nonresponse. Troch dizze problemen moatte ûndersikers faak in ferskaat fan statistyske oanpassings brûke om útferkocht fan har probleem te meitsjen nei har doelstellende befolking. Sa is it wichtich om te ûnderskieden tusken wierskynlike sampling yn teory , dy't sterke teoretyske garânsjes hat en probabiliteit probearjen yn 'e praktyk , dy't gjin soksoarte garânsjes biedt en hinget ôf fan in ferskaat fan statistyske oanpassingen.
Yn 'e rin fan' e tiid binne de ferskillen tusken wierskynlike sampling yn teory en problemen problemen yn 'e praktyk grutter wurden. Bygelyks binne net-resinsje-tariven stadichoan ferheegjen, sels yn hege kwaliteit, djoere surveys (figuer 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Net-resinsje-tariven binne folle heger yn kommersjele telefoanyske surveys - soms sels as heech as 90% (Kohut et al. 2012) . Dizze ferheegingen yn nonresponse droegje de kwaliteit fan skatten om't de skatten hieltyd ôfhannelje fan de statistyske modellen dy't ûndersikers brûke om oan te passen foar nonresponse. Fierder wurde dizze kwaliteiten yn kwaliteit bard, hoewol hieltyd djoer besykje troch ûndersikers te ûndersiikjen om hege responsive tariven te hâlden. Guon minsken bang dat dizze twillingrendingen fan ferminderjende kwaliteit en ferheegjende kosten bedrige binne de stifting fan ûndersiikûndersyk (National Research Council 2013) .
Ofbylding 3.5: Netresponse is hyltyd hieltyd stil, sels yn heechweardige djoerbefetsjes (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Net-resinsje-tariven binne folle heger foar kommersjele telefoan-ûndersiken, soms sels as heech as 90% (Kohut et al. 2012) . Dizze langduorjende trends yn nonresponse betsjutte dat datasammeling djoerder is en skatten binne minder betrouber. Oanpaste fan BD Meyer, Mok, and Sullivan (2015) , figuer 1.
Tagelyk is der sprake fan swierrichheden foar probabilite-samplingmetoaden, der is ek spannende ûntwikkelingen yn net-probabilite-samplingmetoaden . Der binne in ferskaat oan stilen fan net-probabilite-samplingmetoaden, mar it iene ding dat se mienskiplik hawwe, is dat se net maklik passe kinne yn it wiskundige kader fan probabilite-sampling (Baker et al. 2013) . Mei oare wurden, yn net-probabiliteit-samplingmetoaden is net elkenien in bekende en nonzero-problemen fan opnimming. Unwapens problemenmetoade hawwe in skriklike reputaasje tusken sosjale ûndersikers en se binne ferbûn mei guon fan 'e dramatyske mislearjen fan ûndersikers, lykas de Literêre Digest fiasco (besocht earder) en "Dewey De Trêden Truman", de ferkearde predikaasje oer de US presidintsferkiezings fan 1948 (figuer 3.6).
Figure 3.6: President Harry Truman hâldt de koplieding fan in krante dy't syn nederlaach miskien ferklearre hie. Dizze haadlinen waarden basearre op skatten út net-probabiliteit-samples (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Hoewol "Dewey De Trouwen Truman" barde yn 1948, is it noch ûnder de reden dat guon ûndersikers skeppe binne oer skatten fan wierskynlike problemen. Boarne: Harry S. Truman Library & Museum .
Ien form fan problemen foar problemen dy't benammen foar de digitale leeftyd oanwêzich is, is it gebrûk fan online panielen . Undersikers dy't gebrûk meitsje fan onlinepanielen binne ôfhinklik fan guon panielferiening - meastentiids in bedriuw, regearing of universiteit - om in grut, ferskaat groep minsken te meitsjen dy't it iens binne as respondinten foar surveys. Dizze paniel dielnimmers wurde faak werkenne mei help fan ferskate ad-hoc-metoaden lykas online banner-advertinsjes. Dęrnei kin in ûndersiker de panielferiening betelje foar tagong ta in samling fan respondinten mei winske skaaimerken (bgl. Nasjonaal fertsjintwurdiger fan folwoeksenen). Dizze online panels binne net-probabiliteitsmethoden om't net elkenien in bekende, nonzero-problemen fan ynklúzjen hat. Hoewol net-probabiliteit online panielen wurde al brûkt troch sosjale ûndersikers (bygelyks de CCES), is der noch hieltyd in debat oer de kwaliteit fan skatten dy't fan har komme (Callegaro et al. 2014) .
Nettsjinsteande dizze debatten, tink ik dat der twa reden binne wêrom't de tiid rjocht hat foar sosjale ûndersikers om net te probearjen fan problemen. Earst, yn 'e digitale leeftyd binne der in soad ûntwikkelings west yn' e kolleksje en analyze fan problemen foar problemen. Dizze nijere metoaden binne ferskillend genôch fan 'e metoaden dy't problemen yn it ferline feroarsake hawwe dat ik tinkt dat se tinke dat se "net-probabiliteit sampling 2.0" tinke. De twadde reden wêrom't ûndersikers net-probearjen probearje moatte, is om't problemen problemen yn Praktyk wurde hieltyd dreger wurden. As der in hege tariven fan net-antwurden binne - as der no binne yn echte ûndersiken - de eigentlike problemen foar ynklúzje foar respondinten binne net bekend, en dus, problemen problemen en net-probabiliteit-samples binne net sa oars as safolle ûndersikers leauwe.
As ik earder sei, wurde net-probabiliteiten problemen mei in soad skepsis troch in soad sosjale ûndersikers besjoen, yn diel fanwege har rol yn guon fan 'e meast skriklike mislearingen yn' e begjinde dagen fan it ûndersykûndersyk. In dúdlik foarbyld fan hoe fier't wy kommen binne mei problemen net-probabiliteit is it ûndersyk fan Wei Wang, David Rothschild, Sharad Goel, en Andrew Gelman (2015) dy't it gefolch fan 'e ferkiezings fan' Amerikaanske Xbox-brûkers - in beslút net-rânom-samling fan 'e Amerikanen. De ûndersikers reagearjen fan respondinten út it XBox-spultsysteem, en sa't jo miskien ferwachtsje kinne de Xbox-samling skonken man en skewe jonge: 18 oant 29 jier âld meitsje 19% fan 'e elektroanyske mar 65% fan' e Xbox-samling en manlju meitsje 47% fan 'e kiezers mar 93% fan' e Xboxprobe (figuer 3.7). Troch dizze sterke demografyske foardielen wie de rûge Xbox-gegevens in minne yndikator fan ferkiezing werom. It predikant in sterke oerwinning foar Mitt Romney oer Barack Obama. Eartiids is dit in oar foarbyld fan 'e gefaren fan rûge, net-justearre problemen foar problemen en is oantinken oan' e Literary Digest fiasco.
Figure 3.7: Demografy fan respondinten yn W. Wang et al. (2015) . Om't respondinten út XBox rekrutearje, wiene se mear wierskynlik jong en wierskynlik om manlju te wêzen, relatyf oan wethâlders yn 'e ferkiezings fan 2012. Adaptearre fan W. Wang et al. (2015) , figuer 1.
Wang en kollega's wiene lykwols bewust fan dizze problemen en besocht oan te passen foar har non-random samplingproses by it meitsjen fan skatten. Benammen brûkte se post-stratifikaasje , in technyk dy't ek in soad brûkt wurdt om problemenproblemen oan te passen dy't beskûlferskillen en net-antwurden hawwe.
It haad idee fan post-stratifikaasje is om helpferliening te brûken oer de doelstellende populaasje om te helpen te ferbetterjen fan de skatting dy't komt fan in probleem. By it brûken fan post-stratifikaasje om skatten fan har problemen foar problemen te meitsjen, sloech Wang en kollega de befolking yn ferskillende groepen, foardat de stipe foar Obama yn elke groep en naam in wittele gemiddelde fan de groepsestelingen om in totale skatting te meitsjen. Sa kinne se de befolking yn twa groepen (manlju en froulju) sprake hawwe, de stipe foar Obama tusken manlju en froulju skatte en dêrnei de totale stipe foar Obama troch in gewichtde gemiddelde te betinken om te rekkenjen foar it feit dat froulju har meitsje oant 53% fan 'e elektroanyske en manlju 47%. Rûch, post-stratifikaasje helpet krekt foar in unbalke probleem troch te heljen yn helpmiddels oer de grutte fan 'e groepen.
De kaai foar post-stratifikaasje is om de krekte groepen te foarmjen. As jo de befolking yn homogene groepen opknappe kinne sa, dat de responsen fan 'e responsen itselde binne foar elkenien yn elke groep, dan sil post-stratifikaasje ûnpost wurde. Mei oare wurden, it post-stratifisearjen troch geslacht sil produkten ûngeduld meitsje as alle manlju de antwurdenfermens hawwe en alle froulju hawwe deselde reaktyfens. Dizze hypoteze hjit de homogene-antwurden-propensities-binnen- groepûntfanging, en ik beskriuw it wat mear yn 'e wiskundige notysjes oan' e ein fan dit haadstik.
Fansels liket it net iens dat de responsen fan 'e responsen itselde wêze moatte foar alle manlju en alle froulju. De homogene-antwurden-propensities-binnen-groepaksje wurdt lykwols mear plausibel as it tal groepen ferheget. Rûch wurdt it makliker om de befolking yn homogene groepen te skodzjen as jo mear groepen oanmeitsje. Sa kin it lykwols ûnbitrouwe wêze dat alle froulju itselde antwurdenfermogen hawwe, mar it kin miskien mear plausibel wêze dat der dezelfde reaksjeopfangens is foar alle froulju dy't 18-29 jier binne, dy't ôfstudearre fan 'e kolleezje, en dy't wenje yn Kalifornje . Sa't it tal groepen dy't brûkt wurde yn post-stratifikaasje grutter, binne de oanfragen nedich om de metoade te fersterkjen wurde mear ferstannich. Mei't dat feit hawwe wolle wolle ûndersikers faak in geweldige tal groepen oanmeitsje foar post-stratifikaasje. As lykwols it oantal groepen ferheget, drage ûndersikers yn in oare probleem: gegevens sparsity. As der allinich in lyts tal minsken binne yn elke groep, dan wurde de skatten mear ûnkrêftich, en yn it ekstreme gefal dêr't in groep dy't gjin respondinten hat, dan is de post-stratifikaasje folslein brekt.
Der binne twa manieren út dizze ynherinte spannings tusken de plausibiliteit fan 'e homogene-antwurd-propensiteit-binnen-groepaksoasje en de fraach foar ferstannige echte grutte yn elke groep. Earst kinne ûndersikers in grutter, mear ferskaat oan probleem sammelje, dy't helpferlienende problemen yn elke groep soargje. Twadder kinne se gebrûk meitsje fan in ferdieldere statistysk model foar it meitsjen fan skatten yn binnen groepen. En, yn feite, soms ûndersikers dogge beide, lykas Wang en kollega's mei har stúdzje fan 'e ferkiezing mei help fan respondinten út Xbox.
Om't se in net-probabiliteit-problemenmetoade brûke mei kompjûter-yntervived ynterviews (ik sil mear praten oer kompjûter-ynterviews yn haadstik 3.5 prate), Wang en kollega's hienen in tige kostbere gegevensammeling, dy't se nammentlik sammele koe fan ynformaasje oer 345.858 unike dielnimmers , in geweldig nûmer troch de noarmen fan ferkiezingsbehearder. Dizze massive problemengrutte koe har in grut oantal post-stratifikaasje groepen foarmje. Wakke post-stratifikaasje typysk omfetsje om it populearjen fan 'e befolking yn hûnderten groepen, Wang en kollega's dielen de befolking yn 176.256 groepen definieare troch geslacht (2 kategoryen), ras (4 kategoryen), leeftyd (4 kategoryen), ûnderwiis (4 kategoryen), steat (51 kategoryen), party ID (3 kategoryen), ideology (3 kategoryen), en 2008 stim (3 kategoryen). Mei oare wurden, har grutte problemengrutte, dy't troch minder kostberne gegevens sammele waard, koe har in plausibele assuming yn har skattingsproses meitsje.
Sels mei 345.858 unike dielnimmers wiene der dochs noch in soad, in protte groepen dêr't Wang en kollega's hast gjin respondinten hiene. Dêrom brûkten se in technyk mei multilevel-regression om de stipe yn elke groep te skatten. Underhannelje om de stipe foar Obama te beskôgjen yn in spesifike groep, de multilevel-regression ferdearde ynformaasje út in protte groep relatearre groepen. Sa kinne bygelyks de foarkars fan 'e stipe foar Obama skonken wurde tusken froulju fan' e froulju tusken 18 en 29 jier âld, dy't diplomaat binne, dy't registreare binne Demokraten, dy't sels as moderaten identifisearje, en dy't foar Obama keazen hawwe yn 2008. Dit is in heul , tige spesifike groep, en it is mooglik dat der gjinien yn 'e probleem is mei dizze skaaimerken. Dêrtroch brûkt skatting oer dizze groep, multilevel-regression brûkt in statistysk model om te kombinearjen skatten fan minsken yn tige ferlykbere groepen.
Sa brûkt Wang en kollega's in oanpak dy't kombinearre multilevel-regression en post-stratifikaasje, dus se neamden har strategy- multilevel-regression mei post-stratifikaasje of, mear leafhawwe, "Mr. P. "Doe't Wang en kollega's Mr. P. omskatte fan de XBox-problemen problemen te meitsjen, makke se skatting tige ticht by de algemiene stipe dy't Obama ûntfong yn 'e ferkiezings fan 2012 (figuer 3.8). Feitliken binne har skattingen krekter as in aggregaat fan tradysjonele iepenbiere mieningopings. Sa binne yn dit gefal statistyske oanpassingen - spesifyk de hear P.-liket in goed wurk te korrizjearjen fan 'e biasynten yn net-probabiliteit-gegevens; Dieltsjes dy't dúdlik te sjen wiene as jo de skatten fan 'e net-juste Xbox-data sjogge.
Figure 3.8: Estimates fan W. Wang et al. (2015) . Unbepaalde XBox-probleem makke inakkere estimaasjes. Mar it gewichtige XBox-probleem produsearre skatten dat krekt genre binne as in gemiddelde problemen-basearre tillevyzjeûndersiken. Adaptearre fan W. Wang et al. (2015) , sifers 2 en 3.
Der binne twa wichtige lessen fan 'e stúdzje fan Wang en kollega's. Alderearst net-wapens problemen problemen kinne liede ta min skatte; Dit is in les, dat in soad ûndersikers hawwe earder heard. De twadde lessen lykwols is dat net-probabiliteit-samplings, as it goed analysearret, werklik goed wurdearje kinne; Net-probabiliteit-samples moatte net automatysk liede ta de literêre digest- fiasco.
Gean nei foaren, as jo besykje te hifkjen tusken it brûken fan in probabele problemen-oanpak en in probleem-problemen-oanpak dy't jo in swier kar meitsje. Bytiden winskje ûndersikers in flugge en hurde regel (bgl. Altyd probearjen fan probabele problemen), mar it is hyltyd hurder om sokke regel te bieden. Undersikers hawwe in drege kieze tsjinst tusken wierskynlike problemenmetoaden yn 'e praktyk - dy't hieltyd djoer en fier fan' e teoretyske resultaten binne dy't har gebrûk meitsje - en net-probabiliteit-samplingmetoaden - dy't goedkeaper en flugger binne, mar minder fertroud en mear farieare. Ien ding dat dúdlik is, is dat as jo twongen wurde om te wurkjen mei net-probabiliteit-samples of net-represintative grutte data-boarnen (tink werom nei haadstik 2), dan is der in sterke reden om te leauwen dat skatten makke wurde mei post-stratifikaasje en Ferzjende techniken sille better wêze as net-juste, rûchige skatten.
