3.4 Wie vra
Die digitale era maak die waarskynlikheidsteekproefneming in die praktyk harder en skep nuwe geleenthede vir nie-waarskynlikheidsteekproewe.
In die geskiedenis van steekproefneming was daar twee mededingende benaderings: waarskynlikheidsteekproefnemingsmetodes en nie-waarskynlikheidsteekproefnemingsmetodes. Alhoewel beide benaderings gebruik is in die vroeë samestelling, het die waarskynlikheidsteekproefneming gekom om te oorheers, en baie sosiale navorsers word geleer om nie-waarskynlikheids steekproefneming met groot skeptisisme te sien. Maar soos hieronder beskryf word, beteken veranderinge wat deur die digitale era geskep word, dat dit tyd vir navorsers is om nie-waarskynlikheidsteekproewe te heroorweeg. In die besonder, waarskynlikheids steekproefneming is moeilik om in die praktyk te doen, en nie-waarskynlikheidsteekproefneming het vinniger, goedkoper en beter gekry. Vinniger en goedkoper opnames eindig nie net op sigself nie: hulle stel nuwe geleenthede in soos meer gereelde opnames en groter steekproefgroottes. Byvoorbeeld, deur die gebruik van nie-waarskynlikheidsmetodes, kan die Koöperatiewe Kongresverkiesingsstudie (CCES) ongeveer 10 keer meer deelnemers hê as vroeëre studies met die gebruik van waarskynlikheidsmonsters. Hierdie veel groter voorbeeld stel politieke navorsers in staat om variasie in houdings en gedrag oor subgroepe en sosiale kontekste te bestudeer. Verder het al hierdie bykomende skale gekom sonder afname in die gehalte van ramings (Ansolabehere and Rivers 2013) .
Tans is die dominante benadering tot steekproefneming vir sosiale navorsing waarskynlikheidsteekproefneming . By die waarskynlikheidsteekproefneming het alle lede van die teikenpopulasie 'n bekende, nie-nul waarskynlikheid om bemonster te word, en alle mense wat bemonster word, reageer op die opname. Wanneer aan hierdie voorwaardes voldoen word, bied elegante wiskundige resultate bewysbare waarborge oor die navorser se vermoë om die monster te gebruik om afleidings oor die teikenpopulasie te maak.
In die werklike wêreld word egter die omstandighede van hierdie wiskundige resultate selde ontmoet. Byvoorbeeld, daar is dikwels dekking foute en nonresponse. As gevolg van hierdie probleme moet navorsers dikwels 'n verskeidenheid statistiese aanpassings gebruik om afleiding van hul steekproef na hul teikenpopulasie te maak. Dit is dus belangrik om te onderskei tussen waarskynlikheidsteekproewe in teorie , wat sterk teoretiese waarborge en waarskynlikheidsmonsters in die praktyk het , wat nie sulke waarborge bied nie en hang af van 'n verskeidenheid statistiese aanpassings.
Met verloop van tyd het die verskille tussen waarskynlikheidsteekproewe in teorie en waarskynlikheidsteekproefneming in die praktyk toegeneem. Byvoorbeeld, nonresponse tariewe het geleidelik toegeneem, selfs in hoë gehalte, duur opnames (Figuur 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Nonresponse tariewe is baie hoër in kommersiële telefoonopnames - soms selfs so hoog as 90% (Kohut et al. 2012) . Hierdie toenames in nonresponse bedreig die gehalte van ramings omdat die ramings toenemend afhang van die statistiese modelle wat navorsers gebruik om aan te pas vir nie-respons. Verder het hierdie afname in kwaliteit plaasgevind ten spyte van toenemende duur pogings deur opname navorsers om hoë reaksietariewe te handhaaf. Sommige mense vrees dat hierdie tweeling tendense van dalende gehalte en toenemende koste die grondslag van opname navorsing (National Research Council 2013) bedreig.
Figuur 3.5: Nieresponse is al hoe meer geleidelik, selfs in hoë gehalte duur opnames (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Nonresponse tariewe is veel hoër vir opnames van kommersiële telefone, soms selfs so hoog as 90% (Kohut et al. 2012) . Hierdie langtermyn tendense in nonresponse beteken dat data-insameling duurder is en die ramings is minder betroubaar. Aangepas uit BD Meyer, Mok, and Sullivan (2015) , figuur 1.
Terselfdertyd is daar toenemende probleme vir die waarskynlikheidsteekproefnemingsmetodes, en daar is ook opwindende ontwikkelings in nie-waarskynlikheidsteekproefnemingsmetodes . Daar is 'n verskeidenheid style van nie-waarskynlikheidsteekproefnemingsmetodes, maar die een ding wat hulle gemeen het, is dat hulle nie maklik in die wiskundige raamwerk van waarskynlikheidsteekproewe pas nie (Baker et al. 2013) . Met ander woorde, in nie-waarskynlikheidsteekproefnemingsmetodes het nie almal 'n bekende en nie-waarskynlike waarskynlikheid van insluiting. Nie-waarskynlikheidsteekproefnemingsmetodes het 'n vreeslike reputasie onder sosiale navorsers en hulle word geassosieer met sommige van die mees dramatiese mislukkings van opname navorsers, soos die Literary Digest- fiasco (eerder bespreek) en Dewey Defeats Truman, die verkeerde voorspelling oor die VSA. presidensiële verkiesings van 1948 (figuur 3.6).
Figuur 3.6: President Harry Truman hou die kop van 'n koerant wat sy nederlaag verkeerd aangekondig het. Hierdie opskrif is gedeeltelik gebaseer op ramings van nie-waarskynlikheidsmonsters (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Alhoewel "Dewey Defeats Truman" in 1948 gebeur het, is dit steeds onder die rede dat sommige navorsers skepties vind oor ramings van nie-waarskynlikheidsmonsters. Bron: Harry S. Truman Biblioteek & Museum .
Een vorm van nie-waarskynlikheidsteekproefneming wat besonder geskik is vir die digitale era, is die gebruik van aanlynpanele . Navorsers wat aanlynpanele gebruik, hang af van 'n paneelverskaffer - gewoonlik 'n maatskappy, regering of universiteit - om 'n groot, uiteenlopende groep mense op te stel wat ooreenstem om as respondente vir opnames te dien. Hierdie deelnemers word gereeld gewerf deur 'n verskeidenheid ad hoc-metodes soos aanlyn-banieradvertensies te gebruik. Dan kan 'n navorser die paneelverskaffer betaal vir toegang tot 'n steekproef van respondente met gewenste eienskappe (bv. Nasionaal verteenwoordiger van volwassenes). Hierdie aanlyn-panele is nie-waarskynlikheidsmetodes omdat nie almal 'n bekende, nie-nulwaarskynlikheid van insluiting het nie. Alhoewel nie-waarskynlikheid aanlynpanele reeds deur sosiale navorsers gebruik word (bv. Die CCES), is daar steeds 'n debat oor die gehalte van die ramings wat daaruit voortspruit (Callegaro et al. 2014) .
Ten spyte van hierdie debatte, dink ek daar is twee redes waarom die tyd reg is vir sosiale navorsers om nie-waarskynlikheidsteekproefneming te heroorweeg. Eerstens was daar in die digitale era baie ontwikkelings in die versameling en analise van nie-waarskynlikheidsmonsters. Hierdie nuwe metodes verskil van die metodes wat in die verlede probleme veroorsaak het, wat ek dink dit is sinvol om aan hulle te dink as "nie-waarskynlikheidsteekproefneming 2.0". Die tweede rede waarom navorsers nie-waarskynlikheidsteekproefneming moet heroorweeg, is omdat die waarskynlikheidsteekproefneming in oefening word al hoe moeiliker. Wanneer daar hoë reaksies van nie-reaksie is, soos in werklike opnames nou, is die werklike waarskynlikheid van insluiting vir respondente onbekend, en dus is waarskynlikheidsmonsters en nie-waarskynlikheidsmonsters nie so verskillend soos baie navorsers glo nie.
Soos ek vroeër gesê het, word nie-waarskynlikheidsmonsters deur baie sosiale navorsers met groot skeptisisme gesien, deels as gevolg van hul rol in sommige van die mees verleentlike mislukkings in die vroeë dae van opname-navorsing. 'N Duidelike voorbeeld van hoe ver ons met nie-waarskynlikheidsmonsters gekom het, is die navorsing deur Wei Wang, David Rothschild, Sharad Goel en Andrew Gelman (2015) wat die uitkoms van die 2012-Amerikaanse verkiesing korrek herstel het deur 'n nie-waarskynlikheidsteekproef van Amerikaanse Xbox-gebruikers - 'n besliste nonrandom-monster van Amerikaners. Die navorsers het die respondente van die XBox-dobbelstelsel gewerf, en soos u sou verwag, het die Xbox-monster skeefgetrek en skeefgetrek: 18 tot 29-jariges maak 19% van die kiesers uit, maar 65% van die Xbox-monster en mans maak 47% van die kiesers uit maar 93% van die Xbox-monster (figuur 3.7). As gevolg van hierdie sterk demografiese vooroordele was die rou Xbox-data 'n swak aanwyser van verkiesingsopbrengste. Dit voorspel 'n sterk oorwinning vir Mitt Romney oor Barack Obama. Weereens, dit is nog 'n voorbeeld van die gevare van rou, onaangepaste nie-waarskynlikheidsmonsters en herinner aan die Literêre Digest- fiasko.
Figuur 3.7: Demografie van respondente in W. Wang et al. (2015) . Omdat respondente vanaf XBox gewerf is, was hulle meer geneig om jonk te wees en meer geneig om mans te wees, relatief tot kiesers in die 2012-verkiesing. Aangepas uit W. Wang et al. (2015) , figuur 1.
Wang en kollegas was egter bewus van hierdie probleme en het probeer om aan te pas vir hul nie-ewekansige steekproefproses by die maak van ramings. In die besonder, hulle gebruik post-stratificatie , 'n tegniek wat ook wyd gebruik word om waarskynlikheidsmonsters aan te pas wat foute en nie-respons dekking het.
Die hoofgedagte van post-stratifikasie is om hulpinligting oor die teikenpopulasie te gebruik om die skatting wat uit die steekproef kom, te verbeter. By die gebruik van post-stratifikasie om ramings te maak van hul nie-waarskynlikheidsmonster, het Wang en kollega die bevolking in verskillende groepe gekap, die steun vir Obama in elke groep beraam, en dan 'n geweegde gemiddelde van die groep se ramings geneem om 'n algehele raming te lewer. Byvoorbeeld, hulle kon die bevolking verdeel in twee groepe (mans en vroue), die steun vir Obama onder mans en vroue beraam, en dan beraamde algehele ondersteuning vir Obama deur 'n geweegde gemiddelde te neem om te verantwoord dat vroue maak 53% van die kiesers en mans 47%. Oor die algemeen help poststratifikasie vir 'n ongebalanseerde steekproef deur hulpinligting oor die groottes van die groepe in te bring.
Die sleutel tot post-stratifikasie is om die regte groepe te vorm. As jy die bevolking kan opbou in homogene groepe, sodat die reaksie benaderings dieselfde is vir almal in elke groep, sal post-stratifikasie onbevooroordeelde ramings produseer. Met ander woorde, na stratifikasie volgens geslag, sal onbevooroordeelde ramings produseer as alle mans die reaksie-geneigdheid het en alle vroue het dieselfde reaksie-geneigdheid. Hierdie aanname word die homogene-respons-geneigdhede-binne-groep aanname genoem, en ek beskryf dit 'n bietjie meer in die wiskundige aantekeninge aan die einde van hierdie hoofstuk.
Dit lyk natuurlik onwaarskynlik dat die reaksie benaderings dieselfde sal wees vir alle mans en alle vroue. Die homogene-respons-geneigdhede-binne-groep-aanname word egter meer aanneemlik namate die aantal groepe toeneem. Byna, dit word makliker om die bevolking in homogene groepe te kap as jy meer groepe skep. Byvoorbeeld, dit lyk onwaarskynlik dat alle vroue dieselfde reaksie neerslag het, maar dit lyk meer aannemelijk dat daar dieselfde reaksie is vir alle vroue wat 18-29 jaar oud is, wat van kollege gegradueer het en wat in Kalifornië woon . Dus, aangesien die aantal groepe wat in post-stratifikasie gebruik word groter word, word die aannames wat nodig is om die metode te ondersteun, meer redelik. Gegewe hierdie feit, wil navorsers dikwels 'n groot aantal groepe vir post-stratifikasie skep. Aangesien die aantal groepe toeneem, loop navorsers egter 'n ander probleem in: data sparsiteit. As daar slegs 'n klein aantal mense in elke groep is, sal die ramings onseker wees, en in die uiterste geval waar daar 'n groep is wat geen respondente het nie, breek post-stratifikasie heeltemal af.
Daar is twee maniere uit hierdie inherente spanning tussen die aanneemlikheid van die homogene-respons-geneigdheid-binne-groep aanname en die vraag na redelike steekproefgroottes in elke groep. Eerstens kan navorsers 'n groter, meer uiteenlopende steekproef versamel, waardeur redelike steekproefgroottes in elke groep verseker word. Tweedens kan hulle 'n meer gesofistikeerde statistiese model gebruik om ramings binne groepe te maak. En in werklikheid, soms doen navorsers albei, soos Wang en kollegas gedoen het met hul studie van die verkiesing deur middel van respondente van Xbox.
Omdat hulle 'n nie-waarskynlikheidsmonsteringsmetode gebruik het met rekenaaradministreerde onderhoude (ek sal meer praat oor rekenaaradministreerde onderhoude in afdeling 3.5), het Wang en kollegas baie goedkoop data-insameling gehad wat hulle in staat gestel het om inligting van 345,858 unieke deelnemers in te samel. , 'n groot getal deur die standaarde van verkiesingspeiling. Hierdie massiewe steekproefgrootte het hulle in staat gestel om 'n groot aantal post-stratifikasiegroepe te vorm. Terwyl post-stratifikasie tipies behels dat die bevolking in honderde groepe gesny word, het Wang en kollegas die bevolking verdeel in 176,256 groepe gedefinieer volgens geslag (2 kategorieë), ras (4 kategorieë), ouderdom (4 kategorieë), opvoeding (4 kategorieë) (51 kategorieë), party ID (3 kategorieë), ideologie (3 kategorieë) en 2008 stem (3 kategorieë). Met ander woorde, hul groot steekproefgrootte, wat deur lae koste-data-insameling geaktiveer is, het hulle in staat gestel om 'n meer aannemlike aanname in hul ramingsproses te maak.
Selfs met 345,858 unieke deelnemers was daar egter nog baie, baie groepe waarvoor Wang en kollegas amper geen respondente gehad het nie. Daarom gebruik hulle 'n tegniek genaamd multilevel-regressie om die ondersteuning in elke groep te skat. Om die ondersteuning vir Obama binne 'n spesifieke groep te skat, het die multilevel-regressie inligting van baie nou verwante groepe ingesamel. Stel jou byvoorbeeld voor om te probeer om die ondersteuning vir Obama tussen die vroulike Hispanics tussen 18 en 29 jaar oud te skat. Dit is 'n kollege gegradueerdes, wat geregistreerde Demokrate is, wat selfstandig as gematigdes identifiseer, en wat in 2008 vir Obama gestem het. Dit is 'n baie , baie spesifieke groep, en dit is moontlik dat daar niemand in die steekproef met hierdie eienskappe is nie. Om dus ramings oor hierdie groep te maak, gebruik multilevelregressie 'n statistiese model om ramings van mense in baie soortgelyke groepe saam te voeg.
Dus, Wang en kollegas het 'n benadering gebruik wat die regressie en post-stratifikasie van multilevel gekombineer het, dus het hulle hul strategie se multilevel-regressie met post-stratifikasie genoem, of meer liefdevol. P. "Toe Wang en kollegas Mnr. P. gebruik om ramings te maak van die XBox-nie-waarskynlikheidsmonster, het hulle ramings baie naby aan die algehele ondersteuning wat Obama in die 2012-verkiesing ontvang het (figuur 3.8) geproduseer. Trouens, hul ramings was meer akkuraat as 'n totaal van tradisionele meningspeilings. In hierdie geval lyk statistiese aanpassings, spesifiek mnr. P., om 'n goeie werk te doen wat die vooroordele in nie-waarskynlikheidsdata regstel; vooroordeel wat duidelik sigbaar was toe jy na die ramings kyk van die onaangepaste Xbox-data.
Figuur 3.8: Ramings van W. Wang et al. (2015) . Ongepaste XBox-monster het onakkurate skattings geproduseer. Maar die geweegde XBox-monster het ramings gemaak wat meer akkuraat was as 'n gemiddelde van waarskynlikheidsgebaseerde telefoonopnames. Aangepas uit W. Wang et al. (2015) , figure 2 en 3.
Daar is twee hooflesse uit die studie van Wang en kollegas. Eerstens, onaangepaste nie-waarskynlikheidsmonsters kan lei tot slegte ramings; dit is 'n les wat baie navorsers voorheen gehoor het. Die tweede les is egter dat nie-waarskynlikheidsmonsters, wanneer dit goed geanaliseer word, eintlik goeie skattings kan lewer; Nie-waarskynlikheidsmonsters hoef nie outomaties tot iets soos die Literêre Digest- fiasko te lei nie.
Gaan vorentoe, as jy probeer om te besluit tussen die gebruik van 'n waarskynlikheidsteekproefbenadering en 'n nie-waarskynlikheidsteekproefbenadering, kom jy in 'n moeilike keuse. Soms soek navorsers 'n vinnige en rigiede reël (bv. Gebruik altyd waarskynlikheidsteekproefnemingsmetodes), maar dit is toenemend moeilik om so 'n reël te bied. Navorsers het 'n moeilike keuse tussen waarskynlikheidsmonsteringsmetodes in die praktyk - wat toenemend duur en ver van die teoretiese resultate is wat hul gebruiks- en nie-waarskynlikheidsteekproefnemingsmetodes regverdig - wat goedkoper en vinniger is, maar minder bekend en meer gevarieerd. Een ding wat egter duidelik is, is dat as jy gedwing word om met nie-waarskynlikheidsmonsters of nie-verteenwoordigende groot databronne te werk (dink terug na Hoofstuk 2), dan is daar 'n sterk rede om te glo dat ramings gemaak word met behulp van post-stratifikasie en verwante tegnieke sal beter wees as onaangepaste, rou ramings.
