3.4 Koho sa opýtať
Digitálny vek robí pravdepodobnosť odberu vzoriek v praxi ťažšie a vytvára nové príležitosti na odber vzoriek, ktoré nie sú pravdepodobné.
V histórii odberu vzoriek existovali dva konkurenčné prístupy: metódy pravdepodobnosti odberu vzoriek a metódy odberu vzoriek, ktoré nie sú pravdepodobné. Hoci sa v prvých dňoch odberu vzoriek použili obidva prístupy, dochádzalo k dominancii pravdepodobnostného odberu vzoriek a mnohí sociálni vedci sa učili s veľkým skepticizmom vnímať nepravdepodobnosť odberu vzoriek. Ako však budem opísať nižšie, zmeny vytvorené digitálnym vekom znamenajú, že je čas pre výskumníkov, aby prehodnotili výber pravdepodobnosti. Najmä v praxi sa stáva ťažké urobiť vzorky pravdepodobnosti a vzorkovanie s nepravdepodobnosťou sa stáva rýchlejšie, lacnejšie a lepšie. Rýchlejšie a lacnejšie prieskumy nie sú len samy osebe: umožňujú nové príležitosti, ako sú častejšie prieskumy a väčšie veľkosti vzoriek. Napríklad pomocou metódy, ktoré nie sú pravdepodobné, môže kooperačná kongresová volebná štúdia (CCES) mať približne 10-krát viac účastníkov ako predchádzajúce štúdie s použitím pravdepodobnostného odberu vzoriek. Táto oveľa väčšia vzorka umožňuje politickým výskumníkom študovať rozdiely v postojoch a správaní medzi podskupinami a sociálnymi kontextmi. Navyše, všetka táto pridaná mierka prišla bez zníženia kvality odhadov (Ansolabehere and Rivers 2013) .
V súčasnosti je dominantným prístupom k odberu vzoriek pre sociálny výskum pravdepodobnosť odberu vzoriek . Pri vzorkovaní pravdepodobnosti majú všetci členovia cieľovej populácie známu nenulovú pravdepodobnosť odberu vzoriek a všetci ľudia, z ktorých sa odoberajú vzorky, reagujú na prieskum. Keď sú tieto podmienky splnené, elegantné matematické výsledky poskytujú preukázateľné záruky, pokiaľ ide o schopnosť výskumného pracovníka použiť vzorku na vyvodenie záverov o cieľovej populácii.
V reálnom svete sú však podmienky, ktoré sú základom týchto matematických výsledkov, zriedkavo splnené. Napríklad sú často chyby pokrytia a nereagovanie. Z dôvodu týchto problémov musia výskumníci často používať rôzne štatistické úpravy, aby mohli odvodiť vzorku od svojej cieľovej populácie. Preto je dôležité rozlišovať medzi pravdepodobnostným výberom vzoriek v teórii , ktorý má silné teoretické záruky a pravdepodobnosť odberu vzoriek v praxi , ktorý neposkytuje žiadne takéto záruky a závisí od rôznych štatistických úprav.
V priebehu času sa rozdiely medzi vzorkovaním pravdepodobnosti v teórii a pravdepodobnosťou odberu vzoriek v praxi zvyšovali. Napríklad miera nerešpektovania sa neustále zvyšuje, dokonca aj pri kvalitných a nákladných prieskumoch (obrázok 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Miera nerešpektovania je oveľa vyššia v komerčných telefónnych prieskumoch - niekedy dokonca až na 90% (Kohut et al. 2012) . Toto zvýšenie nerešpektovania ohrozuje kvalitu odhadov, pretože odhady čoraz viac závisia od štatistických modelov, ktoré používajú výskumníci na to, aby nereagovali. Okrem toho sa tieto zníženia kvality odohrali aj napriek čoraz častejšiemu úsiliu výskumných výskumníkov udržať vysokú mieru odpovedí. Niektorí ľudia sa obávajú, že tieto dvojité trendy znižovania kvality a rastúcich nákladov ohrozujú základ výskumu prieskumu (National Research Council 2013) .
Obrázok 3.5: Nezodpovedá sa stále častejšie, dokonca aj vo vysoko kvalitných nákladných prieskumoch (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Miera nerešpektovania je oveľa vyššia v prieskumoch komerčných telefónov, niekedy dokonca až do 90% (Kohut et al. 2012) . Tieto dlhodobé trendy nereagovania znamenajú, že zber údajov je drahší a odhady sú menej spoľahlivé. Úprava z BD Meyer, Mok, and Sullivan (2015) , obrázok 1.
Súčasne s rastúcimi ťažkosťami pri metódach vzorkovania pravdepodobnosti sa vyskytol vzrušujúci vývoj v metódach odberu vzoriek, ktoré nie sú pravdepodobné . Existujú rôzne štýly metód odberu vzoriek, ktoré nie sú pravdepodobné, ale jedna vec, ktorú majú spoločné, je, že nemôžu ľahko zapadnúť do matematického rámca vzorkovania pravdepodobnosti (Baker et al. 2013) . Inými slovami, v metódach výberu vzorky, ktoré nie sú pravdepodobné, nie každý má známu a nenulovú pravdepodobnosť začlenenia. Metódy výberu pravdepodobnosti majú strašnú povesť medzi sociálnymi výskumníkmi a sú spojené s niektorými z najdramatickejších zlyhaní prieskumných výskumníkov, ako napríklad fiasko Literary Digest (predtým diskutované) a "Dewey Defeats Truman", nesprávnu predpoveď o USA prezidentských volieb v roku 1948 (obrázok 3.6).
Obrázok 3.6: Prezident Harry Truman drží titulok novín, ktoré nesprávne oznámili jeho porážku. Tento nadpis sa čiastočne zakladal na odhadoch z nepravdepodobných vzoriek (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Napriek tomu, že sa Dewey Defeats Truman stalo v roku 1948, je stále medzi dôvodom, že niektorí vedci sú skeptickí voči odhadom vzoriek, ktoré nie sú pravdepodobné. Zdroj: knižnica a múzeum Harryho S. Trumana .
Jednou formou odberu pravdepodobnosti, ktorá je osobitne vhodná pre digitálny vek, je použitie online panelov . Výskumníci, ktorí používajú on-line panely, závisia od toho, že niektorí dodávatelia - zvyčajne spoločnosť, vláda alebo univerzita - zostavia veľkú rozmanitú skupinu ľudí, ktorí súhlasia s tým, že budú slúžiť ako respondenti pre prieskumy. Títo účastníci panelov sú často prijímaní pomocou rôznych ad hoc metód, ako sú reklamy online bannerov. Potom môže výskumný pracovník zaplatiť poskytovateľovi panelu prístup k vzorke respondentov s požadovanými charakteristikami (napr. Národne reprezentatívni dospelí). Tieto online panely sú metódy, ktoré nie sú pravdepodobné, pretože nie každý má známu nenulovú pravdepodobnosť začlenenia. Napriek tomu, že sociálne výskumné pracoviská už využívajú panely s nepravdepodobnosťou on-line (napr. CCES), stále existuje určitá diskusia o kvalite odhadov, ktoré z nich pochádzajú (Callegaro et al. 2014) .
Napriek týmto diskusiám si myslím, že existujú dva dôvody, prečo je správny čas pre sociálnych výskumníkov, aby prehodnotili výber pravdepodobnosti. Po prvé, v digitálnom veku sa vyskytol veľa zmien v zbere a analýze vzoriek, ktoré nie sú pravdepodobné. Tieto novšie metódy sú dostatočne odlišné od metód, ktoré v minulosti spôsobili problémy, ktoré si myslím, že je rozumné myslieť na ne ako na "pravdepodobnosť odberu vzoriek 2.0". Druhým dôvodom, prečo by výskumníci mali prehodnotiť výber pravdepodobnosti, je to, praktiky sú čoraz zložitejšie. Ak existujú vysoké miery nereagovania - ako sa v súčasnosti nachádzajú v skutočných prieskumoch - skutočné pravdepodobnosti zaradenia respondentov nie sú známe, a preto vzorky pravdepodobnosti a vzorky s pravdepodobnosťou nie sú také odlišné, ako sa mnohí vedci domnievajú.
Ako som už povedal, vzorky s pravdepodobnosťou sa s veľkým skepticizmom stretávajú s mnohými spoločenskými výskumníkmi, a to čiastočne kvôli ich úlohe v niektorých z najtrapnejších zlyhaní v prvých dňoch prieskumného prieskumu. Jasným príkladom toho, do akej miery prichádzame s nepravdepodobnými vzorkami, je výskum Wei Wanga, Davida Rothschilda, Sharada Goela a Andrewa Gelmana (2015) ktorý správne získal výsledok volieb v USA v roku 2012 s použitím nepravdepodobnej vzorky Americkí užívatelia konzoly Xbox - rozhodne nezmyselná vzorka Američanov. Výskumníci prijímali respondentov z herného systému XBox a ako môžete očakávať, vzorka Xbox je skosená mužská a šikmá mladá: 18 až 29 rokov tvoria 19% voličov, ale 65% vzorky Xbox a muži tvorí 47% voličov, ale 93% vzorky Xbox (obrázok 3.7). Vzhľadom na tieto silné demografické zaujatosti boli nesprávne údaje Xboxu slabým ukazovateľom návratov volieb. Predpovedal silné víťazstvo pre Mitt Romneyho nad Barackom Obamom. Opäť je to ďalší príklad nebezpečenstva surových neupravených vzoriek, ktoré nie sú pravdepodobné, a pripomína fiasko Literary Digest .
Obrázok 3.7: Demografia respondentov v W. Wang et al. (2015) . Vzhľadom na to, že respondenti boli prijatí zo spoločnosti XBox, mali väčšiu pravdepodobnosť, že budú mladí a pravdepodobne budú mužmi vo vzťahu k voličom vo voľbách v roku 2012. Adaptované od W. Wang et al. (2015) , obrázok 1.
Avšak Wang a kolegovia si boli vedomí týchto problémov a pokúsili sa prispôsobiť sa svojmu ne-náhodnému výberu pri tvorbe odhadov. Najmä použili post stratifikáciu , techniku, ktorá je tiež široko používaná na úpravu pravdepodobnostných vzoriek, ktoré majú chyby pokrytia a neodpovedanie.
Hlavnou myšlienkou stratifikácie je použiť pomocné informácie o cieľovej populácii, aby ste pomohli zlepšiť odhad, ktorý pochádza zo vzorky. Pri použití stratifikácie na odhadnutie vzorky, ktorá nie je pravdepodobná, Wang a kolega rozsekali obyvateľstvo do rôznych skupín, odhadli podporu pre Obamu v každej skupine a potom vzali vážený priemer skupinových odhadov, aby vytvorili celkový odhad. Mohli napríklad rozdeliť obyvateľstvo do dvoch skupín (mužov a žien), odhadli podporu Obamu medzi mužmi a ženami a potom odhadli celkovú podporu pre Obamu tým, že použili vážený priemer, aby zohľadnili skutočnosť, že ženy robia 53% voličov a 47% mužov. Zhruba potom stratifikácia pomáha opraviť nevyváženú vzorku tým, že prináša pomocné informácie o veľkosti skupín.
Kľúčom k post-stratifikácii je vytvoriť správne skupiny. Ak môžete rozdeliť obyvateľstvo do homogénnych skupín tak, aby náchylnosť na reakciu bolo rovnaké pre každého v každej skupine, potom post-stratifikácia vytvorí nestranné odhady. Inými slovami, post-stratifikácia podľa pohlavia prinesie nestranné odhady, ak majú všetci muži sklon k odpovedi a všetky ženy majú rovnakú tendenciu odozvy. Tento predpoklad sa nazýva predpoklad homogénnej odpovede - sklony v rámci skupín a v matematických poznámkach na konci tejto kapitoly to opisujem o niečo viac.
Samozrejme, zdá sa byť nepravdepodobné, že miera reakcie bude rovnaká pre všetkých mužov a pre všetky ženy. Predpoklad homogénnej odozvy - sklony v rámci skupín sa však stáva pravdepodobnejší, keď sa počet skupín zvyšuje. Zhruba sa stáva jednoduchšie vysekávať obyvateľstvo do homogénnych skupín, ak vytvárate viac skupín. Napríklad by sa mohlo zdať nepravdepodobné, že všetky ženy majú rovnakú tendenciu odozvy, ale zdá sa byť pravdepodobnejšie, že existuje rovnaká tendencia odozvy pre všetky ženy vo veku 18-29 rokov, ktoré absolvovali vysokú školu a žijú v Kalifornii , Keďže počet skupín použitých na post-stratifikáciu je väčší, predpoklady potrebné na podporu tejto metódy sa stanú rozumnejšími. Vzhľadom na túto skutočnosť výskumníci často chcú vytvoriť obrovský počet skupín na post stratifikácie. Avšak s nárastom počtu skupín sa výskumníci stretávajú s iným problémom: nedostatok údajov. Ak je v každej skupine len málo ľudí, odhady budú neisté a v extrémnom prípade, keď existuje skupina, ktorá nemá žiadnych respondentov, potom sa stratifikácia úplne rozpadá.
Z tohto prirodzeného napätia existujú dva spôsoby, ako spochybniť predpoklad homogénnej reakcie a tendencie v rámci skupín a dopyt po primeraných veľkostiach vzoriek v každej skupine. Po prvé, vedci môžu zbierať väčšiu a rozmanitejšiu vzorku, ktorá pomáha zabezpečiť primeranú veľkosť vzorky v každej skupine. Po druhé, môžu používať sofistikovanejšie štatistické modely na vytváranie odhadov v rámci skupín. A v skutočnosti niekedy výskumníci robia oboje, ako to urobili Wang a kolegovia so štúdiom o voľbách pomocou respondentov z konzoly Xbox.
Vzhľadom na to, že používali metódy výberu pravdepodobnosti s počítačom spravovanými rozhovormi (budem hovoriť viac o počítačom spravovaných rozhovoroch v časti 3.5), Wang a kolegovia mali veľmi lacný zber údajov, čo im umožnilo zbierať informácie od 345 858 jedinečných účastníkov , obrovské množstvo podľa štandardov volebného prieskumu. Táto masívna veľkosť vzorky im umožnila vytvoriť obrovský počet post stratifikačných skupín. Zatiaľ čo stratifikácia obyčajne zahŕňa rozdelenie obyvateľstva do stoviek skupín, Wang a kolegovia rozdelili populáciu na 176 256 skupín definovaných podľa pohlavia (2 kategórie), rasy (4 kategórie), veku (4 kategórie), vzdelania (4 kategórie) (51 kategórií), ID strany (3 kategórie), ideológia (3 kategórie) a hlasovanie za rok 2008 (3 kategórie). Inými slovami, ich obrovská veľkosť vzorky, ktorú umožnila zber údajov s nízkymi nákladmi, im umožnila urobiť v ich procese odhadu viac pravdepodobný predpoklad.
Aj s 345 858 jedinečnými účastníkmi však stále existovali veľa, mnoho skupín, pre ktoré Wang a kolegovia takmer žiadni respondenti. Preto použili techniku nazývanú viacúrovňovú regresiu na odhad podpory v každej skupine. V podstate, aby sme odhadli podporu pre Obamu v rámci konkrétnej skupiny, viacúrovňová regresia združovala informácie z mnohých úzko súvisiacich skupín. Predstavte si napríklad snahu odhadnúť podporu Obamu medzi ženami vo veku 18 až 29 rokov, ktorí sú absolventmi vysokých škôl, ktorí sú registrovaní demokrati, ktorí sa identifikujú ako umiernení a ktorí v roku 2008 hlasovali za Obama. To je veľmi , veľmi špecifická skupina a je možné, že vo vzorke s týmito vlastnosťami nie je nikto. Preto, aby sme robili odhady o tejto skupine, viacúrovňová regresia používa štatistický model na zhromaždenie odhadov od ľudí vo veľmi podobných skupinách.
Preto Wang a kolegovia používali prístup, ktorý kombinoval viacúrovňovú regresiu a post-stratifikáciu, a tak nazývali svoju stratégiu viacúrovňovú regresiu s post stratifikáciou alebo, viac s láskou, " P. "Keď Wang a kolegovia použili pána P., aby robili odhady zo vzorky s nepravdepodobnosťou XBox, vytvorili odhady veľmi blízko k celkovej podpore, ktorú Obama dostal vo voľbách v roku 2012 (obrázok 3.8). V skutočnosti boli ich odhady presnejšie ako súhrn tradičných prieskumov verejnej mienky. Preto sa v tomto prípade štatistické úpravy - konkrétne pán P. - zdajú robiť dobrú prácu pri náprave odchýlok v údajoch, ktoré nie sú pravdepodobné. ktoré sú jasne viditeľné, keď sa pozriete na odhady z neupravených údajov Xbox.
Obrázok 3.8: Odhady od W. Wang et al. (2015) . Neupravená vzorka XBox vytvorila nepresné odhady. Vážená vzorka XBox však priniesla odhady, ktoré boli presnejšie ako priemerné telefonické prieskumy založené na pravdepodobnosti. Adaptované od W. Wang et al. (2015) , obrázky 2 a 3.
Existujú dve hlavné ponaučenia zo štúdie Wanga a kolegov. Po prvé neupravené vzorky s nepravdepodobnosťou môžu viesť k chybným odhadom; toto je ponaučenie, ktoré mnohí vedci už predtým počuli. Druhá lekcia však spočíva v tom, že vzorky s pravdepodobnosťou, ak sú správne analyzované, môžu v skutočnosti produkovať dobré odhady; vzorky, ktoré nie sú pravdepodobné, nemusia automaticky viesť k niečomu, akým je fiasko Literary Digest .
Ak sa pokúšate rozhodnúť medzi použitím prístupu s možnosťou výberu vzorky a prístupu s možnosťou výberu pravdepodobnosti, musíte čeliť náročnej voľbe. Niekedy výskumníci chcú rýchle a rigidné pravidlo (napr. Vždy používať metódy výberu pravdepodobnosti), ale je stále ťažšie ponúknuť takéto pravidlo. Výskumníci čelia ťažkej voľbe medzi metódami pravdepodobnosti výberu vzorky v praxi - ktoré sú čoraz drahšie a ďaleko od teoretických výsledkov, ktoré odôvodňujú ich metódy odberu vzoriek a nepravdepodobnosti - ktoré sú lacnejšie a rýchlejšie, ale menej známe a rozmanitejšie. Jedna vec, ktorá je však jasná, je, že ak ste nútení pracovať s nepravdepodobnými vzorkami alebo nereprezentatívnymi veľkými dátovými zdrojmi (spomeňte sa na kapitolu 2), potom existuje veľký dôvod domnievať sa, že odhady vykonané pomocou post stratifikácie a súvisiace techniky budú lepšie než neupravené, hrubé odhady.
