3.4 Kes küsida
Digitaalajastul on tõenäosusproovide võtmine praktikas raskem ja loob uusi võimalusi mitte tõenäoliseks proovide võtmiseks.
Proovide võtmise ajaloos on olnud kaks konkureerivat lähenemist: tõenäosusproovide võtmise meetodid ja mitte-tõenäosusega proovivõtumeetodid. Kuigi mõlemaid lähenemisviise kasutati proovide võtmise alguspäevadel, on domineeriv tõenäosusproovide võtmine ja paljud sotsiaalteadlasi õpetatakse väga ebatõenäolist valimit vaatama väga skeptiliselt. Siiski, nagu ma allpool kirjeldan, tähendavad digitaalajastul loodud muudatused, et teadlastel on aeg kaaluda võimalike proovide võtmist. Eriti on tõenäosusproovide võtmine praktikas raske teha ja mittetundlik proovivõtmine on muutunud kiiremaks, odavamaks ja paremaks. Kiiremad ja odavamad uuringud ei lõpe mitte ainult iseenesest: need võimaldavad uusi võimalusi, nagu sagedasemad uuringud ja suuremad valimid. Näiteks, kasutades mittetõenäolisi meetodeid, on kooperatiivse Kongressi valimisuuring (CCES) ligikaudu kümme korda rohkem osalejaid kui varasemad uuringud, kasutades tõenäosusproovide võtmist. See palju suurem proov võimaldab poliitilistel teadlastel uurida hoiakute ja käitumise erinevusi allrühmadel ja sotsiaalsetes kontekstides. Lisaks lisandus kogu see lisatud (Ansolabehere and Rivers 2013) ilma hinnangute kvaliteedi vähenemiseta (Ansolabehere and Rivers 2013) .
Praegu domineerib sotsiaalsete uuringute proovivõtumeetodid tõenäosuse valimit . Tõenäosusproovi võtmisel on kõigil sihtgrupi liikmetel teadaolev, tõenäoline, et neid valitakse, ja kõik küsitletud inimesed vastanutest. Kui need tingimused on täidetud, pakuvad elemendid matemaatilisi tulemusi kindlaid tagatisi teadlaste suutlikkuse kohta kasutada valimit järelduste tegemiseks sihtpopulatsiooni kohta.
Kuid reaalses maailmas on nende matemaatiliste tulemuste aluseks olevad tingimused harva täidetud. Näiteks on sageli katvusvead ja vastamata jätmine. Nende probleemide tõttu peavad teadlased sageli kasutama mitmesuguseid statistilisi kohandusi, et teha järeldus oma valimis olevatest sihtgruppidest. Seega on oluline eristada teoreetilisi tõenäosuse valimit , millel on tugevaid teoreetilisi tagatisi ja tõenäosusproovide võtmist praktikas , mis ei paku selliseid tagatisi ja sõltub mitmesugustest statistilistest kohandustest.
Aja jooksul on erinevused tõenäosuse valimi moodustamisel teoreetiliselt ja tõenäosusproovide võtmisel praktikas kasvanud. Näiteks on reageerimismäärad pidevalt kasvanud, isegi kvaliteetsete ja kallimate uuringute puhul (joonis 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Mitte-vastuste määr on kaubanduslikes telefoniküsitlustes palju suurem - mõnikord isegi 90% (Kohut et al. 2012) . Nimetatud vastuste suurenemine ohustab hinnangute kvaliteeti, kuna hinnangud sõltuvad üha enam statistilistest mudelitest, mida teadlased kasutavad mittereavastamise kohandamiseks. Lisaks sellele on kvaliteedi langus toimunud hoolimata uuringute teadlaste järjest kallimatest jõupingutustest, et säilitada kõrge reageerimise määr. Mõned inimesed kardavad, et nende kahe kvaliteedi vähendamise suundumused ja kulude suurenemine ohustavad uuringusuuringute alustamist (National Research Council 2013) .
Joonis 3.5: vastamatajätmine on üha enam pidevalt kasvanud, isegi kvaliteetsete kallimate uuringute puhul (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Äratuskordajad on kommertstelefoni küsitlustes palju suuremad, mõnikord isegi kuni 90% (Kohut et al. 2012) . Need reageerimata pikaajalised suundumused tähendavad seda, et andmete kogumine on kallim ja prognoosid on vähem usaldusväärsed. Kohandatud BD Meyer, Mok, and Sullivan (2015) , joonis 1.
Samal ajal, et on toimunud kasvav raskusi tõenäosus proovivõtu-, seal on ka põnev arengut empiirilist valikut meetodeid. Tõenäoliste proovivõtumeetodite mitmesugused stiilid on olemas, kuid nende ühine asi on see, et nad ei saa lihtsalt sobida tõenäosusproovide matemaatilise raamistikuga (Baker et al. 2013) . Teisisõnu, ebatõenäoliste proovivõtumeetodite puhul ei ole kõikidel inimestel teadaolevat ja mitte-nulli kaasamise tõenäosust. Mitte tõenäosusega proovivõtumeetodid on sotsiaalteadlaste seas kohutava mainega ja neid seostatakse mõnede küsitlusuuringute teadlaste kõige dramaatiliste tõrgetega, nagu näiteks kirjanduslik digest fiasko (eelnevalt arutatud) ja "Dewey Defeats Truman", vale prognoos USA kohta 1948. aasta presidendivalimised (joonis 3.6).
Joonis 3.6: president Harry Truman kinnitas ajalehe pealkirja, mis oli valesti teatanud oma võitluse. See pealkiri põhineb osaliselt hinnangulistest mittetundlikest proovidest (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Kuigi "Dewey võidab Trumani" juhtus 1948. aastal, on see siiski üks põhjus, miks mõned teadlased on ebatõenäoliste proovide hinnangud skeptilised. Allikas: Harry S. Trumani raamatukogu ja muuseum .
Üks vorm empiirilist valikut, mis on eriti sobivad digitaalajastul on kasutada online paneelid. Online-paneelide kasutajad sõltuvad mõnest paneeli pakkujalt (tavaliselt ettevõte, valitsus või ülikool), et ehitada suur, mitmekesine rühm inimesi, kes nõustuvad küsitluste läbiviijatena teenima. Neid paneeli osalejaid värbatakse sageli mitmesuguste ad hoc meetodite abil, näiteks veebibännerireklaame. Seejärel võib teadlane maksta paneeli pakkujale juurdepääsu soovitud omadustega vastajate valimile (nt üleriigiline täiskasvanute esindaja). Need võrgupaneelid on mitte-tõenäosusega meetodid, sest mitte kõigil on teadaolev, mitte-nullistatav kaasamise tõenäosus. Kuigi sotsiaalsete teadurite (nt CCESi) kasutavad juba mitte-tõenäolisi veebipaneelid juba kasutusel olevatest veebipõhistest paneelidest, on ikka veel arutelu nende tulevaste hinnangute kvaliteedi üle (Callegaro et al. 2014) .
Vaatamata nendele aruteludele, arvan ma, et on kaks põhjust, miks on sotsiaaltöötajatele õige aeg kaaluda võimalike valimite läbivaatamist. Esiteks, digitaalajastul on mittestatsionaalsete proovide kogumisel ja analüüsimisel palju arenguid. Need uuemad meetodid on minevikus probleeme tekitavatest meetmetest erinevad, sest arvan, et on mõttekas neid mõelda kui "mitte-tõenäosuslikku valimit 2.0". Teine põhjus, miks teadlased peaksid mitte tõenäolise valimi üle vaatama, on tõenäosusproovide võtmine tavad muutuvad järjest raskemaks. Kui reageerimisvastased vastused on kõrged, sest praegu on olemas reaalseid uuringuid, ei ole vastajate tegelikud tõenäosused kaasatud, mistõttu tõenäosusproovid ja mitte tõenäosusega valimid ei ole nii erinevad kui paljud teadlased usuvad.
Nagu ma varem mainisin, vaadeldakse mittesoovitavaid proove paljude sotsiaalteadlaste suure skeptitsismiga, osaliselt seetõttu, et nad on osa uurimistööde esimestel päevadel kõige piinlikumate ebaõnnestumistega. Selge näide selle kohta, kui kaugele oleme jõudnud mittetundlikele näidistele, on Wei Wangi, David Rothschildi, Sharad Goeli ja Andrew Gelmani (2015) uuringud, mis õigesti taastasid 2012. aasta USA valimiste tulemused, kasutades mittetõenäolist valimit American Xboxi kasutajad - kindlasti mitte-juhuslik valim ameeriklasest. Teadlased võtsid tööle Xboxi mängukogemuse vastajad ja Xboxi proovi võisid oodata mehed ja noorukid: 18- kuni 29-aastased moodustavad 19% valijaskonnast, kuid 65% Xboxi proovist ja mehed moodustavad 47% valijaskonnast, kuid 93% Xboxi proovist (joonis 3.7). Nende tugevate demograafiliste eelarvamuste tõttu olid toorme Xboxi andmed valimisandmete halva näitaja. See ennustas Mitt Romney tugevat võitu Barack Obama kohta. Jällegi on see veel üks näide toores, korrigeerimata mittetundlikest proovidest ja on meenutanud kirjandusliku digesti fiasko.
Joonis 3.7: vastajate demograafia W. Wang et al. (2015) . Kuna XBoxi värbavad vastajad, olid nad tõenäolisemalt noored ja enamasti mehed, võrreldes valijatega 2012. aasta valimistel. Kohandatud W. Wang et al. (2015) , joonis 1.
Kuid Wang ja tema kolleegid olid nendest probleemidest teadlikud ja üritasid prognooside tegemisel kohandada nende mitte-juhusliku valimisprotsessi. Eelkõige kasutasid nad stratifitseerimisjärgset meetodit, mis on laialt levinud ka tõenäosusproovide reguleerimiseks, millel on katvusvead ja vastamata jätmine.
Stratifitseerimise järgimise põhieesmärk on kasutada sihtrühma kuuluvat lisateavet, et parandada proovi tuleva prognoosi. Strateegiate järgimisel, et teha hinnangud nende mittetõenäosuse valimis, Wang ja tema kolleegid tükeldasid elanikkonna erinevatesse rühmadesse, hindasid toetust Obamale igas rühmas ja seejärel võttis grupi hinnangute kaalutud keskmise, et saada üldine hinnang. Näiteks oleksid nad võinud jagada elanikkonna kahte rühma (mehed ja naised), hinnata Obama toetust meeste ja naiste seas ning seejärel hinnata Obama üldist toetust, võttes arvesse kaalutud keskmist, et võtta arvesse asjaolu, et naised teevad 53% valijaskonnast ja mehed 47%. Peale selle aitab kihistusjärgne positsioon tasakaalustada valimit, lisades rühma suuruste lisateabe.
Stratifitseerimisjärgne võti on moodustada õigeid rühmi. Kui saate rahvahulka kärpida homogeensetesse rühmadesse nii, et vastuse kalduvus on iga rühma jaoks igaühe jaoks ühesugune, tekitatakse pärast stratifitseerimist erapooletuid hinnanguid. Teisisõnu, soost lähtuv stratifitseerimine toob kaasa erapooletuid hinnanguid, kui kõigil meestel on reageerimise kalduvus ja kõigil naistel on sama reaktsiooniline kalduvus. Seda eeldust nimetatakse homogeense reageeringu-kalduvuseks-gruppide eeldusel, ja ma kirjeldan seda natuke rohkem käesoleva peatüki lõpus matemaatilistes märkustes.
Loomulikult tundub olevat ebatõenäoline, et kõigi meeste ja kõigi naiste vastuste kalduvus on sama. Kuid homogeensed vastused-kalduvused-gruppide ettekujutus muutub usutavaks, kui rühmade arv suureneb. Peale selle, kui loote rohkem rühmi, saab kergemini hukata elanikkond homogeensetesse rühmadesse. Näiteks võib osutuda ebatõenäoliseks, et kõigil naistel oleks sama reaktsiooniline kalduvus, kuid võib tunduda usutavam, et kõigile 18-29-aastastele naistele, kes lõpetasid kolledži ja kes elavad Californias, on sama reageerimise kalduvus . Seega, kuna grupis, mida kasutatakse stratifitseerimisjärgsel perioodil, suureneb, on meetodi toetamiseks vajalikud eeldused mõistlikumad. Arvestades seda asjaolu, soovivad teadlased sageli pärast stratifitseerimist luua hulgaliselt rühmi. Siiski, kui gruppide arv suureneb, tekivad teadlased teistsugusele probleemile: andmete hõrenemine. Kui igas rühmas on vaid väike hulk inimesi, siis on prognoosid ebakindlad ja äärmuslikel juhtudel, kui on olemas rühm, millel pole vastajaid, siis laguneb pärast stratifitseerimist täielikult.
Selle sisemise pinge vahel on kaks võimalust homogeense reageerimise-kalduvuse-grupi eelduste usutavuse ja mõistliku valimi suuruse nõudluse vahel igas rühmas. Esiteks saavad teadlased koguda suuremat ja mitmekesisemat proovi, mis aitab tagada mõistliku valimi suuruse igas grupis. Teiseks saavad nad kasutada rangemate statistiliste mudelite kasutamist hinnangute tegemiseks rühmadesse. Tegelikult teevad mõnikord mõlemad teadlased koostööd, nagu Wang ja tema kolleegid tegi valimisuuringutega, kasutades Xboxi vastajaid.
Kuna nad kasutasid arvutipõhistest intervjuudest koosnevat mittetõenäolist proovivõtumeetodit (räägin rohkem arvutijuhtimisega intervjuudest punktis 3.5), oli Wangil ja kolleegidel väga odav andmete kogumine, mis võimaldas neil koguda teavet 345 858 ainulaadse osaleja kohta , tohutu hulga valimisjaoskonna standardite järgi. See massiivne valimi suurus võimaldas neil moodustada suure hulga post-stratifitseerimisrühmi. Wang ja tema kolleegid jagasid elanikkonna 176,256 gruppi, mis olid määratletud soo (2 kategooria), rassi (4 kategooria), vanuse (4 kategooria), hariduse (4 kategooria), riigi (51 kategooria), pidu ID (3 kategooriat), ideoloogiat (3 kategooriat) ja 2008. aasta häält (3 kategooriat). Teisisõnu, nende tohutu valimi suurus, mis võimaldas odavate andmete kogumisel, võimaldas neil oma hindamisprotsessis usaldusväärsemat eeldust teha.
Isegi 345 858 ainulaadse osalejaga oli siiski veel palju, palju rühmi, kelle jaoks Wangil ja kolleegidel polnud peaaegu ühtegi vastajat. Seepärast kasutasid nad igas rühmas toetuse hindamiseks mitmetasandilist regressiooni . Põhimõtteliselt, et hinnata Obama toetust konkreetse grupi piires, on mitmetasandiline regressioon koondanud teavet paljudest lähedalt seotud rühmadest. Näiteks arvan, et üritate hinnata Obama toetust Hispaanias olevate naiste hulgas vanuses 18-29 aastat, kes on kolleegiumi lõpetajad, kes on registreeritud demokraadid ja kes ennast tunnistavad mõõdukatena ja kes Obama vastu hääletasid 2008. aastal. See on väga , väga spetsiifiline rühm ja on võimalik, et nende omadustega proovis pole keegi. Selleks, et teha selle grupi hinnangut, kasutab mitmetasandiline regressioon statistilist mudelit, et koguda kokku hinnangud väga sarnaste rühmade inimestelt.
Seega Wang ja tema kolleegid kasutasid lähenemisviisi, mis ühendas mitmetasandilist regressiooni ja pärast stratifitseerimist, nii et nad nimetasid oma strateegia mitmetasandilist regressiooni pärast stratifitseerimist või südamest "hr P. "Kui Wang ja tema kolleegid kasutasid hr P., et XBoxi mittetõenäolise valimi hinnangud oleksid tehtud, siis nad andsid hinnangud, mis olid väga lähedal üldisele toetusele, mille Obama sai 2012. aasta valimistel (joonis 3.8). Tegelikult olid nende hinnangud täpsemad kui traditsiooniliste avaliku arvamuse küsitluste koond. Seega on antud juhul statistilised kohandused - täpsemalt hr P. - näib olevat hea töö, mis parandab ebatõenäoliste andmete kõrvalekaldeid; Eristused, mis olid selgelt nähtavad, kui vaatate Xbox-i kohandamata andmete hinnangut.
Joonis 3.8: hinnangud W. Wang et al. (2015) . Ebaõiglane XBoxi näidis on ebatäpsed hinnangud. Kuid kaalutud XBoxi proovist saadi hinnangud, mis olid tõenäosusega seotud telefoniuuringute keskmisest täpsemad. Kohandatud W. Wang et al. (2015) , joonised 2 ja 3.
Wangi ja kolleegide uurimusest on kaks peamist õppetundi. Esiteks võivad korrigeerimata mitte-tõenäosusega proovid viia halbade hinnangute juurde; see on õppetund, mida paljud teadurid on varem kuulnud. Teine õppetund on aga see, et kui mittetu tõenäosusproovid, kui neid nõuetekohaselt analüüsitakse, võivad tõepoolest anda hea hinnangu; mitte tõenäolised proovid ei pea automaatselt viima midagi nagu Literary Digest fiasko.
Edaspidi, kui proovite otsustada, kas kasutate tõenäosusproovide võtmise lähenemisviisi ja mitte-tõenäosusega proovivõtumeetodit, on teil keeruline valida. Mõnikord soovivad teadlased kiiret ja jäigast reeglit (nt kasutavad tõenäoliselt proovivõtumeetodeid), kuid seda reeglit on üha raskem pakkuda. Teadlased seisavad silmitsi keeruliste valikutega tõenäosuse proovivõtumeetodite vahel, mis on üha kallimad ja kaugel teoreetilistest tulemustest, mis õigustavad nende kasutamist - ja ebatõenäolisi valikuuringumeetodeid, mis on odavamad ja kiiremad, kuid vähem tuttavad ja mitmekesisemad. Üks asi, mis on selge, on aga see, et kui te olete sunnitud töötama mittetutatiivsete proovidega või mitte esindavate suurte andmeallikatega (vt 2. peatükki), siis on kindel põhjus arvata, et hinnanguid, mis kasutati post stratifitseerimise ja seotud tehnikad on paremad kui kohandamata, toorikud hinnangud.
