3.4 kas paklausti

Skaitmeninis amžius dar labiau apsunkina tikimybių atranką ir sukuria naujas galimybes netikrosios atrankos būdu.

Mėginių ėmimo istorijoje buvo du konkuruojantys metodai: tikimybinių imčių metodai ir netikrumo mėginių ėmimo metodai. Nors abu metodai buvo naudojami ankstyvosiose atrankos dienomis, dominuojančia tikimybinė atranka, ir daugelis socialinių mokslininkų mokomi vertinti netikėtiną atranką labai skeptiškai. Tačiau, kaip apibūdinsiu toliau, skaitmeninio amžiaus pokyčiai reiškia, kad mokslininkams reikia laiko iš naujo apsvarstyti netikėtiną atranką. Visų pirma praktiškai vis sunkiau atlikti tikimybes, o nepageidaujama mėginių ėmimas vis greičiau, pigiau ir geriau. Greičiau ir pigiau apklausos ne tik baigiasi savaime: jos suteikia naujų galimybių, tokių kaip dažnesni tyrimai ir didesni imčių dydžiai. Pavyzdžiui, naudojant netikėtinius metodus, Kongreso rinkimų tyrimas (CCES) gali turėti maždaug 10 kartų daugiau dalyvių nei ankstesni tyrimai naudojant tikimybinę atranką. Šis žymiai didesnis atranka leidžia politiniams mokslininkams studijuoti požiūrį ir elgesį įvairiuose pogrupiuose ir socialiniuose kontekstuose. Be to, visa ši pridėtinė mastai be įvertinimų kokybės sumažėjo (Ansolabehere and Rivers 2013) .

Šiuo metu dominuojantis požiūris į socialinių tyrimų atranką yra tikimybių atranka . Tikrinimo mėginių ėmimo metu visi tikslinės populiacijos nariai turi žinomą tikimybę, kad bus imami mėginiai, o visi atrinkti žmonės atsakys į apklausą. Kai šios sąlygos patenkinamos, elegantiški matematiniai rezultatai teikia įtikinamų garantijų, kad mokslininkas sugeba naudoti atranką, kad būtų galima padaryti išvadas apie tikslinę grupę.

Vis dėlto realiame pasaulyje matematinius rezultatus lemiančios sąlygos yra retai patenkintos. Pavyzdžiui, dažnai yra aprėpties klaidų ir nereagavimų. Dėl šių problemų mokslininkai dažnai turi taikyti įvairius statistinius koregavimus, kad iš jų imties būtų galima padaryti išvadą apie jų tikslinę grupę. Taigi svarbu teoriškai atskirti tikimybinius ėminius , kurie turi stiprias teorines garantijas, ir tikimybinę atranką praktiškai , kuri nesuteikia tokių garantijų ir priklauso nuo įvairiausių statistinių koregavimų.

Laikui bėgant, teorijos tikimybinių atrankos skirtumų ir tikimybių mėginių ėmimo praktika vis didėja. Pavyzdžiui, neatsakymų rodikliai nuolat didėjo, netgi atliekant aukštos kokybės, brangius tyrimus (3.5 pav.) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Neatsakymo lygis yra gerokai didesnis komerciniuose telefonijos tyrimuose, kartais net 90% (Kohut et al. 2012) . Šie nepageidaujamo atsakymo padidėjimai kelia grėsmę įvertinimų kokybei, nes apskaičiavimai vis labiau priklauso nuo statistinių modelių, kuriuos mokslininkai naudoja norėdami prisitaikyti prie nereagavimo. Be to, šie kokybės sumažėjimo atvejai atsitiko, nors apklausos tyrėjai vis dažniau stengiasi išlaikyti aukštą atsakymų lygį. Kai kurie žmonės baiminasi, kad šių dvynių kokybės mažėjimo tendencijos ir didėjančios išlaidos kelia grėsmę tyrimų tyrimams (National Research Council 2013) .

3.5 pav.. Neatsakymas vis dažniau, net ir aukštos kokybės brangių apklausų metu (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Komercinių telefonų apklausų neatsakymo dažnis yra daug didesnis, kartais net 90% (Kohut et al. 2012) . Šios ilgalaikės neatsakymo tendencijos reiškia, kad duomenų rinkimas yra brangesnis ir įvertinimai yra mažiau patikimi. Pritaikytas iš BD Meyer, Mok, and Sullivan (2015) , 1 pav.

Tuo pačiu metu, kai tikimybinių ėminių ėmimo metodai vis dažniau susiduria su sunkumais, taip pat atsirado neįprastų ėminių ėmimo metodų įpročiai . Yra netikrovinių ėminių ėmimo metodų įvairovė, tačiau vienas dalykas, kad jie yra bendri, yra tai, kad jie negali lengvai prisitaikyti prie tikimybinių ėminių matematinės sistemos (Baker et al. 2013) . Kitaip tariant, neviršijant mėginių ėmimo metodų, ne visi turi žinomą ir nulinę įtraukimo tikimybę. Netikimybės mėginių ėmimo būdai socialinių mokslininkų atžvilgiu yra baisi reputacija ir jie yra susiję su kai kuriais labiausiai dramatiškais apklausos tyrėjų nesėkmėmis, pvz., Literatūrinio digesto fiasko (aptartos anksčiau) ir "Dewey nugalėjo Trumaną", neteisingą prognozę apie JAV 1948 m. prezidento rinkimai (3.6 pav.).

3.6 pav. Prezidentas Haris Trumanas, laikydamasis laikraščio, kuris neteisingai paskelbė apie savo pralaimėjimą, antraštę. Ši antraštė buvo iš dalies pagrįsta (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) pavyzdžių (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Nors "Dewey nugalėjo Trumaną" atsitiko 1948 m., Vis dar yra viena iš priežasčių, kodėl kai kurie tyrinėtojai skeptiškai vertina netiesioginių mėginių vertinimus. Šaltinis: Hario S. Trumano biblioteka ir muziejus .

Viena iš nepriimtinos atrankos formų, tinkamai pritaikyta skaitmeniniam amžiui, yra internetinių plokščių naudojimas . Tyrėjai, naudojantys internetines plokštes, priklauso nuo kai kurių skydų teikėjų (paprastai kompanijos, vyriausybės ar universiteto), kurti didelę, įvairią žmonių grupę, kuri sutinka būti apklausų respondentais. Šie grupės dalyviai dažnai įdarbinami naudojant įvairius ad hoc metodus, pvz., Internetinius reklaminius skelbimus. Tada tyrėjas gali sumokėti skydo teikėją už prieigą prie tam tikrų respondentų, turinčių norimų savybių (pvz., Nacionaliniu mastu atstovaujančių suaugusiųjų). Šios internetinės plokštės yra ne tikimybės metodai, nes ne visi turi žinomą, nulinę tikimybę įtraukti. Nors socialinių mokslininkų (pvz., CCES) jau naudojamos netikėtinos internetinės plokštės, vis dar yra diskusijų dėl jų įvertinimų kokybės (Callegaro et al. 2014) .

Nepaisant šių diskusijų, manau, kad yra dvi priežastys, kodėl socialiniams mokslininkams reikia laiko apsvarstyti netikrosios atrankos galimybę. Pirma, skaitmeniniame amžiuje netikėtumų pavyzdžių rinkimas ir analizė buvo daug. Šie naujesni metodai yra pakankamai skirtingi nei metodai, kurie praeityje sukėlė problemų, manau, kad būtų tikslinga juos galvoti kaip "nepageidaujamą mėginių ėmimą 2.0". Antroji priežastis, kodėl mokslininkai turėtų iš naujo apsvarstyti netikrumo mėginius, yra tai, kad tikimybių atranka praktika tampa vis sudėtingesnė. Kai yra didelis neatsakymo lygis, nes šiuo metu yra realių apklausų, realios respondentų įtraukimo tikimybės nėra žinomos, todėl tikimybių pavyzdžiai ir netikrobiškumo pavyzdžiai nėra tokie skirtingi, kaip mano daugelis mokslininkų.

Kaip jau minėjau anksčiau, daugelio socialinių mokslininkų labiausiai netikrūs mėginiai yra vertinami labai skeptiškai, iš dalies dėl to, kad jie vaidina kai kuriuos nepatogumus pirmųjų tyrimo tyrimų dienų metu. Aiškus pavyzdys, kaip toli mes turėjome su nenormaliais pavyzdžiais, yra Wei Wang, David Rothschild, Sharad Goel ir Andrew Gelman (2015) Tyrimas, kuris teisingai susigrąžino 2012 m. JAV rinkimų rezultatus, naudodamas netikėtiną imtį "American Xbox" vartotojai - ryškus amerikiečių pavyzdys. Mokslininkai įdarbino "Xbox" žaidimų sistemos respondentus ir, kaip tikėjotės, "Xbox" pavyzdys sukrėtė vyriškius ir pasislėpusius jaunus: nuo 18 iki 29 metų amžiaus sudarė 19% rinkėjų, bet 65% "Xbox" mėginio ir vyro sudaro 47% rinkėjų, bet 93% "Xbox" pavyzdžio (3.7 pav.). Dėl šios stiprios demografinės įtakos "Xbox" žaliavos duomenys buvo prastas rinkimų grąžos rodiklis. Jis numatė stiprią pergalę Mitt Romney per Barack Obama. Vėlgi, tai yra dar vienas žaliavų, nepakankamų netoleruotų pavyzdžių pavojus ir primena literatūros Digesto fiaską.

3.7 pav. Respondentų demografija W. Wang et al. (2015) . Kadangi respondentai buvo įdarbinti iš "Xbox", jie dažniau būna jauni ir greičiausiai bus vyrai, palyginti su rinkėjais 2012 m. Rinkimuose. Pritaikytas W. Wang et al. (2015) , 1 pav.

Vis dėlto Wang ir jo kolegos sužinojo apie šias problemas ir bandė pritaikyti savo neatsitiktinių atrankos procesą vertinant. Visų pirma jie panaudojo po stratifikacijos metodą, kuris taip pat yra plačiai naudojamas norint pakoreguoti tikimybių pavyzdžius, kurie apima aprėpties klaidas ir atsaką.

Pagrindinė po stratifikacijos idėja yra naudoti pagalbinę informaciją apie tikslinę gyventojų grupę, kad būtų lengviau įvertinti mėginį. Naudodami po stratifikacijos, kad atliktumėte įvertinimus iš jų nenormaliosios atrankos, Wangas ir jo kolega susmulkino gyventojus į įvairias grupes, apskaičiavo kiekvienos grupės B. Obamos paramą ir paskaičiavo grupių įverčių svertinį vidurkį, kad gautų bendrą įvertinimą. Pavyzdžiui, jie galėjo suskaidyti gyventojus į dvi grupes (vyrams ir moterims), apskaičiavo paramą B. Obamai vyrams ir moterims, o paskui apskaičiavo bendrą Obamos paramą, taikydama svertinį vidurkį, kad atsižvelgtų į moterų padarytą faktą 53 proc. rinkėjų ir vyrai - 47 proc. Apytiksliai po stratifikacijos padeda sureguliuoti nesubalansuotą imtį, įtraukiant pagalbinę informaciją apie grupių dydžius.

Post-stratifikacijos raktas - sudaryti tinkamas grupes. Jei galite susmulkinti gyventojus į homogenines grupes taip, kad atsako įpročiai yra vienodi kiekvienos grupės atžvilgiu, tada po stratifikacijos atsiras objektyvių įverčių. Kitaip tariant, po stratifikacijos pagal lytį atsiras nešališkas įvertinimas, jei visi vyrai turi reagavimo polinkį ir visos moterys turi tą patį reagavimo polinkį. Ši prielaida vadinama homogeniška reakcija-polinkis-grupės viduje , ir apibūdinau ją šiek tiek daugiau matematinėse pastabose šio skyriaus pabaigoje.

Žinoma, mažai tikėtina, kad atsako įpročiai bus vienodi visiems vyrams ir visoms moterims. Tačiau homogeninio atsako-polinkis-grupių prielaida tampa labiau tikėtinas, nes grupių skaičius didėja. Apytiksliai, jei sukursite daugiau grupių, bus lengviau nugriauti gyventojus vienalytėse grupėse. Pavyzdžiui, gali atrodyti neįtikėtina, kad visos moterys turi tą patį reagavimo polinkį, tačiau gali atrodyti labiau įtikinamai, kad visiems 18-29 m. Amžiaus moterims, baigusiems koledžą ir gyvenantiems Kalifornijoje, yra tas pats reagavimo polinkis . Taigi, kadangi grupių, naudojamų po stratifikacijos, skaičius padidėja, prielaidos, reikalingos metodui paremti, tampa labiau pagrįstos. Atsižvelgdami į tai, mokslininkai dažnai nori sukurti nemažai grupių po stratifikacijos. Tačiau, didėjant grupių skaičiui, mokslininkai susiduria su kita problema: duomenų spraustumas. Jei kiekvienoje grupėje yra tik nedaug žmonių, apskaičiavimai bus neaiškesni, o ekstremaliu atveju, kai yra grupė, kurioje nėra respondentų, tada po stratifikacijos visiškai suskaidoma.

Iš šios įprastos įtampos egzistuoja du būdai, susiję tarp homogeninio atsako priklausomybės nuo įsivaizduojamų grupių prielaidų patikimumo ir kiekvienos grupės paklausos pagrįstų dydžių skaičiumi. Pirma, mokslininkai gali rinkti didesnį, įvairesnį pavyzdį, kuris padeda užtikrinti pagrįstą kiekvienos grupės mėginių skaičių. Antra, jie gali naudoti sudėtingesnį statistinį modelį vertinant grupes. Ir iš tikrųjų, kartais mokslininkai atlieka abu, kaip Wang ir jo kolegos padarė su savo rinkimų studijomis, naudodamiesi "Xbox" respondentais.

Kadangi jie naudojo netikėtiną atrankos metodą kompiuteriu administruojamais interviu (3,5 skyriuje kalbėsiu daugiau apie kompiuterines apklausas), Wang ir jo kolegos turėjo labai nebrangų duomenų rinkimą, kuris jiems leido rinkti informaciją iš 345 858 unikalių dalyvių , milžinišką skaičių taiko rinkimų apklausos standartai. Šis didžiulis imties dydis leido jiems sudaryti daugybę po stratifikavimo grupių. Kadangi po stratifikacijos paprastai susiduria su smulkiųjų grupių suskaidymu, Wangas ir jo kolegos paskirstė gyventojus į 176 256 grupes, apibrėžtas pagal lytį (2 kategorijos), rasės (4 kategorijos), amžiaus (4 kategorijos), išsilavinimo (4 kategorijos), valstybės (51 kategorija), partijos ID (3 kategorijos), ideologija (3 kategorijos) ir 2008 m. Balsavimas (3 kategorijos). Kitaip tariant, jų didžiulis atrankos dydis, kuris buvo įjungtas mažos sąnaudų duomenų rinkimo būdu, leido jiems apskaičiuoti daugiau patikimos prielaidos.

Tačiau net 345 858 unikalių dalyvių vis tiek buvo daug, daug grupių, kurių Wang ir jo kolegų beveik nebuvo respondentų. Todėl jie naudojo daugiasluoksnę regresiją vadinamą techniką, skirtą įvertinti kiekvienos grupės paramą. Iš esmės, siekiant įvertinti Obamos paramą konkrečioje grupėje, daugiapakopė regresija sujungė daugelio glaudžiai susijusių grupių informaciją. Pavyzdžiui, įsivaizduokite, kad bandote įvertinti Obamos paramą tarp moterų, esančių 18-29 metų amžiaus Ispaniškai, kurie yra koledžo absolventai, kurie yra įregistruoti demokratai, kurie savižudžiai pripažįsta, kad jie laikomi nuosaikiais, ir kurie 2008 m. Balsavo už Obamą. Tai labai , labai specifinė grupė, ir yra įmanoma, kad su šiomis savybėmis nėra nieko. Todėl, norint apskaičiuoti šią grupę, daugiapakopė regresija naudoja statistinį modelį, kad sujungtų įvertinimus iš labai panašių grupių žmonių.

Taigi, Wang ir jo kolegos naudojo požiūrį, kad kombinuota daugiapakopė regresija ir po stratifikacijos, taigi jie vadino savo strategiją daugiasluoksne regresija po stratifikacijos arba, labiau švelniai, "p. P. "Kai Wang ir jo kolegos panaudojo p. P. apskaičiuoti iš XBox nepageidaujamo mėginio, jie sukūrė vertinimus labai artimi bendrajai paramai, kurią Obama gavo 2012 m. Rinkimuose (3.8 pav.). Iš tikrųjų jų sąmatas buvo tikslesnis nei tradicinių visuomenės nuomonių apklausų suvestinė. Taigi šiuo atveju statistiniai koregavimai, konkrečiai p. P., atrodo gerai atliekami, taisant netikėtumo duomenų šališkumą; šališkumas, kuris buvo aiškiai matomas, kai žiūrite į nepagrįstų "Xbox" duomenų įvertinimą.

3.8 paveikslas. Įvertinimai iš W. Wang et al. (2015) . Nereguliarus XBox pavyzdys sukūrė netikslius įvertinimus. Tačiau svertinis "XBox" pavyzdys pagamino skaičiavimus, kurie buvo tiksliau nei tikimybinių telefoninių tyrimų vidurkis. Pritaikytas W. Wang et al. (2015) , 2 ir 3 paveikslai.

Yra du pagrindiniai pamokos iš Wang ir jo kolegų tyrimo. Pirma, nepataisyti nepriimtini pavyzdžiai gali sukelti blogus vertinimus; tai pamoka, kurią anksčiau girdėjo daugelis mokslininkų. Tačiau antroji pamoka yra ta, kad ne tikimybės pavyzdžiai, tinkamai išnagrinėti, gali iš tiesų pateikti gerų vertinimų; nepriimtini pavyzdžiai neturėtų automatiškai sukelti kažko panašaus į literatūrinio digesto fiasko.

Jei bandysite nuspręsti, ar naudoti tikimybinę atrankos metodą, ar nepriimtinas atrankos metodas, jūs susidursite su sunkiu pasirinkimu. Kartais mokslininkai nori greitos ir griežtos taisyklės (pvz., Visada naudokite tikimybių mėginių ėmimo metodus), bet vis sunkiau pasiūlyti tokią taisyklę. Mokslininkai praktikoje susiduria su sudėtingu pasirinkimu tarp tikimybinių ėminių ėmimo metodų, kurie yra vis brangesni ir toli gražu negu teoriniai rezultatai, pateisinantys jų naudojimą, ir nepageidaujamų ėminių ėmimo metodai, kurie yra pigesni ir greitesni, tačiau mažiau žinomi ir įvairesni. Tačiau akivaizdu, kad jei esate priverstas dirbti su nenormaliais pavyzdžiais ar nereprezentatyviais dideliais duomenų šaltiniais (žr. 2 skyrių), tada yra rimtų priežasčių manyti, kad skaičiavimai, atlikti naudojant stratifikaciją ir susijusios technologijos bus geriau nei nekoreguotos, žaliavos vertinimai.