3.4 Kas uzdot

Digitālais laikmets praksē varbūtību paraugu ņemšanu padarot grūtāk un rada jaunas iespējas ne varbūtēju paraugu ņemšanai.

Izlases vēsturē ir bijušas divas konkurējošas pieejas: varbūtības paraugu ņemšanas metodes un ne varbūtības paraugu ņemšanas metodes. Lai gan abas pieejas tika izmantotas paraugu ņemšanas sākuma dienās, dominēja varbūtības paraugu ņemšana, un daudzi sociālie pētnieki tika mācīti ar lielu skepsi parādīt nevēlamu paraugu ņemšanu. Tomēr, kā es tālāk aprakstīšu, digitālās laikmeta radītās izmaiņas nozīmē, ka pētniekiem ir pienācis laiks pārskatīt nejaušu paraugu ņemšanu. Jo īpaši varbūtību paraugu ņemšanu praksē ir grūti izdarīt, un nevēlamu paraugu ņemšana ir kļuvusi ātrāka, lētāka un labāka. Ātrāki un lētāki aptaujas ir ne tikai paši sev: tie nodrošina jaunas iespējas, piemēram, biežāk aptauju un lielāku izlases lielumu. Piemēram, izmantojot nevēlamu metodi, kooperatīvu Kongresa vēlēšanu pētījums (CCES) var būt aptuveni 10 reizes vairāk dalībnieku nekā iepriekšējie pētījumi, izmantojot varbūtības izlases metodi. Šis daudz lielāks paraugs ļauj politiķiem pētīt attieksmju un uzvedības atšķirības pa apakšgrupām un sociālajiem apstākļiem. Turklāt visa šī pievienotā skala nāca bez aplēšu kvalitātes samazināšanās (Ansolabehere and Rivers 2013) .

Pašlaik dominējošā pieeja sociālo pētījumu izlases veidošanai ir varbūtību atlase . Varbūtēju paraugu ņemšanas gadījumā visiem mērķa populācijas dalībniekiem ir zināma izlases iespēja, no kuras atņemta zema vērtība, un visi respondenti, kas atlasīti, atbild uz aptauju. Ja šie nosacījumi tiek izpildīti, elegantie matemātiskie rezultāti sniedz pierādāmas garantijas par pētnieka spēju izmantot izlasi, lai izdarītu secinājumus par mērķa populāciju.

Tomēr reālajā pasaulē apstākļi, kas ir šo matemātisko rezultātu pamatā, ir reti sastopami. Piemēram, bieži ir pārklājuma kļūdas un neatbildēšana. Šo problēmu dēļ pētniekiem bieži vien ir jāizmanto dažādi statistikas pielāgojumi, lai izlases veidā izdarītu secinājumu par mērķauditoriju. Tādējādi ir svarīgi atšķirt teorētisko varbūtības paraugu ņemšanu , kurai ir lielas teorētiskās garantijas, un varbūtības paraugu ņemšanu praksē , kas neuzliek šādas garantijas un ir atkarīga no dažādām statistikas korekcijām.

Laika gaitā praksē atšķirības starp varbūtības paraugu ņemšanu teorētiski un varbūtības izlases metodi pieaug. Piemēram, neatbildēšanas rādītāji vienmērīgi pieaug, pat kvalitatīvi un dārgi apsekojumi (3.5. Attēls) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Tirdzniecības telefonu aptaujā nerezīvu rādītāji ir daudz augstāki - dažkārt pat 90% (Kohut et al. 2012) . Neatbildes pieaugums apdraud aplēšu kvalitāti, jo aplēses arvien vairāk ir atkarīgas no statistikas modeļiem, ko pētnieki izmanto, lai pielāgotos nenoteiktībai. Turklāt kvalitātes samazināšanās ir notikusi, neskatoties uz arvien dārgākiem pētījumu pētnieku centieniem saglabāt augstu atbildes līmeni. Daži cilvēki baidās, ka šīs divu tendenču samazināšanās kvalitāte un pieaugošās izmaksas apdraud pētījumu izpētes pamatu (National Research Council 2013) .

3.5. Attēls. Neatbildība ir bijusi arvien vienmērīgāka, pat augstas kvalitātes dārgās aptaujās (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Neatbildēšanas rādītāji ir daudz augstāki komerciālo telefonu apsekojumos, dažkārt pat pat 90% (Kohut et al. 2012) . Šīs ilgtermiņa tendences nereaģēšanas gadījumā nozīmē, ka datu vākšana ir dārgāka, un aprēķini ir mazāk ticami. Pielāgots no BD Meyer, Mok, and Sullivan (2015) , 1. attēls.

Tajā pašā laikā, kad ir radušās grūtības varbūtības paraugu ņemšanas metodēs, ne-varbūtības paraugu ņemšanas metodēs ir bijusi arī aizraujoša attīstība. Ir neviendabīgo paraugu ņemšanas metožu stilu dažādība, taču vienīgā lieta, ka tiem ir kopīga, ka viņi nevar viegli iekļauties varbūtības paraugu matemātiskajā sistēmā (Baker et al. 2013) . Citiem vārdiem sakot, ne varbūtības izlases metodēs ne visiem ir zināma un neiekļauta varbūtība iekļaušanai. Varbūtēju nejaušu paraugu ņemšanas metodēm sociālo pētnieku vidū ir briesmīga reputācija, un tie ir saistīti ar dažām aptaujāto pētnieku visdramatiskākajām neveiksmēm, piemēram, " Literary Digest" fiasko (iepriekš apspriesti) un "Dewey defeats Truman", nepareizu prognozi par ASV 1948. gada prezidenta vēlēšanas (3.6. attēls).

3.6. Attēls. Prezidents Harijs Trumans aizturēja avīzes virsrakstu, kas nepareizi paziņoja par savu sakāvi. Šis virsraksts tika daļēji balstīts uz aprēķiniem no (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) paraugu (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Kaut arī "Dewey defeats Truman" notika 1948. gadā, tas joprojām ir viens no iemesliem, ka daži pētnieki skeptiski vērtē nevēlamu paraugu aprēķinus. Avots: Harija S. Trūmena bibliotēka un muzejs .

Viena veida nevēlamu paraugu ņemšana, kas ir īpaši piemērota digitālajam laikmetam, ir tiešsaistes paneļu izmantošana . Pētnieki, kuri izmanto tiešsaistes paneļus, ir atkarīgi no dažiem paneļa sniedzējiem (parasti uzņēmums, valdība vai universitāte), lai izveidotu lielu, daudzveidīgu cilvēku grupu, kas piekrīt veikt aptaujas par respondentiem. Šie ekspertu grupas dalībnieki bieži tiek pieņemti darbā, izmantojot dažādas ad hoc metodes, piemēram, tiešsaistes reklāmkarogus. Tad pētnieks var samaksāt paneļa nodrošinātājam piekļuvi izlasē iekļautajiem respondentiem ar vēlamām īpašībām (piemēram, pieaugušo valstīs pārstāvis). Šie tiešsaistes paneļi ir ne varbūtības metodes, jo ne visiem ir zināma, neiekļauta varbūtība iekļaušanai. Kaut gan sociālie pētnieki (piemēram, CCES) jau izmanto nevēlamu tiešsaistes paneļus, joprojām pastāv debates par viņu sniegto novērtējumu kvalitāti (Callegaro et al. 2014) .

Neskatoties uz šīm debatēm, es domāju, ka ir divi iemesli, kāpēc sociālajiem pētniekiem ir pienācis laiks pārskatīt nevēlamu izlasi. Pirmkārt, digitālajā laikmetā ir neveiksmīgu paraugu vākšanas un analīzes procesā daudzi notikumi. Šīs jaunākās metodes ir pietiekoši atšķirīgas no metodēm, kas pagātnē radījušas problēmas, un es domāju, ka ir lietderīgi tos domāt par "nevēlamu paraugu ņemšanu 2.0". Otrais iemesls, kāpēc pētniekiem vajadzētu pārskatīt nevēlamu paraugu ņemšanu, ir tādēļ, ka varbūtības pārbaude prakse kļūst aizvien grūtāka. Ja ir augsts nevēlēšanās reaģēt, jo tagad ir reāli aptaujas - respondentu iekļaušanas reālās varbūtības nav zināmas, un tāpēc varbūtības paraugi un nekontrolētie paraugi nav tik atšķirīgi, kā daudzi pētnieki tic.

Kā es teicu iepriekš, daudzi sociālie pētnieki neobjektīvus paraugus uzskata par lielu skepticismu, daļēji tāpēc, ka viņi ir lomā dažās nepatīkamās neveiksmēs pētījumu sākuma dienās. Skaidrs piemērs tam, cik tālu mēs esam nonācuši ar nevēlamu paraugu, ir Wei Wang, David Rothschild, Sharad Goel un Andrew Gelman (2015) pētījums, kas pareizi atgūstja ASV 2012. gada vēlēšanu rezultātus, izmantojot neiespējamu izlasi American Xbox lietotāji - absolūti nejauša amerikāņu izlase. Pētnieki pieņēma darbā dalībniekus no Xbox spēļu sistēmas, un, kā jūs varētu sagaidīt, Xbox paraugs ir savaldījis vīrišķīgus un savainotus jauniešus: 18 līdz 29 gadus vecie ir 19% no vēlētājiem, bet 65% no Xbox parauga un vīrieši veido 47% no vēlētājiem, bet 93% no Xbox parauga (3.7. attēls). Sakarā ar šīm spēcīgajām demogrāfiskajām neobjektivitāti neapstrādāti Xbox dati bija slikts vēlēšanu rezultātu rādītājs. Tas paredzēja spēcīgu uzvaru Mitt Romney pār Barack Obama. Vēlreiz tas ir vēl viens neapstrādātu, nepielāgotu nevēlamu paraugu bīstamības piemērs un tas atgādina Literary Digest fiasko.

3.7. Attēls: Respondentu demogrāfija W. Wang et al. (2015) . Tā kā respondenti tika pieņemti darbā no XBox, viņi visticamāk būtu jauni un visticamāk būs vīrieši, salīdzinot ar vēlētājiem 2012. gada vēlēšanās. Adapted from W. Wang et al. (2015) , 1. attēls.

Tomēr Wang un viņa kolēģi apzinājās šīs problēmas un mēģināja koriģēt to nejaušās izlases procesu, veicot aprēķinus. Jo īpaši viņi izmantoja post stratifikāciju - metodi, ko arī plaši izmanto, lai pielāgotu varbūtības paraugus, kuriem ir pārklājuma kļūdas un neatbildēšana.

Pēc stratifikācijas galvenā ideja ir izmantot papildu informāciju par mērķauditoriju, lai palīdzētu uzlabot aprēķinu, kas iegūts no parauga. Izmantojot post stratifikāciju, lai veiktu aprēķinus no neiespējamā parauga, Vangs un kolēģis sagriež iedzīvotājus dažādās grupās, novērtēja Obamas atbalstu katrā grupā un pēc tam novērtēja grupas aprēķinu vidējo svērto vērtību, lai iegūtu vispārēju novērtējumu. Piemēram, viņi varētu sadalīt iedzīvotājus divās grupās (vīrieši un sievietes), novērtēja Obama atbalstu vīriešu un sieviešu vidū, un pēc tam lēma vispārējo atbalstu Obamai, ņemot vērā vidējo svērto lielumu, lai ņemtu vērā faktu, ka sievietes 53% no vēlētājiem un vīrieši - 47%. Aptuveni pēc stratifikācijas palīdz novērst nelīdzsvarotu paraugu, pievienojot papildu informāciju par grupu izmēriem.

Post-stratifikācijas atslēga ir veidot pareizās grupas. Ja jūs varat sadalīt iedzīvotājus viendabīgās grupās tādā veidā, ka katras grupas grupā reaģēšanas tieksmes ir vienādas, tad pēc stratifikācijas tiks iegūti objektīvi aprēķini. Citiem vārdiem sakot, pēc stratifikācijas pēc dzimuma tiks iegūti objektīvi aprēķini, ja visiem vīriešiem būs reaģēšanas spēja, un visām sievietēm ir tāda pati reakcija. Šis pieņēmums tiek saukts par viendabīgās atbildes-tendenci-grupu pieņēmumu, un es to raksturojot mazliet vairāk matemātiskajās piezīmēs šīs nodaļas beigās.

Protams, šķiet maz ticams, ka atbildes tieksme būs vienāda visiem vīriešiem un visām sievietēm. Tomēr homogēnās atbildes-iecere-grupu pieņēmums kļūst ticamāks, jo grupu skaits palielinās. Aptuveni, lai veidotu vairāk grupu, kļūst vieglāk sadalīt iedzīvotājus viendabīgās grupās. Piemēram, var šķist neiespējami, ka visām sievietēm ir tāda pati reaģēšanas spēja, taču varētu šķist vairāk ticams, ka visām sievietēm vecumā no 18 līdz 29 gadiem, kas beiguši koledžu un dzīvo Kalifornijā . Tādējādi, ņemot vērā to, ka pēc stratifikācijas izmantoto grupu skaits kļūst lielāks, pieņēmumi, kas vajadzīgi, lai atbalstītu metodi, kļūtu saprātīgāki. Ņemot vērā šo faktu, pētnieki bieži vien vēlas izveidot milzīgu grupu pēc stratifikācijas. Tomēr, palielinoties grupu skaitam, pētnieki nonāk citā problēmā: datu sparsts. Ja katrai grupai ir tikai nedaudz cilvēku, tad aprēķini būs neskaidri, un galējā gadījumā, ja ir grupa, kurai nav respondentu, tad pēc stratifikācijas pilnībā izzūd.

No šī raksturīgā sprieduma ir divi veidi, kas balstīti uz viendabīgās atbildes iespaidu - ticību grupas iekšienē, un pieprasījumu pēc pamatotiem izlases lielumiem katrā grupā. Pirmkārt, pētnieki var savākt lielāku, daudzveidīgāku paraugu, kas palīdz nodrošināt saprātīgu izlases lielumu katrā grupā. Otrkārt, viņi var izmantot sarežģītāku statistikas modeli, lai veiktu aprēķinus grupās. Un patiesībā dažreiz pētnieki veic abus, kā Vangs un kolēģi izdarīja ar vēlēšanu izpēti, izmantojot Xbox respondentus.

Tā kā viņi izmantoja nevēlamu paraugu ņemšanas metodi ar datorizētu interviju palīdzību (es runāšu vairāk par datorizētu interviju 3.5. Iedaļā), Vangam un viņa kolēģiem bija ļoti lēta datu vākšana, kas ļāva viņiem apkopot informāciju no 345 858 unikāliem dalībniekiem , milzīgs skaits pēc vēlēšanu aptaujas standartiem. Šis lielais izlases lielums ļāva viņiem veidot milzīgu skaitu post-stratifikācijas grupu. Lai gan pēc stratifikācijas parasti tiek sadalīti iedzīvotāji simtos grupās, Wang un viņa kolēģi sadalīja 176 256 grupas, kas definētas pēc dzimuma (2 kategorijas), rases (4 kategorijas), vecuma (4 kategorijas), izglītības (4 kategorijas), valsts (51 kategorija), puse ID (3 kategorijas), ideoloģija (3 kategorijas) un 2008. gada balsojums (3 kategorijas). Citiem vārdiem sakot, viņu lielais izlases lielums, ko ļāva zemu izmaksu datu vākšana, ļāva viņiem novērtēšanas procesā padarīt ticamāku pieņēmumu.

Pat ar 345 858 unikāliem dalībniekiem tomēr bija daudzas, daudzas grupas, par kurām Vangam un kolēģiem nebija gandrīz neviens respondents. Tāpēc, lai novērtētu atbalstu katrā grupā, viņi izmantoja metodi, ko sauc par daudzlīmeņu regresiju . Būtībā, lai novērtētu atbalstu Obama konkrētā grupā, daudzlīmeņu regresijas apvienoja informāciju no daudzām cieši saistītām grupām. Piemēram, iedomājieties, ka cenšamies novērtēt Obama atbalstu sievietēm Hispanics vecumā no 18 līdz 29 gadiem, kuri ir koledžu absolventi, kuri ir reģistrēti demokrāti un paši sevi nosauc par mēreniem un kuri 2008. gadā balsoja par Obamu. Tas ir ļoti , ļoti specifiska grupa, un ir iespējams, ka šajā paraugā neviens nav ar šādām īpašībām. Tādēļ, lai veiktu aprēķinus par šo grupu, daudzlīmeņu regresija izmanto statistisko modeli, lai apkopotu aprēķinus no cilvēkiem ļoti līdzīgās grupās.

Tādējādi Wangs un viņa kolēģi izmantoja pieeju, kas apvienoja daudzlīmeņu regresiju un pēcslāņošanās, tāpēc viņi sauca par savu stratēģiju vairāklīmeņu regresiju ar pēc stratifikāciju vai, vairāk sirsnīgi, "Mr P. "Kad Vangs un viņa kolēģi izmantoja P. kungu, lai veiktu aprēķinus no XBox nevēlamu izlases, viņi aprēķināja ļoti tuvu vispārējam atbalstam, ko Obama saņēma 2012. gada vēlēšanās (3.8. Attēls). Patiesībā viņu aplēses bija precīzākas nekā tradicionālo sabiedriskās domas aptauju apkopojums. Tādējādi šajā gadījumā statistikas korekcijas, it īpaši P., šķiet, veic labu darbu, novēršot neobjektivitāti ne varbūtējos datos; aizspriedumi, kas bija skaidri redzami, kad skatījāties no nepielāgotiem Xbox datiem.

3.8. Zīmējums: aprēķini no W. Wang et al. (2015) . Nepareiza XBox parauga iegūtie neprecīzi aprēķini. Taču svērtais XBox paraugs saražoja aplēses, kas bija precīzākas nekā varbūtību balstītu telefonu aptauju vidējais rādītājs. Adapted from W. Wang et al. (2015) , 2. un 3. attēls.

No Wang un kolēģu pētījuma ir divas galvenās mācības. Pirmkārt, nepielāgoti ne varbūtības paraugi var radīt sliktas aplēses; šī ir mācība, ko daudzi pētnieki ir dzirdējuši iepriekš. Otra mācība tomēr ir tāda, ka ne varbūtības paraugi, ja tos pienācīgi analizē, patiesībā var radīt labas aplēses; ne varbūtības paraugi nav automātiski noved pie kaut kā literārā Digest fiasko.

Turpinot rīkoties tālāk, ja jūs mēģināt izlemt, izmantojot varbūtības paraugu ņemšanas metodi un nevēlamu paraugu ņemšanas pieeju, jums ir grūti izvēlēties. Dažreiz pētnieki vēlas, lai būtu ātrs un stingrs noteikums (piemēram, vienmēr izmantojiet varbūtības paraugu ņemšanas metodes), taču tas ir arvien grūtāk piedāvāt. Pētnieki saskaras ar grūtībām izvēlēties starp varbūtības paraugu ņemšanas metodēm praksē, kas arvien dārgākas un tālu no teorētiskajiem rezultātiem, kas pamato to izmantošanu, un ne varbūtības paraugu ņemšanas metodes, kas ir lētākas un ātrākas, bet mazāk pazīstamas un daudzveidīgākas. Viena lieta, kas ir skaidra, ir tāda, ka, ja esat spiests strādāt ar nevēlamiem paraugiem vai lieliem datu avotiem, kas nav reprezentatīvi (domājiet par 2. nodaļu), tad ir pamatots iemesls uzskatīt, ka aprēķini, kas veikti pēc stratifikācijas un saistītie paņēmieni būs labāki nekā nepielāgoti, neapstrādāti aprēķini.