3.4 Ko da pitam
Digitalno doba u praksi teži stvaranju uzorka vjerovatnoće i stvara nove mogućnosti za uzorkovanje bez verovatnoće.
U istoriji uzorkovanja, došlo se do dva suprotstavljena pristupa: metode uzorkovanja verovatnoće i metode uzorkovanja bez verovatnoće. Iako su oba pristupa korišćena u prvim danima uzorkovanja, uzorkovanje verovatnoća je dominiralo, a mnogi socijalni istraživači su naučeni da gledaju na uzorkovanje bez verovatnoće sa velikim skepticizmom. Međutim, kako ću opisati u nastavku, promjene stvorene digitalnim dobima znače da je vrijeme istraživača da preispitaju uzorkovanje bez verovatnoće. Konkretno, uzimanje uzoraka verovatnoće je postati teško u praksi, a uzimanje uzoraka bez verovatnoće postaje sve brže, jeftinije i bolje. Brža i jeftinija istraživanja nisu samo ciljevi po sebi: one omogućavaju nove mogućnosti kao što su češća istraživanja i veće veličine uzorka. Na primjer, korištenjem ne-vjerovatnih metoda, Studija kooperativne izborne studije (CCES) može imati otprilike 10 puta više učesnika nego ranije studije koje koriste uzimanje verovatnoće. Ovaj mnogo veći uzorak omogućava političkim istraživačima da proučavaju varijacije u stavovima i ponašanju u podgrupama i društvenim kontekstima. Nadalje, sve ove dodatne skale došle su bez smanjenja kvaliteta procjena (Ansolabehere and Rivers 2013) .
Trenutno, dominantan pristup uzorkovanju za društvena istraživanja je uzorkovanje verovatnoće . U uzorkovanju verovatnoće, svi članovi ciljne populacije imaju poznatu, nenormalnu verovatnoću da budu uzorkovani, a svi ljudi koji su uzorkovani odgovoriti na anketu. Kada su ovi uslovi ispunjeni, elegantni matematički rezultati nude dokazljive garancije o sposobnosti istraživača da koristi uzorak da bi zaključio ciljanu populaciju.
Međutim, u stvarnom svetu, uslovi koji su u osnovi ovih matematičkih rezultata retko ispunjavaju. Na primjer, često se javljaju greške i nepostojanje. Zbog ovih problema, istraživači često moraju da koriste različite statističke prilagodbe kako bi zaključili iz svog uzorka u ciljanu populaciju. Stoga je važno napraviti razliku između uzimanja verovatnoće u teoriji , koja ima jake teorijske garancije i uzimanje verovatnoće u praksi , koja ne nudi takve garancije i zavisi od različitih statističkih prilagođavanja.
Tokom vremena, razlike između uzimanja verovatnoće u teoriji i uzorkovanja verovatnoće u praksi su se povećavale. Na primjer, stope nerješenja su se stalno povećavale, čak iu visokokvalitetnim, skupim istraživanjima (slika 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Stope nesaglasnosti su mnogo veće u komercijalnim telefonskim istraživanjima - ponekad čak i do 90% (Kohut et al. 2012) . Ova povećanja u nonresponse ugrožavaju kvalitet procena, jer procjene sve više zavise od statističkih modela koje istraživači koriste za prilagođavanje za nepresponanje. Dalje, ovi padovi u kvalitetu su se desili uprkos sve skupljim naporima istraživanjem istraživača radi održavanja visokih stopa odgovora. Neki ljudi se plaše da ovi dvostruki trendovi smanjenja kvaliteta i povećanja troškova ugrožavaju temelj istraživanja (National Research Council 2013) .
Slika 3.5: Neregistrovanje je sve stabilnije, čak iu visokokvalitetnim skupim istraživanjima (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Stopa nezaposlenosti je mnogo veća za istraživanja komercijalnih telefona, ponekad čak i do 90% (Kohut et al. 2012) . Ovi dugoročni trendovi u nerješenju znače da je prikupljanje podataka skuplje i procjene su manje pouzdane. Prilagođeno od BD Meyer, Mok, and Sullivan (2015) , slika 1.
Istovremeno, postojale su sve veće poteškoće za metode uzorkovanja verovatnoće, takođe je bilo uzbudljivih promjena u metodama uzorkovanja koji nisu vjerojatni . Postoje različiti stilovi neprocenjivih metoda uzorkovanja, ali jedna stvar koja im je zajednička jeste to što se ne mogu lako uklopiti u matematički okvir uzorkovanja verovatnoće (Baker et al. 2013) . Drugim riječima, u metodima uzorkovanja bez verovatnoće svako ima poznatu i nenormalnu vjerovatnoću uključivanja. Metode uzorkovanja bez verovatnoće imaju strašnu reputaciju među socijalnim istraživačima i povezani su sa nekim od najtraženijih propusta istraživača istraživanja, kao što su fiasco Literary Digest (o čemu se već raspravljalo ranije) i "Dewey Defeats Truman", pogrešno predviđanje o SAD-u predsednički izbori 1948. godine (slika 3.6).
Slika 3.6: Predsjednik Harry Truman drži naslov novina koji je pogrešno objavio svoj poraz. Ovaj naslov delimično se bazirao na procenama iz uzoraka koji nisu verovatnoći (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Iako se "Dewey Defeats Truman" dogodio 1948. godine, i dalje je među istraživačima skeptičan prema procjenama iz uzoraka koji nisu vjerojatni. Izvor: Biblioteka i muzej Harry S. Truman .
Jedan od oblika uzorkovanja koji nisu verovatni, koji je posebno pogodan za digitalno doba, je korišćenje online panela . Istraživači koji koriste online panele zavise od nekog od provajdera provajdera - obično kompanije, vlade ili univerziteta - za izgradnju velike, raznolike grupe ljudi koji se slažu da služe kao anketirani za anketiranje. Ovi učesnici panela često se regrutuju pomoću različitih ad hoc metoda kao što su online baner oglasi. Zatim, istraživač može platiti dobavljaču panela za pristup uzorku ispitanika sa željenim karakteristikama (npr. Na nacionalnom nivou za odrasle). Ovi online paneli su metode koje nisu verovatnoće, jer svako nema poznatu, nenajernu verovatnoću uključivanja. Iako internetski paneli koji nisu verovatno već koriste socijalni istraživači (npr. CCES), još uvijek postoji određena debata o kvalitetu procena koji dolaze od njih (Callegaro et al. 2014) .
Uprkos ovim debatama, mislim da postoje dva razloga zašto je vrijeme pravo za socijalne istraživače da preispitaju uzorkovanje bez verovatnoće. Prvo, u digitalnom dobu bilo je dosta razvoja u sakupljanju i analizi uzoraka koji nisu vjerojatni. Ovi noviji metodi su dovoljno različiti od metoda koji su prouzrokovali probleme u prošlosti i mislim da je smisla razmišljati o njima kao "uzorkovanje bez verovatnoće 2.0". Drugi razlog zašto bi istraživači trebali preispitati uzimanje uzoraka koji nisu verovatnoći jeste uzimanje uzoraka verovatnoće u praksa postaje sve teže. Kada postoje visoke stope neodgovora - kao što postoje u stvarnim istraživanjima - stvarne vjerovatnoće uključivanja ispitanika nisu poznate, pa samim tim i uzorci vjerovatnoće i uzorci koji nisu vjerojatni nisu toliko različiti koliko vjeruju mnogi istraživači.
Kao što sam rekao ranije, uzorci sa nepostojanjem gledaju sa velikim skepticizmom od strane mnogih socijalnih istraživača, delom zbog svoje uloge u nekim od najneugramnijih neuspeha u ranim danima istraživanja istraživanja. Jasan primjer koliko smo daleko od uzoraka koji nisu verovatni jeste istraživanje Wei Wanga, Davida Rothschilda, Sharada Goela i Andrewa Gelmana (2015) koje su ispravno nadoknadile ishod američkih izbora 2012. koristeći uzorak koji nije vjerojatan Američki korisnici Xbox-a odlučno nerazumljivi uzorak Amerikanaca. Istraživači su angažovali ispitanike iz Xbox sistema igara, i kao što biste mogli očekivati, Xbox uzorak je iskrivio male i iskrivljene mlade: 18 do 29 godina starije osobe čine 19% biračkog tela, ali 65% uzorka Xboxa, a muškarci čine 47% biračkog tela, ali 93% Xbox primera (slika 3.7). Zbog ovih snažnih demografskih predrasuda, sirovi podaci Xbox-a bili su loš pokazatelj povratka izbora. Predvideo je snažnu pobedu Mitu Romnija oko Baraka Obame. Ponovo, ovo je još jedan primer opasnosti sirovih, neprilagođenih uzoraka bez verovatnoće i podsjeća na filozof literarnog dijaloga.
Slika 3.7: Demografija ispitanika u W. Wang et al. (2015) . S obzirom na to da su ispitanici angažovani iz Xbox-a, oni su verovatnije mladi i verovatnije muškarci, u odnosu na birače na izborima 2012. godine. Adaptirano od W. Wang et al. (2015) , slika 1.
Međutim, Wang i kolege su bili upoznati sa ovim problemima i pokušali da se prilagode za svoj neusmerni proces uzorkovanja prilikom procenjivanja. Konkretno, oni su koristili post-stratifikaciju , tehniku koja se takođe široko koristi za prilagođavanje uzoraka verovatnoće koji imaju greške u pokrivanju i neodgovor.
Glavna ideja post-stratifikacije je korištenje pomoćnih informacija o ciljnoj populaciji kako bi se poboljšala procjena koja potiče iz uzorka. Kada koriste post-stratifikaciju za procjenu iz njihovog uzorka koji nije verovatno, Wang i kolega su preselili stanovništvo u različite grupe, ocijenili podršku za Obama u svakoj grupi, a zatim su uzeli ponderisani prosjek grupnih procjena kako bi proizveli ukupnu procjenu. Na primjer, mogli su podeliti stanovništvo u dvije grupe (muškarci i žene), ocijenili podršku za Obama među muškarcima i ženama, a zatim procijenili potpunu podršku za Obama uzimajući ponderisani prosjek kako bi se objasnila činjenica koja žene 53% biračkog tela i muškaraca 47%. Grubo, post-stratifikacija pomaže u ispravljanju neuravnoteženog uzorka dovođenjem pomoćnih informacija o veličinama grupa.
Ključ post-stratifikacije je formiranje pravih grupa. Ako možete preseliti stanovništvo u homogene grupe tako da su opseg odgovora isti za sve u svakoj grupi, onda post-stratifikacija će proizvesti nepristrasne procjene. Drugim rečima, post-stratifikovanje prema polu će proizvesti nepristrasne procene ako svi muškarci imaju sklonost odgovora i sve žene imaju istu sklonost odgovora. Ova pretpostavka se naziva pretpostavkom homogenog odgovora-propensities-within-groups , a ja sam to opisao još malo u matematičkim notama na kraju ovog poglavlja.
Naravno, čini se malo verovatnim da će opseg odgovora biti isti za sve muškarce i sve žene. Međutim, pretpostavka homogenog odgovora-propensities-within-groups postaje sve verovatnija s obzirom na povećanje broja grupa. Grubo, postaje lakše iseckati stanovništvo u homogene grupe ako stvarate više grupa. Na primjer, možda bi se činilo nejasnim da sve žene imaju istu nagibu odgovora, ali može izgledati vjerovatnije da postoji ista nagiba od odgovora na sve žene starosti 18-29 godina, koje su završile koledž i koje žive u Kaliforniji . Stoga, pošto se broj grupa koje se koriste u post-stratifikaciji povećavaju, pretpostavke potrebne za podršku metoda postaju razumnije. S obzirom na ovu činjenicu, istraživači često žele da kreiraju veliki broj grupa za post-stratifikaciju. Međutim, s obzirom na povećanje broja grupa, istraživači imaju drugačiji problem: spektar podataka. Ako u svakoj grupi ima samo mali broj ljudi, onda će procjene biti nesigurnije, au ekstremnom slučaju kada postoji grupa koja nema ispitanike, post-stratifikacija se potpuno razbija.
Postoje dva načina iz ove inherentne tenzije između vjerodostojnosti pretpostavke homogene-odgovora-sklonosti-unutar-grupa i potrebe za razumnim veličinama uzoraka u svakoj grupi. Prvo, istraživači mogu sakupiti veći, raznovrsniji uzorak, koji pomaže u osiguravanju razumnih veličina uzoraka u svakoj grupi. Drugo, oni mogu da koriste sofisticiraniji statistički model za procenu unutar grupa. I zapravo, ponekad istraživači obavljaju i oba, kako su Wang i kolege radili s njihovim istraživanjem izbora koristeći ispitanike iz Xbox-a.
Zato što su koristili metodu uzorkovanja bez verovatnoće sa intervjuima koji se sprovode putem računara (više ću razgovarati o intervjuima koji se upravljaju računarima u odjeljku 3.5), Wang i kolege su imali vrlo jeftino prikupljanje podataka, što im je omogućilo prikupljanje informacija od 345.858 jedinstvenih učesnika , ogroman broj po standardima izbornog izbora. Ova masivna veličina uzorka omogućila im je formiranje velikog broja post-stratifikacionih grupa. Dok post-stratifikacija obično podrazumeva seckanje stanovništva u stotine grupa, Wang i kolege su podelili stanovništvo na 176.256 grupa definisanih polovima (2 kategorije), rasa (4 kategorije), starost (4 kategorije), obrazovanje (4 kategorije), država (51 kategorije), partijski ID (3 kategorije), ideologija (3 kategorije) i 2008 glas (3 kategorije). Drugim rečima, njihova ogromna veličina uzorka, koja je omogućena prikupljanjem niskih troškova, omogućila im je da u svom procenjivačkom procesu postanu pouzdanija pretpostavka.
Čak i sa 345.858 jedinstvenih učesnika, međutim, i dalje je bilo mnogo, mnogo grupa za koje Wang i kolege nisu imali skoro nikakvih ispitanika. Stoga su koristili tehniku pod nazivom višestepena regresija kako bi procijenili podršku u svakoj grupi. U suštini, da bi se procenila podrška Obame u određenoj grupi, višestepena regresija zbacila je informacije iz mnogih tesno povezanih grupa. Na primer, zamislite da pokušate proceniti podršku Obamau među ženama iz Latinske Amerike između 18 i 29 godina, koji su diplomirani diplomci, koji su registrovani demokrati, koji se sami identifikuju kao umereni i koji su glasali za Obama u 2008. To je vrlo , vrlo specifična grupa, i moguće je da u uzorku nema nikoga sa ovim karakteristikama. Zbog toga, da bi se napravile procjene o ovoj grupi, višestepena regresija koristi statistički model za procjenu skupa procjena ljudi u vrlo sličnim grupama.
Tako su Wang i kolege koristili pristup koji je kombinovao višestepenu regresiju i post-stratifikaciju, tako da su svoju strategiju nazvali multilevel regresijom sa post-stratifikacijom ili, više ljubaznošću, "g. P. "Kada su Wang i kolege upotrijebili gospodina P. kako bi napravili procjene iz uzorka bez verovatnoće XBoxa, oni su proizveli procjene vrlo bliske ukupnoj podršci koju je Obama primio na izborima 2012 (slika 3.8). U stvari, njihove procjene su bile tačnije nego zbir tradicionalnih ispitivanja javnog mnjenja. Stoga, u ovom slučaju, statistička prilagođavanja - konkretno gospodin P. - čini se da rade dobar posao ispravljajući predrasude u podacima koji nisu vjerojatni; predrasude koje su jasno vidljive kada pogledate procjene iz neprilagođenih Xbox podataka.
Slika 3.8: Procjene W. Wang et al. (2015) . Neprikosnovani XBox uzorak je napravio netačne procjene. Ali, ponderisani XBox uzorak proizveo je procene koji su bili tačniji od prosjeka na telefonskim istraživanjima zasnovanim na vjerovatnoći. Adaptirano od W. Wang et al. (2015) , slike 2 i 3.
Postoje dve osnovne lekcije iz studije Wanga i kolega. Prvo, neprilagođeni uzorci koji nisu vjerojatni mogu dovesti do loših procjena; ovo je lekcija koju su mnogi istraživači ranije čuli. Druga lekcija je, međutim, da uzorci bez verovatnoće, kada se pravilno analiziraju, zapravo mogu proizvesti dobre procjene; uzorci bez verovatnoće ne moraju automatski dovesti do nečega kao filozof Literarnog Digest .
Ako nastavite, ako pokušavate da odlučite između korištenja pristupa uzorkovanja vjerovatnosti i pristupa uzorkovanja bez verovatnoće, vi se suočite sa teškim izborom. Ponekad istraživači žele brzo i rigidno pravilo (npr. Uvek koristite metode za uzorkovanje verovatnoće), ali je sve teže ponuditi takvo pravilo. Istraživači se suočavaju sa teškim izborom između metoda verovatnoće uzorkovanja u praksi - koji su sve skuplji i daleko od teorijskih rezultata koji opravdavaju metode njihovog korišćenja i ne-verovatnoće - koji su jeftiniji i brži, ali manje poznati i raznovrsniji. Jedna stvar koja je jasna, međutim, je da ako ste prisiljeni da radite sa uzorcima koji nisu verovatnoći ili ne predstavljaju veliki izvor podataka (razmislite o poglavlju 2), onda postoji snažan razlog da se veruje da procene koje se postižu korišćenjem post-stratifikacije i povezane tehnike će biti bolje nego neprilagođene, sirove procjene.
