Mnoge teme iz ovog poglavlja također su se odrazile na nedavnim predsjedničkim adresama Američke udruge istraživanja javnog mnijenja (AAPOR), poput onih koje su Dillman (2002) , Newport (2011) , Santos (2014) i Link (2015) .
Više o razlikama između istraživanja istraživanja i dubinskog intervjua, pogledajte Small (2009) . Povezano s dubinskim intervjuima je obitelj pristupa koji se zovu etnografija. U etnografskim istraživanjima, istraživači uglavnom troše mnogo više vremena s sudionicima u njihovom prirodnom okruženju. Više o razlikama između etnografije i dubinskih intervjua pogledajte Jerolmack and Khan (2014) . Više o digitalnoj etnografiji vidi Pink et al. (2015) .
Moj opis povijesti istraživanja istraživanja je previše kratak da bi uključio mnoge uzbudljive događaje koji su se dogodili. Za više povijesnih pozadina, pogledajte Smith (1976) , Converse (1987) i Igo (2008) . Za više informacija o ideji tri razdoblja istraživanja, pogledajte Groves (2011) i Dillman, Smyth, and Christian (2008) (koji blago razbija tri razdoblja nešto drugačije).
Groves and Kahn (1979) nude pregled u prijelazu iz prve u drugo doba u istraživanjima istraživanja uz pomoć detaljne usporedbe između studenata licem u lice i telefona. ( ??? ) osvrću na povijesni razvoj metoda uzorkovanja slučajnim digitalnim biranjem.
Više o tome kako se istraživanje istraživanja promijenilo u prošlosti kao odgovor na promjene u društvu, pogledajte Tourangeau (2004) , ( ??? ) i Couper (2011) .
Prednosti i nedostatci Baumeister, Vohs, and Funder (2007) i promatranja raspravljali su psiholozi (npr. Baumeister, Vohs, and Funder (2007) ) i sociolozi (npr. Jerolmack and Khan (2014) , Maynard (2014) , Cerulo (2014) , Vaisey (2014) ; Jerolmack and Khan (2014) ] razlika između traženja i promatranja također javlja u ekonomiji, gdje su istraživači govore o navedenim i otkrio sklonosti na primjer, istraživač može pitati ispitanike jesu li oni vole jesti sladoled ili ide u teretanu.. (navedene preferencije), ili je moglo promatrati koliko često ljudi jedu sladoled i otići u teretanu (otkrivene preferencije). Postoji dubok skepticizam o određenim vrstama navedenih podataka o preferenciji u ekonomiji kao što je opisano u Hausman (2012) .
Glavna tema tih rasprava je da prijavljeno ponašanje nije uvijek točno. No, kako je opisano u 2. poglavlju, veliki izvori podataka možda nisu točni, ne mogu se prikupljati na uzorku od interesa, a možda i nisu dostupni istraživačima. Dakle, mislim da, u nekim situacijama, prijavljeno ponašanje može biti korisno. Nadalje, druga glavna tema ovih rasprava je da izvješća o emocijama, znanju, očekivanjima i mišljenjima nisu uvijek točna. No, ako su znanstvenici potrebni informacije o tim unutarnjim stanjima - kako bi objasnio neko ponašanje ili kao stvar koja se treba objasniti - onda bi molba mogla biti prikladna. Naravno, učenje unutarnjih država postavljanjem pitanja može biti problematično, jer ponekad ispitanici nisu svjesni svojih unutarnjih stanja (Nisbett and Wilson 1977) .
Poglavlje 1 Groves (2004) izvrstan je posao usklađivanja povremenih nedosljednih terminologija koje istraživači istražuju kako bi opisali ukupni okvir pogreške ankete. Za knjigovodstvenu obradbu ukupnog okvira pogreške ankete, vidi Groves et al. (2009) , a za povijesni pregled, vidi Groves and Lyberg (2010) .
Ideja o razlaganju pogrešaka u pristranosti i varijance dolazi i do strojnog učenja; vidi, na primjer, odlomak 7.3 od Hastie, Tibshirani, and Friedman (2009) . To često vodi istraživačima da razgovaraju o "kompromisnoj pristranosti".
U pogledu zastupanja, veliki uvod u pitanja neodržavanja i neodržavanja pristranosti je izvješće Nacionalnog vijeća za istraživanje (Nonresponse in Social Science Surveys: Research Agenda (2013) . Još jedan koristan pregled pruža Groves (2006) . Također, objavljeno je i čitava posebna izdanja Časopisa za službenu statistiku , Tromjesečno javno mnijenje i analize američke akademije političkih i društvenih znanosti na temu neodgovora. Konačno, zapravo postoje mnogi različiti načini izračuna stopa odgovora; ti su pristupi detaljno opisani u izvješću Američke udruge istraživača javnog mišljenja (AAPOR) ( ??? ) .
Više o istraživanju 1936 Literary Digest , vidi Bryson (1976) , Squire (1988) , Cahalan (1989) i Lusinchi (2012) . Za još jednu raspravu o ovoj anketi kao upozorenje o Gayo-Avello (2011) prikupljanju podataka, pogledajte Gayo-Avello (2011) . Godine 1936. George Gallup je koristio sofisticiraniji oblik uzorkovanja i bio u mogućnosti proizvesti preciznije procjene s mnogo manjim uzorkom. Gallupov uspjeh nad Književnim Digestom bio je prekretnica u razvoju istraživanja kao što je opisano u 3. poglavlju @ converse_survey_1987; četvrto poglavlje Ohmer (2006) ; i 3. poglavlje @ igo_averaged_2008.
U mjerenju, veliki prvi resurs za izradu upitnika je Bradburn, Sudman, and Wansink (2004) . Za naprednije tretmane pogledajte Schuman and Presser (1996) , koji je posebno usmjeren na pitanja o stavovima, a Saris and Gallhofer (2014) , što je općenitije. Pomalo drugačiji pristup mjerenju uzima se u psihometrijski, kako je opisano u ( ??? ) . Više o pretestingu je dostupan u Presser and Blair (1994) , Presser et al. (2004) i poglavlje 8 Groves et al. (2009) . Više o eksperimentima istraživanja potražite u Mutz (2011) .
U pogledu troškova, klasična, dugotrajna obrada troškova istraživanja i pogreške u anketi je Groves (2004) .
Dva klasična postupka uzorkovanja i procjene vjerojatnosti su Lohr (2009) (više uvodni) i Särndal, Swensson, and Wretman (2003) (napredniji). Klasična obrada knjiga u post-stratifikaciji i srodnih metoda je Särndal and Lundström (2005) . U nekim postavkama digitalnog doba, znanstvenici znaju vrlo malo o neponderentima, što u prošlosti nije bilo često istinito. Različiti oblici nesposobnosti prilagodbe mogući su kada istraživači imaju informacije o nesposobnicima, kao što su opisali Kalton and Flores-Cervantes (2003) i Smith (2011) .
Xbox studija W. Wang et al. (2015) koristi tehniku nazvanu višerazinsku regresiju i poststratifikaciju ("Mr. P.") koja istraživačima omogućuje procjenu grupnih sredstava čak i kada postoji mnogo, mnogo skupina. Iako postoji neka rasprava o kvaliteti procjena iz ove tehnike, čini se kao obećavajuće područje za istraživanje. Tehnika je prvi put korištena u Park, Gelman, and Bafumi (2004) , a kasnije je korištena i raspravljena (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Više o povezivanju pojedinačnih utega i težina grupe vidi Gelman (2007) .
Za ostale pristupe ponderiranju web anketa, vidi Schonlau et al. (2009) , Bethlehem (2010) i Valliant and Dever (2011) . Online paneli mogu koristiti uzorkovanje vjerojatnosti ili uzorkovanje ne-vjerojatnosti. Više o mrežnim pločama potražite u: Callegaro et al. (2014) .
Ponekad su istraživači otkrili da uzorci vjerojatnosti i uzorci ne-vjerojatnosti donose procjene slične kakvoće (Ansolabehere and Schaffner 2014) , ali druge usporedbe su pokazale da uzorci ne-vjerojatnosti pogoršavaju (Malhotra and Krosnick 2007; Yeager et al. 2011) . Jedan od mogućih razloga za ove razlike je da su uzorci ne-vjerojatnosti poboljšani tijekom vremena. Za pesimistički pogled na metode uzorkovanja ne-vjerojatnosti pogledajte radnu skupinu AAPOR-a o uzorkovanju vjerojatnosti (Baker et al. 2013) , a preporučujem i čitanje komentara koji slijedi sažetak izvješća.
Conrad and Schober (2008) uređeni su volumen pod nazivom Envisioning the Survey Interview of the Future , a nudi različite stavove o budućnosti postavljanja pitanja. Couper (2011) bavi se sličnim temama, a Schober et al. (2015) nude dobar primjer kako metode prikupljanja podataka prilagođene novoj postavci mogu rezultirati kvalitetnijim podacima. Schober and Conrad (2015) nude općenitije argumente o nastavku prilagodbe istraživanja istraživanja kako bi se uskladile promjene u društvu.
Tourangeau and Yan (2007) pregledavaju pitanja socijalne poželjnosti u osjetljivim pitanjima, a Lind et al. (2013) nude neke moguće razloge zbog kojih bi ljudi mogli otkriti osjetljive podatke u intervjuu upravljanom računalom. Više o ulozi ljudskih anketara u povećanju stope participacije u istraživanjima vidi Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) i Schaeffer et al. (2013) . Za više informacija o mješovitim anketama pogledajte Dillman, Smyth, and Christian (2014) .
Stone et al. (2007) nude knjigovodstvenu obradbu ekološke trenutačne procjene i srodne metode.
Više savjeta o angažiranju anketama ugodnim i vrijednim iskustvom za sudionike pogledajte rad na metodi prilagođenog dizajna (Dillman, Smyth, and Christian 2014) . Još jedan zanimljiv primjer upotrebe Facebookovih aplikacija za istraživanje društvenih znanosti potražite u dokumentu Bail (2015) .
Judson (2007) opisuje proces kombinacije anketa i administrativnih podataka kao "integraciju informacija" i raspravlja o nekim prednostima ovog pristupa, kao i ponuditi neke primjere.
Što se tiče obogaćene molbe, bilo je mnogo prethodnih pokušaja potvrđivanja glasovanja. Za pregled te literature vidi Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) , te Berent, Krosnick, and Lupia (2016) . Vidi Berent, Krosnick, and Lupia (2016) za skeptičniji pogled na rezultate prikazane u Ansolabehere and Hersh (2012) .
Važno je napomenuti da su, iako su Ansolabehere i Hersh potaknuti kvalitetom podataka Catalista, druge procjene komercijalnih dobavljača manje su bile entuzijastične. Pasek et al. (2014) pronašao je lošu kvalitetu kada su podaci iz ankete uspoređeni s datotekama potrošača tvrtke Marketing Systems Group (koja je sama spojila podatke s tri pružatelja usluga: Acxiom, Experian i InfoUSA). Drugim riječima, podatkovna datoteka nije odgovarala odgovora na ankete koje su istraživači očekivali da budu točni, potrošačke datoteke nedostaju za velikim brojem pitanja, a nedostajuće obrazac podataka povezan je s prijavljenom vrijednošću istraživanja (drugim riječima, podaci su bili sustavni, a ne slučajni).
Više o rekordnoj vezi između anketa i administrativnih podataka potražite u Sakshaug and Kreuter (2012) i Schnell (2013) . Za više o rekordnoj povezanosti općenito pogledajte Dunn (1946) i Fellegi and Sunter (1969) (povijesni) te Larsen and Winkler (2014) (moderni). Slični su pristupi također razvijeni u računalnoj znanosti pod nazivima kao što su deduplicacija podataka, identifikacija instancira, podudaranje imena, duplikat detekcije i duple detekcije zapisa (Elmagarmid, Ipeirotis, and Verykios 2007) . Postoje i pristupi očuvanja privatnosti kako bi snimili vezu koja ne zahtijeva prijenos osobnih podataka (Schnell 2013) . Istraživači na Facebooku razvili su postupak da vjerojatno povezuju svoje zapise s ponašanjem u glasa (Jones et al. 2013) ; ova veza je učinjena kako bi se procijenio eksperiment koji ću vam reći u poglavlju 4 (Bond et al. 2012) . Za više informacija o dobivanju suglasnosti za rekordnu vezu, pogledajte Sakshaug et al. (2012) .
Drugi primjer povezivanja velikog društvenog istraživanja s vladinim upravnim zapisima potječe iz Ankete o zdravlju i umirovljenju i Uprave za socijalnu sigurnost. Više o toj studiji, uključujući informacije o postupku pristanka, vidi Olson (1996, 1999) .
Proces kombinacije mnogih izvora administrativnih zapisa u glavnu podatkovnu datoteku - proces koji Catalist zapošljava - uobičajen je u statističkim uredima nekih nacionalnih vlada. Dva istraživača iz statistike Švedske napisali su detaljnu knjigu o ovoj temi (Wallgren and Wallgren 2007) . Primjer takvog pristupa u jednoj županiji u Sjedinjenim Američkim Državama (Olmstead County, Minnesota, dom Mayo Clinic), vidi Sauver et al. (2011) . Više o pogreškama koje se mogu pojaviti u administrativnim zapisima potražite u odjeljku Groen (2012) .
Drugi način na koji istraživači mogu koristiti velike izvore podataka u istraživanjima istraživanja kao okvir uzorkovanja za osobe s određenim karakteristikama. Nažalost, ovaj pristup može postaviti pitanja vezana uz privatnost (Beskow, Sandler, and Weinberger 2006) .
Što se tiče pojačane molbe, ovaj pristup nije tako nov kao što bi to moglo izgledati iz kako sam ga opisao. Ona ima duboke veze s tri velika područja statistike: poststratifikaciju na modelu (Little 1993) , imputiranje (Rubin 2004) i procjenu malih područja (Rao and Molina 2015) . Također je povezana s uporabom surogatnih varijabli u medicinskim istraživanjima (Pepe 1992) .
Procjene troškova i vremena u Blumenstock, Cadamuro, and On (2015) više se odnose na promjenjive troškove - cijenu jednog dodatnog istraživanja - i ne uključuju fiksne troškove kao što su troškovi čišćenja i obrade podataka o pozivu. Općenito, pojačana molba vjerojatno će imati visoke fiksne troškove i niske varijabilne troškove slične onima digitalnih eksperimenata (vidi poglavlje 4). Više o anketama na mobilnim telefonima u zemljama u razvoju, vidi Dabalen et al. (2016) .
Za ideje o tome kako to učiniti pojačano tražeći bolje, preporučujem da saznate više o višestrukom imputiranju (Rubin 2004) . Isto tako, ako bi istraživači pojačali traženje skrbi o brojanju agregata, a ne osobine na razini pojedinca, onda bi pristuci u King and Lu (2008) i Hopkins and King (2010) mogli biti korisni. Konačno, više o pristupima strojnog učenja u Blumenstock, Cadamuro, and On (2015) , vidi James et al. (2013) (više uvodni) ili Hastie, Tibshirani, and Friedman (2009) (napredniji).
Jedno etičko pitanje u vezi s pojačanim pitanjima je da se može upotrijebiti za zaključivanje osjetljivih osobina koje ljudi možda neće odlučiti otkriti u anketi kao što je opisano u Kosinski, Stillwell, and Graepel (2013) .