Šta dalje čitati

• Uvod (odeljak 3.1)

Mnoge teme u ovom poglavlju takođe su ponovljene na nedavnim predsedničkim adresama Američkog udruženja za istraživanje javnog mnjenja (AAPOR), kao što su Dillman (2002) , Newport (2011) , Santos (2014) i Link (2015) .

Više o razlikama između istraživanja istraživanja i dubinskih intervjua, pogledajte Small (2009) . Vezano za dubinske intervjue je porodica pristupa koji se zovu etnografija. U etnografskom istraživanju, istraživači uglavnom provode mnogo više vremena sa učesnicima u njihovom prirodnom okruženju. Više o razlikama između etnografije i dubinskih intervjua vidi Jerolmack and Khan (2014) . Za više informacija o digitalnoj etnografiji pogledajte Pink et al. (2015) .

Moj opis istorije istraživanja istraživanja je previše kratak da uključi mnoge uzbudljive događaje koji su se dogodili. Za više istorijskog porekla pogledajte Smith (1976) , Converse (1987) i Igo (2008) . Više o ideji o tri eras istraživanja istraživanja, pogledajte Groves (2011) i Dillman, Smyth, and Christian (2008) (koji malo razdvaja tri erase).

Groves and Kahn (1979) nude pregled unutar tranzicije od prve do druge ere u istraživanju istraživanja praveći detaljno upoređivanje između direktnog i telefonskog istraživanja. ( ??? ) osvrnuti se na istorijski razvoj metoda uzimanja uzoraka slučajno-cifrenom biranjem.

Da biste saznali više o tome kako se istraživanje istraživanja promijenilo u prošlosti kao odgovor na promjene u društvu, pogledajte Tourangeau (2004) , ( ??? ) i Couper (2011) .

• Pitanje naspram posmatranja (odeljak 3.2)

Baumeister, Vohs, and Funder (2007) i slabosti pitanja i Baumeister, Vohs, and Funder (2007) su raspravljali psiholozi (npr. Baumeister, Vohs, and Funder (2007) ) i sociolozi (npr. Jerolmack and Khan (2014) , Maynard (2014) , Cerulo (2014) , Vaisey (2014) , Jerolmack and Khan (2014) ] Razlika između postavljanja i posmatranja takođe se javlja u ekonomiji, gde istraživači govore o utvrđenim i otkrivenim preferencama.Na primer, istraživač može pitati ispitanike da li vole da jedu sladoled ili da odu u teretanu (naznačene preferencije), ili bi mogli posmatrati koliko često ljudi jedu sladoled i odu u teretanu (otkrivene preferencije). Postoji dubok skepticizam o određenim vrstama podataka o preferencama u ekonomiji kako je opisano u Hausman (2012) .

Glavna tema ovih debata je da ponašanje koje je prijavljeno nije uvek tačno. Ali, kao što je opisano u poglavlju 2, veliki izvori podataka možda nisu tačni, oni se ne mogu prikupljati na uzorku od interesa i možda neće biti dostupni istraživačima. Stoga, mislim da u nekim situacijama prijavljeno ponašanje može biti korisno. Dalje, druga glavna tema ovih rasprava je da izveštaji o emocijama, znanjima, očekivanjima i mišljenjima nisu uvek tačni. Međutim, ako su istraživači potrebni podaci o ovim unutrašnjim stanjima - ili da bi se objasnilo neko ponašanje ili kao nešto što bi trebalo objasniti - tada pitanje može biti adekvatno. Naravno, učenje o unutrašnjim državama postavljanjem pitanja može biti problematično jer ponekad sami ispitanici nisu svjesni svojih unutrašnjih stanja (Nisbett and Wilson 1977) .

• Ukupna greška u pregledu (poglavlje 3.3)

Poglavlje 1 Groves (2004) čini izvrsni posao pomirući povremeno nekonzistentnu terminologiju koju koriste istraživači istraživanja radi opisa ukupnog okvira greške u istraživanju. Za detaljno tretiranje ukupnog okvira greške u pregledu, pogledajte Groves et al. (2009) i za istorijski pregled, vidi Groves and Lyberg (2010) .

Ideja o dekompoziciji grešaka u pristrasnost i varijanse takođe dolazi u mašinskom učenju; videti, na primjer, član 7.3 Hastie, Tibshirani, and Friedman (2009) . Ovo često dovodi istraživače da razgovaraju o kompromisu "odstupanja od odstupanja".

U pogledu zastupanja, veliki uvod u pitanja neprijatnosti i nepriznavanja pristrasnosti je izvještaj Nacionalnog istraživačkog vijeća Nerješenje u istraživanjima društvenih nauka: istraživački program (2013) . Još jedan korisni pregled pruža Groves (2006) . Takođe, na temu neodazivanja objavljene su i cela posebna pitanja časopisa službene statistike , tromjesečnog javnog mnijenja i anali Američke akademije političkih i društvenih nauka . Konačno, zapravo postoji mnogo različitih načina izračunavanja stope odgovora; ovi pristupi su detaljno opisani u izveštaju Američkog udruženja istraživača javnog mnjenja (AAPOR) ( ??? ) .

Više o Anketi Literarnog Digesta iz 1936. vidi Bryson (1976) , Squire (1988) , Cahalan (1989) i Lusinchi (2012) . Za još jednu diskusiju o ovoj anketi kao prigovarajućem upozorenju protiv slučajnog prikupljanja podataka, pogledajte Gayo-Avello (2011) . Godine 1936. George Gallup je koristio sofisticiraniji oblik uzorkovanja i bio je u stanju da proizvede preciznije procjene sa mnogo manjim uzorkom. Uspjeh Gallupa u vezi sa literarnim podacima bio je prekretnica u razvoju istraživačkog istraživanja kao što je opisano u poglavlju 3 @ converse_survey_1987; poglavlje 4 Ohmer (2006) ; i poglavlje 3 @ igo_veraged_2008.

Što se tiče merenja, odličan prvi izvor za dizajniranje upitnika su Bradburn, Sudman, and Wansink (2004) . Za naprednije tretmane, pogledajte Schuman and Presser (1996) , koji je posebno fokusiran na postavljanje pitanja, i Saris and Gallhofer (2014) , što je općenito. Nešto drugačiji pristup merenju uzima se u psihometriji, kako je opisano u ( ??? ) . Više o pretenciji dostupno je u Presser and Blair (1994) , Presser et al. (2004) i poglavlje 8 Groves et al. (2009) . Za više o eksperimentima istraživanja, pogledajte Mutz (2011) .

Što se tiče troškova, klasični, dugotrajni tretman kompromisa između troškova istraživanja i grešaka u istraživanju je Groves (2004) .

• Koga treba pitati (odeljak 3.4)

Dva klasična tretmana dužine trajanja knjige standardnog probnog uzorkovanja i procjene su Lohr (2009) (uvodni dio) i Särndal, Swensson, and Wretman (2003) (napredniji). Klasičan tretman post-stratifikacije i srodnih metoda je Särndal and Lundström (2005) . U nekim postavkama digitalne dobi, istraživači znaju dosta o neopisačima, što u prošlosti nije bilo često istinito. Moguće su različiti oblici prilagođavanja bez Kalton and Flores-Cervantes (2003) kada istraživači imaju informacije o neopisačima, kao što su opisali Kalton and Flores-Cervantes (2003) i Smith (2011) .

Xbox studija W. Wang et al. (2015) koristi tehniku ​​pod nazivom višestepena regresija i post-stratifikacija ("gospodin P.") koja dozvoljava istraživačima da procene grupna sredstva čak i kada ima mnogo, mnogo grupa. Iako postoji određena debata o kvalitetu procjena iz ove tehnike, čini se da je perspektivno područje za istraživanje. Tehnika je prvi put korišćena u Park, Gelman, and Bafumi (2004) , a kasnije je korišćena i debata (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Više o vezama između pojedinačnih težina i težinskih težina vidi Gelman (2007) .

Za druge pristupe u ponderiranju web istraživanja, pogledajte Schonlau et al. (2009) , Bethlehem (2010) i Valliant and Dever (2011) . Online paneli mogu da koriste ili uzorkovanje verovatnoće ili uzorkovanje bez verovatnoće. Za više informacija o online paneli pogledajte Callegaro et al. (2014) .

Ponekad su istraživači utvrdili da uzorci verovatnoće i uzorci bez verovatnoće daju procene sličnog kvaliteta (Ansolabehere and Schaffner 2014) , ali druga upoređivanja su utvrdila da su uzorci bez verovatnoće lošiji (Malhotra and Krosnick 2007; Yeager et al. 2011) . Jedan od mogućih razloga za ove razlike jeste da su uzorci bez verovatnoće poboljšani tokom vremena. Za više pesimističkog pogleda na načine uzorkovanja bez verovatnoće, pogledajte AAPOR Task Force za uzimanje uzoraka koji nisu verovatni (Baker et al. 2013) , a ja takođe preporučujem čitanje komentara koji prati izvještaj sažetka.

• Kako postaviti pitanje (odeljak 3.5)

Conrad and Schober (2008) je uređen obim pod naslovom Zastupajući istraživački intervju budućnosti i nudi razne stavke o budućnosti postavljanja pitanja. Couper (2011) bavi sličnim temama, i Schober et al. (2015) predstavljaju lep primer kako metode prikupljanja podataka koje su prilagođene novoj postavci mogu rezultirati kvalitetnijim podacima. Schober and Conrad (2015) nude opštije argumente o nastavku prilagođavanja procesa istraživanja istraživanja kako bi se podudarale sa promenama u društvu.

Tourangeau and Yan (2007) razmatraju pitanja pristrasnosti socijalne poželjnosti u osetljivim pitanjima, i Lind et al. (2013) nude neke moguće razloge zbog kojih ljudi mogu otkriti osetljive informacije u intervjuu koji se sprovodi putem računara. Više o ulozi ljudskih anketara u povećanju stope participacije u istraživanjima, vidi Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) i Schaeffer et al. (2013) . Više o anketama mešovitog režima vidi Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) nude dugotrajno tretiranje ekoloških trenutnih procjena i srodnih metoda.

Za više saveta o tome kako istraživanja mogu biti prijatno i dragoceno iskustvo za učesnike, pogledajte rad na metodu prilagođenog dizajna (Dillman, Smyth, and Christian 2014) . Za još jedan zanimljiv primer korišćenja Facebook aplikacija za istraživanja društvenih nauka, pogledajte Bail (2015) .

• Ankete vezane za velike izvore podataka (odeljak 3.6)

Judson (2007) opisuje proces kombinovanja istraživanja i administrativnih podataka kao "informacione integracije" i diskutuje o nekim prednostima ovog pristupa, kao i nudeći neke primjere.

Što se tiče obogaćenog pitanja, bilo je mnogo prethodnih pokušaja da se potvrdi glasanje. Za pregled te literature pogledajte Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) i Berent, Krosnick, and Lupia (2016) . Pogledajte Berent, Krosnick, and Lupia (2016) za skeptičniji prikaz rezultata predstavljenih u Ansolabehere and Hersh (2012) .

Važno je napomenuti da iako su Ansolabehere i Hersh ohrabreni kvalitetom podataka iz Katalizma, ostale evaluacije komercijalnih proizvođača su bile manje entuzijazmovane. Pasek et al. (2014) pronašla loš kvalitet kada su podaci iz ankete upoređeni sa potrošačkim dosijeom iz Marketing Systems Group (koji je sam spojio podatke od tri provajdera: Acxiom, Experian i InfoUSA). To znači da se datoteka sa podacima ne poklapa sa odgovorima anketara koji su istraživači očekivali da budu tačni, potrošački fajl je propustio podatke za veliki broj pitanja, a nedostajući obrazac podataka bio je u korelaciji sa prijavljenom vrijednošću ankete (drugim riječima, nestao podaci su sistematski, a ne slučajni).

Za više o rekordnoj povezanosti istraživanja i administrativnih podataka, pogledajte Sakshaug and Kreuter (2012) i Schnell (2013) . Za više o rekordnim vezama uopšte pogledajte Dunn (1946) i Fellegi and Sunter (1969) (istorijski) i Larsen and Winkler (2014) (moderni). Slični pristupi su takođe razvijeni u računarskim naukama pod nazivima kao što su deduplikacija podataka, identifikacija instance, podudaranje imena, duplirana detekcija i duplirana detekcija zapisa (Elmagarmid, Ipeirotis, and Verykios 2007) . Postoje i pristupi čuvanja privatnosti za snimanje veze koje ne zahtijevaju prenos ličnih podataka (Schnell 2013) . Istraživači na Facebook-u su razvili proceduru za probabilistički povezivanje svojih zapisa sa ponašanjem glasa (Jones et al. 2013) ; ova veza je učinjena kako bi se procenio eksperiment koji ću vam reći u poglavlju 4 (Bond et al. 2012) . Više o dobijanju saglasnosti za rekordnu vezu, vidi Sakshaug et al. (2012) .

Još jedan primer povezivanja velikog društvenog istraživanja sa državnim administrativnim podacima potiče iz Ankete o zdravlju i penziji i Uprave za socijalno osiguranje. Više o ovoj studiji, uključujući informacije o postupku saglasnosti, vidi Olson (1996, 1999) .

Proces kombinovanja mnogih izvora administrativnih podataka u master datoteku podataka - proces koji zapošljava Catalista - je uobičajen u statističkim uredima nekih nacionalnih vlada. Dva istraživača iz Statistike Švedske napisali su detaljnu knjigu o ovoj temi (Wallgren and Wallgren 2007) . Za primer ovog pristupa u jednoj županiji u Sjedinjenim Državama (Olmstead County, Minnesota, dom Klinike Mayo), pogledajte Sauver et al. (2011) . Više o greškama koje se mogu pojaviti u administrativnim podacima, pogledajte Groen (2012) .

Drugi način na koji istraživači mogu da koriste velike izvore podataka u istraživanju istraživanja jeste okvir za uzorke za ljude sa specifičnim karakteristikama. Nažalost, ovaj pristup može pokrenuti pitanja vezana za privatnost (Beskow, Sandler, and Weinberger 2006) .

Što se tiče pojačanih pitanja, ovaj pristup nije toliko nov kao što se to moglo pojaviti od kako sam ga opisao. Ima duboke veze sa tri velike oblasti u statistici: post-stratifikacija zasnovana na modelu (Little 1993) , imputation (Rubin 2004) i procjena malih površina (Rao and Molina 2015) . Takođe se odnosi na upotrebu surogatnih varijabli u medicinskim istraživanjima (Pepe 1992) .

Procjene troškova i vremena u Blumenstock, Cadamuro, and On (2015) odnose se više na varijabilni trošak - trošak jednog dodatnog istraživanja - i ne uključuju fiksne troškove kao što su troškovi čišćenja i obrade podataka o pozivu. Generalno, pojačano postavljanje će verovatno imati visoke fiksne troškove i niske varijabilne troškove slične onima u digitalnim eksperimentima (vidi poglavlje 4). Više o anketama zasnovanim na mobilnim telefonima u zemljama u razvoju pogledajte Dabalen et al. (2016) .

Za ideje o tome kako da se pojača pitanjem bolje, preporučio bih da saznam više o višestrukoj imputaciji (Rubin 2004) . Takođe, ako istraživači rade pojačane pitanjem o ukupnim brojevima, a ne na osobinama na nivou pojedinačnog nivoa, onda bi pristupi u King and Lu (2008) i Hopkins and King (2010) mogli biti korisni. Na kraju, za više informacija o pristupima za učenje mašina u Blumenstock, Cadamuro, and On (2015) , pogledajte James et al. (2013) (uvodno) ili Hastie, Tibshirani, and Friedman (2009) (napredniji).

Jedno pitanje u vezi sa pojačanim pitanjem jeste da se on može koristiti za zaključivanje osjetljivih osobina koje ljudi ne bi mogli odabrati da otkriju u anketi opisanoj u Kosinski, Stillwell, and Graepel (2013) .