Čo čítať ďalej

• Úvod (časť 3.1)

Mnohé z tém v tejto kapitole sa odzrkadlili aj na nedávnych prezidentských adresách v Americkej asociácii pre výskum verejnej mienky (AAPOR), ako napríklad Dillman (2002) , Newport (2011) , Santos (2014) a Link (2015) .

Viac informácií o rozdieloch medzi výskumom prieskumu a hĺbkovými rozhovormi nájdete v sekcii Small (2009) . V súvislosti s hĺbkovými rozhovormi je rodina prístupov nazvaná etnografia. V etnografickom výskume výskumníci vo všeobecnosti trávia oveľa viac času s účastníkmi v ich prirodzenom prostredí. Viac o rozdieloch medzi etnografiou a hĺbkovými rozhovormi nájdete v Jerolmack and Khan (2014) . Viac informácií o digitálnej etnografii nájdete v Pink et al. (2015) .

Môj opis histórie výskumu prieskumu je príliš krátky na to, aby zahŕňal veľa zaujímavých udalostí, ku ktorým došlo. Viac historického pozadia pozri Smith (1976) , Converse (1987) a Igo (2008) . Viac informácií o myšlienke troch období výskumu prieskumu nájdete v článku Groves (2011) a Dillman, Smyth, and Christian (2008) ktorý rozdeľuje troch období trochu inak.

Groves and Kahn (1979) ponúkajú prehľad o prechode z prvej do druhej éry výskumu prieskumu, a to prostredníctvom podrobného porovnávania medzi priamym a telefonickým prieskumom. ( ??? ) pozrieť späť na historický vývoj metódy výberu náhodných číslic.

Ďalšie informácie o tom, ako sa výskum v minulosti zmenil v minulosti v reakcii na zmeny v spoločnosti, pozri Tourangeau (2004) , ( ??? ) a Couper (2011) .

• Požiadanie verzus pozorovanie (oddiel 3.2)

Silné a slabé stránky dotazovania a pozorovania diskutovali psychológovia (napr. Baumeister, Vohs, and Funder (2007) ) a sociológovia (napr. Jerolmack and Khan (2014) , Maynard (2014) , Cerulo (2014) , Vaisey (2014) , Jerolmack and Khan (2014) rozdiel medzi otázkou a pozorovaním tiež vznikajú v ekonómii, kde vedci hovoria o vyhlásených a odhalených preferenciách: napríklad výskumník by mohol požiadať respondentov, či uprednostňujú jesť zmrzlinu alebo chodiť do posilňovne (uvedené preferencie), alebo by mohli pozorovať, ako často ľudia jedia v zmrzline a chodia do telocvične (odhalené preferencie). Existuje hlboký skepticizmus o určitých typoch údajov o preferenciách v ekonomike, ako to popisuje Hausman (2012) .

Hlavnou témou týchto diskusií je, že hlásené správanie nie je vždy presné. Ako však bolo opísané v kapitole 2, veľké zdroje údajov nemusia byť presné, nemusia sa zhromažďovať na vzorky záujmu a výskumníci nemusia byť k dispozícii. Myslím si preto, že v niektorých situáciách môže byť užitočné hlásené správanie. Ďalšou hlavnou témou týchto diskusií je, že správy o emóciách, vedomostiach, očakávaniach a názoroch nie sú vždy presné. Ak však výskumníci potrebujú informácie o týchto vnútorných stavoch - buď aby pomohli vysvetliť nejaké správanie, alebo ako to, čo treba vysvetliť - potom môže byť otázka vhodná. Samozrejme, učenie sa o vnútorných štátoch otázkami môže byť problematické, pretože niekedy samotní respondenti si neuvedomujú svoje vnútorné štáty (Nisbett and Wilson 1977) .

• Celková chyba prieskumu (oddiel 3.3)

Kapitola 1 z Groves (2004) je vynikajúcou prácou zosúladením príležitostne nekonzistentnej terminológie, ktorú používajú prieskumníci, aby opísali celkový rámec chýb prieskumu. Pokiaľ ide o celkovú liečbu celkovej chyby prieskumu, pozri Groves et al. (2009) a pre historický prehľad pozri Groves and Lyberg (2010) .

Myšlienka rozkladania chýb na predsudky a odchýlky sa objavuje aj v strojovom vzdelávaní; pozri napríklad oddiel 7.3 Hastie, Tibshirani, and Friedman (2009) . To často vedie výskumníkov k rozprávaniu o kompromisoch "predsudkov".

Z hľadiska zastúpenia je veľkým úvodom k otázkam neposkytnutia odpovede a nezodpovednosti za nešpecifikované správy Národného výskumného úradu Nonresponse v prieskume sociálnych vied: výskumná agenda (2013) . Ďalší užitočný prehľad poskytuje Groves (2006) . Taktiež boli publikované celé špeciálne vydania časopisu Oficiálna štatistika , Štvrťročná publikácia a Annals of American Academy of Political and Social Science na tému nereagovanie. Nakoniec existuje veľa rôznych spôsobov výpočtu miery odpovede; tieto prístupy sú podrobne opísané v správe Americkej asociácie výskumných pracovníkov verejnej mienky (AAPOR) ( ??? ) .

Viac o prieskume literárneho Cahalan (1989) z roku 1936 nájdete v článku Bryson (1976) , Squire (1988) , Cahalan (1989) a Lusinchi (2012) . Pre ďalšiu diskusiu o tomto prieskume ako o podobnom varovaní pred náhodným zhromažďovaním údajov pozri Gayo-Avello (2011) . V roku 1936 použil George Gallup sofistikovanejšiu metódu odberu vzoriek a bol schopný produkovať presnejšie odhady s oveľa menšou vzorkou. Úspech Gallupa v súvislosti s Literary Digest bol míľnikom vo vývoji prieskumného prieskumu, ako je opísané v kapitole 3 @ converse_survey_1987; kapitola 4, Ohmer (2006) ; a kapitola 3 z dokumentu @ igo_averaged_2008.

Čo sa týka merania, skvelým prvým zdrojom pre navrhovanie dotazníkov sú Bradburn, Sudman, and Wansink (2004) . Pokiaľ ide o pokročilejšie postupy, pozri Schuman and Presser (1996) , ktoré sú špecificky zamerané na otázky týkajúce sa postojov, a Saris and Gallhofer (2014) , ktoré sú všeobecnejšie. Trochu iný prístup k meraniu sa používa v psychometriách, ako je opísané v ( ??? ) . Viac informácií o predbežnom testovaní je k dispozícii v Presser and Blair (1994) , Presser et al. (2004) a kapitola 8 z Groves et al. (2009) . Viac informácií o prieskumných experimentoch nájdete v článku Mutz (2011) .

Pokiaľ ide o náklady, klasické zaobchádzanie s kompromisom medzi nákladmi na prieskum a chybami prieskumu je v knihe Groves (2004) .

• Kto sa pýta (oddiel 3.4)

Dve klasické knižné metódy štandardného výberu a odhadu pravdepodobnosti sú Lohr (2009) (viac úvodné) a Särndal, Swensson, and Wretman (2003) (pokročilejší). Klasická starostlivosť o post-stratifikáciu a súvisiace metódy je Särndal and Lundström (2005) . V niektorých nastaveniach digitálneho veku vedia výskumní pracovníci o nešpecifikovaných, čo sa v minulosti často nestalo. Rôzne formy úpravy nerešpektovania sú možné, keď vedci majú informácie o nereagujúcich, ako to opísali Kalton and Flores-Cervantes (2003) a Smith (2011) .

Štúdia Xbox W. Wang et al. (2015) používa metódu nazývanú viacúrovňová regresia a post-stratifikácia ("pán P."), ktorá umožňuje výskumníkom odhadnúť skupiny, aj keď existuje veľa skupín. Aj keď existuje určitá diskusia o kvalite odhadov z tejto techniky, zdá sa, že ide o sľubnú oblasť, ktorú treba preskúmať. Táto technika bola prvýkrát použitá v Park, Gelman, and Bafumi (2004) a následné použitie a diskusia (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Viac informácií o prepojení medzi jednotlivými hmotnosťami a skupinovými hmotnosťami pozri Gelman (2007) .

Ďalšie prístupy k váženiu webových prieskumov pozri Schonlau et al. (2009) , Bethlehem (2010) a Valliant and Dever (2011) . Online panely môžu využívať buď výber pravdepodobnosti alebo výber pravdepodobnosti. Viac informácií o online paneloch nájdete v Callegaro et al. (2014) .

Niekedy výskumníci zistili, že vzorky pravdepodobnosti a vzorky s pravdepodobnosťou majú podobné odhady (Ansolabehere and Schaffner 2014) , ale iné porovnania zistili, že vzorky s pravdepodobnosťou sa zhoršujú (Malhotra and Krosnick 2007; Yeager et al. 2011) . Jedným z možných príčin týchto rozdielov je, že vzorky s pravdepodobnosťou sa časom zlepšili. Pre pesimistický pohľad na metódy odberu vzoriek, ktoré nie sú pravdepodobné, pozri pracovnú skupinu AAPOR pre odber vzoriek s pravdepodobnosťou (Baker et al. 2013) a tiež odporúčam čítať komentár, ktorý nasleduje po súhrnnej správe.

• Ako sa opýtať (oddiel 3.5)

Conrad and Schober (2008) je upravený zväz s názvom " Predstavenie prieskumu budúcnosti" a ponúka množstvo pohľadov na budúcnosť otázok. Couper (2011) rieši podobné témy a Schober et al. (2015) ponúkajú pekný príklad toho, ako metódy zhromažďovania údajov prispôsobené novým nastaveniam môžu mať za následok vyššiu kvalitu údajov. Schober and Conrad (2015) ponúkajú všeobecnejšiu argumentáciu o tom, ako pokračovať v prispôsobovaní procesu výskumu prieskumu tak, aby zodpovedal zmenám v spoločnosti.

Tourangeau and Yan (2007) skúmajú otázky sociálnej príťažlivosti v citlivých otázkach a Lind et al. (2013) ponúkajú niekoľko možných dôvodov, prečo by ľudia mohli zverejniť citlivejšie informácie v rozhovore spravovanom počítačom. Viac informácií o úlohe ľudských pohovorov pri zvyšovaní miery účasti v prieskumoch pozri Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) a Schaeffer et al. (2013) . Viac informácií o prieskumoch v kombinovanom režime pozri Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) ponúkajú knižné spracovanie ekologického momentálneho hodnotenia a súvisiacich metód.

Viac informácií o tom, ako robiť prieskumy príjemným a hodnotným zážitkom pre účastníkov, nájdete v práci na metóde prispôsobenej tvorby (Dillman, Smyth, and Christian 2014) . Ďalším zaujímavým príkladom použitia aplikácií Facebook pre spoločenské vedecké prieskumy je Bail (2015) .

• Prieskumy prepojené na veľké zdroje údajov (oddiel 3.6)

Judson (2007) opisuje proces kombinovania prieskumov a administratívnych údajov ako "informačnej integrácie" a diskutuje o niektorých výhodách tohto prístupu, ako aj o niekoľkých príkladoch.

Pokiaľ ide o obohatené požiadanie, uskutočnili sa mnohé predchádzajúce pokusy o potvrdenie hlasovania. Prehľad tejto literatúry pozri Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) a Berent, Krosnick, and Lupia (2016) . Pozri Berent, Krosnick, and Lupia (2016) na skeptický pohľad na výsledky prezentované v Ansolabehere and Hersh (2012) .

Je dôležité poznamenať, že hoci Ansolabehere a Hersh boli povzbudzovaní kvalitou údajov od katalógu, ostatné hodnotenia komerčných predajcov boli menej nadšené. Pasek et al. (2014) zistila, že pri porovnávaní údajov z prieskumu so súborom spotrebiteľov zo skupiny Marketing Systems (ktorá sama zlúčila údaje troch poskytovateľov: Acxiom, Experian a InfoUSA) bola zistená nízka kvalita. To znamená, že súbor údajov nezodpovedal prieskumom odpovedí, ktoré výskumníci očakávali, že sú správne, súboru spotrebiteľov chýbali údaje o veľkom počte otázok a chýbajúca vzorka údajov korelovala s hodnotou prieskumu (inými slovami chýbajúci údaj údaje boli systematické, nie náhodné).

Viac informácií o prepojení medzi prieskumami a administratívnymi údajmi pozri Sakshaug and Kreuter (2012) a Schnell (2013) . Viac o záznamovej väzbe všeobecne pozri Dunn (1946) a Fellegi and Sunter (1969) (historický) a Larsen and Winkler (2014) (moderný). Podobné prístupy boli vyvinuté aj v oblasti počítačovej vedy pod názvami ako deduplikácia údajov, identifikácia inštancií, priraďovanie názvov, duplicitná detekcia a detekcia duplicitných záznamov (Elmagarmid, Ipeirotis, and Verykios 2007) . Existujú aj prístupy zachovávania súkromia na zaznamenávanie prepojení, ktoré nevyžadujú prenos osobne identifikujúcich informácií (Schnell 2013) . Výskumníci na Facebooku vyvinuli postup na pravdepodobne prepojenie svojich záznamov s volebným správaním (Jones et al. 2013) ; toto prepojenie bolo vykonané s cieľom vyhodnotiť experiment, o ktorom vám poviem v kapitole 4 (Bond et al. 2012) . Viac informácií o získaní súhlasu na záznamovú väzbu nájdete v Sakshaug et al. (2012) .

Ďalším príkladom prepojenia rozsiahleho sociálneho prieskumu s vládnymi administratívnymi záznamami pochádza z prieskumu zdravia a dôchodku a správy sociálneho zabezpečenia. Viac informácií o tejto štúdii, vrátane informácií o postupe udeľovania súhlasu, pozri Olson (1996, 1999) .

Proces kombinovania mnohých zdrojov administratívnych záznamov do hlavného dátového súboru - proces, ktorý katalista zamestnáva - je bežný v štatistických úradoch niektorých národných vlád. Dvaja vedci zo Štatistiky Švédska napísali podrobnú knihu na tému (Wallgren and Wallgren 2007) . Príkladom tohto prístupu v jednom kraji v Spojených štátoch (Olmstead County, Minnesota, domov kliniky Mayo) pozri Sauver et al. (2011) . Viac informácií o chybách, ktoré sa môžu objaviť v administratívnych záznamoch, nájdete v článku Groen (2012) .

Ďalším spôsobom, akým môžu výskumníci využívať veľké zdroje údajov pri výskume prieskumu, je rámec pre odber vzoriek pre ľudí so špecifickými vlastnosťami. Bohužiaľ, tento prístup môže vyvolať otázky týkajúce sa súkromia (Beskow, Sandler, and Weinberger 2006) .

Pokiaľ ide o zosilnené otázky, tento prístup nie je taký nový, ako by sa mohlo zdať, ako som to opísal. Má hlboké spojenie so štyrmi rozsiahlymi oblasťami štatistiky: post-stratifikácia založená na modeli (Little 1993) , imputácia (Rubin 2004) a odhad malých oblastí (Rao and Molina 2015) . Týka sa to aj použitia náhradných premenných v lekárskom výskume (Pepe 1992) .

Odhady nákladov a času v spoločnosti Blumenstock, Cadamuro, and On (2015) vzťahujú viac na variabilné náklady - náklady na jeden dodatočný prieskum - a nezahŕňajú fixné náklady, ako sú náklady na čistenie a spracovanie údajov o hovoroch. Všeobecne platí, že zosilnené žiadosti budú pravdepodobne mať vysoké fixné náklady a nízke variabilné náklady podobné tým, ktoré využívajú digitálne experimenty (pozri kapitolu 4). Viac informácií o prieskumoch v mobilných telefónoch v rozvojových krajinách nájdete v Dabalen et al. (2016) .

Pre nápady na to, ako urobiť rozšírené pýtať sa lepšie, odporúčam sa dozvedieť viac o viacerých imputáciách (Rubin 2004) . Tiež, ak výskumníci robia zosilnené otázky ohľadne agregovaných počtov, namiesto vlastností na individuálnej úrovni, potom môžu byť užitočné prístupy v King and Lu (2008) a Hopkins and King (2010) . Nakoniec, viac o strojových prístupoch v Blumenstock, Cadamuro, and On (2015) pozri James et al. (2013) (viac úvodná) alebo Hastie, Tibshirani, and Friedman (2009) (pokročilejší).

Jedna etická otázka týkajúca sa zosilnených otázok spočíva v tom, že môže byť použitá na odvod citlivých znakov, ktoré sa ľudia nemusia rozhodnúť odhaliť v prieskume, ako to opísali Kosinski, Stillwell, and Graepel (2013) .