Co přečíst dále

• Úvod (část 3.1)

Mnohé z témat v této kapitole se také objevily na nedávných prezidentských projevech v Americké asociaci výzkumu veřejného mínění (AAPOR), jako například Dillman (2002) , Newport (2011) , Santos (2014) a Link (2015) .

Více informací o rozdílech mezi výzkumem průzkumu a hloubkovými rozhovory viz Small (2009) . Související s hloubkovými rozhovory je rodina přístupů nazvaná etnografie. V etnografickém výzkumu výzkumníci obecně tráví mnohem více času s účastníky ve svém přirozeném prostředí. Více o rozdílech mezi etnografií a hloubkovými rozhovory viz Jerolmack and Khan (2014) . Více o digitální etnografii viz Pink et al. (2015) .

Můj popis historie průzkumu výzkumu je příliš krátký, aby zahrnoval mnoho vzrušujících událostí, které proběhly. Více historického pozadí viz Smith (1976) , Converse (1987) a Igo (2008) . Další informace o myšlence tří období výzkumu výzkumu naleznete v tématu Groves (2011) a Dillman, Smyth, and Christian (2008) který trochu rozděluje tři éry.

Groves and Kahn (1979) nabízejí pohled na přechod od první do druhé éry v průzkumu výzkumu tím, že dělají detailní "head-to-head" srovnání mezi průzkumem tváří v tvář a telefonem. ( ??? ) dívá zpátky na historický vývoj metod vzorkování na základě náhodných číslic.

Další informace o tom, jak se výzkum výzkumu v minulosti změnil v reakci na změny ve společnosti, viz Tourangeau (2004) , ( ??? ) a Couper (2011) .

• Požádat versus pozorování (oddíl 3.2)

Silné a slabé stránky s dotazem a pozorování byly diskutována psychology (např Baumeister, Vohs, and Funder (2007) ) a sociologů (např Jerolmack and Khan (2014) ; Maynard (2014) ; Cerulo (2014) ; Vaisey (2014) , Jerolmack and Khan (2014) rozdíly mezi dotazováním a pozorováním také vznikají v ekonomice, kde výzkumníci mluví o uváděných a odhalených preferencích, např. Výzkumný pracovník by mohl požádat respondenty, zda dávají přednost konzumaci zmrzliny nebo chodu do posilovny (uváděné preference) nebo by mohlo sledovat, jak často lidé jedí zmrzlinu a jít do tělocvičny (odhalené preference). Existuje zde hluboká skepse ohledně určitých typů údajů o preferencích, které jsou uvedeny v ekonomii, jak je popsáno v Hausman (2012) .

Hlavním tématem těchto diskusí je, že hlášené chování není vždy přesné. Ale jak bylo popsáno v kapitole 2, velké zdroje dat nemusí být přesné, nesmí být shromažďovány na vzorku, který je zajímavý, a nemusí být dostupné výzkumným pracovníkům. Myslím si proto, že v některých situacích může být užitečné hlášené chování. Dalším hlavním tématem těchto debat je, že zprávy o emocích, znalostech, očekáváních a názorech nejsou vždy přesné. Pokud však vědci potřebují informace o těchto vnitřních stavech - ať už to pomohou vysvětlit nějaké chování, nebo co je třeba vysvětlit - pak může být vhodné požádat. Samozřejmě, učení se o vnitřních státech tím, že kladou otázky, může být problematické, protože někdy samotní respondenti si nejsou vědomi svých vnitřních států (Nisbett and Wilson 1977) .

• Celková chyba průzkumu (oddíl 3.3)

Kapitola 1 z Groves (2004) dělá vynikající práci, která sladí příležitostně nekonzistentní terminologii používanou výzkumnými pracovníky, aby popsala celkový rámec chyby průzkumu. Pro knižní zpracování celkového rámce chyby průzkumu viz Groves et al. (2009) a pro historický přehled viz Groves and Lyberg (2010) .

Myšlenka rozkládání chyb na zkreslení a rozptylu také přichází v strojovém učení; viz například oddíl 7.3 Hastie, Tibshirani, and Friedman (2009) . To často vede výzkumné pracovníky k tomu, aby mluvili o kompromisu "předsudků-odchylek".

Z pohledu zastoupení je velkým úvodem k otázkám neposkytnutí odezvy a neodpovídající odpovědi na zprávu Národního výzkumného týmu Nonresponse v průzkumu sociálních věd: Výzkumná agenda (2013) . Další užitečný přehled poskytuje Groves (2006) . Také byly publikovány celá speciální vydání časopisu Oficiální statistika , čtvrtletní stanovisko pro veřejnost a Annals of the American Academy of Political and Social Science na téma nereagování. Nakonec existuje skutečně mnoho různých způsobů výpočtu míry odezvy; tyto přístupy jsou podrobně popsány ve zprávě Americké asociace vědeckých výzkumníků (AAPOR) ( ??? ) .

Další informace o anketě Literary Digest z roku 1936 naleznete v článku Bryson (1976) , Squire (1988) , Cahalan (1989) a Lusinchi (2012) . Další diskusi o tomto průzkumu jako podobenství varování před náhodným sběrem dat viz Gayo-Avello (2011) . V roce 1936 použil George Gallup sofistikovanější formu vzorkování a byl schopen produkovat přesnější odhady s mnohem menší vzorkou. Gallupův úspěch nad Literary Digest byl milníkem ve vývoji průzkumu výzkumu, jak je popsáno v kapitole 3 @ converse_survey_1987; kapitola 4, Ohmer (2006) ; a kapitolu 3 z @ igo_averaged_2008.

Co se týče měření, skvělý první zdroj pro navrhování dotazníků jsou Bradburn, Sudman, and Wansink (2004) . Pro pokročilejší léčby viz Schuman and Presser (1996) , který je specificky zaměřen na otázky týkající se postoje a Saris and Gallhofer (2014) , který je obecnější. Mírně odlišný přístup k měření je použit v psychometriích, jak je popsáno v ( ??? ) . Více o předběžném testování je k dispozici v Presser and Blair (1994) , Presser et al. (2004) a kapitola 8 Groves et al. (2009) . Více o průzkumných pokusech viz Mutz (2011) .

Co se týká nákladů, je klasické zpracování knih-délky kompromisu mezi náklady na průzkum a chyby průzkumu Groves (2004) .

• Kdo se ptát (oddíl 3.4)

Dvě klasické Särndal, Swensson, and Wretman (2003) standardní pravděpodobnostní odběry a odhady jsou Lohr (2009) (více úvodní) a Särndal, Swensson, and Wretman (2003) (pokročilejší). Klasická kniha o post stratifikaci a souvisejících metodách je Särndal and Lundström (2005) . V některých nastavení digitálního věku vědci vědí o nezodpovědných osobách, což nebylo v minulosti často pravdivé. Různé formy úprav nereaguje, pokud jsou vědci informováni o nerespondentech, jak popsali Kalton and Flores-Cervantes (2003) a Smith (2011) .

Studie Xbox W. Wang et al. (2015) používá techniku ​​nazvanou víceúrovňová regrese a post stratifikace ("pan P."), která umožňuje vědcům odhadnout skupiny, i když existuje mnoho, mnoho skupin. Ačkoli je zde nějaká debata o kvalitě odhadů z této techniky, zdá se, že je to slibná oblast prozkoumat. Tato technika byla poprvé použita v Park, Gelman, and Bafumi (2004) a následné použití a diskuse (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Více o vztahu mezi jednotlivými váhami a skupinovými váženími viz Gelman (2007) .

Další přístupy k vážení webových průzkumů viz Schonlau et al. (2009) , Bethlehem (2010) a Valliant and Dever (2011) . Online panely mohou využívat buď vzorkování pravděpodobnosti nebo vzorkování bez pravděpodobnosti. Více informací o online panelech naleznete v Callegaro et al. (2014) .

Někteří vědci zjistili, že pravděpodobnostní vzorky a vzorky s pravděpodobností odhadu mají podobnou kvalitu (Ansolabehere and Schaffner 2014) , ale jiné srovnání zjistily, že vzorky, které nejsou pravděpodobné, jsou horší (Malhotra and Krosnick 2007; Yeager et al. 2011) . Jedním z možných důvodů pro tyto rozdíly je, že vzorky s pravděpodobností se časem zlepšily. Pro pesimističtější pohled na metodu vzorkování s nepravděpodobností se podívejte na pracovní skupinu AAPOR pro odběr vzorků s pravděpodobností (Baker et al. 2013) a také doporučuji číst komentář, který následuje po souhrnné zprávě.

• Jak se zeptat (oddíl 3.5)

Conrad and Schober (2008) je upravený svaz nazvaný Envisioning Survey Interview of the Future a nabízí různé pohledy na budoucnost klást otázky. Couper (2011) zabývá podobnými tématy a Schober et al. (2015) nabízejí pěkný příklad toho, jak mohou metody sběru dat přizpůsobené novému nastavení vést ke kvalitnějším datům. Schober and Conrad (2015) nabízejí obecnější argument o tom, že bude pokračovat v přizpůsobování procesu průzkumu výzkumu tak, aby odpovídal změnám ve společnosti.

Tourangeau and Yan (2007) přezkoumají problematiku předpojatosti sociální citlivosti v citlivých otázkách a Lind et al. (2013) nabízejí některé možné důvody, proč by lidé mohli zveřejnit citlivější informace v počítačovém rozhovoru. Více informací o roli lidských tazatelů při zvyšování míry účasti v průzkumech viz Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) a Schaeffer et al. (2013) . Další informace o průzkumech smíšeného režimu naleznete v článku Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) nabízejí knižní zpracování ekologického momentálního hodnocení a souvisejících metod.

Další rady týkající se průzkumů nabízejí příjemné a cenné zkušenosti pro účastníky, viz práce na metodě návrhových úprav (Dillman, Smyth, and Christian 2014) . Další zajímavý příklad použití aplikací Facebook pro společenské vědecké průzkumy naleznete v Bail (2015) .

• Průzkumy spojené s velkými zdroji dat (oddíl 3.6)

Judson (2007) popisuje proces kombinace průzkumů a administrativních dat jako "integraci informací" a diskutuje o některých výhodách tohoto přístupu a také nabízí některé příklady.

Co se týče obohaceného dotazování, bylo mnoho předchozích pokusů o ověření hlasování. Přehled těchto literatury naleznete v publikaci Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) a Berent, Krosnick, and Lupia (2016) . Viz Berent, Krosnick, and Lupia (2016) pro skeptický pohled na výsledky prezentované v Ansolabehere and Hersh (2012) .

Je důležité poznamenat, že ačkoli Ansolabehere a Hersh byli povzbuzováni kvalitou dat od katalistů, jiné hodnocení komerčních prodejců bylo méně nadšené. Pasek et al. (2014) zjistila špatnou kvalitu, když byla data z průzkumu porovnána se spotřebitelským souborem společnosti Marketing Systems Group (která sama spojila data tří poskytovatelů: Acxiom, Experian a InfoUSA). To znamená, že soubor údajů neodpovídal odpovědi na průzkumy, které vědci očekávali, že jsou správné, že soubor spotřebitele neobsahuje údaje o velkém počtu otázek a chybějící datový vzor byl korelován s hodnotou zjištěného průzkumu (jinými slovy chybějící údaje data byla systematická, ne náhodná).

Více informací o vazbě mezi průzkumy a administrativními údaji viz Sakshaug and Kreuter (2012) a Schnell (2013) . Více o záznamu vazby obecně viz Dunn (1946) a Fellegi and Sunter (1969) (historický) a Larsen and Winkler (2014) (moderní). Podobné přístupy byly vyvinuty také v oblasti počítačové vědy pod názvy jako deduplikace dat, identifikace instancí, shoda jmen, duplicitní detekce a detekce duplicitních záznamů (Elmagarmid, Ipeirotis, and Verykios 2007) . Existují také postupy zachování soukromí pro záznam spojení, které nevyžadují přenos osobně identifikujících informací (Schnell 2013) . Výzkumní pracovníci na Facebooku vyvinuli postup s pravděpodobnostním propojením svých záznamů s volebním chováním (Jones et al. 2013) ; tato vazba byla provedena za účelem vyhodnocení experimentu, o kterém vám řeknu v kapitole 4 (Bond et al. 2012) . Více informací o získání souhlasu s vazbou záznamů viz Sakshaug et al. (2012) .

Dalším příkladem propojení rozsáhlého sociálního šetření s vládními správami je státní zpráva o zdravotním stavu a odchodu do důchodu a správa sociálního zabezpečení. Více informací o této studii, včetně informací o postupu souhlasu, viz Olson (1996, 1999) .

Proces kombinace mnoha zdrojů administrativních záznamů do hlavního datového souboru - proces, který katalista zaměstnává - je běžný v statistických úřadech některých národních vlád. Dva vědci ze statistiky Švédska napsali podrobnou knihu na toto téma (Wallgren and Wallgren 2007) . Jako příklad tohoto přístupu v jednom kraji ve Spojených státech (Olmstead County, Minnesota, domov Mayo kliniky) viz Sauver et al. (2011) . Další informace o chybách, které se mohou objevit v administrativních záznamech, naleznete v tématu Groen (2012) .

Dalším způsobem, jakým mohou výzkumníci využívat velké zdroje dat v průzkumu výzkumu, je jako vzorkovací rámec pro osoby se specifickými charakteristikami. Bohužel tento přístup může vyvolat otázky týkající se soukromí (Beskow, Sandler, and Weinberger 2006) .

Co se týče zesílené žádosti, tento přístup není tak nový, jak se zdá, jak jsem popsal. Má hluboké spojení se třemi velkými oblastmi statistiky: post-stratifikace založená na modelu (Little 1993) , imputace (Rubin 2004) a odhad malých ploch (Rao and Molina 2015) . To se také týká použití náhradních proměnných v lékařském výzkumu (Pepe 1992) .

Odhady nákladů a časů v Blumenstock, Cadamuro, and On (2015) odkazují více na variabilní náklady - náklady na jeden další průzkum - a nezahrnují fixní náklady, jako jsou náklady na čištění a zpracování dat o volání. Obecně platí, že zesílené dotazování pravděpodobně bude mít vysoké fixní náklady a nízké variabilní náklady podobné nákladům digitálních experimentů (viz kapitola 4). Další informace o průzkumech Dabalen et al. (2016) na mobilní telefony v rozvojových zemích naleznete v Dabalen et al. (2016) .

Pro nápady na to, jak dělat zesílený ptát se lépe, bych doporučil dozvědět se více o vícenásobné imputaci (Rubin 2004) . Také, pokud výzkumníci dělají zesílenou péči o souhrnné počty, spíše než o vlastnostech na individuální úrovni, pak mohou být užitečné přístupy v King and Lu (2008) a Hopkins and King (2010) . Konečně, více o přístupu k strojnímu učení v Blumenstock, Cadamuro, and On (2015) viz James et al. (2013) (více úvodní) nebo Hastie, Tibshirani, and Friedman (2009) (pokročilejší).

Jeden etický problém týkající se zesílených dotazů spočívá v tom, že může být použito k odvození citlivých znaků, které se lidé v průzkumu Kosinski, Stillwell, and Graepel (2013) jak je popsáno v Kosinski, Stillwell, and Graepel (2013) .