Další komentáře

Tato část je určena k použití jako referenční, spíše než aby se číst jako příběh.

• Úvod (oddíl 3.1)

Mnoho z témat v této kapitole byly rovněž odráží v nedávných prezidentských projevů na Americké asociace výzkum veřejného mínění (AAPOR), jako Dillman (2002) , Newport (2011) , Santos (2014) a Link (2015) .

Další historický základ o vývoji výzkumného šetření, viz Smith (1976) a Converse (1987) . Pro více informací o myšlence tří epoch výzkumného šetření, viz Groves (2011) a Dillman, Smyth, and Christian (2008) (který rozbíjí tři éry trochu jinak).

Vrchol uvnitř přechodu z první do druhé éry v oblasti výzkumu průzkumu je Groves and Kahn (1979) , který dělá podrobné srovnání head-to-head mezi face-to-face a telefonického průzkumu. Brick and Tucker (2007) ohlíží za historickým vývojem náhodné číslice metod odběru vzorků vytáčení.

Již více jak průzkum výzkum změnily v minulosti v reakci na změny ve společnosti, viz Tourangeau (2004) , Mitofsky (1989) , a Couper (2011) .

• Kladení vs. pozorování (viz kapitola 3.2)

Učení o vnitřních stavů kladením otázek může být problematické, protože někdy samotní respondenti si nejsou vědomi svých vnitřních stavů. Například Nisbett and Wilson (1977) mají nádherný papír s evokující názvem: "Říkal víc, než můžeme poznat:. Ústní zprávy o duševních procesů" V článku autoři došli k závěru: "předměty jsou někdy (a) si neuvědomuje, existence stimul, který je důležitější ovlivnil odpověď, (b), neví o existenci odezvy, a (c) neví, že stimul má vliv na reakci. "

Argumentů, že výzkumní pracovníci by měli raději pozorované chování k hlášené chování či postojů, viz Baumeister, Vohs, and Funder (2007) (psychologie) a Jerolmack and Khan (2014) a reakcí (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (sociologie). Rozdíl mezi dotazem a pozorování také vzniká v ekonomii, kde vědci hovoří o stanovené a odhalených preferencí. Například, výzkumník mohl požádat respondenty, zda dávají přednost jíst zmrzlinu nebo jít do posilovny (uvedené preference) nebo výzkum by mohl pozorovat, jak často lidé jedí zmrzlinu a chodit do posilovny (odhalených preferencí). Tam je hluboká skepse některých typů uvedených údajů preferencí v ekonomii (Hausman 2012) .

Hlavním tématem z těchto debat je, že hlášené chování není vždy přesné. Ale automaticky zaznamenávají chování nemusí být přesná, nesmí být shromažďovány na zkoumaný vzorek a nesmí být přístupné badatelům. Tak, v některých situacích, myslím, že hlášené chování může být užitečné. Dále, druhý hlavním tématem z těchto debat je, že zprávy o emocích, znalosti, očekávání a názory nejsou vždy přesné. Ale pokud informace o těchto vnitřních stavů jsou potřebné výzkumníky, buď pomoci vysvětlit některé chování, nebo jako věc je třeba vysvětlit, pak ptát může být vhodné.

• Celková chyba průzkumu (§ 3.3)

Pro kniha délky léčby na celkové chyby průzkumu, viz Groves et al. (2009) nebo Weisberg (2005) . Pro historii vývoje celkové chyby průzkumu, viz Groves and Lyberg (2010) .

Pokud jde o zastoupení, skvělý úvod do problematiky non-response a zkreslení non-odezvy je zpráva Národní rada pro výzkum na ponechat nové v Social Science Surveys: výzkumný program (2013) . Další užitečnou přehled poskytuje (Groves 2006) . Také celý zvláštní problémy Journal of oficiálních statistik veřejného mínění Quarterly a Annals of American Academy of politických a sociálních věd byly zveřejněny na téma non-response. Konečně, tam jsou vlastně mnoho různých způsobů výpočtu míry odezvy; Tyto přístupy jsou podrobně popsány ve zprávě Americké asociace veřejného mínění badatelů (AAPOR) (Public Opinion Researchers} 2015) .

1936 Literární Digest průzkum byl podrobně studován (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . To také bylo použité jako podobenství varovat před náhodný sběru dat (Gayo-Avello 2011) . V roce 1936, George Gallup používají sofistikovanější formu odběru, a byl schopný produkovat přesnější odhady s mnohem menším vzorku. Úspěch Gallupův je přes literární Digest byl milník vývoj výzkumného šetření (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

Pokud jde o měření, první velký zdroj pro navrhování dotazníků je Bradburn, Sudman, and Wansink (2004) . Pro pokročilejší léčby zaměřené specificky na postojových otázek, viz Schuman and Presser (1996) . Více informací o pre-testovacích otázek je k dispozici v Presser and Blair (1994) , Presser et al. (2004) , a v kapitole 8 Groves et al. (2009) .

Léčba klasický, kniha-délka kompromis mezi nákladů na průzkum a chybám při inspekcích je Groves (2004) .

• Koho se ptát (viz kapitola 3.4)

Klasická kniha-délka léčby standardního náhodném výběru a odhadu jsou Lohr (2009) (více úvodní) a Särndal, Swensson, and Wretman (2003) (pokročilejší). Klasická kniha-délka léčení post-stratifikace a souvisejících metod je Särndal and Lundström (2005) . V některých digitálních nastavení věku, vědci vědí dost o non-respondentů, což nebylo často platí v minulosti. Různé formy úprav non-odezvy jsou případy, kdy výzkumníci mít informace o non-respondentů (Kalton and Flores-Cervantes 2003; Smith 2011) .

Studie Xbox of Wang et al. (2015) používá techniku ​​zvanou víceúrovňové regresní a post-stratifikace (MRP, někdy nazývaný "Mister P"), která umožňuje vědcům odhadnout buňka znamená, že i když existuje mnoho, mnoho buněk. Ačkoli tam je nějaká debata o kvalitě odhadů z této techniky, zdá se, jako perspektivní oblast prozkoumat. Tato technika byla poprvé použita v Park, Gelman, and Bafumi (2004) , a došlo k následnému využití a diskuse (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Pro více informací o propojení mezi jednotlivými hmotností a hmotností na bázi buněk vidět Gelman (2007) .

U ostatních přístupů k vážení internetových průzkumů, viz Schonlau et al. (2009) , Valliant and Dever (2011) , a Bethlehem (2010) .

Odpovídající vzorek byl navrhován Rivers (2007) . Bethlehem (2015) tvrdí, že výkon porovnávání vzorků bude skutečně podobná jako u jiných přístupů pro odběr vzorků (např stratifikovaný odběr vzorků) a nebo jiných nastavovacích přístupy (např post-stratifikace). Pro více informací o on-line panelů, viz Callegaro et al. (2014) .

Někdy vědci zjistili, že vzorky pravděpodobnosti a vzorky non-pravděpodobnostní výnos odhady podobnou kvalitu (Ansolabehere and Schaffner 2014) , ale i další srovnání bylo zjištěno, že vzorky non-pravděpodobnostní hůř (Malhotra and Krosnick 2007; Yeager et al. 2011) . Jeden možný důvod těchto rozdílů je to, že vzorky non-pravděpodobnostní zlepšily v průběhu času. Pro více pesimistický pohled na metody odběru vzorků non-pravděpodobnosti vidět na AAPOR Task Force na non-pravděpodobnostní vzorkování (Baker et al. 2013) , a také doporučuji čtení komentář, který následuje po souhrnnou zprávu.

Pro meta-analýzy vlivu vážení snížit zaujatost ve vzorcích non-pravděpodobnosti, viz tabulka 2.4 v Tourangeau, Conrad, and Couper (2013) , což vede autory k závěru, "úpravy se zdají být užitečné, ale chybující opravy. , ".

• Jak požádat (viz kapitola 3.5)

Conrad and Schober (2008) poskytuje upravený svazek s názvem Vize rozhovoru Survey of the Future, a to řeší mnoho z témat v této sekci. Couper (2011) řeší podobná témata, a Schober et al. (2015) nabízí krásný příklad toho, jak metody sběru dat, které jsou šité na nové prostředí může vést k vyšší kvalitě údajů.

Pro další zajímavý příklad pomocí Facebook aplikace pro průzkumy sociálních věd, viz Bail (2015) .

Pro více informací ohledně provádění průzkumů příjemný a cenné zkušenosti pro účastníky, viz práce na přizpůsobené na míru metoda návrhu (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) nabízí léčbu kniha délky ekologického momentální posouzení a souvisejících metod.

• Průzkumy spojené s jinými údaji (§ 3.6)

Judson (2007) popsal proces kombinování zjišťování a administrativních dat jako "integraci informací," popisuje některé výhody tohoto přístupu, a nabízí několik příkladů.

Dalším způsobem, že výzkumní pracovníci mohou používat digitální stopy a administrativní dat je vzorkování rám pro osoby se specifickými vlastnostmi. Nicméně, přístup tyto záznamy, které mají být použity rámec pro výběr vzorků mohou také vytvářet dotazy týkající se ochrany soukromí (Beskow, Sandler, and Weinberger 2006) .

Co se týče zesílen ptát, tento přístup není tak nová, jak by se mohlo zdát z toho, jak jsem to popsal. Tento přístup má hluboké spojení do tří velkých oblastí ve statistice model na bázi po stratifikaci (Little 1993) , přisouzení (Rubin 2004) , a malý odhad plocha (Rao and Molina 2015) . To je také v souvislosti s použitím náhradních proměnných v lékařském výzkumu (Pepe 1992) .

Kromě etických otázkách týkajících se přístupu k digitální data trasování, zesílen požadovaná by také mohla být použita k odvození citlivé rysy, které lidé nemusí chtít odhalit v průzkumu (Kosinski, Stillwell, and Graepel 2013) .

Odhady nákladů a času v Blumenstock, Cadamuro, and On (2015) viz více variabilní nákladovou cenu jednoho dalšího šetření, a neobsahují fixní náklady jako jsou náklady na čištění a zpracování dat hovor. Obecně platí, že bude zesílen požadovaná pravděpodobně mají vysoké fixní náklady a nízké variabilní náklady podobné digitální experimenty (viz kapitola 4). Více podrobností o použitých údajů v Blumenstock, Cadamuro, and On (2015) papír jsou v Blumenstock and Eagle (2010) a Blumenstock and Eagle (2012) . Přístupy z různých imputuation (Rubin 2004) by mohly pomoci nejistotu pro digitalizaci v odhadech z zesíleného ptát. Jestliže by výzkumníci zesílen ptát jen o souhrnných počtech, spíše než vlastnosti na individuální úrovni, pak přístupy King and Lu (2008) a Hopkins and King (2010) mohou být užitečné. Pro více informací o strojového učení přístupů v Blumenstock, Cadamuro, and On (2015) , viz James et al. (2013) (více úvodní) nebo Hastie, Tibshirani, and Friedman (2009) (pokročilejší). Další populární strojové učení učebnice je Murphy (2012) .

Co se týče obohacený ptá výsledky ve Ansolabehere a Hersh (2012) závěs na dvou klíčových krocích: 1) schopnost Catalist spojit mnoho různorodé zdroje dat pro vytvoření přesného hlavní datový soubor a 2) schopnost Catalist propojit data průzkumu se jeho pán datový soubor. Proto Ansolabehere a Hersh zkontrolovat každý z těchto kroků opatrně.

Chcete-li vytvořit hlavní datový soubor, Catalist kombinuje a harmonizuje informace z mnoha různých zdrojů, včetně: více hlasovacích záznamů momentky z každého státu, údaje z Národního Změna poště ze dne adresy registru a údaji z jiných nespecifikovaných komerčních poskytovatelů. Krvavé podrobnosti o tom, jak to všechno čištění a slučování se stane, jsou mimo rámec této knihy, ale tento proces, bez ohledu na to, jak opatrní, se bude šířit chyby v původních datových zdrojů a zavede chyby. Ačkoli Catalist byl ochoten diskutovat o jeho zpracování dat a poskytne některé ze svých prvotních dat, to bylo prostě nemožné, aby výzkumníci přečíst celý Catalist dat potrubí. Spíše, výzkumníci se v situaci, kdy je datový soubor Catalist měl nějaký neznámý, a možná nepoznatelný, množství chyb. To je závažný problém, protože kritik by mohl spekulovat, že velké rozdíly mezi jednotlivými zpráv o průzkumech o CCES a chování v kmenových dat souboru Catalist byly způsobeny chybami v souboru kmenových dat, nikoli nesprávnému vykazování podle respondentů.

Ansolabehere a Hersh trvalo dva různé přístupy k řešení kvality dat obavy. Za prvé, kromě porovnání s vlastním hlášeno hlasování k hlasování v hlavním souboru Catalist, vědci i ve srovnání s vlastním hlášeny party, rasy, volič registrace stav (např registrované nebo nejsou registrovány) a způsob hlasování (např osobně, absentující hlasování, atd.) k těmto hodnotám nalezeny v databázích Catalist. U těchto čtyř demografických proměnných, vědci zjistili mnohem vyšší úroveň dohody mezi zprávě průzkumu a dat v hlavním souboru Catalist než k hlasování. Proto se jeví hlavní datový soubor Catalist mít vysoce kvalitní informace pro jiné účely, než hlasování znaky, což naznačuje, že to není špatné celkové kvality. Za druhé, z části s využitím dat z Catalist, Ansolabehere a Hersh vyvinul tři různá opatření kvalitě kraj hlasovacích záznamů a zjistili, že odhadovaná míra nadměrné podávání zpráv o hlasování byl v podstatě nesouvisí s některou z těchto opatření s kvalitou dat, zjištění, že naznačují, že vysoká míra přes-zpráv nejsou poháněna krajích s neobvykle nízkou kvalitou dat.

Vzhledem k vytvoření tohoto volebního hlavního souboru, druhý zdroj možných chyb je propojení záznamy průzkumu k němu. Například, pokud toto spojení je provedeno správně by to mohlo vést k nadhodnocení rozdílu mezi hlášené a ověřenou volebního chování (Neter, Maynes, and Ramanathan 1965) . Pokud by každá osoba měla stabilní, jedinečný identifikátor, který byl v obou datových zdrojů, pak vazba by byla triviální. Ve Spojených státech a většině ostatních zemí, však neexistuje žádný univerzální identifikátor. Dále, i když tam byly takové identifikátorem lidé by pravděpodobně váhají poskytnout průzkumu výzkumníky! Tak, Catalist musel udělat vazby pomocí nedokonalé identifikátory, v tomto případě čtyři kusy informace o každého respondenta: jméno, pohlaví, rok narození a domovskou adresu. Například Catalist musel rozhodnout, zda Homie J Simpson v CCES byla stejná osoba jako Homer Jay Simpson ve svém kmenových dat souboru. V praxi, shoda je obtížný a chaotický proces, a aby toho nebylo málo pro výzkumníky, Catalist posoudila její odpovídající technikou být proprietární.

Aby bylo možné ověřit shodná algoritmy, oni se spoléhali na dva problémy. Za prvé, Catalist zúčastnila soutěže odpovídající který byl spuštěn nezávislou třetí stranou: The Mitre Corporation. MITRE za předpokladu všem účastníkům dva hlučné datové soubory, které mají být uzavřeno a různé týmy soutěžily k návratu do MITRE nejlepší shodu. Vzhledem k tomu, MITRE sám znal správnou shodu se jim podařilo vstřelit týmy. Z 40 společností, které soutěžily, Catalist umístila na druhém místě. Tento druh nezávislé hodnocení třetí stranou patentované technologie je poměrně vzácný a nesmírně cenný; to by nám mělo dát jistotu, že odpovídající postupy Catalist jsou v podstatě v state-of-the-art. Ale je state-of-the-art dost dobré? Kromě této odpovídající konkurenci, Ansolabehere a Hersh vytvořil svůj vlastní odpovídající výzvu pro Catalist. Z dřívějšího záměru, Ansolabehere a Hersh sbíral voličů záznamy z Floridy. Poskytly některé z těchto záznamů s některými ze svých polí redigovány na Catalist a pak ve srovnání zprávy Catalist v těchto oborech jejich skutečným hodnotám. Naštěstí zprávy Catalist byly v blízkosti zadržených hodnot, což naznačuje, že Catalist nemůže rovnat dílčí voličů záznamy na svých kmenových dat souboru. Tyto dvě výzvy, z nichž jedna třetí stranou a jeden Ansolabehere a Hersh, dejte nám větší důvěru v odpovídajících algoritmů Catalist, i když nemůžeme přezkoumat své Vynutit si realizaci sami.

Tam bylo mnoho předchozí pokusy validovat hlasování. Pro přehled této literatury, viz Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , a Hanmer, Banks, and White (2014) .

Je důležité si uvědomit, že i když v tomto případě výzkumníci byli povzbuzeni kvalitou dat z Catalist Jiné evaluace komerčních dodavatelů byly méně nadšený. Vědci zjistili, nízkou kvalitu, když data z průzkumu spotřebitelského spisu z Marketing Systems Group (což samo o sobě sloučily dohromady data ze tří poskytovatelů: Acxiom, Experian, a infoUSA) (Pasek et al. 2014) . To znamená, že datový soubor nebyl nalezen odpovědí v průzkumu vědci očekává, že budou v pořádku, datový soubor byl chybějící údaje pro velký počet otázek a chybějící datové struktury byla v korelaci s vykázaná hodnota průzkumu (jinými slovy chybějící data byla systematická , není náhodný).

Pro více informací o rekordní spojení mezi zjišťování a administrativních údajů, viz Sakshaug and Kreuter (2012) a Schnell (2013) . Pro více informací o systému vazeb mezi jednotlivými obecně, viz Dunn (1946) a Fellegi and Sunter (1969) (historical) a Larsen and Winkler (2014) (moderní). Podobné přístupy byly vyvinuty také v oblasti počítačové vědy pod jmény, jako je deduplikace dat, identifikace například párování jméno, duplicitní detekce a detekce duplicitních záznamů (Elmagarmid, Ipeirotis, and Verykios 2007) . Tam jsou také soukromí chránit přístupy k zaznamenávání propojení, které nevyžadují přenos osobních identifikačních údajů (Schnell 2013) . Výzkumníci z Facebooku vyvinuli postup probabilisticsly spojit své záznamy do volebního chování (Jones et al. 2013) ; toto spojení bylo provedeno vyhodnocení experiment, který Povím ti o v kapitole 4 (Bond et al. 2012) .

Dalším příkladem propojení ve velkém měřítku sociální průzkum vládním administrativních záznamů pochází z nemocenského a důchodového průzkumu a správě sociálního zabezpečení. Pro více informací o této studie, včetně informací o postupu souhlasu, viz Olson (1996) a Olson (1999) .

Proces kombinuje mnoho zdrojů administrativních záznamů do hlavního datového souboru-procesu, který Catalist zaměstnanci, je běžné v statistickými úřady některých národních vlád. Dva výzkumníci ze statistik Švédsku napsal podrobnou knihu na téma (Wallgren and Wallgren 2007) . Pro příklad tohoto přístupu v jediném kraji ve Spojených státech (Olmstead County, Minnesota; domov Mayo Clinic), viz Sauver et al. (2011) . Pro více informací o chybách, které se mohou objevit v úředních záznamů, viz Groen (2012) .