Ďalšie komentáre

Táto časť je určená na použitie ako referenčný, skôr než aby sa čítať ako príbeh.

• Úvod (oddiel 3.1)

Mnoho z tém v tejto kapitole boli tiež odráža v nedávnych prezidentských prejavov na Americkej asociácie výskum verejnej mienky (AAPOR), ako Dillman (2002) , Newport (2011) , Santos (2014) a Link (2015) .

Ďalšie historický základ o vývoji výskumného šetrenia, pozri Smith (1976) a Converse (1987) . Pre viac informácií o myšlienke troch epoch výskumného šetrenia, pozri Groves (2011) a Dillman, Smyth, and Christian (2008) (ktorý rozbíja tri éry trochu inak).

Vrchol vnútri prechodu z prvej do druhej éry v oblasti výskumu prieskumu je Groves and Kahn (1979) , ktorý robí podrobné porovnanie head-to-head medzi face-to-face a telefonického prieskumu. Brick and Tucker (2007) obzerá za historickým vývojom náhodné číslica metód odberu vzoriek vytáčanie.

Už viac ako prieskum výskum zmenili v minulosti v reakcii na zmeny v spoločnosti, pozri Tourangeau (2004) , Mitofsky (1989) , a Couper (2011) .

• Kladenie vs. pozorovania (pozri kapitolu 3.2)

Učenie o vnútorných stavov kladením otázok môže byť problematické, pretože niekedy samotní respondenti si nie sú vedomí svojich vnútorných stavov. Napríklad Nisbett and Wilson (1977) majú nádherný papier s evokujúce názvom: "Hovoril viac, ako môžeme spoznať :. Ústne správy o duševných procesov" V článku autori došli k záveru: "predmety sú niekedy (a) si neuvedomuje, existencie stimul, ktorý je dôležitejšie ovplyvnil odpoveď, (b), nevie o existencii odozvy, a (c) nevie, že stimul má vplyv na reakciu. "

Argumentov, že výskumní pracovníci by mali radšej pozorované správanie k hlásenej správania či postojov, pozri Baumeister, Vohs, and Funder (2007) (psychológia) a Jerolmack and Khan (2014) a reakciou (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (sociológie). Rozdiel medzi dotazom a pozorovania tiež vzniká v ekonómii, kde vedci hovoria o stanovenej a odhalených preferencií. Napríklad, výskumník mohol požiadať respondentmi, či dávajú prednosť jesť zmrzlinu alebo ísť do posilňovne (uvedené preferencie) alebo výskum by mohol pozorovať, ako často ľudia jedia zmrzlinu a chodiť do posilňovne (odhalených preferencií). Tam je hlboká skepsa niektorých typov uvedených údajov preferencií v ekonómii (Hausman 2012) .

Hlavnou témou z týchto debát je, že hlásené správanie nie je vždy presné. Ale automaticky zaznamenávajú správanie nemusí byť presná, nesmie byť zhromažďované na skúmaný vzorku a nesmie byť prístupné bádateľom. Tak, v niektorých situáciách, myslím, že hlásené správanie môže byť užitočné. Ďalej, druhý hlavnou témou z týchto debát je, že správy o emóciách, vedomosti, očakávania a názory nie sú vždy presné. Ale ak informácie o týchto vnútorných stavov sú potrebné výskumníkmi, buď pomôcť vysvetliť niektoré správanie, alebo ako vec treba vysvetliť, potom pýtať môže byť vhodné.

• Celková chyba prieskumu (§ 3.3)

Pre kniha dĺžky liečby na celkovej chyby prieskumu, pozri Groves et al. (2009) alebo Weisberg (2005) . Pre históriu vývoja celkovej chyby prieskumu, pozri Groves and Lyberg (2010) .

Pokiaľ ide o zastúpenie, skvelý úvod do problematiky non-response a skreslenie non-odozvy je správa Národná rada pre výskum na ponechať nové v Social Science Surveys: výskumný program (2013) . Ďalšou užitočnou prehľad poskytuje (Groves 2006) . Tiež celý konkrétne problémy Journal of oficiálnych štatistík verejnej mienky Quarterly a Annals of American Academy of politických a sociálnych vied boli zverejnené na tému non-response. Napokon, tam sú vlastne veľa rôznych spôsobov výpočtu miery odozvy; Tieto prístupy sú podrobne popísané v správe Americkej asociácie verejnej mienky bádateľov (AAPOR) (Public Opinion Researchers} 2015) .

1936 Literárne Digest prieskum bol podrobne študovaný (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . To tiež bolo použité ako podobenstvo varovať pred náhodný zberu dát (Gayo-Avello 2011) . V roku 1936, George Gallup používajú sofistikovanejšie formu odberu, a bol schopný produkovať presnejšie odhady s oveľa menším vzorky. Úspech Gallupov je cez literárne Digest bol míľnik vývoj výskumného šetrenia (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

Pokiaľ ide o meranie, prvý veľký zdroj pre navrhovanie dotazníkov je Bradburn, Sudman, and Wansink (2004) . Pre pokročilejších liečby osobitne zohľadňujúce postojových otázok, pozri Schuman and Presser (1996) . Viac informácií o pre-testovacích otázok je k dispozícii v Presser and Blair (1994) , Presser et al. (2004) , a v kapitole 8 Groves et al. (2009) .

Liečba klasický, kniha-dĺžka kompromis medzi nákladov na prieskum a chybám pri inšpekciách je Groves (2004) .

• Koho sa pýtať (pozri kapitolu 3.4)

Klasická kniha-dĺžka liečby štandardného náhodnom výbere a odhadu sú Lohr (2009) (viac úvodnej) a Särndal, Swensson, and Wretman (2003) (pokročilejší). Klasická kniha-dĺžka liečenia post-stratifikácie a súvisiacich metód je Särndal and Lundström (2005) . V niektorých digitálnych nastavení veku, vedci vedia dosť o non-respondentov, čo nebolo často platí v minulosti. Rôzne formy úprav non-odozvy sú prípady, keď výskumníci mať informácie o non-respondentov (Kalton and Flores-Cervantes 2003; Smith 2011) .

Štúdia Xbox of Wang et al. (2015) používa techniku ​​zvanú viacúrovňové regresná a post-stratifikácie (MRP, niekedy nazývaný "Mister P"), ktorá umožňuje vedcom odhadnúť bunka znamená, že aj keď existuje mnoho, mnoho buniek. Hoci tam je nejaká debata o kvalite odhadov z tejto techniky, zdá sa, ako perspektívnu oblasť preskúmať. Táto technika bola prvýkrát použitá v Park, Gelman, and Bafumi (2004) , a došlo k následnému využitiu a diskusia (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Pre viac informácií o prepojení medzi jednotlivými hmotnosťou a hmotnosťou na báze buniek vidieť Gelman (2007) .

Pri ostatných prístupov k váženie internetových prieskumov, pozri Schonlau et al. (2009) , Valliant and Dever (2011) , a Bethlehem (2010) .

Zodpovedajúce vzorka bol navrhovaný Rivers (2007) . Bethlehem (2015) tvrdí, že výkon porovnávanie vzoriek bude skutočne podobná ako u iných prístupov pre odber vzoriek (napr stratifikovaný odber vzoriek) a alebo iných nastavovacích prístupy (napr post-stratifikácie). Pre viac informácií o on-line panelov, pozri Callegaro et al. (2014) .

Niekedy vedci zistili, že vzorky pravdepodobnosti a vzorky non-pravdepodobnostné výnos odhady podobnú kvalitu (Ansolabehere and Schaffner 2014) , ale aj ďalšie porovnanie bolo zistené, že vzorky non-pravdepodobnostné horšie (Malhotra and Krosnick 2007; Yeager et al. 2011) . Jeden možný dôvod týchto rozdielov je to, že vzorky non-pravdepodobnostné zlepšili v priebehu času. Pre viac pesimistický pohľad na metódy odberu vzoriek non-pravdepodobnosti vidieť na AAPOR Task Force na non-pravdepodobnostné vzorkovanie (Baker et al. 2013) , a tiež odporúčam čítanie komentár, ktorý nasleduje po súhrnnú správu.

Pre meta-analýzy vplyvu váženie znížiť zaujatosť vo vzorkách non-pravdepodobnosti, pozri tabuľku 2.4 v Tourangeau, Conrad, and Couper (2013) , čo vedie autorov k záveru, "úpravy sa zdajú byť užitočné, ale chybující opravy. , ".

• Ako požiadať (pozri kapitolu 3.5)

Conrad and Schober (2008) poskytuje upravený zväzok s názvom Vízia rozhovore Survey of the Future, a to rieši mnoho z tém v tejto sekcii. Couper (2011) rieši podobné témy, a Schober et al. (2015) ponúka krásny príklad toho, ako metódy zberu dát, ktoré sú šité na nové prostredie môže viesť k vyššej kvalite údajov.

Pre another zaujímavý príklad použitia Facebook apps for Surveys spoločenských vied, see Bail (2015) .

Pre viac informácií ohľadom implementácie prieskumov príjemný a cenné skúsenosti pre účastníkov, pozri práce na prispôsobené na mieru metóda návrhu (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) ponúka liečbu kniha dĺžky ekologického momentálnej posúdenie a súvisiacich metód.

• Prieskumy spojené s inými údajmi (§ 3.6)

Judson (2007) opísal proces kombinovanie zisťovaní a administratívnych údajov ako "integráciu informácií," popisuje niektoré výhody tohto prístupu, a ponúka niekoľko príkladov.

Ďalším spôsobom, že výskumní pracovníci môžu používať digitálne stopy a administratívne dát je vzorkovanie rám pre osoby so špecifickými vlastnosťami. Avšak, prístup tieto záznamy, ktoré majú byť použité rámec výberu vzoriek môžu tiež vytvárať otázky týkajúce sa ochrany súkromia (Beskow, Sandler, and Weinberger 2006) .

Čo sa týka zosilnený pýtať, tento prístup nie je tak nová, ako by sa mohlo zdať z toho, ako som to opísal. Tento prístup má hlboké spojenie do troch veľkých oblastí v štatistike model na báze po stratifikácii (Little 1993) , prisúdenie (Rubin 2004) , a malý odhad plocha (Rao and Molina 2015) . To je tiež v súvislosti s použitím náhradných premenných v lekárskom výskume (Pepe 1992) .

Okrem etických otázkach týkajúcich sa prístupu k digitálnej dáta trasovanie, zosilnený požadovaná by tiež mohla byť použitá na odvodenie citlivé rysy, ktoré ľudia nemusia chcieť odhaliť v prieskume (Kosinski, Stillwell, and Graepel 2013) .

Odhady nákladov a času v Blumenstock, Cadamuro, and On (2015) pozri viac variabilné nákladovú cenu jedného ďalšieho šetrenia, a neobsahujú fixné náklady ako sú náklady na čistenie a spracovanie dát hovor. Všeobecne platí, že bude zosilnený požadovaná pravdepodobne majú vysoké fixné náklady a nízke variabilné náklady podobné digitálne experimenty (pozri kapitolu 4). Viac podrobností o použitých údajov v Blumenstock, Cadamuro, and On (2015) papier sú v Blumenstock and Eagle (2010) a Blumenstock and Eagle (2012) . Prístupy z rôznych imputuation (Rubin 2004) by mohli pomôcť neistotu pre digitalizáciu v odhadoch z zosilneného pýtať. Ak by výskumníci zosilnený pýtať len o súhrnných počtoch, skôr než vlastnosti na individuálnej úrovni, potom prístupy King and Lu (2008) a Hopkins and King (2010) môžu byť užitočné. Pre viac informácií o strojového učenia prístupov v Blumenstock, Cadamuro, and On (2015) , pozri James et al. (2013) (viac úvodnej) alebo Hastie, Tibshirani, and Friedman (2009) (pokročilejší). Ďalšie populárne strojové učenie učebnice je Murphy (2012) .

Čo sa týka obohatený pýta výsledky vo Ansolabehere a Hersh (2012) záves na dvoch kľúčových krokoch: 1) schopnosť Catalist spojiť veľa rôznorodé zdroje dát pre vytvorenie presného hlavné dátový súbor a 2) schopnosť Catalist prepojiť dáta prieskumu sa jeho pán dátový súbor. Preto Ansolabehere a Hersh skontrolovať každý z týchto krokov opatrne.

Ak chcete vytvoriť hlavný dátový súbor, Catalist kombinuje a harmonizuje informácie z mnohých rôznych zdrojov, vrátane: viac hlasovacích záznamov momentky z každého štátu, údaje z Národného Zmena pošte z adresy registra a údajmi z iných nešpecifikovaných komerčných poskytovateľov. Krvavé podrobnosti o tom, ako to všetko čistenie a zlučovanie sa stane, sú mimo rámec tejto knihy, ale tento proces, bez ohľadu na to, ako opatrní, sa bude šíriť chyby v pôvodných dátových zdrojov a zavedie chyby. Hoci Catalist bol ochotný diskutovať o jeho spracovanie dát a poskytne niektoré zo svojich prvotných dát, to bolo jednoducho nemožné, aby výskumníci prečítať celý Catalist dát potrubia. Skôr, výskumníci sa v situácii, keď je dátový súbor Catalist mal nejaký neznámy, a možno nepoznateľný, množstvo chýb. To je vážny problém, pretože kritik by mohol špekulovať, že veľké rozdiely medzi jednotlivými správ o prieskumoch o CCES a správaní v kmeňových dát súboru Catalist boli spôsobené chybami v súbore kmeňových dát, nie nesprávnemu vykazovanie podľa respondentov.

Ansolabehere a Hersh trvalo dva rôzne prístupy k riešeniu kvality dát obavy. Po prvé, okrem porovnaní s vlastným hlásených hlasovania na hlasovanie v hlavnom súbore Catalist, vedci aj v porovnaní s vlastným hlásené party, rasy, volič registrácia stav (napr registrované alebo nie sú registrované) a spôsob hlasovania (napr osobne, absentující hlasovania, atď.) k týmto hodnotám nájdené v databázach Catalist. U týchto štyroch demografických premenných, vedci zistili oveľa vyššiu úroveň dohody medzi správe prieskumu a dát v hlavnom súbore Catalist než na hlasovanie. Preto sa ukazuje hlavné dátový súbor Catalist mať kvalitné informácie na iné účely, než hlasovanie znaky, čo naznačuje, že to nie je zlé celkovej kvality. Po druhé, z časti s využitím dát z Catalist, Ansolabehere a Hersh vyvinul tri rôzne opatrenia kvalite kraj hlasovacích záznamov a zistili, že odhadovaná miera nadmerné podávanie správ o hlasovaní bol v podstate nesúvisí s niektorou z týchto opatrení s kvalitou dát, zistenie, že naznačujú, že vysoká miera cez-správ nie sú poháňané krajoch s neobvykle nízkou kvalitou dát.

Vzhľadom na vytvorenie tohto volebného hlavného súboru, druhý zdroj možných chýb je prepojenie záznamy prieskumu k nemu. Napríklad, ak toto spojenie je vykonané správne by to mohlo viesť k nadhodnoteniu rozdielu medzi hlásené a overenú volebného správania (Neter, Maynes, and Ramanathan 1965) . Ak by každá osoba mala stabilné, jedinečný identifikátor, ktorý bol v oboch dátových zdrojov, potom väzba by bola triviálne. V Spojených štátoch a väčšine ostatných krajín, však neexistuje žiadny univerzálny identifikátor. Ďalej, aj keď tam boli také identifikátorom ľudia by pravdepodobne váhajú poskytnúť prieskumu výskumníkmi! Tak, Catalist musel urobiť väzby pomocou nedokonalé identifikátory, v tomto prípade štyri kusy informácie o každého respondenta: meno, pohlavie, rok narodenia a adresu domov. Napríklad Catalist musel rozhodnúť, či Homi J Simpson v CCES bola rovnaká osoba ako Homer Jay Simpson vo svojom kmeňových dát súboru. V praxi, zhoda je ťažký a chaotický proces, a aby toho nebolo málo pre výskumníkov, Catalist posúdila jej zodpovedajúce technikou byť proprietárne.

Aby bolo možné overiť zhodná algoritmy, oni sa spoliehali na dva problémy. Po prvé, Catalist zúčastnila súťaže zodpovedajúce ktorý bol spustený nezávislou treťou stranou: The Mitre Corporation. MITRE za predpokladu všetkým účastníkom dva hlučné dátové súbory, ktoré majú byť uzavreté a rôzne tímy súťažili k návratu do MITRE najlepšie zhodu. Vzhľadom k tomu, MITRE sám poznal správnu zhodu sa im podarilo streliť tímy. Z 40 spoločností, ktoré súťažili, Catalist umiestnila na druhom mieste. Tento druh nezávislé hodnotenie treťou stranou patentovanej technológie je pomerne vzácny a nesmierne cenný; to by nám malo dať istotu, že zodpovedajúce postupy Catalist sú v podstate v state-of-the-art. Ale je state-of-the-art dosť dobré? Okrem tejto zodpovedajúce konkurenciu, Ansolabehere a Hersh vytvoril svoj vlastný zodpovedajúce výzvu pre Catalist. Z skoršieho projektu, Ansolabehere a Hersh zbieral voličov záznamy z Floridy. Poskytli niektoré z týchto záznamov s niektorými zo svojich polí redigované na Catalist a potom v porovnaní správy Catalist v týchto odboroch skutočným hodnotám. Našťastie správy Catalist boli v blízkosti zadržaných hodnôt, čo naznačuje, že Catalist nemôže rovnať čiastkové voličov záznamy na svojich kmeňových dát súboru. Tieto dve výzvy, z ktorých jedna treťou stranou a jeden Ansolabehere a Hersh, dajte nám väčšiu dôveru v zodpovedajúcich algoritmov Catalist, aj keď nemôžeme preskúmať svoje Vynútiť si realizáciu sami.

Tam bolo veľa predchádzajúce pokusy validovať hlasovania. Pre prehľad tejto literatúry, pozri Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , a Hanmer, Banks, and White (2014) .

Je dôležité si uvedomiť, že aj keď v tomto prípade výskumníci boli povzbudení kvalitou dát z Catalist Iné evaluácie komerčných dodávateľov boli menej nadšený. Vedci zistili, nízku kvalitu, keď dáta z prieskumu spotrebiteľského spisu z Marketing Systems Group (čo samo o sebe zlúčili dohromady dáta z troch poskytovateľov: Acxiom, Experian, a infoUSA) (Pasek et al. 2014) . To znamená, že dátový súbor nebol nájdený odpovedí v prieskume vedci očakáva, že budú v poriadku, dátový súbor bol chýbajúce údaje pre veľký počet otázok a chýbajúce dátové štruktúry bola v korelácii s vykázaná hodnota prieskumu (inými slovami chýbajúce dáta bola systematická , nie je náhodný).

Pre viac informácií o rekordný spojenie medzi zisťovaní a administratívnych údajov, pozri Sakshaug and Kreuter (2012) a Schnell (2013) . Pre viac informácií o systéme väzieb medzi jednotlivými všeobecne, pozri Dunn (1946) a Fellegi and Sunter (1969) (historical) a Larsen and Winkler (2014) (moderné). Podobné prístupy boli vyvinuté aj v oblasti počítačovej vedy pod menami, ako je deduplikácie dát, identifikácia napríklad párovanie meno, duplicitné detekcia a detekcia duplicitných záznamov (Elmagarmid, Ipeirotis, and Verykios 2007) . Tam sú tiež súkromie chrániť prístupy k zaznamenávanie prepojenia, ktoré nevyžadujú prenos osobných identifikačných údajov (Schnell 2013) . Výskumníci z Facebooku vyvinuli postup probabilisticsly spojiť svoje záznamy do volebného správania (Jones et al. 2013) ; toto spojenie sa vykonalo vyhodnotenie experiment, ktorý Poviem ti o v kapitole 4 (Bond et al. 2012) .

Ďalším príkladom prepojenia vo veľkom meradle sociálna prieskum vládnym administratívnych záznamov pochádza z nemocenského a dôchodkového prieskumu a správe sociálneho zabezpečenia. Pre viac informácií o tejto štúdie, vrátane informácií o postupe súhlasu, pozri Olson (1996) a Olson (1999) .

Proces kombinuje veľa zdrojov administratívnych záznamov do hlavného dátového súboru-procesu, ktorý Catalist zamestnancami, je bežné v štatistickými orgánmi niektorých národných vlád. Dvaja výskumníci zo štatistík Švédsku napísal podrobnú knihu na tému (Wallgren and Wallgren 2007) . Pre príklad tohto prístupu v jedinom kraji v Spojených štátoch (Olmstead County, Minnesota; domov Mayo Clinic), pozri Sauver et al. (2011) . Pre viac informácií o chybách, ktoré sa môžu objaviť v úradných záznamov, pozri Groen (2012) .