Comentariul suplimentar

Această secțiune este proiectat pentru a fi utilizat ca referință, mai degrabă decât să fie citit ca o narațiune.

• Introducere (Secțiunea 3.1)

Multe dintre temele din acest capitol au fost , de asemenea ecou în Adrese prezidențiale recente de la Asociatia Americana de Cercetare a Opiniei Publice (AAPOR), cum ar fi Dillman (2002) , Newport (2011) , Santos (2014) , și Link (2015) .

Pentru mai multe detalii de fundal istorice cu privire la dezvoltarea cercetării sondajului, vezi Smith (1976) și Converse (1987) . Pentru mai multe detalii despre ideea de trei ere de cercetare sondaj, vezi Groves (2011) și Dillman, Smyth, and Christian (2008) (care sparge cele trei epoci ușor diferit).

Un vârf în interiorul tranziției de la prima la cea de-a doua eră în cercetarea anchetă este Groves and Kahn (1979) , care face o comparație detaliată cap-la-cap între o față-în-față și studiu de telefon. Brick and Tucker (2007) se uită înapoi la dezvoltarea istorică a metodelor de eșantionare de apelare cifre aleatorii.

Pentru modul în care sondajul de cercetare s- au schimbat în trecut , ca răspuns la schimbările din societate, a se vedea Tourangeau (2004) , Mitofsky (1989) , și Couper (2011) .

• Asking vs. observarea (secțiunea 3.2)

De învățare despre stările interne de a pune întrebări poate fi problematică, deoarece, uneori, respondenții înșiși nu sunt conștienți de statele lor interne. De exemplu, Nisbett and Wilson (1977) , au o hârtie minunată cu titlul de evocare: " A spune mai mult decât putem ști:. Rapoarte verbale cu privire la procesele mentale" In lucrare autorii au concluzionat: "subiecții sunt uneori (a) care nu cunosc existența unui stimul care a influențat un răspuns important, (b) cunoștință de existența răspunsului, și (c) nu știu că măsurile de stimulare a afectat răspunsul. "

Pentru argumentele care cercetatorii ar trebui sa prefere un comportament observat la un comportament sau atitudini au fost raportate, a se vedea Baumeister, Vohs, and Funder (2007) (psihologie) și Jerolmack and Khan (2014) și răspunsurile (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (sociologie). Diferența dintre cer și observând, de asemenea, apare în economie, în cazul în care cercetătorii vorbesc despre preferintele si revelate. De exemplu, un cercetător ar putea întreba respondenții dacă prefera sa manance inghetata sau merge la sala de gimnastica (preferintele) sau de cercetare ar putea observa cât de des oamenii mănâncă înghețată și du-te la sala de sport (preferințele revelate). Există , de scepticism profund al anumitor tipuri de date în preferințele declarate economie (Hausman 2012) .

O temă principală din aceste dezbateri este faptul că un comportament nu este întotdeauna raportate exacte. Însă, comportamentul înregistrate în mod automat să nu fie exacte, nu pot fi colectate pe un eșantion de interes, și pot să nu fie accesibilă cercetătorilor. Astfel, în unele situații, cred că un comportament poate fi util raportat. În plus, oa doua temă principală din aceste dezbateri este faptul că rapoartele despre emoțiile, cunoștințele, așteptările și opiniile nu sunt întotdeauna corecte. Dar, în cazul în care informațiile cu privire la aceste stări interne sunt necesare de către cercetători, fie pentru a explica unele comportamente sau ca un lucru care urmează să fie explicată atunci solicitând poate fi adecvată.

• Eroare totală anchetă (secțiunea 3.3)

Pentru tratamente de carte lungime eroare totală sondaj, vezi Groves et al. (2009) sau Weisberg (2005) . Pentru o istorie a evoluției erorii totale sondajului, vezi Groves and Lyberg (2010) .

În ceea ce privește reprezentarea, o introducere la problemele de bază non-răspuns și prejudecată non-răspuns este raportul Consiliului Național de Cercetare privind nonresponse în științe sociale Sondaje: O agendă de cercetare (2013) . O altă imagine de ansamblu utilă este asigurată de (Groves 2006) . De asemenea, întregi probleme speciale ale Jurnalului statisticii oficiale, opinia publică trimestrial, iar Analele Academiei Americane de Științe Politice și Sociale au fost publicate pe tema non-răspuns. În cele din urmă, există multe moduri diferite de calculare a ratei de răspuns; aceste abordări sunt descrise în detaliu într - un raport al Asociatiei Americane de Opinie Publica Cercetatorii (AAPOR) (Public Opinion Researchers} 2015) .

1936 Sondajul literar Digest a fost studiat în detaliu (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Acesta a fost , de asemenea , folosit ca o parabolă pentru a avertiza împotriva colectării de date dezordonată (Gayo-Avello 2011) . În 1936, George Gallup a folosit o formă mai sofisticată de prelevare a probelor și a fost în măsură să producă estimări mai precise cu o probă mult mai mică. Succesul Gallup peste Literary Digest a fost o piatra de hotar dezvoltarea cercetării sondaj (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

În ceea ce privește măsurare, o primă resursă pentru chestionare de proiectare este Bradburn, Sudman, and Wansink (2004) . Pentru un tratament mai avansat sa concentrat în special asupra problemelor de atitudine, a se vedea Schuman and Presser (1996) . Mai multe despre întrebări de pre-testare este disponibil în Presser and Blair (1994) , Presser et al. (2004) , și capitolul 8 din Groves et al. (2009) .

Tratamentul clasic, carte de lungime a comerțului între costurile de anchetă și erorile de anchetă este Groves (2004) .

• Care să ceară (secțiunea 3.4)

Tratamentul de carte de lungime clasică de prelevare a probelor de probabilitate standard , și estimarea sunt Lohr (2009) (Mai mult introductivă) și Särndal, Swensson, and Wretman (2003) (mai avansate). Un tratament carte de lungime clasică a metodelor de post-stratificare și conexe este Särndal and Lundström (2005) . În unele digitale de varsta, cercetatorii stiu destul de un pic despre non-respondenți, care nu a fost adesea adevărat în trecut. Diferite forme de ajustare non-răspuns sunt posibile atunci când cercetătorii au informații despre non-respondenți (Kalton and Flores-Cervantes 2003; Smith 2011) .

Studiul Xbox lui Wang et al. (2015) utilizează o tehnică numită regresie pe mai multe niveluri și post-stratificare (MRP, numit uneori "Mister P") , care permite cercetatorilor sa estimeze celula înseamnă chiar și atunci când există mai multe, mai multe celule. Cu toate că există o dezbatere cu privire la calitatea estimărilor din această tehnică, se pare ca o zonă promițătoare pentru a explora. Tehnica a fost folosită pentru prima dată în Park, Gelman, and Bafumi (2004) , și a avut loc utilizarea și dezbaterea ulterioară (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Pentru mai multe detalii privind legătura dintre greutățile individuale și greutățile pe bază de celule vezi Gelman (2007) .

Pentru alte abordări pentru anchete web de ponderare, vezi Schonlau et al. (2009) , Valliant and Dever (2011) , și Bethlehem (2010) .

De potrivire a eșantionului a fost propus de Rivers (2007) . Bethlehem (2015) susține că performanța de potrivire a eșantionului va fi de fapt similar cu alte metode de eșantionare ( de exemplu, sondajul stratificat) , precum și alte abordări de ajustare ( de exemplu, post-stratificare). Pentru mai multe detalii pe panouri on - line, vezi Callegaro et al. (2014) .

Uneori , cercetatorii au descoperit ca mostre de probabilitate și probe de bază non-probabilitate estimări de a se obține o calitate similară (Ansolabehere and Schaffner 2014) , dar și alte comparații s- au constatat că probele de bază non-probabilitate mai rău (Malhotra and Krosnick 2007; Yeager et al. 2011) , (Malhotra and Krosnick 2007; Yeager et al. 2011) . Un posibil motiv pentru aceste diferențe este faptul că probele de bază non-probabilitate s-au îmbunătățit în timp. Pentru o vizualizare mai pesimistă a metodelor de eșantionare non-probabilitate a se vedea Task Force The AAPOR pe eșantionare non-probabilitate (Baker et al. 2013) , și , de asemenea , am recomanda citirea comentariilor care urmează raportul de sinteză.

Pentru o meta-analiză asupra efectului de ponderare pentru a reduce prejudecata în probele de bază non-probabilitate, vezi Tabelul 2.4 în Tourangeau, Conrad, and Couper (2013) , ceea ce conduce autorii la concluzia "ajustări par a fi corecții utile , dar fallible. . . "

• Cum de a cere (secțiunea 3.5)

Conrad and Schober (2008) oferă un volum editat intitulat Prevăzând Interviu Survey of the Future, și abordează multe dintre temele din această secțiune. Couper (2011) abordează teme similare, și Schober et al. (2015) oferă un frumos exemplu de modul în care metodele de colectare a datelor , care sunt adaptate la o nouă setare poate avea ca rezultat date de calitate superioară.

Pentru un alt exemplu interesant de a utiliza aplicații Facebook pentru studiile de științe sociale, vezi Bail (2015) .

Pentru mai multe sfaturi pentru a face sondaje o experiență plăcută și valoroasă pentru participanți, a se vedea de lucru pe metoda Tailored de proiectare (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) oferă un tratament carte lungimea de apreciere de moment ecologice și metodele aferente.

• Sondajele legate de alte date (secțiunea 3.6)

Judson (2007) a descris procesul de combinare a studiilor și a datelor administrative ca "integrarea informațiilor" , discută despre unele avantaje ale acestei abordări, și oferă câteva exemple.

Un alt mod de care cercetatorii pot utiliza urme digitale și date administrative este un cadru de eșantionare pentru persoanele cu caracteristici specifice. Cu toate acestea, a avea acces la aceste înregistrări care urmează să fie utilizat un cadru de eșantionare poate crea , de asemenea , întrebări legate de viața privată (Beskow, Sandler, and Weinberger 2006) .

În ceea ce privește amplificat întrebând, această abordare nu este la fel de nouă ca s-ar putea să apară de la modul în care l-am descris-o. Această abordare are legături profunde cu trei zone mari în pe bază de statistici model post-stratificare (Little 1993) , imputare (Rubin 2004) , și estimarea mică zonă (Rao and Molina 2015) . Este , de asemenea , legată de utilizarea variabilelor surogat in domeniul cercetarii medicale (Pepe 1992) .

În plus față de problemele etice privind accesarea datelor digitale urmelor, solicitându - amplificat ar putea fi , de asemenea , folosite pentru a deduce trăsături sensibile , pe care oamenii s - ar putea să nu aleg să dezvăluie într - un studiu (Kosinski, Stillwell, and Graepel 2013) .

Costurile estimative și ora în Blumenstock, Cadamuro, and On (2015) se referă mai mult la variabila cost costul unui studiu costuri suplimentare și nu includ fixe , cum ar fi costul pentru a curăța și procesa datele de apel. În general, solicitându-amplificat va avea, probabil, costuri fixe ridicate și costuri variabile reduse similar cu experimentele digitale (a se vedea capitolul 4). Mai multe detalii cu privire la datele utilizate în Blumenstock, Cadamuro, and On (2015) hârtie sunt în Blumenstock and Eagle (2010) și Blumenstock and Eagle (2012) . Abordări din imputuation multiple (Rubin 2004) s - ar putea ajuta la capturarea incertitudinii în estimările din întrebând amplificate. În cazul în care cercetatorii au amplificat Doing cerând doar pasa numărului de agregate, mai degraba decat trasaturi la nivel individual, apoi abordările în King and Lu (2008) și Hopkins and King (2010) pot fi utile. Pentru mai multe detalii despre abordările mașinii de învățare în Blumenstock, Cadamuro, and On (2015) , a se vedea James et al. (2013) (Mai mult introductivă) sau Hastie, Tibshirani, and Friedman (2009) (mai avansate). Un alt popular manual masina de învățare este Murphy (2012) .

În ceea ce privește întrebând îmbogățit, rezultatele în Ansolabehere și Herș (2012) balama pe două etape principale: 1) capacitatea de Catalist de a combina mai multe surse de date disparate pentru a produce un fișier de date exacte de master și 2) capacitatea Catalist de a lega datele anchetei datafile său maestru. Prin urmare, Ansolabehere și Herș verifica fiecare dintre acești pași cu atenție.

Pentru a crea maestru fișier de date, Catalist combină și armonizeaza informații din mai multe surse diferite, inclusiv: mai multe capturi de înregistrări cu drept de vot din fiecare stat, date de la Schimbare Națională a Registrului Adresa sediului principal al Poștei, precum și date de la alți furnizori comerciali nespecificate. Detaliile cu privire la modul în care se întâmplă însângerate toate acestea de curățare și de contopire sunt dincolo de domeniul de aplicare al acestei cărți, dar acest proces, indiferent cât de atent, se va propaga erori în sursele de date originale, și va introduce erori. Cu toate că Catalist era dispus să discute prelucrarea datelor sale și să furnizeze unele dintre datele sale brute, a fost pur și simplu imposibil ca cercetătorii să revizuiască întreaga conductă de date Catalist. Mai degraba, cercetatorii au fost într-o situație în care fișierul de date Catalist a avut unele necunoscute, și, probabil, imposibil de cunoscut, suma de eroare. Aceasta este o preocupare serioasă, deoarece un critic s-ar putea specula că diferențele mari dintre rapoartele de anchetă privind CCES și comportamentul în fișierul master de date Catalist au fost cauzate de erori în fișierul de date de master, nu de către respondenți declarațiile false.

Ansolabehere și Hersh a luat două abordări diferite pentru a aborda preocuparea de calitate a datelor. În primul rând, în plus față de compararea de vot auto-raportate la votarea în dosarul Catalist, cercetatorii au comparat, de asemenea partid auto au fost raportate, rasa, starea de înregistrare a alegătorilor (de exemplu, înregistrate sau neînregistrate) și metoda de votare (de exemplu, în persoană, absenți vot etc.) acelor valori găsite în bazele de date Catalist. Pentru aceste patru variabile demografice, cercetatorii au descoperit niveluri mult mai ridicate de acord între rapoartele de inspecție și date în dosarul Catalist decât pentru votare. Astfel, fișierul master de date Catalist pare să aibă informații de înaltă calitate pentru altele decât cele de vot trasaturi, ceea ce sugerează că nu este de calitate generală slabă. În al doilea rând, în parte, folosind datele de la Catalist, Ansolabehere și Herș a dezvoltat trei măsuri diferite de calitate a înregistrărilor de vot județene și au constatat că rata estimată a supra-raportare a votului a fost, în esență, nu are legătură cu oricare dintre aceste măsuri de calitate a datelor, o constatare care sugerează că ratele ridicate de supra-raportare nu sunt conduse pe județe cu o calitate neobișnuit de scăzut de date.

Având în vedere crearea acestui dosar de vot maestru, a doua sursă de erori potențiale este legătura între înregistrările de anchetă să-l. De exemplu, în cazul în care această legătură este făcută în mod incorect ar putea duce la o supra-estimare a diferenței dintre raportate și validate comportamentul de vot (Neter, Maynes, and Ramanathan 1965) . În cazul în care fiecare persoană a avut un identificator stabil, unic, care a fost în ambele surse de date, atunci legătura ar fi banal. În SUA și în majoritatea celorlalte țări, cu toate acestea, nu există nici un identificator universal. Mai mult, chiar dacă ar exista un astfel de identificator de oameni ar fi, probabil, ezitat sa-l ofere la sondaj cercetători! Astfel, Catalist a trebuit să facă legătura folosind identificatori imperfecte, în acest caz, patru bucăți de informații despre fiecare respondent: numele, sexul, anul nașterii și adresa de domiciliu. De exemplu, Catalist a trebuit să decidă dacă Homie J Simpson în CCES a fost aceeași persoană ca și Homer Jay Simpson în dosarul lor de date maestru. În practică, potrivirea este un proces dificil și murdar, și, pentru a face lucrurile si mai rele pentru cercetatori, Catalist considera tehnica sa de potrivire pentru a fi proprietar.

Pentru a valida algoritmii de potrivire, s-au bazat pe două provocări. În primul rând, Catalist a participat la un concurs de potrivire, care a fost condusă de o, terță parte independentă: Mitre Corporation. MITRE oferit tuturor participanților două fișiere de date zgomotoase să fie potrivite și echipe diferite au concurat pentru a reveni la MITRE cea mai bună potrivire. Pentru că MITRE se cunoștea potrivirea corectă ei au reușit să înscrie echipele. Din cele 40 de societăți care au concurat, Catalist a intrat în locul secund. Acest tip de evaluare independentă, terță parte a tehnologiei de proprietate este destul de rara si incredibil de valoroase; ar trebui să ne dea încredere că procedurile de potrivire a Catalist sunt, în esență, la stat-of-the-art. Dar, este starea-of-the-art suficient de bun? În plus față de această competiție de potrivire, Ansolabehere și Herș au creat propria lor provocare de potrivire pentru Catalist. Dintr-un proiect anterior, Ansolabehere și Herș au colectat înregistrările electorale din Florida. Ei au oferit unele dintre aceste inregistrari cu unele dintre domeniile lor la Catalist redactate și apoi comparate rapoarte ale acestor câmpuri la valorile lor reale Catalist lui. Din fericire, rapoartele Catalist au fost apropiate de valorile reținute, indicând faptul că Catalist ar putea potrivi înregistrările electorale parțiale pe dosarul lor de date de master. Aceste două provocări, una de către o terță parte și unul de Ansolabehere și Herș, să ne dea mai multă încredere în algoritmii de potrivire Catalist, chiar dacă nu putem examina punerea lor în aplicare exactă pe noi înșine.

Au existat multe încercări anterioare de a valida de vot. Pentru o trecere în revistă a literaturii care, vezi Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , și Hanmer, Banks, and White (2014) .

Este important de remarcat faptul că, deși în acest caz, cercetătorii au fost încurajați de calitatea datelor din Catalist, alte evaluări ale furnizori comerciali au fost mai puțin entuziaști. Cercetătorii au descoperit o calitate slabă atunci când datele dintr - un studiu la un consumator-fișier de la Marketing Systems Group (care se au fuzionat împreună datele de trei furnizori: Acxiom, Experian, și infoUSA) (Pasek et al. 2014) . Aceasta este, fișierul de date nu au corespuns raspunsurile la sondajul pe care cercetatorii de asteptat sa fie corecte, fișier de date a datelor pentru un număr mare de întrebări, iar modelul de date care lipsesc lipsă a fost corelată cu valoarea sondajului raportat (cu alte cuvinte, datele lipsă a fost sistematic , nu aleatoare).

Pentru mai multe detalii cu privire la legătura în relația dintre sondaje și date administrative, a se vedea Sakshaug and Kreuter (2012) și Schnell (2013) . Pentru mai multe detalii privind înregistrarea de legătură , în general, a se vedea Dunn (1946) și Fellegi and Sunter (1969) (historical) și Larsen and Winkler (2014) (moderne). Abordări similare au fost de asemenea dezvoltate în știința calculatoarelor sub nume , cum ar fi deduplicarea datelor, identificarea exemplu, potrivirea nume, detectare duplicat, duplicat și de detectare a înregistra (Elmagarmid, Ipeirotis, and Verykios 2007) . Există, de asemenea , păstrarea vieții private abordări pentru a înregistra o legătură care nu necesită transmiterea de informații de identificare personală (Schnell 2013) . Cercetătorii de la Facebook a dezvoltat o procedură pentru a lega probabilisticsly înregistrările lor la comportamentul de vot (Jones et al. 2013) ; această legare a fost realizat pentru a evalua un experiment pe care am să - ți spun despre capitolul 4 (Bond et al. 2012) , (Bond et al. 2012) .

Un alt exemplu de a lega o anchetă socială pe scară largă la registrele administrative guvernamentale vine de sanatate si ancheta de pensionare și Administrația de Securitate Socială. Pentru mai multe detalii cu privire la acest studiu, inclusiv informații cu privire la procedura de aprobare, vezi Olson (1996) și Olson (1999) .

Procesul de combinare a numeroase surse de înregistrări administrative, într-un maestru datafile-proces care angajații Catalist-este comună în birourile de statistică ale unor guverne naționale. Doi cercetatori din Suedia Statistica au scris o carte detaliată cu privire la acest subiect (Wallgren and Wallgren 2007) . Pentru un exemplu al acestei abordări într - un singur județ în Statele Unite ale Americii (County Olmstead, Minnesota, acasă de la Clinica Mayo), vezi Sauver et al. (2011) . Pentru mai multe detalii cu privire la erorile care pot apărea în înregistrările administrative, vezi Groen (2012) .