Ce să citiți în continuare

• Introducere (secțiunea 3.1)

Multe dintre temele din acest capitol au fost reluate și în recentele adrese prezidențiale ale Asociației Americane de Cercetare a Opiniei Publice (AAPOR), cum ar fi cele ale Dillman (2002) , Newport (2011) , Santos (2014) și Link (2015) .

Pentru mai multe detalii despre diferențele dintre cercetarea studiilor și interviurile aprofundate, consultați Small (2009) . În ceea ce privește interviurile în profunzime, este o familie de abordări numită etnografie. În cercetarea etnografică, cercetătorii petrec, în general, mult mai mult timp cu participanții în mediul lor natural. Pentru mai multe detalii despre diferențele dintre etnografie și interviuri aprofundate, a se vedea Jerolmack and Khan (2014) . Pentru mai multe detalii despre etnografia digitală, a se vedea Pink et al. (2015) .

Descrierea mea de istorie a cercetării sondajului este prea scurtă pentru a include multe dintre evoluțiile interesante care au avut loc. Pentru mai mult istoric istoric, vezi Smith (1976) , Converse (1987) și Igo (2008) . Pentru mai multe despre ideea a trei ere de cercetare de cercetare, a se vedea Groves (2011) și Dillman, Smyth, and Christian (2008) (care distruge cele trei ere ușor diferit).

Groves and Kahn (1979) oferă o privire în interiorul tranziției de la prima la cea de-a doua epocă în cercetarea anchetei prin efectuarea unei comparații detaliate "cap-to-head" între o cercetare directă și telefonică. ( ??? ) uite înapoi la dezvoltarea istorică a metodelor de prelevare a cifrelor aleatoare aleatoare.

Pentru mai multe informații despre cum s-au schimbat cercetările în trecut în urma schimbărilor în societate, a se vedea Tourangeau (2004) , ( ??? ) și Couper (2011) .

• Solicitarea versus observare (secțiunea 3.2)

Punctele forte și punctele slabe ale cer și observarea au fost dezbătute de către psihologi ( de exemplu, Baumeister, Vohs, and Funder (2007) ) și sociologi ( de exemplu, Jerolmack and Khan (2014) ; Maynard (2014) ; Cerulo (2014) ; Vaisey (2014) , Jerolmack and Khan (2014) ], diferența dintre întrebări și observații apare și în economie, unde cercetătorii vorbesc despre preferințele declarate și dezvăluite, de exemplu, un cercetător ar putea să îi adreseze respondenților dacă preferă să mănânce înghețată sau să meargă la sala de gimnastică (preferințele menționate) sau ar putea observa cât de des oamenii consumă înghețată și merg la sala de sport (preferințele revelate). Există un scepticism profund referitor la anumite tipuri de preferințe date date în economie, așa cum este descris în Hausman (2012) .

O temă principală din aceste dezbateri este că comportamentul raportat nu este întotdeauna corect. Dar, așa cum a fost descris în capitolul 2, sursele de date mari pot să nu fie corecte, ele nu pot fi colectate pe un eșantion de interese și este posibil ca acestea să nu fie accesibile cercetătorilor. Astfel, cred că, în anumite situații, comportamentul raportat poate fi util. În plus, o a doua temă principală din aceste dezbateri este că rapoartele despre emoții, cunoștințe, așteptări și opinii nu sunt întotdeauna exacte. Dar, dacă cercetătorii au nevoie de informații despre aceste stări interne - fie pentru a explica un comportament, fie pentru a explica - atunci întrebarea ar putea fi potrivită. Desigur, învățarea despre statele interne prin punerea de întrebări poate fi problematică deoarece, uneori, respondenții înșiși nu sunt conștienți de propriile lor stări interne (Nisbett and Wilson 1977) .

• Eroare globală a anchetei (secțiunea 3.3)

Capitolul 1 al lui Groves (2004) face o treabă excelentă care reconciliază terminologia ocazional inconsistentă utilizată de cercetătorii sondajului pentru a descrie cadrul general de eroare a sondajului. Pentru un tratament pentru lungimea de carte a cadrului general de eroare a sondajului, a se vedea Groves et al. (2009) și pentru o prezentare istorică, a se vedea Groves and Lyberg (2010) .

Ideea de a descompune erorile în bias și varianță apare și în procesul de învățare mecanică; a se vedea, de exemplu, secțiunea 7.3 a lui Hastie, Tibshirani, and Friedman (2009) . Acest lucru îi determină pe cercetători să vorbească despre un compromis "părtinire-varianță".

În ceea ce privește reprezentarea, o mare introducere în problemele de nonrespons și nonresponse părtinire este Raportul Național de Cercetare Nonresponse în sondajele sociale: o agendă de cercetare (2013) . O altă imagine utilă este oferită de Groves (2006) . De asemenea, au fost publicate subiecte de specialitate ale Jurnalului de Statistică Oficială , Opiniei Publice Trimestriale și Analele Academiei Americane de Științe Politice și Sociale pe tema non-răspuns. În sfârșit, există într-adevăr multe modalități diferite de a calcula rata de răspuns; aceste abordări sunt descrise detaliat într-un raport al Asociației Americane a Cercetătorilor de Opinie Publică (AAPOR) ( ??? ) .

Pentru mai multe detalii despre sondajul Literary Digest din 1936, vezi Bryson (1976) , Squire (1988) , Cahalan (1989) și Lusinchi (2012) . Pentru o altă discuție a acestui sondaj ca o avertizare a parabolei împotriva colectării accidentale a datelor, a se vedea Gayo-Avello (2011) . În 1936, George Gallup a folosit o formă mai sofisticată de eșantionare și a reușit să producă estimări mai precise cu un eșantion mult mai mic. Succesul lui Gallup în legătură cu Literary Digest a reprezentat o piatră de hotar în dezvoltarea cercetării de sondaj, așa cum este descris în capitolul 3 al lui @ converse_survey_1987; capitolul 4 din Ohmer (2006) ; și capitolul 3 din @ igo_averaged_2008.

În ceea ce privește măsurarea, o primă resursă excelentă pentru proiectarea chestionarelor este Bradburn, Sudman, and Wansink (2004) . Pentru tratamente mai avansate, a se vedea Schuman and Presser (1996) , care se axează în mod special pe întrebări de atitudine și pe Saris and Gallhofer (2014) , care este mai general. O abordare ușor diferită în ceea ce privește măsurarea este efectuată în psihometrie, așa cum este descris în ( ??? ) . Mai multe despre pretestare sunt disponibile în Presser and Blair (1994) , Presser et al. (2004) și capitolul 8 din Groves et al. (2009) . Pentru mai multe despre experimentele de sondaj, a se vedea Mutz (2011) .

În ceea ce privește costul, tratamentul clasic, lungimea cărților pentru compromisul între costurile sondajului și erorile din sondaj este Groves (2004) .

• Cine să ceară (secțiunea 3.4)

Două tratamente clasice cu lungimea cărții de eșantionare și estimare standard de probabilitate sunt Lohr (2009) (mai introductiv) și Särndal, Swensson, and Wretman (2003) (mai avansate). Un tratament clasic de lungă durată a post-stratificării și a metodelor conexe este Särndal and Lundström (2005) . În unele setări de vârstă digitală, cercetătorii știu destul de puțin despre non-respondenți, ceea ce nu era adesea adevărat în trecut. Diferite forme de ajustare a răspunsului nonresponsabil sunt posibile atunci când cercetătorii au informații despre non-respondenți, așa cum au descris Kalton and Flores-Cervantes (2003) și Smith (2011) .

Studiul Xbox de W. Wang et al. (2015) utilizează o tehnică numită regresie pe mai multe niveluri și post-stratificare ("domnul P."), care permite cercetătorilor să estimeze grupul înseamnă chiar și atunci când există mai multe grupuri. Deși există o dezbatere despre calitatea estimărilor din această tehnică, se pare că este o zonă promițătoare de explorat. Tehnica a fost folosită pentru prima oară în Park, Gelman, and Bafumi (2004) , iar utilizarea și dezbaterea au fost ulterioare (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Pentru mai multe informații privind legătura dintre greutățile individuale și greutățile de grup, a se vedea Gelman (2007) .

Pentru alte metode de ponderare a studiilor web, a se vedea Schonlau et al. (2009) , Bethlehem (2010) și Valliant and Dever (2011) . Panourile online pot folosi fie eșantionarea probabilității, fie eșantionarea fără probabilitate. Pentru mai multe detalii despre panourile online, a se vedea Callegaro et al. (2014) .

Uneori, cercetătorii au descoperit că eșantioanele de probabilitate și eșantioanele non-probabilitate produc estimări de calitate similară (Ansolabehere and Schaffner 2014) , dar alte comparații au constatat că eșantioanele non-probabilitate se înrăutățesc (Malhotra and Krosnick 2007; Yeager et al. 2011) . Unul dintre motivele posibile pentru aceste diferențe este că probele de non-probabilitate s-au îmbunătățit în timp. Pentru o viziune mai pesimistă asupra metodelor de eșantionare cu probabilitate, a se vedea grupul de lucru AAPOR privind eșantionarea non-probabilităților (Baker et al. 2013) și recomand, de asemenea, să citiți comentariul care urmează raportului de sinteză.

• Cum să întrebați (secțiunea 3.5)

Conrad and Schober (2008) este un volum editat intitulat " Envisioning the Survey Interview of the Future" și oferă o varietate de puncte de vedere despre viitorul întrebărilor. Couper (2011) abordează teme similare, iar Schober et al. (2015) oferă un exemplu frumos despre modul în care metodele de colectare a datelor care sunt adaptate unei noi setări pot avea ca rezultat date de calitate superioară. Schober and Conrad (2015) oferă un argument mai general privind continuarea ajustării procesului de cercetare a sondajelor pentru a se potrivi cu schimbările din societate.

Tourangeau and Yan (2007) analizează problemele de părtinire socială de Tourangeau and Yan (2007) în întrebări sensibile și Lind et al. (2013) oferă câteva motive posibile pentru care oamenii ar putea divulga informații mai sensibile într-un interviu administrat de calculator. Pentru mai multe informații despre rolul intervievatorilor umani în creșterea ratelor de participare la studii, a se vedea Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) și Schaeffer et al. (2013) . Pentru mai multe despre sondajele mixte, vezi Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) oferă un tratament pentru evaluarea momentală ecologică și metodele aferente.

Pentru mai multe sfaturi privind realizarea anchetelor o experiență plăcută și valoroasă pentru participanți, consultați lucrarea privind metoda de proiectare personalizată (Dillman, Smyth, and Christian 2014) . Pentru un alt exemplu interesant de utilizare a aplicațiilor Facebook pentru studii de știință socială, consultați Bail (2015) .

• Sondaje legate de mari surse de date (secțiunea 3.6)

Judson (2007) descrie procesul de combinare a anchetelor și a datelor administrative drept "integrarea informației" și discută unele avantaje ale acestei abordări, precum și exemple.

În ceea ce privește cererea îmbogățită, au existat multe încercări anterioare de a valida votul. Pentru o prezentare generală a acestei literaturi, a se vedea Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) și Berent, Krosnick, and Lupia (2016) . Vezi Berent, Krosnick, and Lupia (2016) pentru o perspectivă mai sceptică a rezultatelor prezentate în Ansolabehere and Hersh (2012) .

Este important de menționat că, deși Ansolabehere și Hersh au fost încurajați de calitatea datelor de la catalisti, alte evaluări ale vânzătorilor comerciali au fost mai puțin entuziasmați. Pasek et al. (2014) descoperit o calitate slabă atunci când datele dintr-un studiu au fost comparate cu un dosar de la Consumer Systems Group (care a combinat datele a trei furnizori: Acxiom, Experian și InfoUSA). Așadar, fișierul de date nu corespundea răspunsurilor la sondaj pe care cercetătorii se așteptau să le corecteze, fișierul de consum a lipsit de date pentru un număr mare de întrebări și modelul de date lipsă a fost corelat cu valoarea sondajului raportată (cu alte cuvinte, datele au fost sistematice, nu aleatoare).

Pentru mai multe legături între sondaje și date administrative, a se vedea Sakshaug and Kreuter (2012) și Schnell (2013) . Pentru mai multe legături înregistrate în general, a se vedea Dunn (1946) și Fellegi and Sunter (1969) (istoric) și Larsen and Winkler (2014) (moderne). Abordări similare s-au dezvoltat și în domeniul informaticii sub numele de deduplicare de date, identificare de instanță, potrivire de nume, detecție duplicat și detecție duplicat de înregistrări (Elmagarmid, Ipeirotis, and Verykios 2007) . Există, de asemenea, abordări care protejează intimitatea pentru a înregistra legături care nu necesită transmiterea informațiilor personale de identificare (Schnell 2013) . Cercetătorii de la Facebook au elaborat o procedură de legare probabilistică a înregistrărilor lor de comportamentul la vot (Jones et al. 2013) ; această legătură a fost făcută pentru a evalua un experiment despre care vă voi spune în capitolul 4 (Bond et al. 2012) . Pentru mai multe informații privind obținerea consimțământului pentru legătura de înregistrare, a se vedea Sakshaug et al. (2012) .

Un alt exemplu de conectare a unui sondaj social la scară largă la evidențele administrative guvernamentale provine din Studiul de Sănătate și Pensii și din Administrația de Securitate Socială. Pentru mai multe informații despre acest studiu, inclusiv informații despre procedura de aprobare, a se vedea Olson (1996, 1999) .

Procesul de combinare a mai multor surse de înregistrări administrative într-un fișier de date-master - procesul pe care îl are catalistul - este comun în birourile de statistică ale unor guverne naționale. Doi cercetători din statisticile Suediei au scris o carte detaliată pe această temă (Wallgren and Wallgren 2007) . Pentru un exemplu al acestei abordări într-un singur județ din Statele Unite (Olmstead County, Minnesota, locuința Clinicii Mayo), a se vedea Sauver et al. (2011) . Pentru mai multe informații despre erorile care pot apărea în înregistrările administrative, a se vedea Groen (2012) .

O altă modalitate prin care cercetătorii pot utiliza surse mari de date în cercetarea anchetelor este ca un cadru de eșantionare pentru persoanele cu caracteristici specifice. Din păcate, această abordare poate ridica întrebări legate de confidențialitate (Beskow, Sandler, and Weinberger 2006) .

În ceea ce privește întrebarea amplificată, această abordare nu este la fel de nouă cum ar putea să apară din modul în care i-am descris. Ea are legături profunde cu trei mari domenii în statistici: post-stratificare bazată pe model (Little 1993) , imputarea (Rubin 2004) și estimarea zonelor mici (Rao and Molina 2015) . Este, de asemenea, legată de utilizarea variabilelor surogat în cercetarea medicală (Pepe 1992) .

Estimările de cost și de timp din Blumenstock, Cadamuro, and On (2015) se referă mai mult la costul variabil - costul unui studiu suplimentar - și nu includ costurile fixe, cum ar fi costul de curățare și prelucrare a datelor de apel. În general, întrebările amplificate vor avea, probabil, costuri fixe ridicate și costuri variabile scăzute similare cu cele ale experimentelor digitale (a se vedea capitolul 4). Pentru mai multe informații despre studiile efectuate pe telefonul mobil în țările în curs de dezvoltare, a se vedea Dabalen et al. (2016) .

Pentru idei despre cum să faceți o amplificare cerând mai bine, aș recomanda să aflați mai multe despre imputarea multiple (Rubin 2004) . De asemenea, în cazul în care cercetătorii fac amplificări care solicită îngrijire în ceea ce privește numărarea agregatelor, mai degrabă decât trăsăturile la nivel individual, atunci abordările din King and Lu (2008) și Hopkins and King (2010) pot fi utile. În sfârșit, pentru mai multe despre abordările de învățare a mașinilor în Blumenstock, Cadamuro, and On (2015) , a se vedea James et al. (2013) (mai introductiv) sau Hastie, Tibshirani, and Friedman (2009) (mai avansat).

O problemă etică privind întrebarea amplificată este că poate fi utilizată pentru a deduce trăsături sensibile pe care oamenii nu le pot alege să le dezvăluie într-un sondaj descris în Kosinski, Stillwell, and Graepel (2013) .