Wat om volgende te lees

• Inleiding (afdeling 3.1)

Baie van die temas in hierdie hoofstuk is ook in onlangse presidensiële adresse by die Amerikaanse Vereniging van Openbare Meningsnavorsing (AAPOR), soos dié van Dillman (2002) , Newport (2011) , Santos (2014) en Link (2015) .

Vir meer inligting oor die verskille tussen opname navorsing en in-diepte onderhoude, sien Small (2009) . In verband met in-diepte onderhoude is 'n familie van benaderings genaamd etnografie. In etnografiese navorsing spandeer navorsers oor die algemeen baie meer tyd met deelnemers in hul natuurlike omgewing. Vir meer oor die verskille tussen etnografie en in-diepte onderhoude, sien Jerolmack and Khan (2014) . Vir meer oor digitale etnografie, sien Pink et al. (2015) .

My beskrywing van die geskiedenis van opname navorsing is veel te kort om baie van die opwindende ontwikkelings wat plaasgevind het, in te sluit. Vir meer historiese agtergrond, sien Smith (1976) , Converse (1987) , en Igo (2008) . Vir meer oor die idee van drie eras van opname navorsing, sien Groves (2011) en Dillman, Smyth, and Christian (2008) (wat die drie eras effens anders breek).

Groves and Kahn (1979) bied 'n blik in die oorgang van die eerste tot die tweede era in opname-navorsing deur 'n gedetailleerde kop-tot-kop vergelyking tussen 'n gesig-tot-aangesig- en telefoonopname te doen. ( ??? ) kyk terug na die historiese ontwikkeling van steekproefnemingsmetodes met willekeurige syferkodes.

Vir meer inligting oor die opname navorsing in die verlede as gevolg van veranderinge in die samelewing, sien Tourangeau (2004) , ( ??? ) en Couper (2011) .

• Vra versus waarneming (afdeling 3.2)

Die sterk en swak punte van die vraag en waarneming is deur sielkundiges bespreek (bv. Baumeister, Vohs, and Funder (2007) ) en sosioloë (bv. Jerolmack and Khan (2014) ; Maynard (2014) ; Cerulo (2014) ; Vaisey (2014) , Jerolmack and Khan (2014) ]. Die verskil tussen vra en waarneming kom ook voor in die ekonomie, waar navorsers praat oor die voorkeure wat gestel en onthul word. 'N Navorser kan byvoorbeeld die respondente vra of hulle verkies om ys te eet of na die gimnasium te gaan (gestelde voorkeure), of kan waarneem hoe dikwels mense ys eet en na die gimnasium gaan (onthulde voorkeure). Daar is diep skeptisisme oor sekere tipes voorgestelde data in ekonomie soos beskryf in Hausman (2012) .

'N Hoof tema van hierdie debatte is dat gerapporteerde gedrag nie altyd akkuraat is nie. Maar, soos beskryf in hoofstuk 2, mag groot databronne nie akkuraat wees nie, hulle mag nie op 'n voorbeeld van belang ingesamel word nie, en hulle mag nie vir navorsers toeganklik wees nie. So, ek dink dat in sommige situasies gerapporteerde gedrag nuttig kan wees. Verder, 'n tweede hoof tema van hierdie debatte is dat verslae oor emosies, kennis, verwagtings en menings nie altyd akkuraat is nie. Maar, as inligting oor hierdie interne toestande deur navorsers benodig word, of om iets te verduidelik of as die ding wat verduidelik moet word, dan vra dit dalk toepaslik. Natuurlik kan leer oor interne state deur vrae te vra problematies wees, want soms is die respondente self nie bewus van hul interne state nie (Nisbett and Wilson 1977) .

• Totale opname fout (afdeling 3.3)

Hoofstuk 1 van Groves (2004) maak 'n uitstekende werk wat die af en toe inkonsekwente terminologie wat deur navorsingsnavorsers gebruik word, versoen om die totale oorsigfoutraamwerk te beskryf. Vir 'n boeklengte behandeling van die totale oorsig fout raamwerk, sien Groves et al. (2009) , en vir 'n historiese oorsig, sien Groves and Lyberg (2010) .

Die idee van ontbinding van foute in vooroordeel en afwyking kom ook voor in masjienleer; sien byvoorbeeld 7.3 van Hastie, Tibshirani, and Friedman (2009) . Dit lei dikwels tot navorsers om te praat oor 'n "partydigheidsafwyking" -afhandeling.

In terme van verteenwoordiging, is 'n goeie inleiding tot die kwessies van nonresponse en nonresponse bias die Nasionale Navorsingsraad se verslag Nonresponse in Social Science Surveys: 'n Navorsingsagenda (2013) . Nog 'n nuttige oorsig word verskaf deur Groves (2006) . Ook is daar spesiale uitgawes van die Tydskrif van Amptelike Statistieke , Publieke Opinie Kwartaalliks , en die Annale van die Amerikaanse Akademie vir Politieke en Sosiale Wetenskappe oor die onderwerp van nie-reaksie gepubliseer. Laastens is daar eintlik baie verskillende maniere om die reaksietempo te bereken; Hierdie benaderings word in besonderhede beskryf in 'n verslag deur die Amerikaanse Vereniging van Openbare Meningsnavorsers (AAPOR) ( ??? ) .

Vir meer oor die 1936 Literary Digest poll, sien Bryson (1976) , Squire (1988) , Cahalan (1989) , en Lusinchi (2012) . Vir nog 'n bespreking van hierdie meningspeiling as 'n gelykeniswaarskuwing teen lukraak data-insameling, kyk Gayo-Avello (2011) . In 1936 het George Gallup 'n meer gesofistikeerde vorm van monsterneming gebruik en kon akkurate ramings met 'n veel kleiner monster produseer. Gallup se sukses oor die Literêre Digest was 'n mylpaal in die ontwikkeling van opname-navorsing soos beskryf in hoofstuk 3 van @ converse_survey_1987; hoofstuk 4 van Ohmer (2006) ; en hoofstuk 3 van @ igo_averaged_2008.

Met betrekking tot meting is Bradburn, Sudman, and Wansink (2004) n uitstekende eerste hulpmiddel vir die ontwerp van vraelyste. Vir meer gevorderde behandelings, sien Schuman and Presser (1996) , wat spesifiek gefokus is op houdingsvrae, en Saris and Gallhofer (2014) , wat meer algemeen is. 'N Effens ander benadering tot meting word in psigometrie geneem, soos beskryf in ( ??? ) . Meer oor pretesting is beskikbaar in Presser and Blair (1994) , Presser et al. (2004) en hoofstuk 8 van Groves et al. (2009) . Vir meer oor opname eksperimente, sien Mutz (2011) .

Wat die koste betref, is die klassieke boeklengte-behandeling van die afweging tussen opname koste en opname foute Groves (2004) .

• Wie om te vra (afdeling 3.4)

Twee klassieke boeklengte-behandelings van standaardwaarskynlikheidsteekproefneming en beraming is Lohr (2009) (meer inleidend) en Särndal, Swensson, and Wretman (2003) (meer gevorderd). 'N Klassieke Särndal and Lundström (2005) -behandeling van post-stratifikasie en verwante metodes is Särndal and Lundström (2005) . In sommige instellings vir digitale ouderdom ken navorsers nogal 'n bietjie oor nie-respondente, wat nie in die verlede dikwels waar was nie. Verskillende vorme van nieresponsaanpassing is moontlik wanneer navorsers inligting oor nie-respondente het, soos beskryf deur Kalton and Flores-Cervantes (2003) en Smith (2011) .

Die Xbox-studie deur W. Wang et al. (2015) gebruik 'n tegniek genaamd multilevel-regressie en post-stratifikasie ("Mr. P.") wat navorsers in staat stel om groeplede te skat, selfs al is daar baie, baie groepe. Alhoewel daar 'n debat oor die gehalte van die skattings van hierdie tegniek is, lyk dit of dit 'n belowende gebied is om te verken. Die tegniek is vir die eerste keer gebruik in Park, Gelman, and Bafumi (2004) , en daar is daaropvolgende gebruik en debat (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Vir meer inligting oor die verband tussen individuele gewigte en groepgewigte, kyk Gelman (2007) .

Vir ander benaderings om web-opnames te weeg, sien Schonlau et al. (2009) , Bethlehem (2010) , en Valliant and Dever (2011) . Online panele kan gebruik maak van waarskynlikheid steekproefneming of nie-waarskynlikheid steekproefneming. Vir meer aanlyn panele, sien Callegaro et al. (2014) .

Soms het navorsers bevind dat waarskynlikheidsmonsters en nie-waarskynlikheidsmonsters skattings van soortgelyke gehalte lewer (Ansolabehere and Schaffner 2014) , maar ander vergelykings het bevind dat nie-waarskynlikheidsmonsters erger maak (Malhotra and Krosnick 2007; Yeager et al. 2011) . Een moontlike rede vir hierdie verskille is dat nie-waarskynlikheidsmonsters oor tyd verbeter het. Vir 'n meer pessimistiese siening van nie-waarskynlikheidsteekproefnemingsmetodes, sien die AAPOR Task Force on Probability Probability (Baker et al. 2013) en ek beveel ook aan om die kommentaar te lees wat volg op die opsommende verslag.

• Hoe om te vra (afdeling 3.5)

Conrad and Schober (2008) is 'n geredigeerde volume met die titel ' Envisioning the Survey Interview of the Future' en bied 'n verskeidenheid standpunte oor die toekoms van vrae. Couper (2011) spreek soortgelyke temas aan, en Schober et al. (2015) bied 'n goeie voorbeeld van hoe data-insamelingsmetodes wat op 'n nuwe omgewing pasmaak, kan lei tot hoër kwaliteit data. Schober and Conrad (2015) bied 'n meer algemene argument oor die voortsetting van die proses van opname navorsing om veranderinge in die samelewing aan te pas.

Tourangeau and Yan (2007) hersien kwessies van sosiale wenslikheid vooroordeel in sensitiewe vrae, en Lind et al. (2013) bied 'n paar moontlike redes waarom mense meer sensitiewe inligting kan openbaar in 'n rekenaargeadministreerde onderhoud. Vir meer oor die rol van menslike onderhoudvoerders om die deelnamepryse in opnames te verhoog, sien Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) , en Schaeffer et al. (2013) . Vir meer inligting oor gemengde modus opnames, sien Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) bied 'n boeklengte-behandeling van ekologiese kortstondige assessering en verwante metodes aan.

Vir meer raad oor die maak van opnames 'n aangename en waardevolle ondervinding vir deelnemers, sien werk op die ontwerpte ontwerpmetode (Dillman, Smyth, and Christian 2014) . Vir nog 'n interessante voorbeeld van die gebruik van Facebook-programme vir sosiale wetenskap opnames, sien Bail (2015) .

• Opnames gekoppel aan groot databronne (afdeling 3.6)

Judson (2007) beskryf die proses van opname en administratiewe data as "inligting integrasie" en bespreek sommige voordele van hierdie benadering, asook voorbeelde.

Met betrekking tot verrykte vra, was daar baie vorige pogings om die stem te bekragtig. Vir 'n oorsig van daardie literatuur, sien Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) , en Berent, Krosnick, and Lupia (2016) . Sien Berent, Krosnick, and Lupia (2016) vir 'n meer Ansolabehere and Hersh (2012) siening van die resultate wat in Ansolabehere and Hersh (2012) .

Dit is belangrik om daarop te let dat hoewel Ansolabehere en Hersh aangemoedig word deur die kwaliteit van data van die Katalis, is ander evaluasies van kommersiële verkopers minder entoesiasties. Pasek et al. (2014) het swak gehalte gekry toe data uit 'n opname vergelyk is met 'n verbruikerslêer van Marketing Systems Group (wat self data van drie verskaffers versamel het: Acxiom, Experian en InfoUSA). Dit is dat die data lêer nie ooreenstem met opname antwoorde wat navorsers verwag het om korrek te wees nie, die verbruikerslêer het data vir 'n groot aantal vrae ontbreek en die ontbrekende datapatroon korreleer met die gerapporteerde opname waarde (maw die ontbrekende data was sistematies, nie ewekansig nie).

Vir meer inligting oor rekordverband tussen opnames en administratiewe data, sien Sakshaug and Kreuter (2012) en Schnell (2013) . Vir meer oor rekordkoppeling in die algemeen, sien Dunn (1946) en Fellegi and Sunter (1969) (histories) en Larsen and Winkler (2014) (modern). Soortgelyke benaderings is ook in rekenaarwetenskap ontwikkel onder name soos data-deduplikasie, identifikasie, (Elmagarmid, Ipeirotis, and Verykios 2007) duplikaatopsporing en duplikaatrekorddeteksie (Elmagarmid, Ipeirotis, and Verykios 2007) . Daar is ook privaatheidsbesparende benaderings om skakeling aan te teken wat nie die oordrag van persoonsidentifiserende inligting benodig nie (Schnell 2013) . Navorsers by Facebook het 'n prosedure ontwikkel om hul rekords probabilisties te koppel aan stemgedrag (Jones et al. 2013) ; Hierdie skakel is gedoen om 'n eksperiment te evalueer waaroor ek in hoofstuk 4 (Bond et al. 2012) sal vertel. Vir meer inligting oor die verkryging van toestemming vir rekordverband, kyk Sakshaug et al. (2012) .

Nog 'n voorbeeld van die koppeling van 'n grootskaalse sosiale opname aan regering administratiewe rekords kom van die Gesondheids- en Aftreeopname en die Maatskaplike Sekuriteitsadministrasie. Vir meer inligting oor die studie, insluitend inligting oor die toestemmingsprosedure, kyk Olson (1996, 1999) .

Die proses om baie bronne van administratiewe rekords in 'n meesterdatafile te kombineer - die proses wat Katalisator gebruik - is algemeen in die statistiese kantore van sommige nasionale regerings. Twee navorsers van Statistiek Swede het 'n gedetailleerde boek oor die onderwerp (Wallgren and Wallgren 2007) . Vir 'n voorbeeld van hierdie benadering in 'n enkele land in die Verenigde State (Olmstead County, Minnesota, huis van die Mayo Clinic), sien Sauver et al. (2011) . Vir meer inligting oor foute wat in administratiewe rekords voorkom, sien Groen (2012) .

Nog 'n manier waarop navorsers groot databronne in opname-navorsing kan gebruik, is as 'n steekproefraamwerk vir mense met spesifieke eienskappe. Ongelukkig kan hierdie benadering vrae rakende privaatheid (Beskow, Sandler, and Weinberger 2006) .

Wat gevorderde vrae betref, is hierdie benadering nie so nuut nie, aangesien dit mag voorkom asof ek dit beskryf het. Dit het diep verbindings met drie groot gebiede in statistiek: modelgebaseerde post-stratifikasie (Little 1993) , imputasie (Rubin 2004) , en klein oppervlakteberaming (Rao and Molina 2015) . Dit is ook verwant aan die gebruik van surrogaat veranderlikes in mediese navorsing (Pepe 1992) .

Die koste en tydberamings in Blumenstock, Cadamuro, and On (2015) verwys meer na veranderlike koste - die koste van een addisionele opname - en sluit nie vaste koste in soos die koste van die skoonmaak en verwerking van die oproepdata nie. Oor die algemeen sal gevorderde vrae waarskynlik hoë vaste koste en lae veranderlike koste soortgelyk aan dié van digitale eksperimente hê (sien hoofstuk 4). Vir meer inligting oor selfoon-gebaseerde opnames in ontwikkelende lande, sien Dabalen et al. (2016) .

Vir idees oor hoe om te versterk, beter te vra, sal ek aanbeveel om meer te leer oor meervoudige toerekeninge (Rubin 2004) . Ook, as navorsers wat vermeerder word, versorg word oor totale tellings, eerder as individuele vlakkenmerke, kan die benaderings in King and Lu (2008) en Hopkins and King (2010) nuttig wees. Laastens, vir meer oor die masjienleerbenaderings in Blumenstock, Cadamuro, and On (2015) , sien James et al. (2013) (meer inleidend) of Hastie, Tibshirani, and Friedman (2009) (meer gevorderd).

Een etiese kwessie rakende versterkte vraag is dat dit gebruik kan word om sensitiewe eienskappe af te lei wat mense nie mag kies om in 'n opname te openbaar soos beskryf in Kosinski, Stillwell, and Graepel (2013) .