verdere kommentaar

Hierdie afdeling is ontwerp om gebruik te word as 'n verwysing, eerder as om te lees as 'n vertelling.

• Inleiding (Afdeling 3.1)

Baie van die temas in hierdie hoofstuk is ook weerklank in die afgelope Presidensiële Adresse van die Amerikaanse Vereniging vir Openbare advies Ondersoek (AAPOR), soos Dillman (2002) , Newport (2011) , Santos (2014) , en Link (2015) .

Vir meer historiese agtergrond oor die ontwikkeling van opname-navorsing, sien Smith (1976) en Converse (1987) . Vir meer inligting oor die idee van drie tydperke van opnamenavorsing, sien Groves (2011) en Dillman, Smyth, and Christian (2008) (wat effens anders breek die drie eras).

'N hoogtepunt in die oorgang van die eerste tot die tweede era in opnamenavorsing is Groves and Kahn (1979) , wat 'n gedetailleerde kop-aan-kop vergelyking tussen nie 'n aangesig-tot-aangesig en telefoon opname. Brick and Tucker (2007) kyk terug op die historiese ontwikkeling van ewekansige syfer skakelkode steekproefmetodes.

Vir meer hoe opnamenavorsing het verander in die verlede in reaksie op veranderinge in die samelewing, sien Tourangeau (2004) , Mitofsky (1989) , en Couper (2011) .

• Vra teen die waarneming (Afdeling 3.2)

Leer oor interne state deur vrae te vra kan problematies wees, want soms die respondente self is nie bewus van hul interne state. Byvoorbeeld, Nisbett and Wilson (1977) het 'n wonderlike papier met die evokatiewe titel: "Vertel meer as wat ons kan weet:. Verbale verslae oor verstandelike prosesse" in die koerant die skrywers aflei: "vakke is soms (a) nie bewus is van die bestaan ​​van 'n stimulus wat belangriker 'n reaksie beïnvloed, (b) nie bewus van die bestaan ​​van die reaksie, en (c) onbewus daarvan dat die stimulus die reaksie beïnvloed. "

Vir argumente wat navorsers waargeneem gedrag moet verkies om berig gedrag of houdings, sien Baumeister, Vohs, and Funder (2007) (sielkunde) en Jerolmack and Khan (2014) en antwoorde (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (sosiologie). Die verskil tussen vra en die waarneming van ook ontstaan ​​in die ekonomie, waar navorsers praat oor gesê en geopenbaar voorkeure. Byvoorbeeld, kan 'n navorser respondente of hulle verkies eet roomys of gaan gym (vermeld voorkeure) vra of die navorsing kon waarneem hoe dikwels mense eet roomys en gaan na die gimnasium (geopenbaar voorkeure). Daar is diep skeptisisme van sekere soorte vermeld voorkeure data in ekonomie (Hausman 2012) .

A hooftema van hierdie debatte is dat gerapporteerde gedrag is nie altyd akkuraat. Maar, kan outomaties aangeteken gedrag nie akkuraat wees, kan nie afgehaal word op 'n monster van belang, en mag nie toeganklik vir navorsers wees. Dus, in sommige gevalle, ek dink dat gerapporteerde gedrag nuttig kan wees. Verdere, 'n tweede hooftema van hierdie debatte is dat verslae oor emosies, kennis, verwagtinge, en opinies is nie altyd akkuraat. Maar, as inligting oor hierdie interne state nodig is deur navorsers-óf om te help verduidelik sommige gedrag of as die ding om te verduidelik-dan vra dalk gepas wees.

• Totaal opname fout (Afdeling 3.3)

Vir boek lengte behandelings op totale opname fout, sien Groves et al. (2009) of Weisberg (2005) . Vir 'n geskiedenis van die ontwikkeling van die totale opname fout, sien Groves and Lyberg (2010) .

In terme van verteenwoordiging, 'n groot inleiding tot die kwessies van nie-reaksie en nie-reaksie vooroordeel is die verslag Nasionale Navorsingsraad op Nonresponse in die Sosiale Wetenskappe Opnames: 'n Ondersoek Agenda (2013) . Nog 'n nuttige oorsig word verskaf deur (Groves 2006) . Ook, het die hele spesiale uitgawes van die Tydskrif van amptelike statistieke, publieke opinie Kwartaallikse en die annale van die Amerikaanse Akademie van Politieke en Sosiale Wetenskappe gepubliseer oor die onderwerp van nie-reaksie. Ten slotte, daar is eintlik baie verskillende maniere van die berekening van die reaksie koers; hierdie benaderings word in detail beskryf in 'n verslag deur die Amerikaanse Vereniging van die openbare mening Navorsers (AAPOR) (Public Opinion Researchers} 2015) .

Die 1936 Literêre Digest peiling is ondersoek in detail (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Dit is ook gebruik as 'n gelykenis te waarsku teen lukraak data-insameling (Gayo-Avello 2011) . In 1936, George Gallup het 'n meer gesofistikeerde vorm van steekproefneming, en was in staat om meer akkurate skattings te produseer met 'n veel kleiner monster. Sukses Gallup se oor die literêre Digest was 'n mylpaal die ontwikkeling van opname-navorsing (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

In terme van meting, 'n goeie eerste bron vir die ontwerp van vraelyste is Bradburn, Sudman, and Wansink (2004) . Vir 'n meer gevorderde behandeling spesifiek gefokus op vrae oor gesindhede, sien Schuman and Presser (1996) . Meer oor pre-toets vrae is beskikbaar in Presser and Blair (1994) , Presser et al. (2004) , en Hoofstuk 8 van Groves et al. (2009) .

Die klassieke, boek-lengte behandeling van die kompromis tussen opname koste en opname foute is Groves (2004) .

• Wie vra (Afdeling 3.4)

Klassieke boek-lengte behandeling van standaard waarskynlikheidsteekproefneming en beraming is Lohr (2009) (meer inleidende) en Särndal, Swensson, and Wretman (2003) (meer gevorderde). 'N klassieke boek-lengte behandeling van post-stratifikasie en verwante metodes is Särndal and Lundström (2005) . In sommige digitale era instellings, navorsers weet nogal 'n bietjie oor nie-respondente, wat nie dikwels die geval in die verlede was. Verskillende vorme van nie-reaksie aanpassing is moontlik wanneer navorsers het inligting oor nie-respondente (Kalton and Flores-Cervantes 2003; Smith 2011) .

Die Xbox studie van Wang et al. (2015) gebruik 'n tegniek genoem multi regressie en post-stratifikasie (MRP, soms genoem "Mister P") wat dit moontlik maak navorsers om te skat sel beteken selfs wanneer daar is baie, baie selle. Alhoewel daar 'n debat oor die gehalte van die skattings van hierdie tegniek, dit lyk soos 'n belowende gebied te verken. Die tegniek is die eerste keer in Park, Gelman, and Bafumi (2004) , en daar het die daaropvolgende gebruik en debat (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Vir meer inligting oor die verband tussen individuele gewigte en-sel gebaseer gewigte sien Gelman (2007) .

Vir ander benaderings tot gewig web opnames, sien Schonlau et al. (2009) , Valliant and Dever (2011) , en Bethlehem (2010) .

Monster ooreenstem is deur voorgestelde Rivers (2007) . Bethlehem (2015) voer aan dat die werkverrigting van die monster wat ooreenstem eintlik soortgelyk aan ander monsterneming benaderings (bv, gestratifiseerde steekproefneming) en ander aanpassing benaderings (bv, post-stratifikasie) sal wees. Vir meer inligting oor aanlyn panele, sien Callegaro et al. (2014) .

Soms navorsers het bevind dat waarskynlikheid monsters en nie-waarskynlikheid monsters oplewer skattings van soortgelyke gehalte (Ansolabehere and Schaffner 2014) , maar ander vergelykings het bevind dat nie-waarskynlikheid monsters meer kwaad te doen (Malhotra and Krosnick 2007; Yeager et al. 2011) . Een moontlike rede vir hierdie verskille is dat nie-waarskynlikheid monsters verbeter met verloop van tyd. Vir 'n meer pessimistiese siening van nie-waarskynlikheidsteekproefneming metodes sien die die AAPOR Taakmag op Nie-waarskynlikheidsteekproefneming (Baker et al. 2013) , en ek het ook beveel die lees van die kommentaar wat die opsomming verslag volg.

Vir 'n meta-analise op die effek van gewigte om vooroordeel in 'n nie-waarskynlikheid monsters te verminder, sien tabel 2.4 in Tourangeau, Conrad, and Couper (2013) , wat die skrywers lei tot die gevolgtrekking "aanpassings lyk nuttig, maar feilbare regstellings wees. . . "

• Hoe om te vra (Afdeling 3.5)

Conrad and Schober (2008) bied 'n geredigeerde volume getiteld behels die Survey Onderhoud van die toekoms, en dit spreek baie van die temas in hierdie afdeling. Couper (2011) spreek soortgelyke temas en Schober et al. (2015) bied 'n mooi voorbeeld van hoe data-insamelingsmetodes wat op maat van 'n nuwe instelling kan lei tot 'n hoër gehalte data.

Vir nog 'n interessante voorbeeld van die gebruik van Facebook programme vir sosiale wetenskap opnames, sien Bail (2015) .

Vir meer advies oor die maak van opnames 'n genotvolle en waardevolle ondervinding vir die deelnemers, sien werk op die maat Ontwerp Metode (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) bied 'n boek lengte behandeling van ekologiese kortstondige assessering en verwante metodes.

• Opnames gekoppel aan ander data (Afdeling 3.6)

Judson (2007) beskryf die proses van die kombinasie van opnames en administratiewe data as "inligting integrasie," bespreek 'n paar voordele van hierdie benadering, en bied 'n paar voorbeelde.

Nog 'n manier dat navorsers digitale spore en administratiewe data kan gebruik is 'n steekproefraamwerk vir mense met spesifieke eienskappe. Maar toegang tot hierdie rekords te gebruik 'n steekproefraamwerk kan ook vrae met betrekking tot privaatheid te skep (Beskow, Sandler, and Weinberger 2006) .

Met betrekking tot versterkte vra, hierdie benadering is nie so nuut as dit kon blyk uit hoe ek dit het beskryf. Hierdie benadering het diep verbintenisse met drie groot gebiede in die statistiek-model-gebaseerde post-stratifikasie (Little 1993) , toerekening (Rubin 2004) , en 'n klein area skatting (Rao and Molina 2015) . Dit is ook verwant aan die gebruik van surrogaat veranderlikes in mediese navorsing (Pepe 1992) .

Benewens die etiese kwessies met betrekking tot die toegang tot die digitale spoor data, kan versterk vra ook gebruik word om sensitiewe eienskappe wat mense nie kan kies om te openbaar in 'n opname aflei (Kosinski, Stillwell, and Graepel 2013) .

Die koste en tyd skattings in Blumenstock, Cadamuro, and On (2015) verwys meer na veranderlike koste-die koste van 'n bykomende opname-en sluit nie vaste koste soos die koste om skoon te maak en die oproep data te verwerk. In die algemeen, sal versterk vra waarskynlik het 'n hoë vaste koste en lae veranderlike koste soortgelyk aan digitale eksperimente (sien Hoofstuk 4). Meer besonderhede oor die gebruik van data Blumenstock, Cadamuro, and On (2015) papier is in Blumenstock and Eagle (2010) en Blumenstock and Eagle (2012) . Benaderings van verskeie imputuation (Rubin 2004) kan help vang onsekerheid in skattings van versterkte vra. As navorsers doen versterk vra net omgee totaal tel, eerder as individuele vlak eienskappe, dan is die benaderings in King and Lu (2008) en Hopkins and King (2010) kan nuttig wees. Vir meer inligting oor die masjien leerbenaderings in Blumenstock, Cadamuro, and On (2015) , sien James et al. (2013) (meer inleidende) of Hastie, Tibshirani, and Friedman (2009) (meer gevorderde). Nog 'n gewilde masjienleer handboek is Murphy (2012) .

Met betrekking tot verryk vra die resultate in Ansolabehere en Hersh (2012) skarnier op twee belangrike stappe: 1) die vermoë van Catalist baie uiteenlopende databronne die opname data te kombineer om 'n akkurate meester datalêer te produseer en 2) die vermoë van Catalist om te skakel na sy meester datalêer. Daarom, Ansolabehere en Hersh check elk van hierdie stappe noukeurig.

Om die meester datalêer te skep, Catalist kombineer en strook inligting uit verskillende bronne, insluitend: verskeie stem rekords foto's van elke staat, data van die Nasionale Verandering van adres Register die Poskantoor se en data uit ander ongespesifiseerde kommersiële verskaffers. Die bloedige besonderhede oor hoe al hierdie skoonmaak en samesmelting gebeur is buite die bestek van hierdie boek, maar hierdie proses, maak nie saak hoe versigtig, sal foute in die oorspronklike data bronne propageer en sal foute te stel. Hoewel Catalist was bereid om sy data verwerking bespreek en bied 'n paar van sy rou data, dit was eenvoudig onmoontlik vir navorsers om die hele Catalist data pyplyn te hersien. Inteendeel, die navorsers was in 'n situasie waar die Catalist data lêer het 'n paar onbekende, en miskien onkenbare, bedrag van die dwaling. Dit is 'n ernstige bron van kommer, want 'n kritikus kan spekuleer dat die groot verskille tussen die opname verslae oor die CCES en die gedrag in die Catalist meester data lêer is veroorsaak deur foute in die meester data lêer, nie deur verkeerde of deur die respondente.

Ansolabehere en Hersh het twee verskillende benaderings tot die aanspreek van die data kwaliteit kommer. Eerstens, bykomend tot vergelyk self-gerapporteerde stem om te stem in die Catalist meesterlêer, het die navorsers ook in vergelyking self-gerapporteerde party, ras, kieserregistrasie status (bv, geregistreer is of nie geregistreer) en stem metode (bv, in persoon, afwesige stembrief, ens) om die waardes wat in die Catalist databasisse. En hierdie vier demografiese veranderlikes, het die navorsers bevind veel hoër vlakke van ooreenkoms tussen opname verslag en data in die Catalist meesterlêer as om te stem. So, blyk die Catalist meester data lêer van hoë gehalte inligting vir ander doeleindes as stem eienskappe het, wat daarop dui dat dit nie van swak algehele gehalte. Tweede, gedeeltelik met behulp van data uit Catalist, Ansolabehere en Hersh ontwikkel drie verskillende maatstawwe van kwaliteit van land stem rekords, en hulle het bevind dat die geskatte koers van oor-verslagdoening van die stemming was in wese niks met enige van hierdie data gehalte maatreëls, 'n bevinding dat dui daarop dat die hoë pryse van oor-verslagdoening word nie gedryf deur provinsies met buitengewoon lae gehalte data.

Gegewe die skepping van hierdie meester stem lêer, word die tweede bron van potensiële foute koppeling van die opname rekords om dit te. Byvoorbeeld, as die koppeling verkeerd gedoen dit kan lei tot 'n oor-skatting van die verskil tussen gerapporteer en bekragtig stemgedrag (Neter, Maynes, and Ramanathan 1965) . As elke persoon 'n stabiele, unieke identifiseerder wat in beide databronne het, dan skakel sou triviale wees. In die VSA en die meeste ander lande, maar daar is geen universele identifikasie. Verdere, selfs al was daar so 'n identifiseerder mense sou waarskynlik huiwerig om dit te gee aan navorsers opname wees! So, Catalist moes die koppeling doen met behulp van onvolmaakte identifiseerders, in hierdie geval vier stukke van inligting oor elke respondent: naam, geslag, geboorte jaar, en huisadres. Byvoorbeeld, Catalist moes besluit of die Homie J Simpson in die CCES was dieselfde persoon as die Homer Jay Simpson in hul meester data lêer. In die praktyk, wat ooreenstem met 'n moeilike en slordig proses, en om sake te vererger vir die navorsers maak, Catalist beskou sy bypassende tegniek eiendom te wees.

Met die oog op die komende algoritmes te bekragtig, het hulle staatgemaak op twee uitdagings. In die eerste plek Catalist deelgeneem aan 'n bypassende kompetisie wat deur 'n onafhanklike, derde party: die Mitre Corporation. Mitre verskaf al die deelnemers twee lawaaierige datalêers te pas, en verskillende spanne meegeding om terug te keer na Mitre die beste passing. Omdat Mitre self het geweet dat die korrekte passing was hulle in staat om die spanne te teken. Van die 40 maatskappye wat deelgeneem het, Catalist gekom in die tweede plek. Hierdie soort van 'n onafhanklike, derde party evaluering van eie tegnologie is baie skaars en baie waardevol; Dit moet ons gee vertroue dat Catalist se bypassende prosedures is in wese op die state-of-the-art. Maar is die state-of-the-art goed genoeg? Benewens hierdie bypassende kompetisie, Ansolabehere en Hersh geskep hul eie ooreenstem uitdaging vir Catalist. Uit 'n vorige projek, het Ansolabehere en Hersh kieser rekords van Florida ingesamel. Hulle verskaf 'n paar van hierdie rekords met 'n paar van hul velde redacted om Catalist en dan in vergelyking verslae van hierdie velde om hul werklike waardes Catalist se. Gelukkig verslae Catalist se was naby aan die weerhou waardes, wat aandui dat Catalist op hul meester data lêer kon ooreenstem gedeeltelike kieser rekords. Hierdie twee uitdagings, een vir 'n derde party en een vir Ansolabehere en Hersh, gee ons meer vertroue in die Catalist algoritmes, selfs al is ons nie kan sien hul presiese uitvoering onsself.

Daar is baie vorige pogings om te stem te bekragtig nie. Vir 'n oorsig van wat die literatuur, sien Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , en Hanmer, Banks, and White (2014) .

Dit is belangrik om daarop te let dat hoewel dit in hierdie geval navorsers is bemoedig deur die kwaliteit van die data van Catalist, ander evaluerings van kommersiële verskaffers het minder entoesiasties. Navorsers het 'n swak gehalte gevind wanneer data uit 'n opname van 'n verbruiker-lêer van Bemarking Systems Group (wat op sy beurt saam data saamgevoeg uit drie verskaffers: Acxiom, Experian, en infoUSA) (Pasek et al. 2014) . Dit wil sê, die datalêer nie ooreenstem opname antwoorde wat navorsers verwag korrek te wees, die datalêer het ontbreek data vir 'n groot aantal van vrae, en die vermiste data patroon is gekorreleer met berig opname waarde (met ander woorde die vermiste data is sistematiese , nie lukraak).

Vir meer inligting oor rekord verband tussen opnames en administratiewe data, sien Sakshaug and Kreuter (2012) en Schnell (2013) . Vir meer inligting oor rekord koppeling in die algemeen, sien Dunn (1946) en Fellegi and Sunter (1969) (historiese) en Larsen and Winkler (2014) (moderne). Soortgelyke benaderings is ook ontwikkel in rekenaarwetenskap onder die name soos data deduplicatie, byvoorbeeld identifisering, stem ooreen, dubbele opsporing, en dupliseer rekord opsporing (Elmagarmid, Ipeirotis, and Verykios 2007) . Daar is ook privaatheid behoud benaderings tot koppeling wat nie die oordrag van persoonlike inligting vereis teken (Schnell 2013) . Navorsers by Facebook ontwikkel 'n prosedure om hul rekords probabilisticsly skakel na stemgedrag (Jones et al. 2013) ; hierdie koppeling is gedoen om 'n eksperiment wat ek jou sal vertel in Hoofstuk 4 evalueer (Bond et al. 2012) .

Nog 'n voorbeeld van 'n skakel 'n grootskaalse sosiale opname aan die regering administratiewe rekords kom van die Gesondheid en Aftrede Survey en die Social Security Administration. Vir meer inligting oor daardie studie, insluitende inligting oor die toestemming prosedure, sien Olson (1996) en Olson (1999) .

Die proses van die kombinasie van baie bronne van administratiewe rekords in 'n meester datalêer-die proses wat Catalist werknemers-algemeen in die statistiese kantore van 'n paar nasionale regerings. Twee navorsers van Statistiek Swede het 'n gedetailleerde boek oor die onderwerp geskryf (Wallgren and Wallgren 2007) . Vir 'n voorbeeld van hierdie benadering in 'n enkele land in die Verenigde State van Amerika (olmstead County, Minnesota, tuiste van die Mayo Clinic), sien Sauver et al. (2011) . Vir meer inligting oor foute wat kan verskyn in administratiewe rekords, sien Groen (2012) .