fierder kommentaar

Dizze paragraaf is ûntwurpen om brûkt wurde as in ferwizing, earder as om te lêzen as in ferhaal.

• Ynlieding (paragraaf 3.1)

In soad fan 'e tema yn dit haadstik hawwe ek west echoed yn resinte Presidential Adressen by de Amerikaanske Feriening fan Iepenbier Opinion Research (AAPOR), lykas Dillman (2002) , Newport (2011) , Santos (2014) , en Link (2015) .

Foar mear histoaryske eftergrûn oer de ûntwikkeling fan ûndersyk ûndersyk, sjoch Smith (1976) en Converse (1987) . Foar mear op it idee fan trije tiidrekken fan ûndersyk ûndersyk, sjoch Groves (2011) en Dillman, Smyth, and Christian (2008) (dy't brekt op de trije tiidrekken bytsje oars).

In hichtepunt yn 'e oergong fan' e earste oant de twadde tiidrek yn survey ûndersyk is Groves and Kahn (1979) , dat docht in detaillearre kop-nei-holle ferliking tusken in face-to-face en telefoanyske enkête. Brick and Tucker (2007) sjocht werom op de histoaryske ûntwikkeling fan willekeurige sifer dialling sampling metoaden.

Foar mear hoe't ûndersyk ûndersyk hat feroare yn it ferline yn reaksje op feroarings yn de maatskippij, sjoch Tourangeau (2004) , Mitofsky (1989) , en Couper (2011) .

• Freget vs. observearjen (paragraaf 3.2)

Leare oer ynterne steaten troch freegjen fragen kin wêze problematysk, omdat soms de respondinten sels net bewust binne fan harren ynterne steaten. Bygelyks, Nisbett and Wilson (1977) hawwe in prachtich papier mei de ta de ferbylding sprekkende titel: "Telling mear as wy kinne witte: ferbaal rapporten op geastlike prosessen." Yn it papier de skriuwers konkludearje: "ûnderwerpen binne soms (a) net bewust fan de bestean fan in stimulâns dat wichtiger beynfloede in antwurd, (b) net bewust fan it bestean fan 'e respons, en (c) wit net dat de stimulus hat ynfloed op de reaksje. "

Foar arguminten dy't ûndersikers moatte leaver waarnommen gedrach te melden gedrach of hâlding, sjoch Baumeister, Vohs, and Funder (2007) (psychology) en Jerolmack and Khan (2014) en reaksjes (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (sosjology). It ferskil tusken freegjen en observearjen ek ûntstiet yn ekonomy, dêr't ûndersikers prate oer steld en iepenbiere foarkar. Bygelyks, in ûndersiker koe freegje respondinten oft se leafst iten ijs of gean nei gym (ferklearre foarkar) of it ûndersyk te observearjen hoe faak minsken ite iis en gean nei de sportskoalle (iepenbiere foarkar). Der is djip skepsis fan bepaalde soarten steld foarkar gegevens yn ekonomy (Hausman 2012) .

In wichtichste tema fan dizze debatten is dat rapportearre gedrach is net altyd akkuraat. Mar, automatysk opnommen gedrach meie net akkuraat, mooglik net sammele op in stekproef fan belang, en is mooglik net tagonklik foar ûndersikers. Sa, yn guon situaasjes, ik tink dat rapportearre gedrach kin brûkber wêze. Fierder, in twadde wichtichste tema fan dizze debatten is dat rapporten oer emoasjes, kennis, ferwachtings, en mieningen binne net altyd presys. Mar, as ynformaasje oer dizze ynterne steaten binne nedich troch ûndersikers-itsij te helpen lizzen wat gedrach of as it ding te ferklearre wurde-dan freegje kin wêze passend.

• Totaal ûndersyk flater (paragraaf 3.3)

Foar boek lingte behannelingen op totaal ûndersyk flater, sjoch Groves et al. (2009) of Weisberg (2005) . Foar in skiednis fan 'e ûntwikkeling fan it totaal ûndersyk flater, sjoch Groves and Lyberg (2010) .

Yn termen fan foarstelling, in grutte ynlieding oan 'e saken fan non-respons en net-respons bias is de Nasjonale Research Ried ferslach op Nonresponse yn Sosjale Wittenskippen Surveys: In Research Aginda (2013) . In oar handich oersjoch wurdt fersoarge troch (Groves 2006) . Ek, hiele bysûndere saken fan it Journal fan Offisjele Statistics, Iepenbier Opinion Quarterly, en De Annalen fan de Amerikaanske Akademy fan Politike en Sosjale Wittenskippen binne publisearre op it ûnderwerp fan de net-respons. Ta beslút, der binne eins in protte ferskillende wizen fan berekkenjen de respons; dizze oanpak wurde beskreaun yn detail yn in rapport fan de Amerikaanske Feriening fan Iepenbier Opinion Undersikers (AAPOR) (Public Opinion Researchers} 2015) .

De 1936 Literêre Digest poll is studearre yn detail (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . It waard ek lang brûkt as in gelikenis om te warskôgjen tsjin haphazard gegevens samling (Gayo-Avello 2011) . Yn 1936, George Gallup brûkt in mear ferfine foarm fan sampling, en koe produsearje mear krekter rûzingen mei in folle lytsere stekproef. Gallup syn súkses oer de Literêre Digest wie in mylpeal de ûntwikkeling fan ûndersyk ûndersyk (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

Yn termen fan mjitting, in grutte earste boarne foar it ûntwerpen fan fragelisten is Bradburn, Sudman, and Wansink (2004) . Foar in mear avansearre behanneling rjochte spesifyk op hâlding fragen, sjoch Schuman and Presser (1996) . Mear op pre-testen fragen is beskikber yn Presser and Blair (1994) , Presser et al. (2004) , en haadstik 8 fan Groves et al. (2009) .

De klassike, boek-lingte behanneling fan de hannel-off tusken survey kosten en enkête flaters is Groves (2004) .

• Dy't te freegjen (paragraaf 3.4)

Classic boek-length behanneling fan standert kâns sampling en ynskatting binne Lohr (2009) (mear ynliedend) en Särndal, Swensson, and Wretman (2003) (mear foardere). In klassike boek-length behanneling fan post-stratification en besibbe metoaden is Särndal and Lundström (2005) . Yn guon digitale leeftyd ynstellings, ûndersikers witte nochal wat oer net-respondinten, dy't net faak wier yn it ferline. Ferskate foarmen fan net-respons oanpassing binne mooglik as ûndersikers hawwe ynformaasje oer net-respondinten (Kalton and Flores-Cervantes 2003; Smith 2011) .

De Xbox stúdzje fan Wang et al. (2015) brûkt in technyk neamd multilevel regresje en post-stratification (MRP, soms neamd "Mister P"), dy't stelt ûndersikers te skatten sel betsjut ek as der binne in soad, in protte sellen. Hoewol't der is wat diskusje oer de kwaliteit fan de rûzings fan dizze technyk, it liket as in kânsryk gebiet te ferkennen. De technyk waard earst brûkt yn Park, Gelman, and Bafumi (2004) , en der is lettere gebrûk en debat (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Foar mear op de ferbining tusken yndividuele gewichten en sel-basearre gewichten sjogge Gelman (2007) .

Foar oare oanpakken nei weighting web enkêtes, sjoch Schonlau et al. (2009) , Valliant and Dever (2011) , en Bethlehem (2010) .

Sample matching waard foarsteld troch Rivers (2007) . Bethlehem (2015) stelt dat de prestaasjes fan sample matching sil eins wêze fergelykber mei oare sampling oanpakken (bygelyks, stratified sampling) en oare oanpassing oanpak (bygelyks, post-stratification). Foar mear op online panielen, sjoch Callegaro et al. (2014) .

Soms ûndersikers hawwe fûn dat kâns fan gebrûk en net-kâns gebrûk opleverje skattingen fan sa'n kwaliteit (Ansolabehere and Schaffner 2014) , mar oare ferlikings hawwe fûn dat net-kâns gebrûk do slimmer (Malhotra and Krosnick 2007; Yeager et al. 2011) . Ien mooglike reden foar dizze ferskillen is dat net-kâns gebrûk hawwe ferbettere oer tiid. Foar in mear pessimistyske sicht fan net-kâns sampling metoaden sjogge de de AAPOR Task Force op Non-kâns Sampling (Baker et al. 2013) , en ik ek riede it lêzen fan de kommentaar dat folget de gearfetting rapport.

Foar in meta-analyse op it effekt fan weighting te ferminderjen bias yn net-kâns gebrûk, sjoch tabel 2.4 yn Tourangeau, Conrad, and Couper (2013) , dy't liedt de auteurs te sluten "oanpassings lykje te wêzen nuttich, mar fallible korreksjes. . . "

• Hoe te freegjen (paragraaf 3.5)

Conrad and Schober (2008) jout in bewurke folume titel Envisioning de Enkête Interview fan de Future, en it rjochtet in soad fan de tema 's yn dizze paragraaf. Couper (2011) adressen sa'n tema, en Schober et al. (2015) biedt in moai foarbyld fan hoe't gegevens samling metoades dy't ôfstimd op in nije ynstelling kin resultearje yn hegere kwaliteit gegevens.

Foar in oar nijsgjirrich foarbyld fan brûke Facebook apps foar sosjale wittenskip enkêtes, sjoch Bail (2015) .

Foar mear advys op it meitsjen fan ûndersiken in noflik en weardefolle ûnderfining foar dielnimmers, sjoch wurk op de maat Design Metoade (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) biedt in boek lingte behanneling fan ekologyske momentary evaluaasje en besibbe metoaden.

• Surveys ferbûn mei oare gegevens (paragraaf 3.6)

Judson (2007) beskreaun it proses fan kombinearjen enkêtes en bestjoerlike gegevens as "ynformaasje yntegraasje," wurdt yngien op guon foardielen fan dizze oanpak, en biedt in oantal foarbylden.

In oare manier dat ûndersikers kinne gebrûk meitsje fan digitale spoaren en bestjoerlike gegevens is in sampling frame foar minsken mei spesifike skaaimerken. Mar, tagong ta dizze records te brûkt wurde in sampling frame kin ek meitsje fragen yn ferbân mei privacy (Beskow, Sandler, and Weinberger 2006) .

Oangeande fersterke freegje, dizze oanpak is net sa nij as it kin ferskine út hoe't ik beskreaun is. Dizze oanpak hat djippe ferbinings nei trije grutte gebieten yn statistiken-model-basearre post-stratification (Little 1993) , imputation (Rubin 2004) , en lyts gebiet schatting (Rao and Molina 2015) . It wurdt ek yn ferbân mei it brûken fan surrogaat fariabelen yn medyske ûndersyk (Pepe 1992) .

Neist de etyske kwestjes oangeande tagong de digitale spoar gegevens, fersterke freegje koe ek brûkt wurde om ôfliede gefoelige trekken dat minsken miskien net kieze te ferriede yn in ûndersyk (Kosinski, Stillwell, and Graepel 2013) .

De kosten en tiid rûzings yn Blumenstock, Cadamuro, and On (2015) ferwize mear oan fariabele kosten-de kosten fan ien ekstra ûndersyk en net binne fêste kosten lykas de kosten te skjinne en ferwurkjen it petear gegevens. Yn it algemien, fersterke freegje sil nei alle gedachten hawwe hege fêste kosten en lege fariabele kosten ek oan digitale eksperiminten (sjoch Haadstik 4). Mear details oer de gegevens brûkt yn Blumenstock, Cadamuro, and On (2015) papier binne yn Blumenstock and Eagle (2010) en Blumenstock and Eagle (2012) . Oanpakken fan meardere imputuation (Rubin 2004) soe helpe capture ûnwissichheid yn skattings út fersterke freegje. As ûndersikers doing fersterke freegje allinne soarch oer aggregate tellings, ynstee fan yndividuele-nivo trekken, dan de oanpak yn King and Lu (2008) en Hopkins and King (2010) kin nuttich. Foar mear oer it masine lear- benaderingen yn Blumenstock, Cadamuro, and On (2015) , sjoch James et al. (2013) (mear ynliedende) of Hastie, Tibshirani, and Friedman (2009) (mear foardere). In oare populêre machine learen leerboek is Murphy (2012) .

Oangeande ferrike freegje, de resultaten yn Ansolabehere en Hersh (2012) hinge op twa wichtige stappen: 1) de mooglikheid fan Catalist te kombinearjen protte disparate gegevens boarnen te produsearje in accurate master to update en 2) it fermogen fan Catalist te keppeljen it ûndersyk gegevens oan syn master to update. Dêrom, Ansolabehere en Hersh check elk fan dy stappen mei soarch.

Om meitsje de master to update, Catalist kombinearret en harmonizes ynformaasje út in soad ferskillende boarnen ynklusyf: meardere stimmen records Snapshots fan elke steat, gegevens út de Post Office fan Nasjonale Change fan Adres Griffy, en gegevens út oare net oantsjutte kommersjele oanbieders. De Gory details oer hoe't al dizze cleaning en gearfoegjen bart binne bûten it berik fan dit boek, mar dat proses, hoe foarsichtich, sil útdrage flaters yn de oarspronklike gegevens boarnen en sil kunde flaters. Hoewol't Catalist wie ree om te besprekken syn gegevens ferwurking en jouwe guon fan syn rauwe gegevens, it wie gewoan ûnmooglik foar ûndersikers om de hiele Catalist gegevens lieding. Leaver, de ûndersikers wienen yn in situaasje dêr't de Catalist gegevens triem hie wat ûnbekende, en faaks unknowable, bedrach fan flater. Dit is in serieuze soarch omdat in kritikus soe spekulearje dat de grutte ferskillen tusken it ûndersyk rapporten op de CCES en it hâlden en dragen yn 'e Catalist master gegevens triem waarden feroarsake troch flaters yn de master gegevens triem, net troch misreporting troch respondinten.

Ansolabehere en Hersh naam twa ferskillende oanpakken nei de oanpak fan de gegevens kwaliteit soarch. Earst, yn oanfolling op fergelykjen self-rapportearre stimmen nei stimming yn de Catalist master triem, de ûndersikers ek ferlike sels-rapportearre partij, ras, voter registraasje status (bygelyks, registrearre of net registrearre) en stimmen metoade (bygelyks, in persoan, absentee stimbriefke, ensfh) om dy wearden fûn yn de Catalist databanken. Foar dizze fjouwer demografyske fariabelen, de ûndersikers fûn folle hegere nivo fan oerienkomst tusken enkête rapport en gegevens yn de Catalist master triem as foar stimmen. Sa, de Catalist master gegevens triem blykt te hawwen hege kwaliteit ynformaasje foar trekken oare as stimming, wat suggerearret dat it net fan minne algemiene kwaliteit. Twadde, foar in part mei help fan gegevens fan Catalist, Ansolabehere en Hersh ûntwikkele trije ferskillende maatregels fan kwaliteit fan greefskip stimmen records, en se fûnen dat de rûsd taryf fan mear as-melden fan stimmen wie yn wêzen Yngling oan ien fan dizze gegevens kwaliteit maatregels, in fine dat foarstelle dat de hege tariven fan over-melding wurde net wurde dreaun troch provinsjes mei ûngewoan leech gegevens kwaliteit.

Mei it each op it ta stân kommen fan dizze master stimming triem, it twadde boarne fan mooglike flaters is it keppeljen fan de enkête records nei it. Bygelyks, as dizze linkage wurdt dien ferkeard It kin liede ta in mear as-rûzing fan it ferskil tusken rapportearre en falidearre stimgedrach (Neter, Maynes, and Ramanathan 1965) . As alle persoan hie in stabile, unyk identifier dat wie yn beide gegevens boarnen, dan linkage soe wêze triviale. Yn de Amerikaanske en de measte oare lannen, lykwols, is der gjin universele identifier. Fierder, sels as der wiene sa'n identifier minsken soe nei alle gedachten wêze wifeljend om it te ferkennen ûndersikers! Sa, Catalist hie te dwaan de linkage mei help ûnfolslein helpmiddels, yn dit gefal fjouwer stikken fan ynformaasje oer eltse respondint: namme, geslacht, berte jier, en thús adres. Bygelyks, Catalist moast beslisse as de Homie J Simpson yn de CCES wie deselde persoan as de Homer Jay Simpson yn harren master gegevens triem. Yn 'e praktyk, oerienkommende is in dreech en rommelich proses, en, om saken minder op foar de ûndersikers, Catalist beskôge syn oerienkommende technyk te wêzen bedriuwseigen.

Om te kontrolearjen de oerienkommende Algorithmen, hja steunde op twa útdagings. Earst, Catalist mei oan in oerienkommende kompetysje dat wie rinne troch in ûnôfhinklike, tredde-partij: it Mitre Corporation. Mitre fersoarge alle dielnimmers twa lawaaierige gegevens triemmen wurde matched, en ferskillende ploegen strieden om werom nei Mitre de bêste bypassende. Om't Mitre sels wist de goeie oerienkommende se koene wiis mei de ploegen. Fan 'e 40 bedriuwen dy't strieden, Catalist kaam yn it twadde plak. Dit soarte fan ûnôfhinklike, tredde-partij evaluaasje fan kommersjele technology is frij seldsum en ongelooflijk weardefolle; It moat jou ús betrouwen dat Catalist fan oerienkommende prosedueres binne eins op 'e steat-fan-de-keunst. Mar is de steat-fan-de-keunst goed genôch? Neist dizze oerienkommende kompetysje, Ansolabehere en Hersh makke har eigen oerienkommende útdaging foar Catalist. Ut in earder projekt, Ansolabehere en Hersh hie sammele voter records út Florida. Se fersoarge guon fan dy platen mei in pear fan harren fjilden Berjocht: FIN nei Catalist en dêrnei fergelike Catalist syn ferslaggen fan dy fjilden oan harren wurklike wearden. Gelokkich, Catalist syn rapporten wienen ticht by it ûnthâlden wearden, wat oanjout dat Catalist koe oerien part voter records op harren master gegevens triem. Dy twa útdagings, ien troch in tredde-partij en ien troch Ansolabehere en Hersh, jou ús mear betrouwen yn de Catalist oerienkommende Algorithmen, ek al kinne wy ​​net review harren krekte útfiering ússels.

Der hawwe al in protte foarige besocht te kontrolearjen fan stimmen. Foar in oersjoch fan dy literatuer, sjoch Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , en Hanmer, Banks, and White (2014) .

It is fan belang om te derom dat hoewol't yn dit gefal ûndersikers waarden stimulearre troch de kwaliteit fan de gegevens út Catalist, oare weardeskattingen fan kommersjele leveransiers hawwe minder entûsjast. Ûndersikers hawwe fûn slechte kwaliteit as gegevens fan in enkête oan in konsumint-triem fan Marketing Systems Groep (dy't sels opgien tegearre gegevens út trije oanbieders: Acxiom, Sudertrimdiel, en InfoUSA) (Pasek et al. 2014) . Dat is, de gegevens triem net oerien mei ûndersyk reaksjes dy't ûndersikers ferwachte te wêzen goed, it to update hie ûntbrekkende gegevens foar in grut tal fan fragen, en de ûntbrekkende gegevens patroan waard korrelearden oan rapportearre ûndersyk wearde (yn oare wurden de ûntbrekkende gegevens wie systematyske , net random).

Foar mear op record linkage tusken ûndersiken en bestjoerlike gegevens, sjoch Sakshaug and Kreuter (2012) en Schnell (2013) . Foar mear op record linkage yn it algemien, sjoch Dunn (1946) en Fellegi and Sunter (1969) (histoaryske) en Larsen and Winkler (2014) (moderne). Similar oanpakken hawwe ek al ûntwikkele yn kompjûter wittenskip ûnder de nammen lykas gegevens deduplication, bygelyks identifikaasje, namme matching, duplikaat opspoaren, en duplicate record detection (Elmagarmid, Ipeirotis, and Verykios 2007) . Der binne ek privacy behâld oanpakken te nimmen linkage dy't net nedich de oerdracht fan persoanlik sinjalearjen ynformaasje (Schnell 2013) . Ûndersikers by Facebook ûntwikkele in proseduere om probabilisticsly keppele harren platen oan stimgedrach (Jones et al. 2013) ; dit linkage waard dien om evaluearje in eksperimint dat ik fertelle jo oer yn haadstik 4 (Bond et al. 2012) .

In oar foarbyld fan it keppeljen fan in grutskalich sosjale ûndersyk nei oerheid bestjoerlike records komt út de Health en Retirement Enkête en de Sosjale Security Administration. Foar mear op dat ûndersyk, ynklusyf ynformaasje oer de tastimming proseduere, sjoch Olson (1996) en Olson (1999) .

It proses fan kombinearjen protte boarnen fan bestjoerlike records yn in master to update-it proses dat Catalist meiwurkers-is gewoan yn 'e statistyske kantoaren fan guon nasjonale oerheden. Twa ûndersikers fan Statistiken Sweden hawwe skreaun in detaillearre boek op it ûnderwerp (Wallgren and Wallgren 2007) . Foar in foarbyld fan dizze oanpak yn ien county yn 'e Feriene Steaten (Olmstead County, Minnesota; hûs fan de Mayo Clinic), sjoch Sauver et al. (2011) . Foar mear op flaters dy't kin ferskine yn bestjoerlike records, sjoch Groen (2012) .