Ang karagdagang komentaryo

Ang seksyon na ito ay dinisenyo upang magamit bilang isang sanggunian, sa halip na basahin bilang isang nagkukuwento.

• Paunang Salita (Section 3.1)

Marami sa mga tema sa kabanatang ito na rin ang echoed sa mga nakaraang Presidential Address sa American Association of Public Opinion Research (AAPOR), tulad ng Dillman (2002) , Newport (2011) , Santos (2014) , at Link (2015) .

Para sa karagdagang makasaysayang background tungkol sa pagbuo ng survey pananaliksik, tingnan Smith (1976) at Converse (1987) . Para sa karagdagang sa ang ideya ng tatlong mga panahon ng survey pananaliksik, tingnan Groves (2011) at Dillman, Smyth, and Christian (2008) (na break up ang tatlong eras bahagyang naiiba).

A peak sa loob ng paglipat mula sa unang sa ikalawang panahon sa survey pananaliksik ay Groves and Kahn (1979) , na kung saan ang isang detalyadong head-to-head paghahambing sa pagitan ng isang mukha-sa-mukha at telepono survey. Brick and Tucker (2007) mukhang bumalik sa ang makasaysayang pag-unlad ng mga random na digit pamamaraan dialing sampling.

Para sa karagdagang kung paano survey pananaliksik ay nagbago sa nakalipas bilang tugon sa mga pagbabago sa lipunan, tingnan Tourangeau (2004) , Mitofsky (1989) , at Couper (2011) .

• Asking vs. observing (Section 3.2)

Pag-aaral tungkol sa mga panloob na estado sa pamamagitan ng pagtatanong ay maaaring may problema dahil kung minsan ang respondents ang kanilang mga sarili ay hindi alam ng kanilang mga panloob na estado. Halimbawa, Nisbett and Wilson (1977) ay may isang kahanga-hangang papel na may mga evocative pamagat: "Ang pagsasabi ng higit sa maaari naming malaman:. Verbal ulat sa proseso ng kaisipan" Sa papel ang may-akda tapusin: "paksa ay minsan (a) hindi alam ng mga pagkakaroon ng isang pampasigla na mahalaga naiimpluwensyahan ng isang sagot, (b) walang kamalayan sa pagkakaroon ng mga tugon, at (c) hindi alam na ang mga pampasigla ay apektado ang response. "

Para sa mga argumento na ang mga mananaliksik ay dapat ginusto sinusunod pag-uugali upang iniulat uugali o attitudes, tingnan Baumeister, Vohs, and Funder (2007) (sikolohiya) at Jerolmack and Khan (2014) at mga tugon (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (sosyolohiya). Ang pagkakaiba sa pagitan ng pagtatanong at pagmamasid din arises sa economics, kung saan mananaliksik makipag-usap tungkol nakasaad at ipinahayag kagustuhan. Halimbawa, ang isang researcher ay maaaring humingi respondents kung mas gusto nila kumakain ng ice cream o pagpunta sa gym (nakasaad kagustuhan) o ang pananaliksik ay maaaring obserbahan kung gaano kadalas ang mga tao kumain ng ice cream at pumunta sa gym (nagsiwalat kagustuhan). May malalim na pag-aalinlangan ng ilang mga uri ng nakasaad kagustuhan data sa economics (Hausman 2012) .

Ang isang pangunahing tema mula sa mga debates ay na naiulat na pag-uugali ay hindi laging tumpak. Ngunit, awtomatikong naitala uugali ay maaaring hindi tumpak, hindi maaaring nakolekta sa isang sample ng interes, at hindi maaaring ma-access sa mga mananaliksik. Kaya, sa ilang mga sitwasyon, sa tingin ko na naiulat na pag-uugali ay maaaring maging kapaki-pakinabang. Dagdag dito, ang isang ikalawang pangunahing tema mula sa mga debates ay na ang mga ulat tungkol sa mga damdamin, kaalaman, mga inaasahan, at opinyon ay hindi laging tumpak. Subalit, kung ang impormasyon tungkol sa mga panloob na estado ay kinakailangan sa pamamagitan ng mga mananaliksik-mag-upang makatulong na ipaliwanag ang ilan na pag-uugali o bilang ang bagay na ipinaliwanag-pagkatapos ay humihingi ay maaaring naaangkop.

• Kabuuang survey error (Section 3.3)

Sapagka't karamihan ng libro treatment sa kabuuang survey error, tingnan ang Groves et al. (2009) o Weisberg (2005) . Para sa isang kasaysayan ng pag-unlad ng kabuuang survey error, tingnan ang Groves and Lyberg (2010) .

Sa mga tuntunin ng representasyon, isang mahusay na panimula sa mga isyu ng mga di-tugon at non-response bias ang ulat National Research Council on Nonresponse in Social Science Surveys: A Research Agenda (2013) . Ang isa pang kapaki-pakinabang na pangkalahatang-ideya ay ibinigay sa pamamagitan (Groves 2006) . Gayundin, buong espesyal na mga isyu ng Journal ng Official Statistics, Public Opinion Quarterly, at Ang Annals ng American Academy of Pampulitika at Social Science ay nai-publish sa ang paksa ng non-response. Sa wakas, may mga tunay na maraming iba't ibang paraan ng pagkalkula ng mga rate ng tugon; mga approach ay inilarawan sa detalye sa isang ulat sa pamamagitan ng American Association of Public Opinion Mananaliksik (AAPOR) (Public Opinion Researchers} 2015) .

1936 Literary Digest poll ay nai-aral sa detalye (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Ito din ay ginamit bilang isang talinghaga upang balaan laban walang tuos pagkolekta ng data (Gayo-Avello 2011) . Sa 1936, George Gallup ginagamit ng isang mas sopistikadong paraan ng sampling, at noon ay magagawang upang makabuo ng mas tumpak na pagtatantya na may isang mas maliit na sample. Gallup tagumpay sa ibabaw ng Literary Digest ay isang milestone sa pagbuo ng survey pananaliksik (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

Sa mga tuntunin ng pagsukat, isang mahusay na unang na mapagkukunan para sa pagdisenyo ng questionnaires ay Bradburn, Sudman, and Wansink (2004) . Para sa isang mas advanced na paggamot na partikular na nakatuon sa attitude katanungan, tingnan ang Schuman and Presser (1996) . Higit pa sa mga katanungan pre-testing ay magagamit sa Presser and Blair (1994) , Presser et al. (2004) , at Kabanata 8 ng Groves et al. (2009) .

Ang classic, aklat-length paggamot ng trade-off sa pagitan ng mga gastos survey at survey error ay Groves (2004) .

• Sino ang magtanong (Section 3.4)

Klasikong libro-length paggamot ng karaniwang probabilidad sampling at kuru-kuro ay Lohr (2009) (more pambungad) at Särndal, Swensson, and Wretman (2003) (more advanced). Ang isang klasikong aklat-length paggamot ng post-pagsasapin-sapin at mga kaugnay na mga pamamaraan ay Särndal and Lundström (2005) . Sa ilang mga digital setting edad, mga mananaliksik malaman lubos ng kaunti tungkol sa di-respondents, kung saan ay hindi madalas totoo sa nakaraan. Iba't ibang mga paraan ng pag-aayos non-tugon ay posible kapag mananaliksik ay may impormasyon tungkol sa mga di-respondents (Kalton and Flores-Cervantes 2003; Smith 2011) .

Ang Xbox pag-aaral ng Wang et al. (2015) ay gumagamit ng isang pamamaraan na tinatawag na multilevel pagbabalik at post-pagsasapin-sapin (MRP, minsan ay tinatawag "Mister P") na nagpapahintulot sa mga mananaliksik upang matantya cell nangangahulugan na kahit na kapag mayroong mga maraming, maraming mga cell. Kahit na may ilang mga debate tungkol sa kalidad ng mga pagtatantya mula sa mga pamamaraan na ito, ito tila tulad ng isang promising na lugar upang galugarin. Ang pamamaraan ay unang ginamit sa Park, Gelman, and Bafumi (2004) , at nagkaroon ng kasunod na paggamit at debate (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Para sa karagdagang sa ang koneksyon sa pagitan ng indibidwal weights at cell-based weights makita Gelman (2007) .

Para sa iba pang mga pamamaraang sa weighting web survey, tingnan Schonlau et al. (2009) , Valliant and Dever (2011) , at Bethlehem (2010) .

Sample matching ay iminungkahi ng Rivers (2007) . Bethlehem (2015) argues na ang pagganap ng sample matching ay tunay na maging katulad sa iba pang sampling approach (eg, nagsasapin-sapin sampling) at iba pang adjustment approach (eg, post-pagsasapin-sapin). Para sa karagdagang sa online panels, tingnan Callegaro et al. (2014) .

Minsan mananaliksik ay natagpuan na probabilidad halimbawa at di-posibilidad samples ani estima ng katulad na kalidad (Ansolabehere and Schaffner 2014) , ngunit ang iba pang mga paghahambing ay natagpuan na non-bagay na maaaring mangyari samples gawin mas masahol pa (Malhotra and Krosnick 2007; Yeager et al. 2011) . Ang isang posibleng dahilan para sa mga pagkakaiba ay na ang mga di-posibilidad samples ay may pinabuting sa paglipas ng panahon. Para sa isang mas pesimista tingnan ng mga di-posibilidad sampling pamamaraan makita ang mga AAPOR Task Force on Non-bagay na maaaring mangyari Sampling (Baker et al. 2013) , at ako din pinapayo pagbabasa ng komentaryo na susunod buod ng ulat.

Para sa isang meta-analysis sa epekto ng weighting upang mabawasan bias sa mga di-posibilidad samples, tingnan ang Table 2.4 sa Tourangeau, Conrad, and Couper (2013) , na hahantong ang mga may-akda upang tapusin "adjustments mukhang kapaki-pakinabang ngunit maaaring magkamali pagwawasto. . . "

• Paano humiling (Section 3.5)

Conrad and Schober (2008) ay nagbibigay ng isang na-edit na may pamagat na dami envisioning ang Survey Interview ng Hinaharap, at ito address marami sa mga tema sa seksyong ito. Couper (2011) humaharap parehong tema, at Schober et al. (2015) ay nag-aalok ng isang magandang halimbawa ng kung paano sa pagkolekta ng data pamamaraan na sang-ayon sa isang bagong setting ay maaaring magresulta sa mas mataas na data na kalidad.

Para sa isa pang kagiliw-giliw na halimbawa ng paggamit ng apps Facebook para sa mga social survey agham, tingnan Bail (2015) .

Para sa karagdagang payo sa paggawa ng mga survey isang kasiya-siya at mahalagang karanasan para sa mga kalahok, tingnan trabaho sa Tailored Design Pamamaraan (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) ay nagbibigay ng isang haba ng libro paggamot ng ecological panandaliang pagtatasa at mga kaugnay na mga pamamaraan.

• Surveys naka-link sa iba pang mga data (Section 3.6)

Judson (2007) inilarawan ang proseso ng pagsasama-sama ng mga survey at administrative data bilang "integration impormasyon," discusses ilang mga pakinabang ng diskarteng ito, at nag-aalok ng ilang mga halimbawa.

Ang isa pang paraan na ang mga mananaliksik ay maaaring gumamit ng digital traces at administratibo data ay isang sampling frame para sa mga tao na may mga tiyak na mga katangian. Gayunman, i-access ang mga talang ito na gagamitin ng isang sampling frame ay maaari ring lumikha katanungang may kinalaman sa privacy (Beskow, Sandler, and Weinberger 2006) .

Tungkol amplified asking, diskarte na ito ay hindi bilang bagong bilang ito ay maaaring lumitaw mula sa kung paano ko na inilarawan ito. Diskarte na ito ay may malalim na koneksyon sa tatlong malalaking lugar sa mga istatistika-modelo-based post-pagsasapin-sapin (Little 1993) , bintang (Rubin 2004) , at maliit na lugar ng kuru-kuro (Rao and Molina 2015) . Ito rin ay may kaugnayan sa paggamit ng surrogate mga variable sa mga medikal na pananaliksik (Pepe 1992) .

Bilang karagdagan sa mga etikal na isyu tungkol sa pag-access ang mga digital na data trace, amplified asking maaaring ding gamitin upang ipahiwatig sensitive katangian na mga tao ay hindi maaaring pumili upang ipakita sa isang survey (Kosinski, Stillwell, and Graepel 2013) .

Ang gastos at oras pagtatantya sa Blumenstock, Cadamuro, and On (2015) sumangguni higit pa sa variable cost-ang gastos ng isang karagdagang survey-at huwag isama ang mga nakapirming mga gastos tulad ng mga gastos upang linisin at i-proseso ang data call. Sa pangkalahatan, amplified asking ay malamang na magkaroon ng mataas na mga nakapirming mga gastos at mababa ang variable na mga gastos na katulad ng digital eksperimento (tingnan ang Kabanata 4). Higit pang mga detalye sa data na ginagamit sa Blumenstock, Cadamuro, and On (2015) papel ay sa Blumenstock and Eagle (2010) at Blumenstock and Eagle (2012) . Pamamaraang mula sa maraming mga imputuation (Rubin 2004) ay maaaring makatulong sa pagkuha ng kawalan ng katiyakan sa mga pagtatantya mula sa amplified pagtatanong. Kung mananaliksik paggawa amplified humihingi lamang aalaga tungkol sa pinagsama-samang mga bilang, sa halip na mga indibidwal na-level traits, pagkatapos ay ang diskarte sa King and Lu (2008) at Hopkins and King (2010) ay maaaring maging kapaki-pakinabang. Para sa karagdagang tungkol sa mga pamamaraang machine learning in Blumenstock, Cadamuro, and On (2015) , tingnan ang James et al. (2013) (more pambungad) o Hastie, Tibshirani, and Friedman (2009) (more advanced). Ang isa pang tanyag machine learning aklat-aralin ay Murphy (2012) .

Tungkol enriched asking, ang mga resulta sa Ansolabehere at Hersh (2012) bisagra sa dalawang pangunahing mga hakbang: 1) ang kakayahan ng Catalist upang pagsamahin maraming disparate pinagmumulan ng data upang makagawa ng isang tumpak na master datafile at 2) ang kakayahan ng Catalist i-link ang data survey sa nito master datafile. Samakatuwid, Ansolabehere at Hersh suriin ang bawat isa sa mga hakbang na ito nang mabuti.

Upang lumikha ng mga master datafile, Catalist pinagsasama at harmonizes impormasyon mula sa maraming iba't ibang mga mapagkukunan kabilang ang: maramihang mga talaan ng pagboto snapshots mula sa bawat estado, ang data mula sa Post Office National Pagbabago ng Address Registry, at ang data mula sa iba pang hindi natukoy na commercial provider. Ang madugo detalye tungkol sa kung paano ang lahat ng ito sa paglilinis at merging ang mangyayari hindi na saklaw ng aklat na ito, ngunit ang prosesong ito, hindi mahalaga kung gaano maingat, palaganapin error sa orihinal na pinagkukunan ng data at ipakikilala error. Kahit Catalist ay handa upang talakayin nito data processing at magbigay ng ilang ng kanyang raw data, ito ay simpleng imposible para sa mga mananaliksik upang suriin ang buong Catalist data pipeline. Sa halip, ang mga mananaliksik ay sa isang sitwasyon kung saan ang mga Catalist data file ay may ilang mga hindi kilala, at marahil unknowable, halaga ng error. Ito ay isang malubhang pag-aalala dahil ang isang kritiko ay maaaring isip-isip na ang mga malalaking pagkakaiba sa pagitan ng mga ulat survey sa CCES at ang pag-uugali sa Catalist master data file ay sanhi ng mga error sa mga master data file, hindi sa pamamagitan ng maling pag-ulat sa pamamagitan ng respondents.

Ansolabehere at Hersh kumuha ng dalawang iba't-ibang pamamaraang sa addressing ang data na kalidad alalahanin. Una, bilang karagdagan sa paghahambing ng self-iniulat pagboto upang pagboto sa Catalist master file, ang mga mananaliksik din kumpara self-iniulat party, lahi, voter registration status (eg, nakarehistro o hindi nakarehistro) at pamamaraan ng pagboto (eg, sa tao, absentee balota, atbp) upang ang mga halaga na natagpuan sa database Catalist. Tungkol nga sa apat demographic variable, ang mga mananaliksik natagpuan na mas mataas na antas ng kasunduan sa pagitan ng survey ulat at data sa Catalist master file kaysa sa para sa pagboto. Kaya, ang Catalist master data file ay lilitaw upang magkaroon ng mataas na kalidad ng impormasyon para sa mga ugali maliban sa pagboto, na nagmumungkahi na ito ay hindi sa mahihirap pangkalahatang kalidad. Pangalawa, sa bahagi gamit ang data mula Catalist, Ansolabehere at Hersh binuo ng tatlong iba't ibang mga panukala ng kalidad ng mga talaan county pagboto, at sila ay natagpuan na ang tinantyang rate ng over-pag-uulat ng pagboto ay mahalagang walang kinalaman sa alinman sa mga panukala data kalidad, isang paghahanap na iminumungkahi na ang mataas na mga rate ng over-pag-uulat ay hindi hinihimok sa pamamagitan ng mga county na may unusually mababang kalidad data.

Given ang paglikha ng ang file na ito master pagboto, ang pangalawang source ng mga potensyal na mga error ay nagli-link sa mga talaan survey dito. Halimbawa, kung ito linkage ay tapos na hindi tama ito ay maaaring humantong sa isang over-pagtantya ng mga pagkakaiba sa pagitan ng iniulat at napatunayan uugali voting (Neter, Maynes, and Ramanathan 1965) . Kung ang bawat tao ay may isang matatag, natatanging identifier na nasa parehong mga pinagkukunan ng data, pagkatapos ay linkage ay magiging walang kuwenta. Sa US at pinaka-ibang mga bansa, gayunpaman, walang unibersal identifier. Dagdag dito, kahit na may ay tulad ng isang identifier tao ay marahil ay nag-aalangan upang magbigay ng ito sa survey mananaliksik! Kaya, Catalist ay nagkaroon na gawin ang linkage gamit imperfect tagapagkilala, sa kasong ito apat na piraso ng impormasyon tungkol sa bawat respondent: pangalan, kasarian, kapanganakan taon, at tirahan. Halimbawa, Catalist nagkaroon na magpasya kung ang Homie J Simpson sa CCES ay ang parehong tao bilang ang Homer Jay Simpson sa kanilang master data file. Sa pagsasanay, pagtutugma ay isang mahirap at makalat proseso, at, upang gumawa ng mga bagay mas masahol pa para sa mga mananaliksik, Catalist itinuturing katugma nitong pamamaraan upang maging pag-aaring.

Upang patunayan ang mga matching algorithm, sila'y nagsitiwala sa dalawang hamon. Una, Catalist lumahok sa isang pagtutugma ng kumpetisyon na ay tatakbo sa pamamagitan ng isang malayang, third-party: ang Mitre Corporation. Mitre ibinigay lahat ng mga kalahok sa dalawang maingay mga file ng data upang maitugma, at iba't ibang mga koponan competed upang bumalik sa Mitre ang pinakamahusay na pagtutugma. Dahil Mitre mismo alam ang tamang matching sila ay magagawang upang puntos ang mga koponan. Sa mga 40 mga kumpanya na competed, Catalist ay dumating sa ikalawang lugar. Ang ganitong uri ng mga independiyenteng, third-party na pagsusuri ng proprietary technology ay lubos na bihira at hindi kapani-paniwalang mahalaga; ito ay dapat magbigay sa amin confidence na matching pamamaraan ni Catalist ay mahalagang sa state-of-the-art. Ngunit ay ang state-of-the-art mabuti sapat? Sa karagdagan na ito pagtutugma competition, Ansolabehere at Hersh nilikha ng kanilang sariling matching hamon para Catalist. Mula sa isang mas maaga proyekto, Ansolabehere at Hersh ay nakolekta voter records mula sa Florida. Ibinigay nila ang ilan sa mga talaan na may ilan sa kanilang mga patlang redacted sa Catalist at pagkatapos ay inihambing ulat ng mga patlang na ito sa kanilang mga aktwal na mga halaga ni Catalist. Sa kabutihang palad, mga ulat ni Catalist ay malapit sa withheld mga halaga, na nagpapahiwatig na Catalist maaaring tumugma partial talaan ng botante sa kanilang master data file. Ang dalawang mga hamon, ang isa sa pamamagitan ng isang third-party at isa-Ansolabehere at Hersh, bigyan kami ng karagdagang kumpiyansa galing sa Catalist matching algorithm, kahit na hindi namin maaaring suriin ang kanilang eksaktong pagpapatupad ating sarili.

Nagkaroon ng maraming mga nakaraang pagtatangka upang patunayan ang pagboto. Para sa isang pangkalahatang-ideya ng panitikan na, tingnan Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , at Hanmer, Banks, and White (2014) .

Ito ay mahalaga na tandaan na kahit na sa kasong ito mga mananaliksik ay hinihikayat sa pamamagitan ng ang kalidad ng data mula sa Catalist, iba pang mga pagsusuri ng komersyal na vendor ay mas masigasig. Mananaliksik ay natagpuan mababang kalidad kapag ang data mula sa isang survey sa isang consumer-file mula sa Marketing Systems Group (na kung saan mismo pinagsama-sama ng data mula sa tatlong provider: Acxiom, Experian, at infoUSA) (Pasek et al. 2014) . Iyon ay, ang data file ay hindi tumugma sa kasagutan survey na ang mga mananaliksik inaasahan na maging tama, ang datafile ay nawawalang data para sa isang malaking bilang ng mga tanong, at ang nawawalang data pattern ay sang-ayon sa iniulat halaga survey (sa ibang salita ang mga nawawalang data ay sistematikong , hindi random).

Para sa karagdagang sa record linkage sa pagitan ng mga survey at administrative data, tingnan Sakshaug and Kreuter (2012) at Schnell (2013) . Para sa karagdagang sa record linkage sa pangkalahatan, tingnan Dunn (1946) at Fellegi and Sunter (1969) (makasaysayang) at Larsen and Winkler (2014) (modernong). Katulad na paglalapit ay may din ay binuo sa computer science sa ilalim ng mga pangalan tulad ng data deduplication, halimbawa identification, pangalan matching, duplicate detection, at dobleng record detection (Elmagarmid, Ipeirotis, and Verykios 2007) . Mayroon ding mga privacy pagpepreserba diskarte upang i-record linkage na hindi nangangailangan ng sa pagpapadala ng personal na nakakapagpakilalang impormasyon (Schnell 2013) . Mananaliksik sa Facebook nakabuo ng isang pamamaraan upang probabilisticsly link ang kanilang mga talaan sa pag-uugali ng pagboto (Jones et al. 2013) ; ito linkage ay ginawa upang suriin ang isang eksperimento na kukunin ko na sabihin sa iyo ang tungkol sa Kabanata 4 (Bond et al. 2012) .

Ang isa pang halimbawa ng pag-uugnay ng isang malaking-scale panlipunan survey sa pamahalaan talaan administrative ay mula sa Health and Retirement Survey at ang Social Security Administration. Para sa karagdagang sa pag-aaral na, kabilang ang impormasyon tungkol sa mga pamamaraan ng pahintulot, tingnan Olson (1996) at Olson (1999) .

Ang proseso ng pagsasama-sama ng maraming mga mapagkukunan ng pang-administratibo mga talaan sa isang master datafile-the proseso na Catalist empleyado-ay karaniwan sa mga statistical opisina ng ilang mga pambansang pamahalaan. Dalawang mga mananaliksik mula Statistics Sweden ay may nakasulat na isang detalyadong libro sa paksa (Wallgren and Wallgren 2007) . Para sa isang halimbawa ng mga ito lumapit sa isang solong county sa Estados Unidos (Olmstead County, Minnesota; tahanan ng Mayo Clinic), tingnan Sauver et al. (2011) . Para sa karagdagang sa mga error na maaaring lumitaw sa administrative mga talaan, tingnan Groen (2012) .