Mae'r adran hon wedi'i chynllunio i gael ei ddefnyddio fel cyfeiriad, yn hytrach nag i'w ddarllen fel naratif.
Mae llawer o'r themâu yn y bennod hon hefyd wedi cael eu hadleisio mewn Cyfeiriadau Arlywyddol diweddar yn y Gymdeithas America ar gyfer Ymchwil Barn y Cyhoedd (AAPOR), fel Dillman (2002) , Newport (2011) , Santos (2014) , a Link (2015) .
Ar gyfer cefndir mwy hanesyddol am ddatblygu ymchwil arolwg, gweler Smith (1976) a Converse (1987) . Am fwy ar y syniad o dri gyfnodau o ymchwil arolwg, gweler Groves (2011) a Dillman, Smyth, and Christian (2008) (sy'n torri i fyny y tair eras ychydig yn wahanol).
Mae brig y tu mewn i'r pontio o'r cyntaf i'r ail gyfnod mewn ymchwil arolwg yw Groves and Kahn (1979) , sy'n gwneud cymhariaeth fanwl pen-i-ben rhwng wyneb-yn-wyneb ac arolwg dros y ffôn. Brick and Tucker (2007) edrych yn ôl ar ddatblygiad hanesyddol digid hap dulliau samplu deialu.
I gael rhagor o sut mae ymchwil yr arolwg wedi newid yn y gorffennol mewn ymateb i newidiadau mewn cymdeithas, gweler Tourangeau (2004) , Mitofsky (1989) , a Couper (2011) .
Gall dysgu am gwladwriaethau mewnol drwy ofyn cwestiynau fod yn broblem oherwydd weithiau nid yw'r ymatebwyr eu hunain yn ymwybodol o'u wladwriaethau mewnol. Er enghraifft, Nisbett and Wilson (1977) gael papur gwych gyda'r teitl atgofus: "Dweud mwy nag y gallwn ei wybod:. Adroddiadau ar lafar ar brosesau meddyliol" Yn y papur yr awduron i'r casgliad: "pynciau (a) anymwybodol o'r weithiau bodolaeth symbyliad a ddylanwadodd bwysicach ymateb, (b) yn ymwybodol o fodolaeth yr ymateb, a (c) heb wybod bod yr ysgogiad wedi effeithio ar yr ymateb. "
Ar gyfer dadleuon y dylai well gan ymchwilwyr ymddygiad a welwyd i ymddygiad neu agweddau chyflwynir adroddiad, gweler Baumeister, Vohs, and Funder (2007) (seicoleg) ac Jerolmack and Khan (2014) ac ymatebion (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (cymdeithaseg). Y gwahaniaeth rhwng holi ac arsylwi hefyd yn codi mewn economeg, lle mae ymchwilwyr yn siarad am hoffterau a nodwyd a datgelu. Er enghraifft, gallai ymchwilydd gofyn i ymatebwyr a ydynt yn well bwyta hufen iâ neu fynd i'r gampfa (dewisiadau a nodir) neu gallai'r ymchwil arsylwi pa mor aml mae pobl yn bwyta hufen iâ a mynd i'r gampfa (hoffterau datgelu). Mae amheuaeth ddofn o fathau penodol o ddata dewisiadau a nodir mewn economeg (Hausman 2012) .
Mae prif thema o'r dadleuon hyn yw nad yw ymddygiad adroddwyd bob amser yn gywir. Ond, efallai na fydd ymddygiad a gofnodwyd yn awtomatig fod yn gywir, ni ellir ei gasglu ar sampl o ddiddordeb, ac efallai na fydd yn hygyrch i ymchwilwyr. Felly, mewn rhai sefyllfaoedd, yr wyf yn meddwl y gall ymddygiad adroddwyd fod yn ddefnyddiol. Ymhellach, ail brif thema o'r dadleuon hyn yw nad yw adroddiadau am emosiynau, gwybodaeth, disgwyliadau, a barn bob amser yn gywir. Ond, os oes angen gwybodaeth am datgan mewnol hyn gan ymchwilwyr-naill ai i helpu i esbonio rhai ymddygiad neu fel y peth i gael ei hesbonio-wedyn yn gofyn fod yn briodol.
Ar gyfer triniaethau hyd llyfr ar gyfanswm gwall yr arolwg, gweler Groves et al. (2009) neu Weisberg (2005) . Am hanes datblygiad o gyfanswm y gwall yr arolwg, gweler Groves and Lyberg (2010) .
O ran cynrychiolaeth, yn gyflwyniad gwych i'r materion o ddiffyg ymateb a thuedd diffyg ymateb yw adroddiad y Cyngor Ymchwil Cenedlaethol ar Nonresponse mewn Arolygon Gwyddorau Cymdeithasol: Rhaglen Ymchwil (2013) . Trosolwg defnyddiol arall yn cael ei ddarparu gan (Groves 2006) . Hefyd, mae materion arbennig cyfan y Journal of Ystadegau Swyddogol, Barn Chwarterol Cyhoeddus, a The Annals yr Academi Americanaidd o Gwleidyddol a Gwyddorau Cymdeithasol wedi cael eu cyhoeddi ar y pwnc o ddiffyg ymateb. Yn olaf, mae mewn gwirionedd llawer o ffyrdd gwahanol o gyfrifo'r gyfradd ymateb; dulliau hyn yn cael eu disgrifio yn fanwl mewn adroddiad gan y Gymdeithas America Barn y Cyhoedd Ymchwilwyr (AAPOR) (Public Opinion Researchers} 2015) .
Mae'r 1936 pôl Llenyddol Digest wedi cael ei astudio yn fanwl (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Mae hefyd wedi cael ei ddefnyddio fel dameg i rybuddio yn erbyn casglu data ar hap (Gayo-Avello 2011) . Yn 1936, defnyddiodd George Gallup ffurf fwy soffistigedig o samplu, ac yn gallu cynhyrchu amcangyfrifon mwy cywir gyda sampl llawer llai. Llwyddiant Gallup dros y Digest Lenyddol yn garreg filltir datblygu ymchwil arolwg (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .
O ran mesur, yn adnodd cyntaf gwych ar gyfer holiaduron dylunio yw Bradburn, Sudman, and Wansink (2004) . Am driniaeth fwy datblygedig canolbwyntio'n benodol ar gwestiynau agwedd, gweler Schuman and Presser (1996) . Mwy am gwestiynau cyn profion ar gael yn Presser and Blair (1994) , Presser et al. (2004) , a Phennod 8 y Groves et al. (2009) .
Mae'r driniaeth clasurol, llyfrau hyd y cyfaddawd rhwng costau arolwg a gwallau arolwg Groves (2004) .
Classic driniaeth llyfrau hyd y samplu tebygolrwydd safonol ac amcangyfrif yn Lohr (2009) (mwy rhagarweiniol) a Särndal, Swensson, and Wretman (2003) (uwch). Mae triniaeth llyfrau hyd clasurol o ddulliau ôl-haeniad ac cysylltiedig yw Särndal and Lundström (2005) . Mewn rhai lleoliadau oes ddigidol, ymchwilwyr yn gwybod cryn dipyn am nad ydynt yn ymatebwyr, nad oedd yn aml yn wir yn y gorffennol. Gwahanol fathau o addasiad nad ydynt yn ymateb yn bosibl pan fydd ymchwilwyr yn cael gwybodaeth am nad ydynt yn ymatebwyr (Kalton and Flores-Cervantes 2003; Smith 2011) .
Mae'r astudiaeth Xbox o Wang et al. (2015) yn defnyddio techneg o'r enw atchweliad aml-lefel ac ôl-haeniad (MRP, a elwir weithiau yn "Mister P") sy'n caniatáu i ymchwilwyr i amcangyfrif gell yn golygu hyd yn oed pan mae llawer, llawer o gelloedd. Er bod rhywfaint o drafodaeth am ansawdd yr amcangyfrifon o'r dechneg hon, mae'n ymddangos fel ardal addawol i archwilio. Defnyddiwyd y dechneg cyntaf ym Park, Gelman, and Bafumi (2004) , a bu defnydd a dadl ddilynol (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Am fwy ar y cysylltiad rhwng pwysau unigol a phwysau sy'n seiliedig ar gell-gweler Gelman (2007) .
Ar gyfer dulliau eraill o arolygon ar y we bwysoli, gweler Schonlau et al. (2009) , Valliant and Dever (2011) , a Bethlehem (2010) .
Paru Sampl Cynigiwyd gan Rivers (2007) . Bethlehem (2015) yn dadlau y bydd perfformiad paru sampl mewn gwirionedd fod yn debyg i ddulliau eraill samplo (ee, samplu haenedig) a dulliau addasiad eraill (ee, ar ôl haeniad). Am fwy ar baneli ar-lein, gweler Callegaro et al. (2014) .
Weithiau mae ymchwilwyr wedi canfod bod samplau tebygolrwydd a samplau nad ydynt yn tebygolrwydd cynhyrchu amcangyfrifon o ansawdd tebyg (Ansolabehere and Schaffner 2014) , ond mae cymariaethau eraill wedi canfod bod samplau nad ydynt yn tebygolrwydd yn gwneud yn waeth (Malhotra and Krosnick 2007; Yeager et al. 2011) . Un rheswm posibl am y gwahaniaethau hyn yw bod samplau nad ydynt yn tebygolrwydd wedi gwella dros gyfnod o amser. I gael golwg mwy pesimistaidd o ddulliau samplu di-debygolrwydd yn gweld y Tasglu y AAPOR ar Samplo Di-tebygolrwydd (Baker et al. 2013) , ac yr wyf hefyd yn argymell darllen y sylwebaeth sy'n dilyn yr adroddiad cryno.
Am meta-ddadansoddiad ar effaith pwysoli er mwyn lleihau rhagfarn mewn samplau nad ydynt yn tebygolrwydd, gweler Tabl 2.4 yn Tourangeau, Conrad, and Couper (2013) , sy'n arwain yr awduron i'r casgliad "yn ymddangos i fod yn addasiadau cywiriadau defnyddiol ond ffaeledig. . . "
Conrad and Schober (2008) yn darparu cyfrol a olygwyd dwyn y teitl Envisioning y Cyfweliad Arolwg y Dyfodol, ac mae'n mynd i'r afael llawer o'r themâu yn yr adran hon. Couper (2011) yn mynd i'r afael themâu tebyg, a Schober et al. (2015) yn cynnig esiampl neis o sut y gall dulliau casglu data sydd wedi'u teilwra i leoliad newydd yn arwain at ddata o ansawdd uwch.
Er enghraifft ddiddorol arall o ddefnyddio apps Facebook ar gyfer arolygon yn y gwyddorau cymdeithasol, gweler Bail (2015) .
I gael rhagor o gyngor ar wneud arolygon yn brofiad pleserus a gwerthfawr ar gyfer cyfranogwyr, weld gwaith ar y Dull wedi'i Deilwra Dylunio (Dillman, Smyth, and Christian 2014) .
Stone et al. (2007) yn cynnig triniaeth hyd llyfr asesu momentary ecolegol a dulliau cysylltiedig.
Judson (2007) yn disgrifio'r broses o gyfuno arolygon a data gweinyddol fel "integreiddio gwybodaeth," yn trafod rhai manteision y dull hwn, ac yn cynnig rhai enghreifftiau.
Ffordd arall y gall ymchwilwyr yn defnyddio olion digidol a data gweinyddol yn ffrâm samplu ar gyfer pobl sydd â nodweddion penodol. Fodd bynnag, gael mynediad at y cofnodion hyn i gael ei ddefnyddio ffrâm samplo gall hefyd greu cwestiynau yn ymwneud â phreifatrwydd (Beskow, Sandler, and Weinberger 2006) .
O ran gofyn mwyhau, nid yw'r dull hwn mor newydd ag y gallai fod yn ymddangos o sut rydw i wedi ei ddisgrifio. Mae gan y dull hwn gysylltiadau dwfn i dri maes mawr yn seiliedig ar ystadegau-model ôl-haeniad (Little 1993) , phriodoli (Rubin 2004) , ac amcangyfrif ardal fach (Rao and Molina 2015) . Mae hefyd yn gysylltiedig â defnydd o newidynnau dirprwyol mewn ymchwil feddygol (Pepe 1992) .
Yn ychwanegol at y materion moesegol ynghylch cael mynediad i'r data olrhain digidol, gallai gofyn chwyddo hefyd ei ddefnyddio i gasglu nodweddion sensitif y gallai nad yw pobl yn dewis i ddatgelu mewn arolwg (Kosinski, Stillwell, and Graepel 2013) .
Mae'r amcangyfrifon cost ac amser yn Blumenstock, Cadamuro, and On (2015) yn cyfeirio mwy at newidyn cost-y gost o un costau arolwg ac ychwanegol nid ydynt yn cynnwys sefydlog megis y gost i lanhau a phrosesu'r data alwad. Yn gyffredinol, bydd gofyn chwyddo yn ôl pob tebyg yn cael costau sefydlog uchel a chostau amrywiol isel tebyg i arbrofion digidol (gweler Pennod 4). Mwy o fanylion am y data a ddefnyddiwyd yn Blumenstock, Cadamuro, and On (2015) papur yn Blumenstock and Eagle (2010) a Blumenstock and Eagle (2012) . Dulliau o imputuation lluosog (Rubin 2004) a allai helpu i ddal ansicrwydd yn yr amcangyfrifon o ofyn chwyddo. Os ymchwilwyr dod ymlaen chwyddo yn gofyn dim ond poeni am cyfrifiadau agregau, yn hytrach na nodweddion ar lefel unigol, yna bydd y dulliau yn King and Lu (2008) a Hopkins and King (2010) efallai o ddefnydd. Am fwy o wybodaeth am y dulliau dysgu peiriant yn Blumenstock, Cadamuro, and On (2015) , gweler James et al. (2013) (mwy rhagarweiniol) neu Hastie, Tibshirani, and Friedman (2009) (uwch). Arall gwerslyfr dysgu peiriant poblogaidd yw Murphy (2012) .
O ran gofyn cyfoethogi, mae'r canlyniadau yn Ansolabehere a Hersh (2012) dibynnu ar ddau gam allweddol: 1) y gallu Catalist i gyfuno nifer o ffynonellau data gwahanol i gynhyrchu meistr ffeil ddata cywir a 2) y gallu Catalist i gysylltu'r data arolwg i ei feistr ffeil ddata. Felly, Ansolabehere a Hersh yn gwirio pob un o'r camau hyn yn ofalus.
I greu'r meistr ffeil ddata, Catalist cyfuno ac harmonizes gwybodaeth o nifer o wahanol ffynonellau gan gynnwys: cofnodion pleidleisio lluosog cipluniau o bob wladwriaeth, data o Swyddfa'r Post Newid Genedlaethol Gofrestrfa Cyfeiriad, a data o ddarparwyr masnachol amhenodol eraill. Mae'r manylion gwaedlyd am sut i gyd glanhau hon ac uno yn digwydd y tu hwnt i gwmpas y llyfr hwn, ond y broses hon, ni waeth pa mor ofalus, bydd propagate gwallau yn y ffynonellau data gwreiddiol a bydd yn cyflwyno camgymeriadau. Er Catalist yn barod i drafod ei brosesu data a darparu rhai o'i data crai, roedd yn syml amhosibl i ymchwilwyr i adolygu'r cyfan biblinell data Catalist. Yn hytrach, roedd yr ymchwilwyr mewn sefyllfa lle'r oedd gan y ffeil ddata Catalist rhai anhysbys, ac efallai anwybodadwy, faint o gamgymeriadau. Mae hyn yn bryder difrifol oherwydd gallai beirniad dyfalu bod y gwahaniaethau mawr rhwng yr adroddiadau arolwg ar y CCES ac ymddygiad yn y ffeil meistr data Catalist eu hachosi gan wallau yn y ffeil meistr data, nid trwy gam-adrodd gan ymatebwyr.
Cymerodd Ansolabehere a Hersh dau ddull gwahanol o fynd i'r afael â'r pryder ansawdd data. parti cyntaf, yn ogystal â gymharu pleidleisio hunan-gofnodedig i bleidleisio yn y meistr ffeil Catalist, mae'r ymchwilwyr hefyd cymharu hunan-gofnodedig, hil, statws cofrestru pleidleiswyr (ee, gofrestru neu heb ei gofrestru) dull pleidleisio a (ee, yn bersonol, absennol pleidlais, ac ati) i werthoedd y rhai a geir yn y cronfeydd data Catalist. Ar gyfer y pedwar newidyn demograffig, canfu'r ymchwilwyr lefelau llawer uwch o gytundeb rhwng adroddiad yr arolwg a data yn y ffeil meistr Catalist nag ar gyfer pleidleisio. Felly, mae'n ymddangos bod y brif ffeil data Catalist i gael gwybodaeth o ansawdd uchel ar gyfer nodweddion ar wahân i bleidleisio, gan awgrymu nad yw o ansawdd cyffredinol gwael. Yn ail, yn rhannol trwy ddefnyddio data o Catalist, a ddatblygwyd Ansolabehere a Hersh dri mesur gwahanol o ansawdd y cofnodion pleidleisio sir, ac maent yn gweld bod y gyfradd amcangyfrifedig o dros-adrodd o bleidleisio yn ei hanfod amherthnasol i unrhyw un o'r mesurau ansawdd data hyn, ganfod bod awgrymu nad yw'r cyfraddau uchel o or-adrodd yn cael eu gyrru gan siroedd ag ansawdd data anarferol o isel.
O ystyried y ffeil pleidleisio meistr creu, yr ail ffynhonnell o wallau posibl yn cysylltu cofnodion arolwg iddo. Er enghraifft, os cysylltiad gwneir hyn yn anghywir gallai arwain at or-amcangyfrif o'r gwahaniaeth rhwng ymddygiad pleidleisio hadrodd a'u dilysu (Neter, Maynes, and Ramanathan 1965) . Pe bai pob person dynodwr sefydlog, unigryw a oedd yn y ddau ffynonellau data, yna byddai cysylltiad yn ddibwys. Yn y gwledydd eraill yr Unol Daleithiau ac mae'r rhan fwyaf, fodd bynnag, nid oes unrhyw dynodwr cyffredinol. Ymhellach, hyd yn oed os nad oedd y fath byddai dynodwr bobl yn ôl pob tebyg fod yn betrus ei darparu i arolygu ymchwilwyr! Felly, roedd gan Catalist i wneud y cysylltiad gan ddefnyddio dynodwyr amherffaith, yn yr achos pedwar darn o wybodaeth am bob ymatebydd: enw, rhyw, blwyddyn geni, a chyfeiriad cartref. Er enghraifft, roedd Catalist i benderfynu a yw'r Homie J Simpson yn y CCES oedd yr un person â'r Homer Jay Simpson yn eu ffeil meistr data. Yn ymarferol, cyfateb yn broses anodd a flêr, ac, i wneud pethau'n waeth ar gyfer yr ymchwilwyr, Catalist ystyried ei dechneg cyfateb i fod yn berchnogol.
Er mwyn dilysu algorithmau paru, maent yn dibynnu ar ddwy her. Yn gyntaf, Catalist cymryd rhan mewn cystadleuaeth paru a oedd redeg gan annibynnol, trydydd parti: y Mitre Corporation. Darperir MITRE holl gyfranogwyr dau ffeiliau data swnllyd i gael eu paru, a gwahanol dimau yn cystadlu i ddychwelyd i'r MITRE cyfateb orau. Gan fod MITRE ei hun yn gwybod paru cywir roeddent yn gallu sgorio'r timau. O blith y 40 o gwmnïau sy'n cystadlu, daeth Catalist yn ail. Mae'r math hwn o werthusiad annibynnol, trydydd-parti technoleg perchnogol yn eithaf prin ac yn hynod o werthfawr; dylai roi hyder i ni fod gweithdrefnau paru Catalist yn eu hanfod yn y wladwriaeth-of-the-celf. Ond a yw cyflwr-of-the-celf ddigon da? Yn ychwanegol at y gystadleuaeth paru hwn, a grëwyd Ansolabehere a Hersh eu her cyfateb eu hunain ar gyfer Catalist. O prosiect cynharach, Ansolabehere ac Hersh wedi casglu cofnodion pleidleiswyr o Florida. Maent yn darparu rhai o'r cofnodion hyn gyda rhai o'u meysydd redacted i Catalist ac yna cymharu adroddiadau'r Catalist o'r meysydd hyn at eu gwerthoedd gwirioneddol. Yn ffodus, mae adroddiadau Catalist oedd yn agos at y gwerthoedd dal yn ôl, gan nodi y gallai Catalist cyfateb cofnodion pleidleisiwr rhannol ar eu ffeil meistr data. Mae'r ddwy her, un gan drydydd parti ac un gan Ansolabehere a Hersh, yn rhoi mwy o hyder yn y algorithmau cyfateb Catalist ni, hyd yn oed er na allwn adolygu eu union gweithredu ein hunain.
Bu llawer o ymdrechion blaenorol i ddilysu pleidleisio. I gael trosolwg o lenyddiaeth hynny, gweler Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , a Hanmer, Banks, and White (2014) .
Mae'n bwysig nodi, er yn yr achos hwn ymchwilwyr yn cael eu hannog gan ansawdd y data o Catalist, gwerthusiadau eraill o werthwyr masnachol wedi bod yn llai brwdfrydig. Mae ymchwilwyr wedi dod o hyd o ansawdd gwael pan fydd data o arolwg i ddefnyddiwr-ffeil o Grŵp Systemau Marchnata (a unodd ei hun ynghyd ddata o dri darparwr: Acxiom, Experian, a InfoUSA) (Pasek et al. 2014) . Hynny yw, y ffeil ddata ddim yn cyfateb ymatebion i'r arolwg bod ymchwilwyr a ddisgwylir i fod yn gywir, mae'r ffeil ddata wedi data ar gyfer nifer fawr o gwestiynau, ac mae'r patrwm data coll ar goll yn cydberthyn i werth yr arolwg adroddwyd (mewn geiriau eraill y data coll yn systematig , nid ar hap).
Am fwy ar gofnod cysylltiad rhwng arolygon a data gweinyddol, gweler Sakshaug and Kreuter (2012) a Schnell (2013) . I gael mwy o wybodaeth am gysylltu cofnodion yn gyffredinol, gweler Dunn (1946) a Fellegi and Sunter (1969) (hanesyddol) a Larsen and Winkler (2014) (modern). Dulliau tebyg hefyd wedi cael eu datblygu mewn gwyddoniaeth gyfrifiadurol o dan yr enwau megis deduplication data, adnabod enghraifft, cyfateb enw, canfod dyblyg, a dyblyg cofnod canfod (Elmagarmid, Ipeirotis, and Verykios 2007) . Mae yna hefyd preifatrwydd cadw dulliau i gofnodi cysylltedd nad oes angen trosglwyddo gwybodaeth adnabod yn bersonol (Schnell 2013) . Mae ymchwilwyr ym Facebook datblygu gweithdrefn i gysylltu eu cofnodion probabilisticsly i ymddygiad pleidleisio (Jones et al. 2013) ; cysylltiad gwnaed hyn i werthuso arbrawf y byddaf yn dweud wrthych am ym Mhennod 4 (Bond et al. 2012) .
Enghraifft arall o gysylltu arolwg cymdeithasol ar raddfa fawr i gofnodion gweinyddol y llywodraeth yn dod o Arolwg Ymddeol Iechyd a Gweinyddu Nawdd Cymdeithasol. I gael mwy o wybodaeth am yr astudiaeth honno, gan gynnwys gwybodaeth am y weithdrefn ganiatâd, gweler Olson (1996) a Olson (1999) .
Mae'r broses o gyfuno llawer o ffynonellau cofnodion gweinyddol i mewn yn feistr datafile-broses y Catalist gweithwyr-yn gyffredin yn y swyddfeydd ystadegol rhai llywodraethau cenedlaethol. Mae dau ymchwilwyr o Ystadegau Sweden wedi ysgrifennu llyfr manwl ar y pwnc (Wallgren and Wallgren 2007) . Am enghraifft o'r dull hwn mewn sir sengl yn yr Unol Daleithiau (Olmstead Sir, Minnesota, cartref y Clinig Mayo), gweler Sauver et al. (2011) . Am fwy ar wallau a all ymddangos mewn cofnodion gweinyddol, gweler Groen (2012) .