Beth i'w ddarllen nesaf

• Cyflwyniad (adran 3.1)

Adleisiwyd llawer o'r themâu yn y bennod hon hefyd mewn cyfeiriadau arlywyddol diweddar yng Nghymdeithas Ymchwil Cyhoeddus y Cyhoedd (AAPOR), fel y rhai gan Dillman (2002) , Newport (2011) , Santos (2014) , a Link (2015) .

Am ragor o wybodaeth am y gwahaniaethau rhwng ymchwil arolwg a chyfweliadau manwl, gweler Small (2009) . Yn gysylltiedig â chyfweliadau manwl, mae teulu o ddulliau o'r enw ethnograffeg. Mewn ymchwil ethnograffig, mae ymchwilwyr yn treulio llawer mwy o amser yn gyffredinol gyda chyfranogwyr yn eu hamgylchedd naturiol. Am ragor o wybodaeth am y gwahaniaethau rhwng ethnograffeg a chyfweliadau manwl, gweler Jerolmack and Khan (2014) . Am ragor o wybodaeth am ethnograffeg ddigidol, gweler Pink et al. (2015) .

Mae fy disgrifiad o hanes ymchwil arolwg yn rhy rhy fyr i gynnwys llawer o'r datblygiadau cyffrous sydd wedi digwydd. Am fwy o gefndir hanesyddol, gweler Smith (1976) , Converse (1987) , a Igo (2008) . I gael mwy o wybodaeth am dri munud o ymchwil arolwg, gweler Groves (2011) a Dillman, Smyth, and Christian (2008) (sy'n torri'r tri darn ychydig yn wahanol).

Groves and Kahn (1979) cynnig golwg o fewn y cyfnod pontio o'r cyntaf i'r ail gyfnod yn yr ymchwil arolwg trwy wneud cymhariaeth fanwl pen-i-ben rhwng arolwg wyneb yn wyneb a ffōn. ( ??? ) edrych yn ôl ar ddatblygiad hanesyddol dulliau samplu deialu ar-ddigid.

Am fwy o sut mae ymchwil arolwg wedi newid yn y gorffennol mewn ymateb i newidiadau yn y gymdeithas, gweler Tourangeau (2004) , ( ??? ) , a Couper (2011) .

• Gofyn yn erbyn arsylwi (adran 3.2)

Mae seicolegwyr (ee, Baumeister, Vohs, and Funder (2007) ) a chymdeithasegwyr (ee, Jerolmack and Khan (2014) ; Maynard (2014) ; Cerulo (2014) ; Vaisey (2014) ; Jerolmack and Khan (2014) ]. Mae'r gwahaniaeth rhwng gofyn ac arsylwi hefyd yn codi mewn economeg, lle mae ymchwilwyr yn siarad am y dewisiadau a ddatganwyd a datgelwyd. Er enghraifft, gallai ymchwilydd ofyn i ymatebwyr a yw'n well ganddynt fwyta hufen iâ neu fynd i'r gampfa (dewisiadau a nodwyd), neu gallant arsylwi pa mor aml y mae pobl yn bwyta hufen iâ ac yn mynd i'r gampfa (dewisiadau a ddatgelir). Mae amheuaeth ddwys am rai mathau o ddata dewisiadau datganedig mewn economeg fel y disgrifir yn Hausman (2012) .

Prif thema o'r dadleuon hyn yw nad yw'r ymddygiad a adroddir bob amser yn gywir. Ond, fel y disgrifiwyd ym mhennod 2, efallai na fydd ffynonellau data mawr yn gywir, efallai na chaiff eu casglu ar sampl o ddiddordeb, ac efallai na fyddant yn hygyrch i ymchwilwyr. Felly, rwy'n credu y gall, mewn rhai sefyllfaoedd, adrodd ymddygiad fod yn ddefnyddiol. Ymhellach, ail brif thema o'r dadleuon hyn yw nad yw adroddiadau am emosiynau, gwybodaeth, disgwyliadau a barn bob amser yn gywir. Ond, os oes angen ymchwilwyr am wybodaeth am y datganiadau mewnol hyn-naill ai i helpu i esbonio rhywfaint o ymddygiad neu fel y peth i'w esbonio-yna gall gofyn fod yn briodol. Wrth gwrs, gall dysgu am wladwriaethau mewnol drwy ofyn cwestiynau fod yn broblem oherwydd weithiau nid yw'r ymatebwyr eu hunain yn ymwybodol o'u gwladwriaethau mewnol (Nisbett and Wilson 1977) .

• Cyfanswm gwall arolwg (adran 3.3)

Mae Pennod 1 o Groves (2004) yn swydd ardderchog sy'n cysoni terminoleg anghyson o bryd i'w gilydd a ddefnyddir gan ymchwilwyr arolwg i ddisgrifio cyfanswm fframwaith gwallau'r arolwg. Am driniaeth hyd llyfr o gyfanswm fframwaith gwallau'r arolwg, gweler Groves et al. (2009) , ac am drosolwg hanesyddol, gweler Groves and Lyberg (2010) .

Mae'r syniad o ddadelfennu camgymeriadau i ragfarn ac amrywiant hefyd yn dod i fyny mewn dysgu peiriannau; gweler, er enghraifft, adran 7.3 o Hastie, Tibshirani, and Friedman (2009) . Mae hyn yn aml yn arwain ymchwilwyr i sôn am fasnachu "diferu rhagfarn".

O safbwynt cynrychiolaeth, cyflwyniad gwych i'r materion nad ydynt yn ymateb ac yn rhagfarnu nad ydynt yn ymateb yw adroddiad y Cyngor Ymchwil Cenedlaethol Anhysbysrwydd mewn Arolygon Gwyddoniaeth Gymdeithasol: Agenda Ymchwil (2013) . Darperir trosolwg defnyddiol arall gan Groves (2006) . Hefyd, cyhoeddwyd materion arbennig cyfan o Journal of Official Statistics , Public Opinion Quarterly , ac Annals Academi Gwyddor Gwleidyddol a Chymdeithasol America ar y pwnc nad oeddent yn ymateb. Yn olaf, mewn gwirionedd mae sawl ffordd wahanol o gyfrifo'r gyfradd ymateb; disgrifir y dulliau hyn yn fanwl mewn adroddiad gan Gymdeithas Ymchwilwyr Barn Gyhoeddus America (AAPOR) ( ??? ) .

Am ragor o wybodaeth ar arolwg Poll Cryno 1936, gweler Bryson (1976) , Squire (1988) , Cahalan (1989) , a Lusinchi (2012) . Am drafodaeth arall o'r arolwg hwn fel rhybudd dameg yn erbyn casglu data haphazard, gweler Gayo-Avello (2011) . Yn 1936, defnyddiodd George Gallup ffurf samplu fwy soffistigedig a llwyddodd i gynhyrchu amcangyfrifon mwy cywir gyda sampl llawer llai. Roedd llwyddiant Gallup dros y Crynhoad Llenyddol yn garreg filltir wrth ddatblygu ymchwil arolwg fel y disgrifir ym mhennod 3 o @ converse_survey_1987; pennod 4 o Ohmer (2006) ; a phennod 3 o @ igo_averaged_2008.

O ran mesur, adnodd cyntaf gwych ar gyfer dylunio holiaduron yw Bradburn, Sudman, and Wansink (2004) . Am driniaethau mwy datblygedig, gweler Schuman and Presser (1996) , sy'n canolbwyntio'n benodol ar gwestiynau agwedd, a Saris and Gallhofer (2014) , sy'n fwy cyffredinol. Cymerir ymagwedd ychydig yn wahanol tuag at fesuriad mewn seicometrigau, fel y disgrifir yn ( ??? ) . Mae mwy o wybodaeth ar esgus ar gael yn Presser and Blair (1994) , Presser et al. (2004) , a pennod 8 o Groves et al. (2009) . Am ragor o wybodaeth ar arbrofion arolwg, gweler Mutz (2011) .

O ran y gost, y Groves (2004) yw'r driniaeth clasurol, hyd y llyfr o'r gwaharddiad rhwng costau arolwg a gwallau arolwg.

• Pwy i ofyn (adran 3.4)

Dau driniaeth lyfrau clasurol o samplu a amcangyfrif tebygolrwydd safonol yw Lohr (2009) (mwy rhagarweiniol) a Särndal, Swensson, and Wretman (2003) (mwy datblygedig). Särndal and Lundström (2005) yw triniaeth lyfrau clasurol o ddulliau ôl-haenau a dulliau cysylltiedig. Mewn rhai lleoliadau digidol, mae ymchwilwyr yn gwybod yn eithaf am nonrespondents, nad oedd yn aml yn wir yn y gorffennol. Mae gwahanol fathau o addasiadau di-ateb yn bosibl pan fo ymchwilwyr yn cael gwybodaeth am beidio ag Kalton and Flores-Cervantes (2003) , fel y disgrifiwyd gan Kalton and Flores-Cervantes (2003) a Smith (2011) .

Yr astudiaeth Xbox gan W. Wang et al. (2015) defnyddio techneg o'r enw atchweliad multilevel ac ôl-haenu ("Mr. P.") sy'n caniatáu i ymchwilwyr amcangyfrif grŵp golygu hyd yn oed pan fo llawer o grwpiau. Er bod rhywfaint o ddadl ynghylch ansawdd yr amcangyfrifon o'r dechneg hon, mae'n ymddangos fel ardal addawol i'w archwilio. Defnyddiwyd y dechneg gyntaf yn Park, Gelman, and Bafumi (2004) , a bu defnydd a dadl ddilynol (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Am ragor o wybodaeth am y cysylltiad rhwng pwysau unigol a phwysau grŵp, gweler Gelman (2007) .

Ar gyfer dulliau eraill o bwysoli arolygon gwe, gweler Schonlau et al. (2009) , Bethlehem (2010) , a Valliant and Dever (2011) . Gall paneli ar-lein ddefnyddio samplu tebygolrwydd neu samplu anhyblygrwydd. Am ragor o wybodaeth ar baneli ar-lein, gweler Callegaro et al. (2014) .

Weithiau, mae ymchwilwyr wedi canfod bod samplau tebygolrwydd ac samplau anhyblygrwydd yn cynhyrchu amcangyfrifon o ansawdd tebyg (Ansolabehere and Schaffner 2014) , ond mae cymariaethau eraill wedi canfod bod samplau nad ydynt yn debygol o wneud yn waeth (Malhotra and Krosnick 2007; Yeager et al. 2011) . Un rheswm posibl dros y gwahaniaethau hyn yw bod samplau nad ydynt yn debygol o fod wedi gwella dros amser. Am farn fwy pesimistaidd o ddulliau samplo nad yw'n debygol o weld, gweler Tasglu AAPOR ar Samplu Amherthnasol (Baker et al. 2013) , ac yr wyf hefyd yn argymell darllen y sylwebaeth sy'n dilyn yr adroddiad cryno.

• Sut i ofyn (adran 3.5)

Conrad and Schober (2008) yn gyfrol golygedig o'r enw Cyfweliad Arolwg o'r Dyfodol , ac mae'n cynnig amrywiaeth o safbwyntiau ynglŷn â dyfodol cwestiynau. Couper (2011) mynd i'r afael â themâu tebyg, a Schober et al. (2015) yn enghraifft braf o sut y gall dulliau casglu data sy'n cael eu teilwra i leoliad newydd arwain at ddata o ansawdd uwch. Schober and Conrad (2015) cynnig dadl fwy cyffredinol am barhau i addasu'r broses o ymchwil arolwg i gyd-fynd â newidiadau yn y gymdeithas.

Tourangeau and Yan (2007) adolygu materion o duedd dymunol cymdeithasol mewn cwestiynau sensitif, a Lind et al. (2013) cynnig rhai rhesymau posibl pam y gallai pobl ddatgelu gwybodaeth fwy sensitif mewn cyfweliad a weinyddir gan gyfrifiadur. Am ragor o wybodaeth am rôl cyfwelwyr dynol wrth gynyddu cyfraddau cyfranogiad mewn arolygon, gweler Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) , a Schaeffer et al. (2013) . Am ragor o wybodaeth am arolygon modd cymysg, gweler Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) cynnig triniaeth hir-lyfr o asesiad momentol ecolegol a dulliau cysylltiedig.

Am ragor o gyngor ar wneud arolygon yn brofiad pleserus a gwerthfawr i gyfranogwyr, gweler y gwaith ar y Dull Dylunio Teilwra (Dillman, Smyth, and Christian 2014) . Am enghraifft arall ddiddorol o ddefnyddio apps Facebook ar gyfer arolygon gwyddoniaeth gymdeithasol, gweler Bail (2015) .

• Arolygon sy'n gysylltiedig â ffynonellau data mawr (adran 3.6)

Judson (2007) disgrifio'r broses o gyfuno arolygon a data gweinyddol fel "integreiddio gwybodaeth" ac yn trafod rhai manteision y dull hwn, yn ogystal â chynnig rhai enghreifftiau.

O ran gofyn cyfoethog, bu llawer o ymdrechion blaenorol i ddilysu pleidleisio. Am drosolwg o'r llenyddiaeth honno, gweler Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) , a Berent, Krosnick, and Lupia (2016) . Gweler Berent, Krosnick, and Lupia (2016) am farn fwy amheus o'r canlyniadau a gyflwynwyd yn Ansolabehere and Hersh (2012) .

Mae'n bwysig nodi, er bod Ansolabehere a Hersh yn cael eu hannog gan ansawdd y data o Gatalydd, mae gwerthusiadau eraill o werthwyr masnachol wedi bod yn llai brwdfrydig. Pasek et al. (2014) dod o ansawdd gwael pan gymharwyd data o arolwg â ffeil ddefnyddiwr gan Marchnata Systemau Grŵp (a gyfunodd ei hun ddata gan dri darparwr: Acxiom, Experian, a InfoUSA). Hynny yw, nid oedd y ffeil ddata yn cyfateb i'r ymatebion i'r arolwg y mae ymchwilwyr yn disgwyl eu bod yn gywir, roedd gan y ffeil ddefnyddiwr ddata ar goll ar gyfer nifer fawr o gwestiynau, ac roedd y patrwm data coll wedi ei gydberthyn â gwerth yr arolwg a adroddwyd (mewn geiriau eraill, ar goll data yn systematig, nid ar hap).

Am fwy o gysylltiad rhwng arolygon a data gweinyddol, gweler Sakshaug and Kreuter (2012) a Schnell (2013) . Am fwy o gysylltiad cofnodi yn gyffredinol, gweler Dunn (1946) a Fellegi and Sunter (1969) (hanesyddol) a Larsen and Winkler (2014) (modern). Datblygwyd dulliau tebyg hefyd mewn cyfrifiaduron o dan enwau megis diddymu data, adnabod enghreifftiau, cyfateb enwau, canfod dyblyg, a chanfod cofnodion dyblyg (Elmagarmid, Ipeirotis, and Verykios 2007) . Mae yna ddulliau diogelu preifatrwydd hefyd i gofnodi cysylltiad nad oes angen trosglwyddo gwybodaeth yn bersonol yn ei adnabod (Schnell 2013) . Datblygodd ymchwilwyr ar Facebook weithdrefn er mwyn cysylltu eu cofnodion i ymddygiad pleidleisio yn wirfoddol (Jones et al. 2013) ; gwnaethpwyd y cysylltiad hwn i werthuso arbrawf y byddaf yn ei ddweud wrthych ym mhennod 4 (Bond et al. 2012) . Am ragor o wybodaeth am gael caniatâd ar gyfer cysylltu cofnodion, gweler Sakshaug et al. (2012) .

Daw enghraifft arall o gysylltu arolwg cymdeithasol ar raddfa fawr i gofnodion gweinyddol y llywodraeth o'r Arolwg Iechyd ac Ymddeol a'r Weinyddiaeth Nawdd Cymdeithasol. Am ragor o wybodaeth am yr astudiaeth honno, gan gynnwys gwybodaeth am y weithdrefn caniatâd, gweler Olson (1996, 1999) .

Mae'r broses o gyfuno nifer o ffynonellau o gofnodion gweinyddol i mewn i faes data meistr - y broses y mae Catalistig yn ei gyflogi - yn gyffredin yn swyddfeydd ystadegol rhai llywodraethau cenedlaethol. Mae dau ymchwilydd o Ystadegau Sweden wedi ysgrifennu llyfr manwl ar y pwnc (Wallgren and Wallgren 2007) . Am enghraifft o'r dull hwn mewn un sir yn yr Unol Daleithiau (Olmstead County, Minnesota; cartref Clinig Mayo), gweler Sauver et al. (2011) . Am ragor o wybodaeth am wallau a all ymddangos mewn cofnodion gweinyddol, gweler Groen (2012) .

Ffordd arall y gall ymchwilwyr ddefnyddio ffynonellau data mawr mewn ymchwil arolwg fel ffrâm samplu ar gyfer pobl â nodweddion penodol. Yn anffodus, gall yr ymagwedd hon godi cwestiynau sy'n ymwneud â phreifatrwydd (Beskow, Sandler, and Weinberger 2006) .

O ran gofyniad estynedig, nid yw'r ymagwedd hon mor newydd ag y gallai ymddangos o'r ffordd yr wyf wedi'i ddisgrifio. Mae ganddo gysylltiadau dwfn â thri maes mawr mewn ystadegau: ôl-haeniad model (Little 1993) , imputation (Rubin 2004) , ac amcangyfrif ardal fach (Rao and Molina 2015) . Mae hefyd yn gysylltiedig â'r defnydd o newidynnau ardystiedig mewn ymchwil feddygol (Pepe 1992) .

Mae'r amcangyfrifon cost ac amser yn Blumenstock, Cadamuro, and On (2015) cyfeirio mwy at gost amrywiol - cost un arolwg ychwanegol - ac nid ydynt yn cynnwys costau sefydlog megis cost glanhau a phrosesu data'r alwad. Yn gyffredinol, mae'n debyg y bydd gan ofyn wedi'i helaethu gostau sefydlog uchel a chostau amrywiol iawn tebyg i rai arbrofion digidol (gweler pennod 4). Am ragor o wybodaeth am arolygon ffôn symudol mewn gwledydd sy'n datblygu, gweler Dabalen et al. (2016) .

I syniadau ynglŷn â sut i wneud yn helaethu yn gofyn yn well, byddwn yn argymell dysgu mwy am ymhlyg lluosog (Rubin 2004) . Hefyd, pe bai ymchwilwyr yn gwneud mwy o ofyn am ofalu am gyfrifon cyfanredol, yn hytrach na nodweddion unigol, yna gallai'r dulliau yn King and Lu (2008) a Hopkins and King (2010) fod yn ddefnyddiol. Yn olaf, am fwy o wybodaeth am ddulliau dysgu peiriannau yn Blumenstock, Cadamuro, and On (2015) , gweler James et al. (2013) (mwy rhagarweiniol) neu Hastie, Tibshirani, and Friedman (2009) (mwy datblygedig).

Un mater moesegol ynglŷn â gofyn mwy estynedig yw y gellir ei ddefnyddio i gasglu nodweddion sensitif na allai pobl eu datgelu mewn arolwg fel y disgrifir yn Kosinski, Stillwell, and Graepel (2013) .