3.4 Pwy i ofyn
Mae'r oedran ddigidol yn golygu bod y samplu tebygolrwydd yn ymarferol yn galetach ac yn creu cyfleoedd newydd ar gyfer samplu anhyblyg.
Yn hanes samplu, bu dau ddull cystadleuol: dulliau samplu tebygolrwydd a dulliau samplu anhyblyg. Er bod y ddwy ymagwedd yn cael eu defnyddio yn ystod y dyddiau cynnar o samplu, mae'r samplu tebygolrwydd wedi dod i oruchafiaeth, ac mae llawer o ymchwilwyr cymdeithasol yn cael eu haddysgu i weld samplu anhyblygrwydd gydag amheuaeth fawr. Fodd bynnag, fel y disgrifiaf isod, mae newidiadau a grėwyd gan yr oes ddigidol yn golygu ei fod yn bryd i ymchwilwyr ailystyried samplu nad yw'n debygol o fod yn debygol. Yn benodol, mae samplu tebygolrwydd wedi bod yn anodd ei wneud yn ymarferol, ac mae samplu anhyblygrwydd wedi bod yn mynd yn gyflymach, yn rhatach, ac yn well. Nid yw arolygon cyflymach a rhataf yn dod i ben ynddynt eu hunain: maent yn galluogi cyfleoedd newydd fel arolygon mwy aml a meintiau sampl mwy. Er enghraifft, trwy ddefnyddio dulliau anhyblygrwydd, gall yr Astudiaeth Etholiad Cyngresiynol Cynweithredol (CCES) gael rhyw 10 gwaith yn fwy nag astudiaethau cynharach gan ddefnyddio samplu tebygolrwydd. Mae'r sampl llawer mwy hwn yn galluogi ymchwilwyr gwleidyddol i astudio amrywiad mewn agweddau ac ymddygiad ar draws is-grwpiau a chyd-destunau cymdeithasol. Ymhellach, daeth yr holl raddfa ychwanegol hon heb ostyngiad yn ansawdd yr amcangyfrifon (Ansolabehere and Rivers 2013) .
Ar hyn o bryd, y dull mwyaf amlwg o samplu ar gyfer ymchwil gymdeithasol yw samplu tebygolrwydd . Yn y samplu tebygolrwydd, mae gan holl aelodau'r boblogaeth darged debygolrwydd anhysbys o gael eu samplu, ac mae'r holl bobl sy'n cael eu samplu yn ymateb i'r arolwg. Pan fyddlonir yr amodau hyn, mae canlyniadau mathemategol cain yn cynnig gwarantau profadwy am allu ymchwilydd i ddefnyddio'r sampl i wneud casgliadau am y boblogaeth darged.
Yn y byd go iawn, fodd bynnag, anaml y byddlonir yr amodau sy'n sail i'r canlyniadau mathemategol hyn. Er enghraifft, mae gwallau a nonresponse yn aml yn cael eu cwmpasu. Oherwydd y problemau hyn, mae'n rhaid i ymchwilwyr aml gyflogi amrywiaeth o addasiadau ystadegol er mwyn gwneud eu sampl yn ôl i'w poblogaeth darged. Felly, mae'n bwysig gwahaniaethu rhwng samplu tebygolrwydd mewn theori , sydd â gwarantau damcaniaethol cryf, a samplu tebygolrwydd yn ymarferol , sy'n cynnig unrhyw warantau o'r fath ac yn dibynnu ar amrywiaeth o addasiadau ystadegol.
Dros amser, mae'r gwahaniaethau rhwng samplu tebygolrwydd mewn samplu theori a thebygolrwydd yn ymarferol wedi bod yn cynyddu. Er enghraifft, mae cyfraddau nonresponse wedi bod yn cynyddu'n raddol, hyd yn oed mewn arolygon drud o ansawdd uchel (ffigwr 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Mae cyfraddau di-ateb yn llawer uwch mewn arolygon ffôn masnachol - weithiau hyd yn oed mor uchel â 90% (Kohut et al. 2012) . Mae'r cynnydd hwn mewn nonresponse yn bygwth ansawdd yr amcangyfrifon gan fod yr amcangyfrifon yn dibynnu fwyfwy ar y modelau ystadegol y mae ymchwilwyr yn eu defnyddio i addasu ar gyfer anhwylderau. At hynny, mae'r gostyngiadau hyn mewn ansawdd wedi digwydd er gwaethaf ymdrechion cynyddol ddrud gan ymchwilwyr arolwg i gynnal cyfraddau ymateb uchel. Mae rhai pobl yn ofni bod y dueddiadau hyn o ran lleihau ansawdd a chost cynyddol yn bygwth sylfaen ymchwil arolwg (National Research Council 2013) .
Ffigur 3.5: Mae Nonresponse wedi bod yn gynyddol gyson, hyd yn oed mewn arolygon drud o ansawdd uchel (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Mae cyfraddau anghyfeiriad yn llawer uwch ar gyfer arolygon ffonau masnachol, weithiau hyd yn oed mor uchel â 90% (Kohut et al. 2012) . Mae'r tueddiadau hirdymor hyn mewn nonresponse yn golygu bod casglu data yn ddrutach ac mae amcangyfrifon yn llai dibynadwy. Addaswyd o BD Meyer, Mok, and Sullivan (2015) , ffigur 1.
Ar yr un pryd y bu anawsterau cynyddol ar gyfer dulliau samplu tebygolrwydd, bu datblygiadau cyffrous hefyd mewn dulliau samplu anhyblyg . Mae amrywiaeth o arddulliau o ddulliau samplu anhyblygrwydd, ond yr un peth sydd ganddynt yn gyffredin yw na allant ffitio'n hawdd yn y fframwaith mathemategol o samplu tebygolrwydd (Baker et al. 2013) . Mewn geiriau eraill, mewn dulliau samplu anhyblygrwydd, nid oes gan bawb tebygolrwydd cynhwysol a nonzero o gynhwysiant. Mae gan ddulliau samplu anhyblygrwydd enw da ofn ymhlith ymchwilwyr cymdeithasol ac maent yn gysylltiedig â rhai o fethiannau mwyaf dramatig ymchwilwyr arolwg, megis y ddiasg Crynhoad Llenyddol (a drafodwyd yn gynharach) a "Dewey Defeats Truman," y rhagfynegiad anghywir am yr Unol Daleithiau etholiadau arlywyddol 1948 (ffigwr 3.6).
Ffigwr 3.6: Arlywydd Harry Truman yn dal i fyny'r pennawd papur newydd a gyhoeddodd ei gosb yn anghywir. Seiliwyd y pennawd hwn yn rhannol ar amcangyfrifon o samplau anhyblyg (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Er bod "Dewey Defeats Truman" wedi digwydd ym 1948, mae'n dal i fod ymhlith y rheswm bod rhai ymchwilwyr yn amheus ynghylch amcangyfrifon o samplau nad ydynt yn debygol o fod. Ffynhonnell: Llyfrgell ac Amgueddfa Harry S. Truman .
Un math o samplu nad yw'n debygol o fod yn addas ar gyfer yr oes ddigidol yw defnyddio paneli ar - lein . Mae ymchwilwyr sy'n defnyddio paneli ar-lein yn dibynnu ar ddarparwr panel - fel arfer, cwmni, llywodraeth neu brifysgol - i adeiladu grŵp mawr, amrywiol o bobl sy'n cytuno i wasanaethu fel ymatebwyr am arolygon. Yn aml, caiff y cyfranogwyr panel hyn eu recriwtio gan ddefnyddio amrywiaeth o ddulliau ad hoc fel banner hysbysebion ar-lein. Yna, gall ymchwilydd dalu i ddarparwr y panel fynediad i sampl o ymatebwyr â nodweddion dymunol (ee, sy'n cynrychioli oedolion yn genedlaethol). Mae'r paneli ar-lein hyn yn ddulliau anhygoel oherwydd nad oes gan bawb debygolrwydd cynhwysfawr o gynhwysiant. Er bod paneli ar-lein nad ydynt yn debygol o gael eu defnyddio eisoes gan ymchwilwyr cymdeithasol (ee, CCES), mae yna ddadl o hyd am ansawdd yr amcangyfrifon sy'n deillio ohonynt (Callegaro et al. 2014) .
Er gwaethaf y dadleuon hyn, credaf fod dau reswm pam fod yr amser yn iawn i ymchwilwyr cymdeithasol ailystyried samplu nad yw'n debygol o fod yn debygol. Yn gyntaf, yn yr oes ddigidol, bu llawer o ddatblygiadau o ran casglu a dadansoddi samplau nad oeddent yn debygol o fod. Mae'r dulliau newydd hyn yn ddigon gwahanol o'r dulliau a achosodd broblemau yn y gorffennol y credaf ei bod yn gwneud synnwyr i feddwl amdanynt fel "samplu anhyblygdeb 2.0." Yr ail reswm pam y dylai ymchwilwyr ailystyried samplu anhyblygdeb yw bod samplu tebygolrwydd yn mae ymarfer yn dod yn fwyfwy anodd. Pan fo cyfraddau uchel o ymateb heb fod yn ymateb - gan fod arolygon go iawn nawr - ni wyddys tebygolrwydd gwirioneddol cynhwysiant i ymatebwyr, ac felly, nid yw samplau tebygolrwydd a samplau nad ydynt yn debygol o fod yn wahanol i lawer o ymchwilwyr sy'n credu.
Fel y dywedais yn gynharach, mae llawer o ymchwilwyr cymdeithasol yn edrych ar samplau anhyblygrwydd gydag amheuaeth fawr, yn rhannol oherwydd eu rôl mewn rhai o'r methiannau mwyaf embaras yn ystod dyddiau cynnar ymchwil yr arolwg. Enghraifft glir o ba mor bell yr ydym wedi dod â samplau anhyblyg yw ymchwil gan Wei Wang, David Rothschild, Sharad Goel, ac Andrew Gelman (2015) a adferodd yn gywir ganlyniad etholiad yr Unol Daleithiau yn 2012 gan ddefnyddio sampl anhyblyg o Defnyddwyr Americanaidd Xbox-sampl penderfynol o nonrandom o Americanwyr. Fe wnaeth yr ymchwilwyr recriwtio ymatebwyr o'r system hapchwarae XBox, ac fel y gallech ei ddisgwyl, mae'r menyw Xbox yn gwrywod a gwrywog ifanc: 18 i 29 oed yn ffurfio 19% o'r etholwyr ond 65% o'r sampl Xbox, a dynion yn ffurfio 47% o'r etholwyr ond 93% o'r sampl Xbox (ffigwr 3.7). Oherwydd y rhagfynegiadau demograffig cryf hyn, roedd y data Xbox amrwd yn ddangosydd gwael o ffurflenni etholiad. Roedd yn rhagweld buddugoliaeth gadarn i Mitt Romney dros Barack Obama. Unwaith eto, mae hon yn enghraifft arall o beryglon samplau amhriodol amhriodol amrwd, ac mae'n atgoffa'r ddiasg Crynhoad Llenyddol .
Ffigwr 3.7: Demograffeg yr ymatebwyr yn W. Wang et al. (2015) . Oherwydd bod yr ymatebwyr wedi'u recriwtio o XBox, roeddent yn fwy tebygol o fod yn ifanc ac yn fwy tebygol o fod yn wryw, yn gymharol i bleidleiswyr yn etholiad 2012. Addaswyd o W. Wang et al. (2015) , ffigur 1.
Fodd bynnag, roedd Wang a chydweithwyr yn ymwybodol o'r problemau hyn ac yn ceisio addasu ar gyfer eu proses samplu di-hap wrth wneud amcangyfrifon. Yn benodol, roeddent yn defnyddio ôl-haenu , techneg sydd hefyd yn cael ei ddefnyddio'n eang i addasu samplau tebygolrwydd sydd â gwallau cwmpasu ac nad ydynt yn ymateb.
Y prif syniad o ôl-haenu yw defnyddio gwybodaeth ategol am y boblogaeth darged i helpu i wella'r amcangyfrif sy'n dod o sampl. Wrth ddefnyddio haeniad ôl-lunio i wneud amcangyfrifon o'u sampl anhyblyg, gwnaeth Wang a chydweithiwr dorri'r boblogaeth i wahanol grwpiau, amcangyfrifwyd y gefnogaeth i Obama ym mhob grŵp, ac yna cymerodd gyfartaledd pwysol o amcangyfrifon y grŵp i gynhyrchu amcangyfrif cyffredinol. Er enghraifft, gallent fod wedi rhannu'r boblogaeth yn ddau grŵp (dynion a menywod), amcangyfrifwyd y gefnogaeth i Obama ymhlith dynion a menywod, ac yna amcangyfrifwyd cefnogaeth gyffredinol i Obama trwy gymryd cyfartaledd pwysol er mwyn rhoi cyfrif am y ffaith bod menywod yn ei wneud i fyny 53% o'r etholwyr a dynion 47%. Mae ychydig, ôl-haenau yn helpu i gywiro sampl anghydbwysedd trwy ddod â gwybodaeth ategol am faint y grwpiau.
Yr allwedd i ôl-haenu yw ffurfio'r grwpiau cywir. Os gallwch chi dorri'r boblogaeth yn grwpiau homogenaidd fel bod y tueddiadau ymateb yr un fath i bawb ym mhob grŵp, yna bydd ôl-haenu yn cynhyrchu amcangyfrifon diduedd. Mewn geiriau eraill, bydd ôl-stratifying yn ôl rhyw yn cynhyrchu amcangyfrifon diduedd os yw'r holl ymatebion i bob dyn ac mae gan bob menyw yr un ymateb. Gelwir y rhagdybiaeth hon yn rhagdybiaeth homogenaidd-ymateb-propensiynau-o fewn grwpiau , ac rwy'n ei ddisgrifio ychydig yn fwy yn y nodiadau mathemategol ar ddiwedd y bennod hon.
Wrth gwrs, ymddengys yn annhebygol y bydd yr ymatebion yr un fath ar gyfer pob dyn a phob merch. Fodd bynnag, mae'r rhagdybiaeth homogeneous-response-propensities-within-groups yn dod yn fwy cymhleth wrth i'r nifer o grwpiau gynyddu. Yn fras, mae'n haws i dorri'r boblogaeth yn grwpiau homogenaidd os ydych chi'n creu mwy o grwpiau. Er enghraifft, gallai ymddangos yn anhygoel bod yr holl fenywod yn cael yr un ymateb, ond mae'n debyg y byddai'n fwy tebygol bod yr un ymateb i bob merch sy'n 18-29 oed, sy'n graddio o'r coleg, ac sy'n byw yng Nghaliffornia . Felly, gan fod nifer y grwpiau a ddefnyddir mewn haenau ôl-radd yn mynd yn fwy, mae'r rhagdybiaethau sydd eu hangen i gefnogi'r dull yn dod yn fwy rhesymol. O ystyried y ffaith hon, mae ymchwilwyr yn aml yn awyddus i greu nifer fawr o grwpiau ar gyfer haenau ôl-estynedig. Fodd bynnag, wrth i'r nifer o grwpiau gynyddu, mae ymchwilwyr yn broblem wahanol: gwasgaredig data. Os mai dim ond nifer fach o bobl ym mhob grŵp, yna bydd yr amcangyfrifon yn fwy ansicr, ac yn yr achos eithafol lle mae grŵp nad oes ganddo unrhyw ymatebwyr, yna bydd yr ôl-haenau yn torri'n llwyr.
Mae dwy ffordd y tu allan i'r tensiwn cynhenid hwn rhwng plausibility y rhagdybiaeth homogeneous-response-propensity-within-groups a'r galw am samplau rhesymol ym mhob grŵp. Yn gyntaf, gall ymchwilwyr gasglu sampl mwy, mwy amrywiol, sy'n helpu i sicrhau meintiau sampl rhesymol ym mhob grŵp. Yn ail, gallant ddefnyddio model ystadegol mwy soffistigedig ar gyfer gwneud amcangyfrifon o fewn grwpiau. Ac, mewn gwirionedd, weithiau mae ymchwilwyr yn gwneud y ddau, fel y gwnaeth Wang a chydweithwyr â'u hastudiaeth o'r etholiad gan ddefnyddio ymatebwyr o Xbox.
Oherwydd eu bod yn defnyddio dull samplu anhyblygrwydd gyda chyfweliadau a weinyddir gan gyfrifiadur (byddaf yn siarad mwy am gyfweliadau a weinyddir gan gyfrifiaduron yn adran 3.5), roedd gan Wang a chydweithwyr gasgliad data rhad iawn, a oedd yn eu galluogi i gasglu gwybodaeth o 345,858 o gyfranogwyr unigryw , nifer enfawr gan safonau pleidleisio etholiadau. Roedd y maint sampl enfawr hwn yn eu galluogi i ffurfio nifer enfawr o grwpiau ôl-haenau. Er y bydd ôl-haenu fel arfer yn golygu torri'r boblogaeth i mewn i gannoedd o grwpiau, rhannodd Wang a chydweithwyr y boblogaeth i 176,256 o grwpiau a ddiffinnir yn ôl rhyw (2 gategori), hil (4 categori), oedran (4 categori), addysg (4 categori), wladwriaeth (51 categori), ID parti (3 categori), ideoleg (3 categori), a phleidlais 2008 (3 categori). Mewn geiriau eraill, roedd eu maint sampl enfawr, a gafodd ei alluogi gan gasglu data cost isel, yn eu galluogi i wneud rhagdybiaeth mwy annhebygol yn eu proses amcangyfrif.
Hyd yn oed gyda 345,858 o gyfranogwyr unigryw, fodd bynnag, roedd llawer o grwpiau o hyd, ac nid oedd gan Wang a chydweithwyr bron unrhyw ymatebwyr. Felly, defnyddiant dechneg o'r enw atchweliad aml-wely i amcangyfrif y gefnogaeth ym mhob grŵp. Yn y bôn, i amcangyfrif y gefnogaeth i Obama o fewn grŵp penodol, mae'r wybodaeth atchweliad amlgyffelyb wedi'i gyfuno gan lawer o grwpiau perthynol agos. Er enghraifft, dychmygwch geisio amcangyfrif y gefnogaeth i Obama ymhlith pobl ifanc Hispanics rhwng 18 a 29 mlwydd oed, sy'n raddedigion coleg, sydd yn Ddemocratiaid cofrestredig, sy'n hunan-adnabod fel cymedrolwyr, ac a bleidleisiodd dros Obama yn 2008. Mae hyn yn iawn , grŵp penodol iawn, ac mae'n bosibl nad oes neb yn y sampl gyda'r nodweddion hyn. Felly, i wneud amcangyfrifon am y grŵp hwn, mae atchweliad aml-wely yn defnyddio model ystadegol i gyfuno amcangyfrifon gan bobl mewn grwpiau tebyg iawn.
Felly, defnyddiodd Wang a chydweithwyr ymagwedd a oedd yn cyfuno atchweliad aml-dyluniad ac ôl-haenu, felly fe alwant eu hymdrechiad aml-wely strategaeth gyda haeniad ôl-draw neu, yn fwy cariadus, "Mr. P. "Pan wnaeth Wang a chydweithwyr ddefnyddio Mr P. i wneud amcangyfrifon o'r sampl analluogrwydd XBox, cynhyrchodd amcangyfrifon yn agos iawn at y gefnogaeth gyffredinol a gafodd Obama yn etholiad 2012 (ffigwr 3.8). Mewn gwirionedd, roedd eu hamcangyfrifon yn fwy cywir na chyfanswm o arolygon barn cyhoeddus traddodiadol. Felly, yn yr achos hwn, mae addasiadau ystadegol-yn benodol Mr. P.-yn ymddangos i wneud gwaith da yn cywiro'r rhagfarniadau mewn data nad yw'n debygol o gael ei wneud; rhagfarniadau a oedd yn amlwg yn weladwy pan edrychwch ar yr amcangyfrifon o'r data Xbox sydd heb ei addasu.
Ffigwr 3.8: Amcangyfrifon o W. Wang et al. (2015) . Cynhyrchodd sampl XBox heb ei addasu amcangyfrifon anghywir. Ond, cynhyrchodd y sampl pwysol XBox amcangyfrifon a oedd yn fwy cywir na chyfartaledd o arolygon ffôn yn seiliedig ar debygolrwydd. Addaswyd o W. Wang et al. (2015) , ffigurau 2 a 3.
Mae dwy brif wers o astudiaeth Wang a chydweithwyr. Gall samplau anhyblygrwydd nas addaswyd yn gyntaf arwain at amcangyfrifon gwael; Dyma wers y mae llawer o ymchwilwyr wedi clywed o'r blaen. Yr ail wers, fodd bynnag, yw y gall samplau anhyblyg, wrth ddadansoddi'n gywir, gynhyrchu amcangyfrifon da mewn gwirionedd; nid oes angen i samplau nad ydynt yn debygolrwydd arwain at rywbeth fel y ffiasg Crynodeb Llythrennedd yn awtomatig.
Wrth symud ymlaen, os ydych chi'n ceisio penderfynu rhwng defnyddio dull samplu tebygolrwydd ac agwedd samplu nad yw'n debygol o wynebu dewis anodd gennych. Weithiau mae ymchwilwyr eisiau rheol gyflym a theg (ee, bob amser yn defnyddio dulliau samplo tebygolrwydd), ond mae'n fwyfwy anodd cynnig rheol o'r fath. Mae ymchwilwyr yn wynebu dewis anodd rhwng dulliau samplu tebygolrwydd yn ymarferol - sy'n gynyddol ddrud ac yn bell o'r canlyniadau damcaniaethol sy'n cyfiawnhau eu dulliau samplu defnydd-ac anhyblyg - sy'n rhatach ac yn gyflymach, ond yn llai cyfarwydd ac yn fwy amrywiol. Un peth sy'n glir, fodd bynnag, yw, os cewch eich gorfodi i weithio gyda samplau anhyblyg neu ffynonellau data mawr nad ydynt yn gynrychioliadol (meddyliwch yn ôl i Bennod 2), yna mae rheswm cryf dros gredu bod amcangyfrifon wedi'u gwneud gan ddefnyddio haenau ôl-estynedig a Mae technegau cysylltiedig yn well na amcangyfrifon amrwd na ellir eu haddasu.
