4.3 Mae dau ddimensiwn o arbrofion: lab-cae a analog-digidol

Arbrofion labordy yn cynnig rheolaeth, arbrofion maes yn cynnig realaeth, ac arbrofion maes digidol cyfuno rheolaeth a realaeth ar y raddfa.

Daw arbrofion mewn llawer o wahanol siapiau a meintiau. Yn y gorffennol, mae ymchwilwyr wedi ei chael yn ddefnyddiol trefnu arbrofion ar hyd continwwm rhwng arbrofion labordy ac arbrofion maes . Yn awr, fodd bynnag, dylai ymchwilwyr hefyd drefnu arbrofion ar hyd ail barwm rhwng arbrofion analog ac arbrofion digidol . Bydd y gofod dylunio dau ddimensiwn hwn yn eich helpu i ddeall cryfderau a gwendidau gwahanol ddulliau ac yn tynnu sylw at y meysydd mwyaf cyfleus (ffigwr 4.1).

Ffigur 4.1: Cynlluniau o le ddylunio ar gyfer arbrofion. Yn y gorffennol, roedd arbrofion yn amrywio ar hyd dimensiwn y maes labordy. Nawr, maent hefyd yn amrywio ar y dimensiwn analog-digidol. Dangosir y gofod dylunio dau-ddimensiwn hwn gan bedwar arbrofiad yr wyf yn ei ddisgrifio yn y bennod hon. Yn fy marn i, yr ardal o gyfle mwyaf yw arbrofion maes digidol.

Un dimensiwn ar gyfer trefnu arbrofion ar y cyd yw dimensiwn y maes labordy. Mae nifer o arbrofion yn y gwyddorau cymdeithasol yn arbrofion labordy lle mae myfyrwyr israddedig yn cyflawni tasgau rhyfedd mewn labordy ar gyfer credyd cwrs. Mae'r math hwn o arbrawf yn dominyddu ymchwil mewn seicoleg oherwydd ei fod yn galluogi ymchwilwyr i greu lleoliadau a reolir yn fanwl i ynysu yn fanwl a phrofi damcaniaethau penodol am ymddygiad cymdeithasol. Ar gyfer rhai problemau, fodd bynnag, mae rhywbeth yn teimlo'n rhyfedd am dynnu casgliadau cryf ynghylch ymddygiad dynol gan bobl anarferol o'r fath yn perfformio tasgau anarferol mewn lleoliad mor anarferol. Mae'r pryderon hyn wedi arwain at symudiad tuag at arbrofion maes . Mae arbrofion maes yn cyfuno dyluniad cryf arbrofion rheoli ar hap gyda grwpiau mwy cynrychioliadol o gyfranogwyr yn cyflawni tasgau mwy cyffredin mewn lleoliadau mwy naturiol.

Er bod rhai pobl yn meddwl am arbrofion labordy a maes fel dulliau cystadlu, mae'n well meddwl amdanynt fel rhai ategol, gyda chryfderau a gwendidau gwahanol. Er enghraifft, defnyddiodd Correll, Benard, and Paik (2007) arbrawf labordy ac arbrawf maes mewn ymgais i ddod o hyd i ffynonellau y "gosb mamolaeth". Yn yr Unol Daleithiau, mae mamau yn ennill llai o arian na merched di-blant, hyd yn oed pan gan gymharu merched â sgiliau tebyg sy'n gweithio mewn swyddi tebyg. Mae yna lawer o esboniadau posib ar gyfer y patrwm hwn, ac un ohonynt yw bod cyflogwyr yn rhagfarnu yn erbyn mamau. (Yn ddiddorol, mae'n ymddangos bod y gwrthwyneb yn wir i dadau: maent yn tueddu i ennill mwy na dynion di-gymharol). Er mwyn asesu rhagfarn bosibl yn erbyn mamau, cyrhaeddodd Correll a chydweithwyr ddau arbrofi: un yn y labordy ac un yn y maes.

Yn gyntaf, mewn arbrawf labordy dywedasant wrth gyfranogwyr, a oedd yn israddedigion coleg, bod cwmni'n cynnal chwiliad cyflogaeth i rywun arwain ei adran farchnata newydd yn y Dwyrain Arfordir. Dywedwyd wrth y myfyrwyr fod y cwmni am eu cymorth yn y broses llogi, a gofynnwyd iddynt adolygu ail-ailddechrau nifer o ymgeiswyr posibl a chyfraddu'r ymgeiswyr ar nifer o feintiau, megis eu gwybodaeth, eu cynhesrwydd a'u hymrwymiad i weithio. Ymhellach, gofynnwyd i'r myfyrwyr a fyddent yn argymell llogi'r ymgeisydd a'r hyn y byddent yn ei argymell fel cyflog cychwynnol. Yn anhysbys i'r myfyrwyr, fodd bynnag, cafodd yr ailddechrau eu hadeiladu'n benodol i fod yn debyg ac eithrio un peth: roedd rhai ohonynt yn nodi mamolaeth (trwy restru cyfranogiad mewn cymdeithas rhiant-athro) ac nid oedd rhai ohonynt. Canfu Correll a chydweithwyr fod y myfyrwyr yn llai tebygol o argymell llogi mamau a'u bod yn cynnig cyflog cychwynnol iddynt. Ymhellach, trwy ddadansoddiad ystadegol o'r graddau a'r penderfyniadau cysylltiedig â llogi, canfu Correll a chydweithwyr fod anfanteision mamau yn cael eu hesbonio'n bennaf gan y ffaith eu bod yn cael eu graddio yn is o ran cymhwysedd ac ymroddiad. Felly, mae'r arbrawf labordy hwn yn caniatáu i Correll a chydweithwyr fesur effaith achosol a rhoi esboniad posibl ar yr effaith honno.

Wrth gwrs, gallai un fod yn amheus ynglŷn â thynnu casgliadau am farchnad lafur yr Unol Daleithiau gyfan yn seiliedig ar benderfyniadau ychydig gannoedd o israddedigion nad ydynt erioed wedi cael swydd lawn-amser erioed, heb sôn am llogi rhywun. Felly, cynhaliodd Correll a chydweithwyr arbrawf maes ategol hefyd. Fe wnaethon nhw ymateb i gannoedd o agoriadau swyddi a hysbysebwyd gyda llythyrau clawr ffug ac ailddechrau. Yn debyg i'r deunyddiau a ddangosir i'r israddedigion, mae rhai ailddechrau yn dynodi mamolaeth ac nid oedd rhai ohonynt. Canfu Correll a chydweithwyr fod mamau yn llai tebygol o gael eu galw'n ôl ar gyfer cyfweliadau na merched sydd heb gymwysterau cymwys. Mewn geiriau eraill, roedd cyflogwyr go iawn yn gwneud penderfyniadau canlyniadol mewn lleoliad naturiol yn ymddwyn yn debyg iawn i'r israddedigion. A wnaethon nhw wneud penderfyniadau tebyg am yr un rheswm? Yn anffodus, nid ydym yn gwybod. Nid oedd yr ymchwilwyr yn gallu gofyn i'r cyflogwyr raddio'r ymgeiswyr nac esbonio eu penderfyniadau.

Mae'r pâr hwn o arbrofion yn datgelu llawer am arbrofion labordy a maes yn gyffredinol. Mae arbrofion Lab yn cynnig ymchwilwyr sy'n ymwneud â rheolaeth gyfan yr amgylchedd lle mae cyfranogwyr yn gwneud penderfyniadau. Felly, er enghraifft, yn yr arbrawf labordy, roedd Correll a chydweithwyr yn gallu sicrhau bod yr holl ailddechrau yn cael eu darllen mewn lleoliad tawel; yn yr arbrawf maes, efallai na fyddai rhai o'r ailddechrau hyd yn oed wedi cael eu darllen. Ymhellach, oherwydd bod cyfranogwyr yn y labordy yn gwybod eu bod yn cael eu hastudio, mae ymchwilwyr yn aml yn gallu casglu data ychwanegol a all helpu i egluro pam mae cyfranogwyr yn gwneud eu penderfyniadau. Er enghraifft, gofynnodd Correll a chydweithwyr i gyfranogwyr yn yr arbrawf labordy i gyfraddio'r ymgeiswyr ar wahanol ddimensiynau. Gallai'r math hwn o ddata prosesu helpu ymchwilwyr i ddeall y mecanweithiau y tu ôl i'r gwahaniaethau yn y modd y mae cyfranogwyr yn trin yr ailddechrau.

Ar y llaw arall, ystyrir yr un nodweddion hyn yr wyf newydd eu disgrifio fel manteision hefyd yn anfanteision. Mae ymchwilwyr sy'n well ganddynt arbrofion maes yn dadlau y gallai cyfranogwyr mewn arbrofion labordy weithredu'n wahanol iawn oherwydd eu bod yn gwybod eu bod yn cael eu hastudio. Er enghraifft, yn yr arbrawf labordy, efallai y bydd y cyfranogwyr wedi dyfalu nod yr ymchwil ac wedi newid eu hymddygiad fel nad ydynt yn ymddangos yn ddidwyll. Ymhellach, gallai ymchwilwyr sy'n well ganddynt arbrofion maes ddadlau na all gwahaniaethau bach mewn ailddechrau sefyll allan mewn amgylchedd labordy glân iawn, anferth, ac felly bydd yr arbrawf labordy yn goramcangyfrif effaith mamolaeth ar benderfyniadau llogi go iawn. Yn olaf, mae llawer o gynigwyr arbrofion maes yn beirniadu dibyniaeth ar arbrofion labordy ar gyfranogwyr WEIRD: myfyrwyr yn bennaf o wledydd Gorllewin, Addysg, Diwydiannol, Cyfoethog a Democrataidd (Henrich, Heine, and Norenzayan 2010a) . Mae'r arbrofion gan Correll a chydweithwyr (2007) dangos y ddau eithaf ar y continwwm maes labordy. Rhwng y ddau eithaf hyn mae amrywiaeth o ddyluniadau hybrid hefyd, gan gynnwys dulliau fel dod â myfyrwyr nad ydynt yn fyfyrwyr i labordy neu fynd i mewn i'r maes ond bod cyfranogwyr yn dal i wneud tasg anarferol.

Yn ychwanegol at y dimensiwn maes labordy sydd wedi bodoli yn y gorffennol, mae'r oedran digidol yn golygu bod gan ymchwilwyr ail ddimensiwn fawr ar y pryd y gall arbrofion amrywio: analog-ddigidol. Yn union fel y mae arbrofion labordy pur, arbrofion maes pur, ac amrywiaeth o hybridau rhyngddynt, ceir arbrofion cymharol pur, arbrofion digidol pur, ac amrywiaeth o hybridau. Mae'n anodd gwneud diffiniad ffurfiol o'r dimensiwn hwn, ond diffiniad gwaith defnyddiol yw bod arbrofion llawn digidol yn arbrofion sy'n defnyddio seilwaith digidol i recriwtio cyfranogwyr, ar hap, darparu triniaethau, a mesur canlyniadau. Er enghraifft, roedd astudiaeth Restivo a van de Rijt (2012) o ysguboriau a Wikipedia yn arbrawf gwbl ddigidol gan ei fod yn defnyddio systemau digidol ar gyfer pob un o'r pedair cam hyn. Yn yr un modd, nid yw arbrofion analog llawn yn defnyddio seilwaith digidol ar gyfer unrhyw un o'r pedair cam hyn. Mae llawer o'r arbrofion clasurol mewn seicoleg yn arbrofion cymharol llawn. Rhwng y ddau eithaf hyn, ceir arbrofion rhannol ddigidol sy'n defnyddio cyfuniad o systemau analog a digidol.

Pan fydd rhai pobl yn meddwl am arbrofion digidol, maent yn meddwl ar unwaith arbrofion ar-lein. Mae hyn yn anffodus oherwydd nid yw'r cyfleoedd i gynnal arbrofion digidol yn unig ar-lein. Gall ymchwilwyr gynnal arbrofion rhannol ddigidol trwy ddefnyddio dyfeisiau digidol yn y byd ffisegol er mwyn darparu triniaethau neu fesur canlyniadau. Er enghraifft, gallai ymchwilwyr ddefnyddio ffonau smart i ddarparu triniaethau neu synwyryddion yn yr amgylchedd adeiledig i fesur canlyniadau. Mewn gwirionedd, fel y gwelwn yn ddiweddarach yn y bennod hon, mae ymchwilwyr eisoes wedi defnyddio mesuryddion pŵer cartref i fesur canlyniadau mewn arbrofion ynghylch y defnydd o ynni sy'n cynnwys 8.5 miliwn o aelwydydd (Allcott 2015) . Wrth i'r dyfeisiau digidol gael eu hintegreiddio'n gynyddol i fywydau pobl a bod synwyryddion yn cael eu hintegreiddio i'r amgylchedd adeiledig, bydd y cyfleoedd hyn i gynnal arbrofion rhannol ddigidol yn y byd ffisegol yn cynyddu'n ddramatig. Mewn geiriau eraill, nid arbrofion ar-lein yn unig yw arbrofion digidol.

Mae systemau digidol yn creu posibiliadau newydd ar gyfer arbrofion ym mhobman ar hyd y continwwm maes labordy. Mewn arbrofion labordy pur, er enghraifft, gall ymchwilwyr ddefnyddio systemau digidol i fesur yn fwy ymddygiad ymddygiad y cyfranogwyr; un enghraifft o'r math hwn o fesur gwell yw offer olrhain sy'n darparu mesurau manwl gywir a pharhaus o leoliad golwg. Mae'r oes ddigidol hefyd yn creu y posibilrwydd o gynnal arbrofion tebyg i labordy ar-lein. Er enghraifft, mae ymchwilwyr wedi mabwysiadu Amazon Mechanical Turk (MTurk) yn gyflym i recriwtio cyfranogwyr ar gyfer arbrofion ar-lein (ffigur 4.2). Mae MTurk yn cyd-fynd â "chyflogwyr" sydd â thasgau y mae angen eu cwblhau gyda "gweithwyr" sydd am gwblhau'r tasgau hynny am arian. Yn wahanol i farchnadoedd llafur traddodiadol, fodd bynnag, dim ond ychydig funudau i'w cwblhau yw'r tasgau dan sylw, ac mae'r rhyngweithio cyfan rhwng cyflogwr a gweithiwr ar-lein. Gan fod MTurk yn dynwared agweddau ar arbrofion labordy traddodiadol - yn talu pobl i gwblhau tasgau na fyddent yn eu gwneud am ddim - mae'n naturiol addas ar gyfer rhai mathau o arbrofion. Yn y bôn, mae MTurk wedi creu'r seilwaith ar gyfer rheoli cronfa o gyfranogwyr - recriwtio a thalu pobl - ac mae ymchwilwyr wedi manteisio ar y seilwaith hwnnw i fanteisio ar gronfa gyfranogwyr sydd ar gael bob amser.

Ffigur 4.2: Papurau a gyhoeddwyd gan ddefnyddio data o Amazon Mechanical Turk (MTurk). Mae MTurk a marchnadoedd llafur ar-lein eraill yn cynnig ymchwilwyr yn ffordd gyfleus i recriwtio cyfranogwyr ar gyfer arbrofion. Addaswyd o Bohannon (2016) .

Mae systemau digidol yn creu hyd yn oed mwy o bosibiliadau ar gyfer arbrofion tebyg i'r maes. Yn benodol, maent yn galluogi ymchwilwyr i gyfuno'r data rheoli a phroses dynn sy'n gysylltiedig ag arbrofion labordy gyda'r cyfranogwyr mwy amrywiol a lleoliadau mwy naturiol sy'n gysylltiedig ag arbrofion labordy. Yn ogystal, mae arbrofion maes digidol hefyd yn cynnig tri chyfle a oedd yn tueddu i fod yn anodd mewn arbrofion cymharol.

Yn gyntaf, tra bod gan y rhan fwyaf o arbrofion labordy a maes analogau gannoedd o gyfranogwyr, gall arbrofion maes digidol gael miliynau o gyfranogwyr. Y newid hwn mewn graddfa yw bod rhai arbrofion digidol yn gallu cynhyrchu data ar gost di-dor. Hynny yw, unwaith y bydd ymchwilwyr wedi creu seilwaith arbrofol, nid yw cynyddu nifer y cyfranogwyr fel arfer yn cynyddu'r gost. Nid yw newid meintiol yn unig yn cynyddu nifer y cyfranogwyr gan ffactor o 100 neu fwy; mae'n newid ansoddol , gan ei fod yn galluogi ymchwilwyr i ddysgu gwahanol bethau o arbrofion (ee, heterogeneity of treatment effects) ac i redeg dyluniadau arbrofol hollol wahanol (ee, arbrofion grŵp mawr). Mae'r pwynt hwn mor bwysig, byddaf yn dychwelyd ato tuag at ddiwedd y bennod pan fyddaf yn cynnig cyngor ar greu arbrofion digidol.

Yn ail, tra bod y rhan fwyaf o arbrofion labordy a meysydd analog yn trin cyfranogwyr fel gwisgoedd na ellir eu gwrthsefyll, mae arbrofion maes digidol yn aml yn defnyddio gwybodaeth gefndir am gyfranogwyr yng nghyfnodau dylunio a dadansoddi yr ymchwil. Mae'r wybodaeth gefndirol hon, a elwir yn wybodaeth cyn-driniaeth , ar gael yn aml mewn arbrofion digidol oherwydd eu bod yn cael eu rhedeg ar ben systemau mesur bob amser (gweler pennod 2). Er enghraifft, mae gan ymchwilydd yn Facebook lawer mwy o wybodaeth ymlaen llaw am bobl yn ei arbrawf maes digidol nag sydd gan ymchwilydd prifysgol am y bobl yn ei arbrofi maes analog. Mae'r cyn-driniaeth hon yn galluogi cynlluniau arbrofol mwy effeithlon-megis rhwystro (Higgins, Sävje, and Sekhon 2016) a recriwtio (Eckles, Kizilcec, and Bakshy 2016) cyfranogwyr (Eckles, Kizilcec, and Bakshy 2016) - a dadansoddiad mwy craff-fel amcangyfrif o heterogeneity of treatment effects (Athey and Imbens 2016a) ac addasiad covariate ar gyfer gwell manwl (Bloniarz et al. 2016) .

Yn drydydd, tra bod llawer o arbrofion labordy a meysydd analog yn cyflwyno triniaethau a mesur canlyniadau mewn cyfnod cymharol cywasgedig, mae rhai arbrofion maes digidol yn digwydd dros gyfnodau amser llawer mwy. Er enghraifft, roedd arbrawf Restivo a van de Rijt wedi mesur y canlyniad bob dydd am 90 diwrnod, ac un o'r arbrofion a ddywedaf wrthych amdanynt yn ddiweddarach yn y bennod (Ferraro, Miranda, and Price 2011) olrhain canlyniadau dros dair blynedd yn y bôn na cost. Mae'r tri math hwn o gyfleoedd, gwybodaeth cyn y driniaeth, a thriniaeth hydredol a data canlyniad-yn codi fel arfer pan fydd arbrofion yn cael eu rhedeg ar ben systemau mesur bob amser (gweler pennod 2 am ragor o wybodaeth ar systemau mesur bob amser).

Er bod arbrofion maes digidol yn cynnig nifer o bosibiliadau, maent hefyd yn rhannu rhai gwendidau gyda labordy analog ac arbrofion maes analog. Er enghraifft, ni ellir defnyddio arbrofion i astudio'r gorffennol, a dim ond amcangyfrif effeithiau triniaethau y gellir eu trin. Hefyd, er bod arbrofion yn ddiamau yn ddefnyddiol i arwain polisïau, mae'r union ganllawiau y gallant ei gynnig ychydig yn gyfyngedig oherwydd cymhlethdodau megis dibyniaeth amgylcheddol, problemau cydymffurfio, ac effeithiau cydbwysedd (Banerjee and Duflo 2009; Deaton 2010) . Mae arbrofion maes digidol hefyd yn cynyddu'r pryderon moesegol a grëwyd gan arbrofion maes - pwnc y byddaf yn mynd i'r afael â hwy yn ddiweddarach yn y bennod hon ac ym mhennod 6.