4.3 Mae dau ddimensiwn o arbrofion: lab-cae a analog-digidol
Arbrofion labordy yn cynnig rheolaeth, arbrofion maes yn cynnig realaeth, ac arbrofion maes digidol cyfuno rheolaeth a realaeth ar y raddfa.
Mae arbrofion yn dod mewn llawer o wahanol siapiau a meintiau. Ond, er gwaethaf y gwahaniaethau hyn, mae ymchwilwyr wedi dod o hyd yn ddefnyddiol i drefnu arbrofion ar hyd continwwm rhwng arbrofion labordy ac arbrofion maes. Yn awr, fodd bynnag, ymchwilwyr dylai hefyd drefnu arbrofion ar hyd continwwm rhwng arbrofion analog ac arbrofion digidol. Bydd y gofod dylunio dau ddimensiwn eich helpu i ddeall cryfderau a gwendidau gwahanol ddulliau ac awgrymu meysydd y cyfle gorau (Ffigur 4.1).
Ffigur 4.1: Sgematig o le dylunio ar gyfer arbrofion. Yn y gorffennol, mae arbrofion yn amrywio ar hyd y dimensiwn lab-cae. Yn awr, maent hefyd yn amrywio ar y dimensiwn analog-digidol. Yn fy marn i, mae'r ardal cyfle mwyaf yw arbrofion maes digidol.
Yn y gorffennol, y brif ffordd y mae ymchwilwyr drefnwyd arbrofion oedd ar hyd y dimensiwn lab-cae. Mae'r rhan fwyaf o arbrofion yn y gwyddorau cymdeithasol yn arbrofion labordy lle mae myfyrwyr israddedig yn perfformio tasgau rhyfedd mewn labordy am gredyd cwrs. Mae'r math hwn o arbrawf tra-arglwyddiaethu ymchwil mewn seicoleg am ei fod yn galluogi ymchwilwyr i greu triniaethau penodol iawn a gynlluniwyd i brofi damcaniaethau penodol iawn am ymddygiad cymdeithasol. Ar gyfer problemau penodol, fodd bynnag, rhywbeth yn teimlo braidd yn rhyfedd am ddod i gasgliadau cadarn am ymddygiad dynol o bobl o'r fath yn anarferol yn cyflawni'r tasgau hynny anarferol mewn lleoliad mor anarferol. Mae'r pryderon hyn wedi arwain at symudiad tuag at arbrofion maes. arbrofion maes yn cyfuno dyluniad cryf o arbrofion rheoli ar hap gyda grwpiau mwy cynrychioliadol o gyfranogwyr, yn perfformio tasgau yn fwy cyffredin, mewn lleoliadau mwy naturiol.
Er bod rhai pobl yn meddwl am labordy a maes arbrofion fel dulliau sy'n cystadlu, y peth gorau i feddwl amdanynt fel dulliau cyflenwol gyda gwahanol gryfderau a gwendidau. Er enghraifft, Correll, Benard, and Paik (2007) a ddefnyddir yn arbrawf labordy ac arbrawf maes mewn ymgais i ddod o hyd i'r ffynonellau y "gosb yn fam." Yn yr Unol Daleithiau, mamau yn ennill llai o arian na menywod yn ddi-blant, hyd yn oed pan cymharu fenywod â sgiliau tebyg sy'n gweithio mewn swyddi tebyg. Mae yna nifer o esboniadau posibl am y patrwm hwn, ac un yw bod cyflogwyr yn rhagfarnllyd yn erbyn mamau. (Yn ddiddorol, y gwrthwyneb yn ymddangos i fod yn wir am dadau: maent yn tueddu i ennill mwy na dynion heb blant tebyg). Er mwyn asesu tuedd posibl yn erbyn mamau, rhedodd Correll a chydweithwyr ddau arbrawf: un yn y labordy ac un yn y maes.
Yn gyntaf, mewn arbrawf labordy Correll a chydweithwyr wrth y cyfranogwyr, a oedd yn israddedigion coleg, bod cwmni cyfathrebu cychwyn seiliedig California yn cynnal chwiliad cyflogaeth ar gyfer person i arwain ei adran farchnata Arfordir y Dwyrain newydd. Dywedwyd wrthym myfyrwyr bod y cwmni am eu cymorth yn y broses gyflogi a gofynnwyd iddynt adolygu resumes o nifer o ymgeiswyr posibl ac i raddio yr ymgeiswyr ar nifer o ddimensiynau megis eu deallusrwydd, cynhesrwydd, ac ymrwymiad i weithio. Ymhellach, gofynnwyd i'r myfyrwyr a fyddent yn argymell llogi'r ymgeisydd a'r hyn y byddent yn argymell fel cyflog cychwynnol. Unbeknownst i'r myfyrwyr, fodd bynnag, mae'r ailddechrau adeiladwyd yn benodol i fod yn debyg ac eithrio ar gyfer un peth: mae rhai o'r ailddechrau yn arwydd fam (drwy restru cyfranogiad mewn cymdeithas rhieni-athrawon) ac nid oedd rhai. Canfu Correll bod myfyrwyr yn llai tebygol o argymell llogi'r mamau ac yn cynnig cyflog cychwynnol is iddynt. Ymhellach, trwy ddadansoddiad ystadegol o ddau y graddau a'r penderfyniadau sy'n gysylltiedig â llogi, canfu Correll bod anfanteision mamau Eglurwyd i raddau helaeth gan y ffaith bod mamau eu graddio'n is o ran cymhwysedd ac ymrwymiad. Mewn geiriau eraill, Correll yn dadlau bod y nodweddion hyn yw'r mecanwaith a mamau o dan anfantais. Felly, mae hyn yn arbrawf labordy yn caniatáu Correll a chydweithwyr i fesur effaith achosol a rhoi esboniad posibl ar gyfer perwyl hwnnw.
Wrth gwrs, gallai un fod yn amheus am ddod i gasgliadau am y farchnad lafur gyfan Unol Daleithiau yn seiliedig ar benderfyniadau'r ychydig gannoedd o israddedigion sydd wedi yn ôl pob tebyg erioed wedi cael swydd lawn amser, heb sôn llogi bobl. Felly, cynhaliodd Correll a chydweithwyr arbrawf maes ategol hefyd. Ymatebodd y ymchwilwyr i gannoedd o agoriadau swyddi a hysbysebwyd drwy anfon llythyrau clawr ffug a ailddechrau. Yn debyg i'r deunyddiau dangos i'r israddedigion, mae rhai ailddechrau arwydd yn fam ac nid oedd rhai. Canfu Correll a chydweithwyr bod mamau yn llai tebygol o gael galwad yn ôl ar gyfer cyfweliadau na merched heb blant yr un mor gymwys. Mewn geiriau eraill, mae cyflogwyr go iawn yn gwneud penderfyniadau canlyniadol mewn lleoliad naturiol ymddwyn yn debyg iawn i'r israddedigion. A oeddent yn gwneud penderfyniadau tebyg ar gyfer yr un rheswm? Yn anffodus, nid ydym yn gwybod. Nid oedd yr ymchwilwyr yn gallu gofyn i'r cyflogwyr i raddio yr ymgeiswyr neu egluro eu penderfyniadau.
Mae'r pâr o arbrofion yn datgelu llawer am labordy a maes arbrofion yn gyffredinol. arbrofion labordy yn cynnig ymchwilwyr ger reolaeth lwyr dros yr amgylchedd y mae cyfranogwyr yn gwneud penderfyniadau. Felly, er enghraifft, yn yr arbrawf labordy, Correll yn gallu sicrhau bod yr holl ailddechrau yn darllen mewn lleoliad tawel; yn yr arbrawf maes, mae rhai o'r ailddechrau efallai nad ydynt wedi hyd yn oed yn eu darllen. Ymhellach, gan fod y cyfranogwyr yn y lleoliad labordy yn gwybod eu bod yn cael eu hastudio, ymchwilwyr yn aml yn gallu casglu data ychwanegol a all eu helpu i ddeall pam y cyfranogwyr yn gwneud eu penderfyniadau. Er enghraifft, gofynnodd Correll cyfranogwyr yn yr arbrawf labordy i raddio yr ymgeiswyr ar ddimensiynau gwahanol. Gallai hyn math o ddata proses helpu ymchwilwyr i ddeall y mecanweithiau y tu ôl i wahaniaethau yn y ffordd y cyfranogwyr yn trin y ailddechrau.
Ar y llaw arall, mae'r rhain un nodweddion union yr wyf newydd ei ddisgrifio fel manteision yn cael eu weithiau hefyd yn ystyried anfanteision. Ymchwilwyr y mae'n well ganddynt arbrofion maes yn dadlau y gallai cyfranogwyr mewn arbrofion labordy ymddwyn yn wahanol iawn pan fyddant yn cael eu harsylwi yn agos. Er enghraifft, yn y labordy y gallai cyfranogwyr arbrawf wedi dyfalu y nod yr ymchwil a newid eu hymddygiad er mwyn peidio â ymddangos yn rhagfarnllyd. Ymhellach, gall ymchwilwyr y mae'n well ganddynt arbrofion maes a allai dadlau bod gwahaniaethau bach ar ailddechrau dim ond sefyll allan mewn amgylchedd labordy lân iawn, di-haint, ac felly bydd yr arbrawf labordy dros-amcangyfrif yr effaith o fod yn fam ar benderfyniadau llogi go iawn. Yn olaf, mae llawer o rhai a ddadleuai o arbrofion maes yn beirniadu arbrofion labordy ddibyniaeth ar gyfranogwyr Weird: Cyfanswm bennaf o Western, ei addysg, diwydiannol, Rich, a gwledydd Democrataidd (Henrich, Heine, and Norenzayan 2010) . Mae'r arbrofion gan Correll a chydweithwyr (2007) yn dangos y ddau eithaf ar y continwwm labordy-cae. Rhwng y ddau begwn hyn mae amrywiaeth o ddyluniadau hybrid gan gynnwys dulliau megis dod nad ydynt yn fyfyrwyr mewn labordy neu fynd i mewn i'r cae ond yn dal i gael y cyfranogwyr yn perfformio tasg anarferol.
Yn ychwanegol at y dimensiwn labordy-cae sydd wedi bodoli yn y gorffennol, yr oes ddigidol yn golygu bod ymchwilwyr yn awr yn cael ail ddimensiwn pwysig ar hyd y gall arbrofion yn amrywio: analog-digidol. Yn union fel mae arbrofion pur labordy, arbrofion maes pur, ac amrywiaeth o hybrid yn y canol, mae arbrofion pur analog, arbrofion digidol pur, ac amrywiaeth o hybrid. Mae'n anodd i gynnig diffiniad ffurfiol o'r dimensiwn hwn, ond diffiniad gweithredol defnyddiol yw bod arbrofion cwbl ddigidol yn arbrofion sy'n gwneud defnydd o seilwaith digidol i recriwtio cyfranogwyr, randomize, darparu triniaethau, a mesur canlyniadau. Er enghraifft, Restivo a van de Rijt yn (2012) astudiaeth o barnstars a Wikipedia yn arbrawf gwbl ddigidol oherwydd ei fod yn defnyddio systemau digidol ar gyfer pob un o'r pedwar o'r camau hyn. Yn yr un modd yn llawn arbrofion analog yn arbrofion nad ydynt yn gwneud defnydd o seilwaith digidol ar gyfer unrhyw un o'r pedwar cam. Mae llawer o'r arbrofion clasurol mewn seicoleg yn arbrofion analog. Rhwng y ddau begwn hyn ceir rhannol arbrofion digidol sy'n defnyddio cyfuniad o systemau analog a digidol ar gyfer y pedwar cam.
Yn allweddol, mae'r cyfleoedd i redeg nid arbrofion digidol yn unig ar-lein. Gall ymchwilwyr rhedeg arbrofion rhannol digidol drwy ddefnyddio dyfeisiau digidol yn y byd ffisegol er mwyn darparu triniaethau neu fesur canlyniadau. Er enghraifft, gallai ymchwilwyr ddefnyddio ffonau clyfar i ddarparu triniaethau neu synwyryddion yn yr amgylchedd adeiledig i fesur canlyniadau. Yn wir, fel y gwelwn yn nes ymlaen yn y bennod hon, mae ymchwilwyr wedi eisoes defnyddio mesuryddion pŵer cartref i fesur canlyniadau mewn arbrofion am normau cymdeithasol a defnydd o ynni yn cynnwys 8.5 miliwn o gartrefi (Allcott 2015) . Wrth i dyfeisiau digidol yn dod yn hintegreiddio'n gynyddol i mewn i fywydau pobl a synwyryddion yn dod yn integreiddio i mewn i'r amgylchedd adeiledig, cyfleoedd hyn i redeg arbrofion rhannol digidol yn y byd ffisegol yn cynyddu yn ddramatig. Mewn geiriau eraill, nid arbrofion digidol yn unig arbrofion ar-lein.
systemau digidol yn creu posibiliadau newydd ar gyfer arbrofion ym mhob man ar hyd y continwwm lab-cae. Mewn arbrofion labordy pur, er enghraifft, gall ymchwilwyr yn defnyddio systemau digidol ar gyfer mesur manylach o ymddygiad cyfranogwyr; un enghraifft o'r math hwn o gwell dulliau o fesur yw offer llygad-olrhain sy'n darparu mesurau manwl a di-dor o leoliad syllu. Mae'r oes ddigidol hefyd yn creu y posibilrwydd i redeg arbrofion labordy-fel-lein. Er enghraifft, mae ymchwilwyr wedi mabwysiadu gyflym Amazon Mecanyddol Turk (MTurk) i recriwtio cyfranogwyr ar gyfer arbrofion ar-lein (Ffigur 4.2). MTurk cyfateb "cyflogwyr" sydd â tasgau sydd angen eu cwblhau gyda "gweithwyr" sydd am gwblhau tasgau hynny am arian. Yn wahanol i farchnadoedd llafur traddodiadol, fodd bynnag, mae'r tasgau dan sylw fel arfer dim ond yn gofyn am ychydig o funudau i gwblhau'r a'r rhyngweithio cyfan rhwng y cyflogwr a'r gweithiwr yn rhithwir. Oherwydd bod dynwared MTurk agweddau ar arbrofion sy'n talu labordy traddodiadol pobl i gwblhau tasgau na fyddent yn gwneud am ddim-it yn addas yn naturiol ar gyfer rhai mathau o arbrofion. Yn y bôn, MTurk wedi creu'r seilwaith ar gyfer rheoli cronfa o gyfranogwyr-recriwtio a thalu pobl-ac ymchwilwyr wedi manteisio ar y seilwaith i fanteisio ar bwll gael bob amser o gyfranogwyr.
Ffigur 4.2: Papurau a gyhoeddwyd gan ddefnyddio data o Amazon Mecanyddol Turk (MTurk) (Bohannon 2016) . MTurk a marchnadoedd llafur ar-lein eraill yn cynnig ymchwilwyr yn ffordd gyfleus i recriwtio cyfranogwyr ar gyfer arbrofion.
arbrofion digidol yn creu hyd yn oed mwy o bosibiliadau ar gyfer arbrofion maes-debyg. Gall arbrofion maes digidol yn cynnig data rheoli a'r broses dynn i ddeall mecanweithiau posibl (fel arbrofion labordy) a chyfranogwyr mwy amrywiol yn gwneud penderfyniadau go iawn mewn amgylchedd naturiol (fel arbrofion maes). Yn ychwanegol at y cyfuniad hwn o nodweddion da o arbrofion cynharach, arbrofion maes digidol hefyd yn cynnig tri chyfle a oedd yn anodd mewn labordy a maes arbrofion analog.
Yn gyntaf, tra bod y rhan fwyaf o labordy a maes arbrofion analog wedi cannoedd o gyfranogwyr, gall arbrofion maes digidol yn cael miliynau o gyfranogwyr. Mae'r newid hwn o ran maint oherwydd y gall rhai arbrofion digidol cynhyrchu data ar sero gost amrywiol. Hynny yw, unwaith y bydd ymchwilwyr wedi creu isadeiledd arbrofol, gan gynyddu nifer y cyfranogwyr nad ydynt fel arfer yn cynyddu'r gost. Nid yw cynyddu nifer y cyfranogwyr gan ffactor o 100 neu fwy yn unig yw newid meintiol, mae'n newid ansoddol, gan ei fod yn galluogi ymchwilwyr i ddysgu pethau gwahanol o arbrofion (ee, heterogenedd o effeithiau triniaeth) ac yn rhedeg yn gyfan gwbl wahanol ddyluniadau arbrofol ( ee, arbrofion grŵp mawr). Mae'r pwynt mor bwysig, byddaf yn dychwelyd ato tua diwedd y bennod pan yr wyf yn cynnig cyngor am greu arbrofion digidol.
Yn ail, tra bod y rhan fwyaf o labordy a maes arbrofion analog trin gyfranogwyr fel widgets anwahanadwy, arbrofion maes digidol yn aml yn defnyddio gwybodaeth gefndir am gyfranogwyr yn y camau cynllunio a dadansoddiad o'r ymchwil. Mae'r wybodaeth gefndirol, a elwir gwybodaeth cyn-driniaeth, ar gael yn aml mewn arbrofion digidol oherwydd eu bod yn cael eu cynnal mewn amgylcheddau mesur yn llawn. Er enghraifft, ymchwilydd yn Facebook Mae gan lawer mwy o wybodaeth cyn-driniaeth na ymchwilydd cynllunio arbrawf labordy safonol gyda israddedigion. Mae'r wybodaeth cyn y driniaeth yn galluogi ymchwilwyr i symud y tu hwnt drin cyfranogwyr widgets fel gwahaniaethu rhyngddynt. Yn fwy penodol, gwybodaeth cyn-driniaeth yn galluogi dyluniadau-o'r fath yn fwy effeithlon arbrofol fel blocio (Higgins, Sävje, and Sekhon 2016) a recriwtio wedi'i dargedu o gyfranogwyr (Eckles, Kizilcec, and Bakshy 2016) -a dadansoddiad-o'r fath yn fwy craff fel amcangyfrif o heterogenedd o effeithiau triniaeth (Athey and Imbens 2016a) ac addasiad covariate ar gyfer gwell gywirdeb (Bloniarz et al. 2016) .
Yn drydydd, tra bod llawer o labordy analog a maes arbrofion yn cyflwyno triniaethau a mesur canlyniadau mewn swm cymharol cywasgedig o amser, mae rhai arbrofion maes digidol yn cynnwys triniaethau y gellir eu darparu dros gyfnod o amser, a gall yr effeithiau hefyd yn cael ei fesur dros amser. Er enghraifft, Restivo a van de Rijt yn arbrawf sydd â'r canlyniad fesur bob dydd am 90 diwrnod, ac un o'r arbrofion Byddaf yn dweud wrthych am nes ymlaen yn y bennod (Ferraro, Miranda, and Price 2011) traciau canlyniadau dros 3 blynedd yn y bôn dim cost. Mae'r tri chyfle-maint, gwybodaeth cyn-driniaeth, a thriniaeth hydredol a chanlyniad data-yn fwyaf cyffredin wrth arbrofion yn cael eu rhedeg ar ben bob amser-ar systemau fesuriadau (gweler Pennod 2 am fwy ar bob amser-ar systemau mesur).
Er bod arbrofion maes digidol yn cynnig llawer o bosibiliadau, maent hefyd yn rhannu rhai gwendidau gyda labordy analog ac arbrofion maes. Er enghraifft, ni ellir arbrofion yn cael ei ddefnyddio i astudio'r gorffennol, a gallant ond amcangyfrif effeithiau triniaethau y gellir eu trin. Hefyd, er bod arbrofion yn ddi-os yn ddefnyddiol i lywio polisi, yr union gyfarwyddyd y gallant ei gynnig braidd yn gyfyngedig oherwydd cymhlethdodau fel dibyniaeth amgylcheddol, problemau cydymffurfio, ac effeithiau ecwilibriwm (Banerjee and Duflo 2009; Deaton 2010) . Yn olaf, arbrofion maes digidol chwyddo'r pryderon moesegol a grëwyd gan arbrofion maes. Cynigwyr o arbrofion maes trwmped eu gallu i ymyrryd yn gynnil ac ar hap i benderfyniadau canlyniadol a wnaed gan filiynau o bobl. Mae'r nodweddion hyn yn cynnig manteision gwyddonol penodol, ond gallant hefyd wneud arbrofion maes yn foesegol cymhleth (yn meddwl am y peth fel ymchwilwyr trin pobl fel "llygod mawr labordy" ar raddfa anferth). Bellach, yn ogystal â niwed posibl i gyfranogwyr, arbrofion maes digidol, oherwydd eu maint, gall hefyd godi pryderon am y tarfu o weithio systemau cymdeithasol (ee, pryderon ynghylch amharu ar system wobrwyo Wikipedia os Restivo a van der Rijt rhoddodd gormod o barnstars) .
