4.4 Symud tu hwnt i arbrofion syml
Gadewch i ni symud y tu hwnt i arbrofion syml. Mae tri chysyniad yn ddefnyddiol ar gyfer arbrofion cyfoethog: dilysrwydd, heterogeneity of treatment effects, a mecanweithiau.
Mae ymchwilwyr sy'n newydd i arbrofion yn aml yn canolbwyntio ar gwestiwn penodol, cul iawn: A yw'r driniaeth hon "yn gweithio"? Er enghraifft, a yw galwad ffôn gan wirfoddolwr yn annog rhywun i bleidleisio? A yw newid botwm gwefan o glas i wyrdd yn cynyddu cyfradd clicio? Yn anffodus, mae dadlennu rhydd am yr hyn sy'n "gweithio" yn amharu ar y ffaith nad yw arbrofion sy'n canolbwyntio'n galed yn dweud wrthych a yw triniaeth "yn gweithio" yn gyffredinol. Yn hytrach, mae arbrofion sy'n canolbwyntio'n galed yn ateb cwestiwn llawer mwy penodol: Beth yw effaith gyfartalog y driniaeth benodol hon gyda'r gweithredu penodol hwn ar gyfer y boblogaeth hon o gyfranogwyr ar hyn o bryd? Byddaf yn galw arbrofion sy'n canolbwyntio ar arbrofion syml y cwestiwn cul hwn.
Gall arbrofion syml ddarparu gwybodaeth werthfawr, ond maen nhw'n methu â ateb llawer o gwestiynau sy'n bwysig ac yn ddiddorol, megis a oes rhai pobl y bu'r driniaeth yn fwy neu lai o lawer; a oes triniaeth arall a fyddai'n fwy effeithiol; ac a yw'r arbrawf hwn yn ymwneud â theorïau cymdeithasol ehangach.
Er mwyn dangos gwerth symud y tu hwnt i arbrofion syml, gadewch i ni ystyried arbrawf maes analog gan P. Wesley Schultz a chydweithwyr ar y berthynas rhwng normau cymdeithasol a defnydd ynni (Schultz et al. 2007) . Roedd Schultz a chydweithwyr yn hongian drwswyr ar 300 o gartrefi yn San Marcos, California, ac roedd y rhain yn darparu gwahanol negeseuon a gynlluniwyd i annog cadwraeth ynni. Yna, fe wnaeth Schultz a chydweithwyr fesur effaith y negeseuon hyn ar y defnydd o drydan, y ddau ar ôl wythnos ac ar ôl tair wythnos; gweler ffigwr 4.3 am ddisgrifiad manylach o'r dyluniad arbrofol.
Ffigwr 4.3: Cynlluniau'r dyluniad arbrofol o Schultz et al. (2007) . Roedd yr arbrawf maes yn cynnwys ymweld â thua 300 o gartrefi yn San Marcos, California bum gwaith dros gyfnod o wyth wythnos. Ar bob ymweliad, cymerodd yr ymchwilwyr law gan fesurydd pŵer y tŷ. Ar ddau o'r ymweliadau, roeddent yn gosod drwswyr ar bob tŷ gan roi peth gwybodaeth am ddefnydd ynni'r cartref. Y cwestiwn ymchwil oedd sut y byddai cynnwys y negeseuon hyn yn effeithio ar ddefnyddio ynni.
Roedd gan yr arbrawf ddau gyflwr. Yn y cyntaf, roedd aelwydydd yn derbyn awgrymiadau arbed ynni cyffredinol (ee, defnyddio cefnogwyr yn hytrach na chyflyrwyr aer) a gwybodaeth am eu defnydd o ynni o'i gymharu â'r defnydd o ynni yn y gymdogaeth. Roedd Schultz a chydweithwyr o'r enw hwn yn gyflwr normatif disgrifiadol oherwydd bod y wybodaeth am y defnydd o ynni yn y gymdogaeth yn darparu gwybodaeth am ymddygiad nodweddiadol (hy, norm disgrifiadol). Pan edrychodd Schultz a chydweithwyr ar y defnydd ynni a ganlyn yn y grŵp hwn, ymddengys nad oedd y driniaeth yn cael unrhyw effaith, yn y tymor byr neu'r tymor hir; mewn geiriau eraill, nid oedd y driniaeth yn ymddangos fel "gwaith" (ffigwr 4.4).
Yn ffodus, nid oedd Schultz a chydweithwyr yn setlo ar gyfer y dadansoddiad syml hwn. Cyn i'r arbrawf ddechrau, fe wnaethon nhw resymu y gallai defnyddwyr trwm trydan-bobl uwchlaw'r cymedr leihau eu defnydd, a bod defnyddwyr ysgafn trydan-bobl o dan y cymedr-mewn gwirionedd yn cynyddu eu defnydd. Pan edrychodd ar y data, dyna'r union beth a ganfuwyd (ffigur 4.4). Felly, roedd yr hyn a oedd yn edrych fel triniaeth nad oedd yn cael unrhyw effaith mewn gwirionedd yn driniaeth a gafodd ddau effeithiau gwrthbwyso. Mae'r cynnydd gwrthgynhyrchiol hwn ymysg y defnyddwyr golau yn esiampl o effaith boomerang , lle gall triniaeth gael effaith wahanol i'r hyn a fwriadwyd.
Ffigwr 4.4: Canlyniadau o Schultz et al. (2007) . Mae Panel (a) yn dangos bod gan driniaeth norm ddisgrifiadol effaith amcangyfrif o driniaeth gyfartal sero. Fodd bynnag, mae panel (b) yn dangos bod yr effaith driniaeth gyfartalog hon yn cynnwys dau effeithiau gwrthbwyso mewn gwirionedd. Ar gyfer defnyddwyr trwm, roedd y driniaeth yn lleihau'r defnydd ond ar gyfer defnyddwyr ysgafn, defnyddiwyd y driniaeth yn fwy. Yn olaf, mae panel (c) yn dangos bod yr ail driniaeth, a oedd yn defnyddio normau disgrifiadol a gwahardd, wedi cael yr un effaith fras ar ddefnyddwyr trwm ond yn lliniaru'r effaith boomerang ar ddefnyddwyr ysgafn. Addaswyd o Schultz et al. (2007) .
Ar yr un pryd â'r cyflwr cyntaf, roedd Schultz a chydweithwyr hefyd yn cynnal ail amod. Derbyniodd yr aelwydydd yn yr ail gyflwr yr un awgrymiadau arbed ynni cyffredinol-driniaeth a gwybodaeth am ddefnydd ynni'r cartref o'i gymharu â chyfartaledd eu cymdogaeth - gydag un ychwanegiad bychan: ar gyfer pobl sydd â llai o gyfartaledd, ychwanegodd yr ymchwilwyr: ) ac ar gyfer pobl â bwyta uwch na'r cyfartaledd, fe wnaethon nhw ychwanegu: (. Lluniwyd y emoticons hyn i sbarduno'r hyn a elwir yr ymchwilwyr yn normau ataliol. Mae normau gwahardd yn cyfeirio at ganfyddiadau o'r hyn a gymeradwyir yn gyffredin (ac yn anghymeradwy), tra bod normau disgrifiadol yn cyfeirio at ganfyddiadau o yr hyn a wneir yn aml (Reno, Cialdini, and Kallgren 1993) .
Drwy ychwanegu'r emosiwn bach hwn, fe wnaeth yr ymchwilwyr leihau effaith y boomerang yn ddramatig (ffigwr 4.4). Felly, trwy wneud yr un newid syml hwn - newid a ysgogwyd gan theori seicolegol cymdeithasol haniaethol (Cialdini, Kallgren, and Reno 1991) - roedd yr ymchwilwyr yn gallu troi rhaglen nad oedd yn ymddangos yn gweithio i un a oedd yn gweithio, ac, ar yr un pryd, roeddent yn gallu cyfrannu at y ddealltwriaeth gyffredinol o sut mae normau cymdeithasol yn effeithio ar ymddygiad dynol.
Ar y pwynt hwn, fodd bynnag, efallai y byddwch yn sylwi bod rhywbeth ychydig yn wahanol am yr arbrawf hwn. Yn arbennig, nid oes gan yr arbrawf o Schultz a chydweithwyr grŵp rheoli mewn gwirionedd yn yr un modd ag arbrofion rheoledig ar hap. Mae cymhariaeth rhwng y dyluniad hwn a Restivo a van de Rijt yn dangos y gwahaniaethau rhwng dau gynllun arbrofol mawr. Mewn dyluniadau rhwng pynciau , megis Restivo a van de Rijt, mae grŵp triniaeth a grŵp rheoli. Mewn dyluniadau o fewn pynciau , ar y llaw arall, cymharir ymddygiad cyfranogwyr cyn ac ar ôl y driniaeth (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Mewn arbrawf o fewn pwnc, mae fel pe bai pob cyfranogwr yn gweithredu fel ei grŵp rheoli ei hun. Cryfder y dyluniadau rhwng y pynciau yw eu bod yn amddiffyn rhag gwrthdaro (fel y disgrifiais yn gynharach), tra bod cryfder arbrofion o fewn y pynciau yn fwy manwl gywirdeb amcangyfrifon. Yn olaf, i foreshadow syniad a fydd yn dod yn ddiweddarach pan fyddaf yn cynnig cyngor ynghylch dylunio arbrofion digidol, mae dyluniad _mixed_ yn cyfuno'r manwl gywirdeb o ddyluniadau o fewn y pynciau a diogelu rhag dryslyd dyluniadau rhwng pynciau (ffigur 4.5).
Ffigur 4.5: Tri dyluniad arbrofol. Mae arbrofion safonol ar hap a reolir yn defnyddio dyluniadau rhwng pynciau . Enghraifft o ddylunio rhyng-bynciau yw arbrawf Restivo a van de Rijt (2012) ar ysguboriau a chyfraniadau i Wikipedia: rhannodd yr ymchwilwyr gyfranogwyr ar hap i grwpiau triniaeth a rheoli, rhoddodd gyfranogwyr yn y grŵp triniaeth ysgubor, a chymharu canlyniadau ar gyfer y dau grŵp. Dyluniad o fewn pynciau yw'r ail fath o ddyluniad. Mae'r ddau arbrofi yn astudiaeth Schultz a chydweithwyr (2007) ar normau cymdeithasol a defnydd ynni yn dangos dyluniad o fewn pynciau: roedd yr ymchwilwyr yn cymharu defnydd trydan cyfranogwyr cyn ac ar ôl derbyn y driniaeth. Mae dyluniadau o fewn pynciau yn cynnig manwl gywirdeb ystadegol, ond maent yn agored i ddryslyd posibl (ee, newidiadau yn y tywydd rhwng y cyfnodau cyn triniaeth a thriniaeth) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Weithiau, gelwir dyluniadau o fewn pynciau hefyd yn ddyluniadau mesurau ailadroddus Yn olaf, mae dyluniadau cymysg yn cyfuno cywirdeb gwell y dyluniadau o fewn y pynciau a'r amddiffyniad rhag dryslyd dyluniadau rhwng y pynciau. Mewn dyluniad cymysg, mae ymchwilydd yn cymharu'r newid mewn canlyniadau i bobl yn y grwpiau trin a rheoli. Pan fydd gan ymchwilwyr wybodaeth cyn-driniaeth eisoes, fel yn achos llawer o arbrofion digidol, mae dyluniadau cymysg yn gyffredinol yn well ar ddyluniadau rhwng pynciau oherwydd maen nhw'n arwain at well manwl o amcangyfrifon.
At ei gilydd, mae dyluniad a chanlyniadau astudiaeth Schultz a chydweithwyr (2007) dangos gwerth symud y tu hwnt i arbrofion syml. Yn ffodus, does dim rhaid i chi fod yn athrylith greadigol i ddylunio arbrofion fel hyn. Mae gwyddonwyr cymdeithasol wedi datblygu tri chysyniad a fydd yn eich tywys tuag at arbrofion cyfoethocach: (1) dilysrwydd, (2) heterogeneity effeithiau triniaeth, a (3) mecanweithiau. Hynny yw, os ydych chi'n cadw'r tri syniad yma mewn cof tra byddwch chi'n dylunio'ch arbrawf, byddwch yn creu arbrawf mwy diddorol a defnyddiol yn naturiol. Er mwyn dangos y tri chysyniad hyn ar waith, byddaf yn disgrifio nifer o arbrofion maes rhannol ddigidol sy'n dilyn dyluniad cain a chanlyniadau cyffrous Schultz a chydweithwyr (2007) . Fel y gwelwch, trwy ddylunio, gweithredu, dadansoddi a dehongli mwy gofalus, gallwch chi hefyd symud tu hwnt i arbrofion syml.
