4.4.1 Dilysrwydd
Dilysrwydd yn cyfeirio at faint y canlyniadau arbrawf cefnogi casgliad mwy cyffredinol.
Nid oes unrhyw arbrawf yn berffaith, ac mae ymchwilwyr wedi datblygu geirfa helaeth i ddisgrifio problemau posibl. Mae dilysrwydd yn cyfeirio at y graddau y mae canlyniadau arbrawf penodol yn cefnogi rhywfaint o gasgliad mwy cyffredinol. Mae gwyddonwyr cymdeithasol wedi ei chael yn ddefnyddiol rhannu dilysrwydd yn bedair prif fath: dilysrwydd casgliad ystadegol, dilysrwydd mewnol, dilysrwydd adeiladu a dilysrwydd allanol (Shadish, Cook, and Campbell 2001, chap. 2) . Bydd meistroli'r cysyniadau hyn yn rhoi rhestr wirio i chi ar gyfer beirniadu a gwella dyluniad a dadansoddiad arbrawf, a bydd yn eich helpu i gyfathrebu ag ymchwilwyr eraill.
Mae dilysrwydd casgliad ystadegol yn canolbwyntio a wnaed dadansoddiad ystadegol yr arbrawf yn gywir. Yng nghyd-destun Schultz et al. (2007) , gallai cwestiwn o'r fath ganolbwyntio ar a ydynt yn cyfrifo eu \(p\) - yn nodi'n gywir. Mae angen i'r egwyddorion ystadegol ddylunio a dadansoddi arbrofion y tu hwnt i gwmpas y llyfr hwn, ond nid ydynt wedi newid yn sylfaenol yn yr oes ddigidol. Yr hyn sydd wedi newid, fodd bynnag, yw bod yr amgylchedd data mewn arbrofion digidol wedi creu cyfleoedd newydd megis defnyddio dulliau dysgu peiriannau i amcangyfrif heterogeneity of treatment effects (Imai and Ratkovic 2013) .
Mae dilysrwydd mewnol yn ganoli a oedd y gweithdrefnau arbrofol yn cael eu perfformio'n gywir. Yn dychwelyd i'r arbrawf o Schultz et al. (2007) , gallai cwestiynau am ddilysrwydd mewnol ganolbwyntio ar hapoli, darparu triniaeth, a mesur canlyniadau. Er enghraifft, efallai y byddwch yn poeni nad oedd y cynorthwywyr ymchwil yn darllen y mesuryddion trydan yn ddibynadwy. Mewn gwirionedd, roedd Schultz a chydweithwyr yn poeni am y broblem hon, ac roeddent wedi cael sampl o fetrau yn darllen ddwywaith; Yn ffodus, roedd y canlyniadau yn yr un modd yn yr un modd. Yn gyffredinol, ymddengys bod arbrawf Schultz a chydweithwyr yn ddilysrwydd mewnol uchel, ond nid yw hyn bob amser yn wir: mae maes cymhleth ac arbrofion ar-lein yn aml yn mynd i broblemau mewn gwirionedd, gan ddarparu'r driniaeth gywir i'r bobl iawn a mesur y canlyniadau i bawb. Yn ffodus, gall yr oedran ddigidol helpu i leihau pryderon ynghylch dilysrwydd mewnol oherwydd ei bod bellach yn haws sicrhau bod y driniaeth yn cael ei chyflwyno i'r rheini sydd i fod i'w dderbyn ac i fesur canlyniadau i'r holl gyfranogwyr.
Adeiladu canolfannau dilysrwydd o gwmpas y gêm rhwng y data a'r dehongliadau damcaniaethol. Fel y trafodwyd ym mhennod 2, mae'r cyfansoddiadau yn gysyniadau haniaethol y mae gwyddonwyr cymdeithasol yn eu hystyried. Yn anffodus, nid yw'r cysyniadau haniaethol hyn bob amser yn meddu ar ddiffiniadau a mesuriadau clir. Yn dychwelyd i Schultz et al. (2007) , mae'r hawliad y gall normau cymdeithasol gwaharddol leihau defnydd trydan yn ei gwneud yn ofynnol i ymchwilwyr gynllunio triniaeth a fyddai'n trin "normau cymdeithasol gwaharddol" (ee emosiwn) ac i fesur "defnydd trydan". Mewn arbrofion analog, roedd llawer o ymchwilwyr yn cynllunio eu triniaethau eu hunain ac yn mesur eu canlyniadau eu hunain. Mae'r ymagwedd hon yn sicrhau bod yr arbrofion, cymaint â phosibl, yn cydweddu â'r ffurfiau haniaethol sy'n cael eu hastudio. Mewn arbrofion digidol lle mae ymchwilwyr yn partner â chwmnļau neu lywodraethau i gyflwyno triniaethau a defnyddio systemau data bob amser i fesur deilliannau, efallai y bydd y gêm rhwng yr arbrawf a'r dehongliadau damcaniaethol yn llai dynn. Felly, disgwyliaf y bydd dilysrwydd adeiladu yn dueddol o fod yn bryder mwy mewn arbrofion digidol nag mewn arbrofion analog.
Yn olaf, mae dilysrwydd allanol yn canolbwyntio ar a ellir cyffredinoli canlyniadau'r arbrawf hwn i sefyllfaoedd eraill. Yn dychwelyd i Schultz et al. (2007) , gallai un ofyn a fyddai'r un syniad hwn - yn rhoi gwybodaeth i bobl am eu defnydd o ynni mewn perthynas â'u cyfoedion a signal o normau gwahardd (ee emosiwn) - yn lleihau'r defnydd o ynni pe bai'n cael ei wneud mewn ffordd wahanol mewn lleoliad gwahanol. Ar gyfer y rhan fwyaf o arbrofion a gynlluniwyd yn dda ac sy'n cael eu rhedeg yn dda, pryderon ynghylch dilysrwydd allanol yw'r rhai anoddaf eu rhoi. Yn y gorffennol, roedd y dadleuon hyn ynghylch dilysrwydd allanol yn ymwneud yn aml â dim mwy na grŵp o bobl yn eistedd mewn ystafell gan geisio dychmygu beth fyddai wedi digwydd pe bai'r gweithdrefnau wedi'u gwneud mewn ffordd wahanol, neu mewn man arall, neu gyda chyfranogwyr gwahanol . Yn ffodus, mae'r oedran ddigidol yn galluogi ymchwilwyr i symud y tu hwnt i'r manylebau hyn heb eu data ac asesu dilysrwydd allanol yn empirig.
Gan fod y canlyniadau o Schultz et al. (2007) mor gyffrous, cwmni a enwir Opower yn gysylltiedig â chyfleustodau yn yr Unol Daleithiau i ddefnyddio'r driniaeth yn ehangach. Yn seiliedig ar ddyluniad Schultz et al. (2007) , creodd Opower Adroddiadau Ynni Cartref wedi'u haddasu a oedd â dau brif fodiwl: un yn dangos defnydd trydan cartref o'i gymdogion gydag emosiwn ac un yn cynnig awgrymiadau ar gyfer lleihau'r defnydd o ynni (ffigur 4.6). Yna, mewn partneriaeth ag ymchwilwyr, llwyddodd Opower i gynnal arbrofion wedi'u harchebu ar hap i asesu effaith yr Adroddiadau Ynni Cartref hyn. Er bod y triniaethau yn yr arbrofion hyn fel rheol yn cael eu cyflwyno'n gorfforol fel arfer trwy bost falwen-hen-ffasiwn-mesurwyd y canlyniad gan ddefnyddio dyfeisiau digidol yn y byd ffisegol (ee, mesuryddion pŵer). Yn ychwanegol, yn hytrach na chasglu'r wybodaeth hon â chynorthwywyr ymchwil yn ymweld â phob tŷ, roedd yr arbrofion Opower i gyd wedi'u gwneud mewn partneriaeth â chwmnïau pŵer sy'n galluogi'r ymchwilwyr i weld y darlleniadau pŵer. Felly, cynhaliwyd yr arbrofion maes rhannol digidol hyn ar raddfa enfawr ar gost amrywiol iawn.
Ffigur 4.6: Roedd gan yr Adroddiadau Ynni Cartref Fodiwl Cymharu Cymdeithasol a Modiwl Camau Gweithredu. Atgynhyrchwyd gan ganiatâd Allcott (2011) , ffigurau 1 a 2.
Mewn set gyntaf o arbrofion yn cynnwys 600,000 o gartrefi o 10 safle gwahanol, Allcott (2011) fod yr Adroddiad Ynni Cartref yn lleihau'r defnydd o drydan. Mewn geiriau eraill, roedd y canlyniadau o'r astudiaeth lawer mwy, mwy daearyddol amrywiol yn ansoddol debyg i ganlyniadau Schultz et al. (2007) . Ymhellach, mewn ymchwil dilynol yn cynnwys wyth miliwn o gartrefi ychwanegol o 101 o wahanol safleoedd, Allcott (2015) unwaith eto fod yr Adroddiad Ynni Cartref yn gyson yn lleihau'r defnydd o drydan. Datgelodd y set hon o arbrofion llawer mwy hefyd patrwm diddorol newydd na fyddai'n weladwy mewn unrhyw arbrawf unigol: maint yr effaith a wrthodwyd yn yr arbrofion diweddarach (ffigur 4.7). Allcott (2015) fod y dirywiad hwn yn digwydd oherwydd, dros amser, roedd y driniaeth yn cael ei defnyddio i wahanol fathau o gyfranogwyr. Yn fwy penodol, roedd cyfleustodau gyda chwsmeriaid sy'n canolbwyntio mwy ar yr amgylchedd yn fwy tebygol o fabwysiadu'r rhaglen yn gynharach, ac roedd eu cwsmeriaid yn fwy ymatebol i'r driniaeth. Gan fod cyfleustodau gyda chwsmeriaid llai sy'n canolbwyntio ar yr amgylchedd wedi mabwysiadu'r rhaglen, ymddengys bod ei effeithiolrwydd yn dirywio. Felly, yn union fel bod hapoli mewn arbrofion yn sicrhau bod y grŵp triniaeth a rheolaeth yn debyg, mae hapoli mewn safleoedd ymchwil yn sicrhau y gellir cyffredinolu'r amcangyfrifon o un grŵp o gyfranogwyr i boblogaeth fwy cyffredinol (meddyliwch yn ôl i bennod 3 am samplu). Os nad yw safleoedd ymchwil yn cael eu samplu ar hap, yna gall cyffredinoli - hyd yn oed o arbrawf wedi'i gynllunio a'i gynnal yn berffaith - fod yn broblem.
Ffigur 4.7: Canlyniadau 111 o arbrofion yn profi effaith yr Adroddiad Ynni Cartref ar y defnydd o drydan. Mewn safleoedd lle mabwysiadwyd y rhaglen yn ddiweddarach, roedd yn tueddu i gael effeithiau llai. Allcott (2015) dadlau mai prif ffynhonnell y patrwm hwn yw bod safleoedd â mwy o gwsmeriaid sy'n canolbwyntio ar yr amgylchedd yn fwy tebygol o fabwysiadu'r rhaglen yn gynharach. Addaswyd o Allcott (2015) , ffigur 3.
Gyda'i gilydd, mae'r 111 arbrofi-10 hyn yn Allcott (2011) a 101 yn Allcott (2015) - yn cynnwys tua 8.5 miliwn o gartrefi o bob cwr o'r Unol Daleithiau. Maent yn gyson yn dangos bod Home Energy Reports yn lleihau'r defnydd o drydan ar gyfartaledd, sef canlyniad sy'n cefnogi canfyddiadau gwreiddiol Schultz a chydweithwyr o 300 o gartrefi yng Nghaliffornia. Y tu hwnt dim ond yn dyblygu'r canlyniadau gwreiddiol hyn, mae'r arbrofion dilynol hefyd yn dangos bod maint yr effaith yn amrywio yn ôl lleoliad. Mae'r set hon o arbrofion hefyd yn dangos dau bwynt mwy cyffredinol am arbrofion maes rhannol ddigidol. Yn gyntaf, bydd ymchwilwyr yn gallu mynd i'r afael â phryderon ynghylch dilysrwydd allanol yn empirig pan fydd cost cynnal arbrofion yn isel, a gall hyn ddigwydd os yw'r canlyniad eisoes yn cael ei fesur gan system ddata bob amser. Felly, mae'n awgrymu y dylai ymchwilwyr fod yn edrych ar ymddygiadau diddorol a phwysig eraill sydd eisoes yn cael eu cofnodi, ac yna'n dylunio arbrofion ar ben y seilwaith mesur presennol hwn. Yn ail, mae'r set hon o arbrofion yn ein hatgoffa nad yw arbrofion maes digidol yn unig ar-lein; yn gynyddol, rwy'n disgwyl y byddant ym mhobman â llawer o ganlyniadau yn cael eu mesur gan synwyryddion yn yr amgylchedd adeiledig.
Mae'r pedwar math o ddilysrwydd casgliad dilysrwydd ystadegol, dilysrwydd mewnol, dilysrwydd adeiladu a dilysrwydd allanol-yn darparu rhestr wirio feddyliol i helpu ymchwilwyr i asesu a yw canlyniadau'r arbrawf penodol yn cefnogi casgliad mwy cyffredinol. O'i gymharu ag arbrofion oedran analog, mewn arbrofion oedran digidol, dylai fod yn haws mynd i'r afael â dilysrwydd allanol yn empirig, a dylai fod yn haws sicrhau dilysrwydd mewnol hefyd. Ar y llaw arall, mae'n debyg y bydd materion o ddilysrwydd adeiladu yn fwy heriol mewn arbrofion oedran digidol, yn enwedig arbrofion maes digidol sy'n cynnwys partneriaethau â chwmnïau.
