4.4.1 Validite
Validite refere a konbyen lajan rezilta yo nan yon eksperyans sipòte yon konklizyon plis jeneral.
Pa gen eksperyans ki pafè, ak chèchè yo te devlope yon vokabilè vaste pou dekri pwoblèm posib. Validite vle di nan ki pwen rezilta yo nan yon eksperyans patikilye sipòte kèk konklizyon jeneral jeneral. Syantis sosyal yo te jwenn li itil yo fann validite nan kat kalite prensipal: validite konklizyon statistik, validite entèn, validite konstwi, ak validite ekstèn (Shadish, Cook, and Campbell 2001, chap. 2) . Metrize konsèp sa yo ap ofri ou yon lis verifikasyon mantal pou kritike ak amelyore konsepsyon ak analiz yon eksperyans, epi li pral ede w kominike avèk lòt chèchè yo.
Estatistik sant validite konklizyon alantou si te analiz la estatistik nan eksperyans la fè kòrèkteman. Nan kontèks Schultz et al. (2007) , tankou yon kesyon ta ka sant sou si wi ou non yo calculate \(p\) -value yo kòrèkteman. Prensip yo estatistik bezwen konsepsyon ak analize eksperyans yo pi lwen pase sijè ki abòde lan liv sa a, men yo pa gen fondamantalman chanje nan laj dijital la. Ki sa ki chanje, sepandan, se ke anviwònman an done nan eksperyans dijital te kreye nouvo opòtinite tankou lè l sèvi avèk metòd aprantisaj machin estimasyon eterogeneite nan efè tretman (Imai and Ratkovic 2013) .
Sant validite entèn alantou si pwosedi eksperimantal yo te fèt kòrèkteman. Retounen nan eksperyans Schultz et al. (2007) , kesyon sou validite entèn ta ka santre alantou o aza, livrezon tretman, ak mezi rezilta. Pou egzanp, ou ka konsène ke asistan rechèch yo pa t 'li mèt yo elektrik fiable. An reyalite, Schultz ak kòlèg li yo te enkyete sou pwoblèm sa a, epi yo te gen yon echantiyon de mèt li de fwa; Erezman, rezilta yo te esansyèlman ki idantik. An jeneral, eksperyans Schultz ak eksperyans kòlèg yo sanble gen gwo validite entèn, men se pa toujou ka a: jaden konplèks ak eksperyans sou entènèt souvan antre nan pwoblèm aktyèlman fournir tretman an dwa nan moun yo dwa ak mezire rezilta yo pou tout moun. Erezman, laj dijital ka ede diminye enkyetid sou validite entèn paske li se kounye a pi fasil pou asire ke tretman an delivre bay moun ki sipoze resevwa li epi pou mezire rezilta pou tout patisipan yo.
Konstwi sant validite alantou match la ant done yo ak konstwi yo teyorik. Kòm diskite nan chapit 2, konstwi yo se konsèp abstrè ke syantis sosyal rezon sou. Malerezman, konsèp abstrè sa yo pa toujou gen definisyon klè ak mezi. Retounen nan Schultz et al. (2007) , reklamasyon an ki enjenyè nòm sosyal ka diminye itilizasyon elektrisite mande pou chèchè yo desine yon tretman ki ta manipile "nòmal enjenyè sosyal" (egzanp, yon emoticon) ak pou mezire "itilize elektrisite". Nan eksperyans analòg, anpil chèchè ki fèt tretman pwòp yo epi yo mezire rezilta pwòp yo. Apwòch sa a asire ke, otan ke posib, eksperyans yo matche ak konstrè yo abstrè yo te etidye. Nan eksperyans dijital kote chèchè patnè ak konpayi oswa gouvènman yo delivre tretman epi sèvi ak toujou-sou sistèm done ki mezire rezilta, match la ant eksperyans la ak konstwi yo teyorik pouvwa gen mwens sere. Se konsa, mwen espere ke validite konstwi pral gen tandans yo dwe yon enkyetid pi gwo nan eksperyans dijital pase nan eksperyans analòg.
Finalman, sant validite ekstèn alantou si rezilta eksperyans sa a ka jeneralize nan lòt sitiyasyon. Retounen nan Schultz et al. (2007) , yon sèl ta ka mande si wi ou non menm lide sa a - bay moun ki gen enfòmasyon sou itilizasyon enèji yo nan relasyon ak kamarad klas yo ak yon siyal nan nòm enjistif (egzanp, yon emoticon) - ta dwe diminye itilizasyon enèji si li te fè nan yon fason diferan nan yon anviwònman diferan. Pou pifò eksperyans ki byen fèt ak byen kouri, enkyetid sou validite ekstèn yo se pi di nan adrès la. Nan tan pase a, deba sa yo sou validite ekstèn yo souvan patisipe pa gen anyen plis pase yon gwoup moun chita nan yon chanm ap eseye imajine sa ki ta rive si pwosedi yo te fè nan yon fason diferan, oswa nan yon lòt kote, oswa avèk patisipan diferan . Erezman, laj dijital la pèmèt chèchè yo deplase pi lwen pase espekilasyon done gratis sa yo epi evalye validite ekstèn anpirikman.
Paske rezilta yo soti nan Schultz et al. (2007) te tèlman enteresan, yon konpayi ki rele Opower patenarya ak sèvis piblik nan Etazini yo deplwaye tretman an pi lajman. Ki baze sou desen an nan Schultz et al. (2007) , Opower te kreye Customized Kay Enèji Rapò ki te gen de modil prensipal: yon sèl ki montre itilizasyon elektrik yon kay la relatif nan vwazen li yo ak yon emoticon ak yon sèl bay konsèy pou diminye itilizasyon enèji (figi 4.6). Lè sa a, an patenarya ak chèchè, Opower te kouri owaza eksperyans kontwole pou evalye enpak Rapò Enèji Kay sa yo. Menm si tretman yo nan eksperyans sa yo te anjeneral delivre fizikman-anjeneral nan lapòs kalm fin vye granmoun-alamòd-rezilta a te mezire lè l sèvi avèk aparèy dijital nan mond lan fizik (egzanp, mèt pouvwa). Pli lwen, olye ke manyèlman kolekte enfòmasyon sa yo ak asistan rechèch vizite chak kay, eksperyans yo Opower tout te fè an kolaborasyon avèk konpayi pouvwa pèmèt chèchè yo gen aksè a lekti yo pouvwa. Kidonk, eksperyans pasyèl dijital sa yo te kouri nan yon echèl masif nan pri ki ba varyab.
Figi 4.6: Rapò sou enèji lakay yo te gen yon modil konparezon sosyal ak yon modèl aksyon etap. Repwodwi pa pèmisyon nan Allcott (2011) , figi 1 ak 2.
Nan yon seri premye nan eksperyans ki enplike 600,000 kay ki soti nan 10 diferan sit, Allcott (2011) jwenn ke Rapò a enèji Kay bese konsomasyon elektrisite. Nan lòt mo, rezilta yo nan etid la pi gwo, plis jeyografik divès te kalitatif menm jan ak rezilta yo soti nan Schultz et al. (2007) . Pli lwen, nan rechèch ki vin apre ki enplike uit milyon kay adisyonèl soti nan 101 diferan sit, Allcott (2015) ankò te jwenn ke Rapò a enèji Kay toujou bese konsomasyon elektrisite. Sa a seri pi gwo nan eksperyans tou devwale yon modèl ki enteresan nouvo ki pa ta dwe vizib nan nenpòt ki eksperyans sèl: gwosè a nan efè a te refize nan eksperyans yo pita (figi 4.7). Allcott (2015) espekile ke n bès sa a te rive paske, apre yon tan, tretman an te aplike pou diferan kalite patisipan yo. Plis espesyalman, sèvis piblik ki gen plis kliyan ki konsantre anviwònman an te plis chans adopte pwogram nan pi bonè, ak kliyan yo te pi plis reponn a tretman an. Kòm sèvis piblik yo ak mwens anviwònman an kliyan yo te adopte pwogram nan, efikasite li yo parèt n bès. Se konsa, menm jan o aza nan eksperyans asire ke gwoup tretman an ak kontwòl yo sanble, randomizasyon nan sit rechèch asire ke estimasyon yo ka jeneralize nan yon gwoup patisipan yo nan yon popilasyon jeneral (panse tounen nan chapit 3 sou echantiyon). Si sit rechèch pa yo echantiyon owaza, Lè sa a, jeneralizasyon-menm soti nan yon eksperyans parfe ki fèt ak fèt - yo ka pwoblèm.
Figi 4.7: Rezilta 111 eksperyans ki teste efè Rapò sou enèji Kay la sou konsomasyon elektrisite. Nan sit kote pwogram nan te adopte pita, li te gen tandans gen pi piti efè. Allcott (2015) diskite ke yon sous prensipal nan modèl sa a se ke sit ki gen plis anviwònman an kliyan yo te plis chans yo adopte pwogram nan pi bonè. Adapte soti nan Allcott (2015) , figi 3.
Ansanm, 111 eksperyans sa yo-10 nan Allcott (2011) ak 101 nan Allcott (2015) -te enplike sou 8.5 milyon kay ki soti nan tout peyi Etazini. Yo toujou montre ke Rapò Enèji Kay redwi konsomasyon elektrisite mwayèn, yon rezilta ki sipòte konklizyon orijinal yo nan Schultz ak kòlèg li yo soti nan 300 kay nan California. Beyond jis replike rezilta orijinal sa yo, eksperyans yo swivi yo montre tou ke gwosè a nan efè a varye pa kote. Sa a seri eksperyans tou montre de plis pwen jeneral sou eksperyans pasyèlman dijital jaden. Premyèman, chèchè yo pral anmezi pou anpeche enkyetid yo sou validite ekstèn lè pri pou fè eksperyans eksperyans yo ba, e sa ka rive si rezilta a deja mezire pa yon sistèm done toujou-sou. Se poutèt sa, li sijere ke chèchè yo ta dwe vijilan a pou lòt konpòtman enteresan ak enpòtan ki deja yo te anrejistre, ak Lè sa a, eksperyans konsepsyon sou tèt sa a enfrastrikti ki mezire ki deja egziste. Dezyèmman, sa a seri eksperyans raple nou ke eksperyans jaden dijital yo pa sèlman sou entènèt; de pli zan pli, mwen espere ke yo pral tout kote ak rezilta anpil mezire pa detèktè nan anviwònman an bati.
Kat kalite validite validite-statistik konklizyon, validite entèn, konstwi validite, ak validite ekstèn-bay yon lis verifikasyon mantal pou ede chèchè evalye si rezilta yo soti nan yon eksperyans patikilye sipòte yon konklizyon jeneral jeneral. Konpare ak eksperyans analòg ki gen laj, nan eksperyans laj dijital, li ta dwe pi fasil nan adrès validite ekstèn anpirik, epi li ta dwe tou pi fasil asire validite entèn yo. Nan lòt men an, pwoblèm nan konstwi validite ap pwobableman gen plis enteresan nan eksperyans laj dijital, espesyalman eksperyans jaden dijital ki enplike patenarya ak konpayi yo.
