4.4.1 Validite

Validite refere a konbyen lajan rezilta yo nan yon eksperyans sipòte yon konklizyon plis jeneral.

Pa gen eksperyans se pafè, ak chèchè yo te devlope yon vokabilè vaste a dekri pwoblèm posib. Validite refere a nan ki pwen rezilta yo nan yon eksperyans patikilye sipòte kèk konklizyon plis jeneral. Syantis Sosyal te jwenn li itil yo fann validite nan kat kalite prensipal: estatistik konklizyon validite, entèn validite, konstwi validite, ak ekstèn validite (Shadish, Cook, and Campbell 2001, Ch 2) . Metrize sa yo konsèp ap ofri ou yon lis verifikasyon mantal pou kritik ak amelyore konsepsyon an ak analiz de yon eksperyans, epi li pral ede w kominike ak lòt chèchè.

Estatistik validite konklizyon sant alantou si wi ou non te analiz la statistik de eksperyans la fè yo kòrèkteman. Nan kontèks la nan Schultz et al. (2007) kesyon sa yo ta ka sant sou si yo calculée p-valè yo kòrèkteman. analiz estatistik se pi lwen pase sijè ki abòde lan nan liv sa a, men mwen ka di ke prensip yo estatistik bezwen nan konsepsyon ak analize eksperyans pa chanje nan laj la dijital. Sepandan, anviwònman an done diferan nan eksperyans dijital kreye nouvo opòtinite estatistik (egzanp, lè l sèvi avèk metòd aprantisaj machin yo estime eterojeneite nan efè tretman (Imai and Ratkovic 2013) ) ak nouvo defi enfòmatik (egzanp, bloke nan eksperyans masiv (Higgins, Sävje, and Sekhon 2016) ).

Entèn validite sant alantou si wi ou non pwosedi yo eksperimantal te fèt kòrèkteman. Lè yo retounen a eksperyans la nan Schultz et al. (2007) , kesyon sou validite entèn te kapab sant alantou Metòd chans a, livrezon nan tretman an, ak mezi nan rezilta yo. Pou egzanp, ou ta ka konsène ke asistan yo rechèch pa t 'li mèt yo elektrik fiable. An reyalite, Schultz ak kòlèg te enkyete w sou pwoblèm sa a epi yo te gen yon echantiyon nan mèt li de fwa; erezman, rezilta yo te esansyèlman ki idantik. An jeneral, Schultz ak eksperyans kòlèg 'parèt yo gen gwo validite entèn yo, men sa a se pa toujou ka a; jaden konplèks ak eksperyans sou entènèt souvan kouri antre nan pwoblèm aktyèlman fournir tretman an dwa moun yo dwa ak mezire rezilta yo pou tout moun. Erezman, laj dijital la ka ede diminye enkyetid sou validite entèn paske li fè li pi fasil asire ke se tretman an lage kòm fèt bay moun yo ki yo sipoze resevwa l 'ak ki mezire rezilta pou tout patisipan yo.

Konstwi sant validite alantou matche ak ki genyen ant done yo ak konstwi yo teyorik. Jan nou te diskite nan chapit 2, konstwi yo konsèp abstrè ke syantis sosyal rezon sou. Malerezman, konsèp abstrè sa yo pa toujou gen definisyon klè ak mezi. Lè yo retounen a Schultz et al. (2007) , reklamasyon an ki enjonktif sosyal nòm ka pi ba itilize elektrisite mande pou chèchè nan konsepsyon yon tretman ki ta manipile "enjonktif nòm sosyal" (egzanp, yon emosykon) ak ki mezire "itilize elektrisite". Nan eksperyans analòg, anpil chèchè fèt tretman pwòp yo, epi mezire rezilta pwòp yo. Apwòch sa a asire ke, kòm plis ke posib, eksperyans yo matche ak konstwi yo abstrè ke yo te etidye. Nan eksperyans dijital kote chèchè patnè ak konpayi oswa gouvènman rive delivre tretman epi sèvi ak toujou-sou sistèm done ki mezire rezilta, matche ak ki genyen ant eksperyans la ak konstwi yo teyorik ka gen mwens sere. Se konsa, mwen espere ke konstwi validite pral gen tandans yo dwe yon enkyetid pi gwo nan eksperyans dijital pase eksperyans analòg.

Finalman, validite ekstèn sant alantou si wi ou non rezilta yo nan eksperyans sa a ta jeneralizasyon nan lòt sitiyasyon. Lè yo retounen a Schultz et al. (2007) , yon sèl te kapab mande, yo pral sa a menm lide-bay moun enfòmasyon sou l 'enèji yo an relasyon avèk lòt timoun parèy yo ak yon siyal nan nòm enjonktif (egzanp, yon emosykon) -reduce itilizasyon enèji si li te fè nan yon fason diferan nan yon anviwònman diferan? Pou pifò byen ki fèt ak byen-kouri eksperyans, enkyetid sou validite ekstèn yo pi di a nan adrès. Nan tan lontan, deba sa yo sou validite ekstèn te souvan jis yon pakèt moun sou moun chita nan yon chanm ap eseye imajine sa ki ta ap rive si pwosedi yo te fè nan yon fason diferan, oswa nan yon kote ki diferan, oswa ak moun diferan. Erezman, laj dijital la pèmèt chèchè pou avanse pou pi pi lwen pase spékulasion done-gratis sa yo ak evalye validite ekstèn pwouve.

Paske rezilta yo soti nan Schultz et al. (2007) yo te tèlman enteresan, yon konpayi yo te rele Opower tèt-ansanm ak sèvis piblik nan Etazini yo deplwaye tretman an plis lajman. Baze sou desen an nan Schultz et al. (2007) , Opower kreye ki Customized Rapò Enèji Kay ki te gen de modil prensipal yo, yon sèl ki montre yon kay an l 'elektrisite relatif nan vwazen li yo ak yon emosykon ak yon bay konsèy pou bese itilizasyon enèji (Figi 4.6). Lè sa a, an kolaborasyon avèk chèchè, Opower te kouri owaza kontwole eksperyans evalye enpak la nan Rapò yo Enèji Kay. Menm si tretman yo nan eksperyans sa yo yo te tipikman lage fizikman-anjeneral nan fin vye granmoun alamòd kalmason lapòs-te rezilta a mezire lè l sèvi avèk aparèy dijital nan mond lan fizik (egzanp, mèt pouvwa). Olye ke manyèlman kolekte enfòmasyon sa a ak asistan rechèch vizite chak kay, eksperyans yo Opower te tout fè an kolaborasyon avèk konpayi pouvwa pèmèt chèchè yo jwenn aksè nan lekti yo pouvwa. Se konsa, sa yo eksperyans jaden pasyèlman dijital te kouri nan yon echèl masiv nan pri varyab ki ba.

Figi 4.6: Rapò yo Enèji Kòmanse nan a Allcott (2011) te gen yon Sosyal Konparezon Modil ak yon Aksyon Etap Modil.

Nan yon seri premye nan eksperyans ki enplike 600,000 kay te sèvi pa 10 konpayi sèvis piblik alantou peyi Etazini, Allcott (2011) jwenn enèji Rapò a Kay bese konsomasyon elektrisite pa 1.7%. Nan lòt mo, rezilta yo soti nan pi gwo, plis jewografik divès etid la te kalitatif menm jan ak rezilta yo soti nan Schultz et al. (2007) . Men, gwosè a efè te pi piti: nan Schultz et al. (2007) kay yo nan deskriptif ak enjèktiv nòm kondisyon an (youn nan ak emosykon a) redwi itilizasyon elektrisite yo pa 5%. Rezon ki fè la egzak pou diferans sa a se enkoni, men Allcott (2011) espekile ke resevwa yon emosykon ekri alamen kòm yon pati nan yon etid patwone pa yon inivèsite ta ka gen yon efè pi gwo sou konpòtman pase resevwa yon emosykon enprime kòm yon pati nan yon rapò mas ki pwodui ki sòti nan yon pouvwa konpayi.

Pli lwen, nan rechèch ki vini apre, Allcott (2015) rapòte sou yon lòt 101 eksperyans ki enplike yon lòt 8 milyon fwaye. Nan sa yo pwochen 101 eksperyans Enèji Rapò a Kay kontinye yo ka fè pèp pi ba konsomasyon elektrisite yo, men efè yo te menm pi piti. Rezon ki fè la egzak pou sa a bès se pa li te ye, men Allcott (2015) espekile ke efikasite nan rapò an parèt yo dwe dekline sou tan paske li te aktyèlman ke yo te aplike nan diferan kalite patisipan yo. Plis espesyalman, sèvis piblik nan plis zòn anvironmantalist yo te plis chans adopte pwogram nan pi bonè ak kliyan yo te plis reponn a tretman an. Kòm sèvis piblik ki gen mwens kliyan anviwònman adopte pwogram nan, efikasite li yo parèt devan diminye. Se konsa, menm jan Metòd chans nan eksperyans asire ke tretman ak kontwòl gwoup la yo sanble, Metòd chans nan sit rechèch asire ke estimasyon yo ka jeneralize soti nan yon gwoup youn nan patisipan yo yon popilasyon plis jeneral (panse tounen nan Chapit 3 sou pran echantiyon). Si sit rechèch yo pa echantiyon owaza, lè sa a jeneralizasyon-menm ki sòti nan yon parfe ki fèt ak fèt eksperyans-kapab pwoblèm.

Ansanm, sa yo 111 eksperyans-10 nan Allcott (2011) ak 101 nan Allcott (2015) -involved sou 8.5 milyon fwaye soti nan tout lòt peyi sou peyi Etazini. Yo toujou montre ke Rapò Enèji nan Kay diminye jou mwayèn konsomasyon elektrisite, yon rezilta ki sipòte konklizyon yo ki orijinal la nan Schultz ak kòlèg soti nan 300 kay nan California. Pi lwen pase jis repwodui rezilta orijinal sa yo, eksperyans yo swiv-up montre tou ke gwosè a nan efè a varye selon kote. Sa a mete nan eksperyans tou montre de plis pwen jeneral sou eksperyans jaden pasyèlman dijital. Premyèman, chèchè yo pral kapab pwouve enkyetid adrès sou validite ekstèn lè pri a nan kouri eksperyans se ki ba, ak sa a ka rive si se rezilta a deja ke yo te mezire pa yon toujou-sou done sistèm. Se poutèt sa, li sijere ke rechèch ta dwe sou gade-soti la pou lòt konpòtman enteresan ak enpòtan ke yo deja ke yo te anrejistre, ak Lè sa a konsepsyon eksperyans sou tèt sa a enfrastrikti mezire ki egziste deja. Dezyèmman, sa a seri de eksperyans fè nou sonje ke eksperyans jaden dijital yo pa sèlman sou entènèt; de pli zan pli Mwen atann mwen ke yo pral tout kote ak rezilta anpil mezire pa aparèy mosyon sansib nan anviwònman an bati.

kat kalite yo nan validite-estatistik validite konklizyon, entèn validite, konstwi validite, ekstèn validite-bay yon lis verifikasyon mantal ede chèchè evalye si rezilta yo soti nan yon eksperyans patikilye sipòte yon konklizyon plis jeneral. Konpare ak eksperyans laj analòg, nan eksperyans laj dijital li ta dwe pi fasil nan adrès validite ekstèn pwouve ak li ta dwe pi fasil yo asire entèn validite. Nan lòt men an, pwoblèm nan konstwi validite ap pwobableman ap pi difisil nan eksperyans laj dijital (byenke ki pa te ka a ak eksperyans yo Opower).