4.4.1 Kamatuuran

Kalig nagtumong sa kon sa unsang paagi sa daghan nga ang mga resulta sa usa ka eksperimento sa pagsuporta sa usa ka labaw nga kinatibuk-ang konklusyon.

Walay eksperimento nga hingpit, ug ang mga tigdukiduki nakahimo og daghang bokabularyo aron paghulagway sa posibleng mga problema. Ang kamatuuran nagpasabut sa gidak-on sa diin ang mga resulta sa usa ka partikular nga eksperimento nagsuporta sa pipila ka labaw nga heneral nga konklusyon. Ang mga sosyal nga siyentipiko nakakaplag nga kini makatabang sa pagbahin sa balido ngadto sa upat ka pangunang mga matang: ang statistical conclusion validity, internal validity, pagtukod sa balido, ug eksternal nga balido (Shadish, Cook, and Campbell 2001, chap. 2) . Ang pag-master niini nga mga konsepto makahatag kanimo og usa ka checklist sa panghunahuna alang sa pagsaway ug pag-uswag sa disenyo ug pagtuki sa usa ka eksperimento, ug kini makatabang kanimo sa pagpakigsulti sa uban nga mga tigdukiduki.

Ang statistical conclusion validity centers sa palibot kung ang statistical analysis sa eksperimento gihimo sa husto nga paagi. Sa konteksto sa Schultz et al. (2007) , ang ingon nga pangutana mahimong magsentro sa kung gikompirma nila ang ilang \(p\) - husto nga mga rason. Ang mga estatistikal nga mga prinsipyo nga kinahanglan nga mag-disenyo ug mag-analisar sa mga eksperimento dili lapad sa maong libro, apan wala kini sa batakang kausaban sa digital age. Apan, unsa ang nausab mao nga ang mga palibot nga datos sa mga digital nga mga eksperimento nakamugna og bag-o nga mga oportunidad sama sa paggamit sa mga paagi sa pagkat-on sa makina aron sa pagtantiya sa heterogeneity sa mga epekto sa pagtambal (Imai and Ratkovic 2013) .

Internal nga balido nga mga sentro sa palibot kung ang eksperimento nga pamaagi gihimo sa husto nga paagi. Pagbalik sa eksperimento ni Schultz et al. (2007) , ang mga pangutana mahitungod sa pagkakasaligan sa sulod mahimong magsentro sa pagbahinbahin, paghatag sa pagtambal, ug pagsukod sa mga resulta. Pananglitan, tingali mabalaka ka nga ang mga tigtabang sa mga tigdukiduki wala makabasa sa metro nga kable. Sa pagkatinuod, si Schultz ug mga kaubanan nabalaka mahitungod niini nga problema, ug sila adunay usa ka sample nga mga metro nga gibasa sa makaduha; Maayo na lang, ang mga resulta managsama ra. Sa kinatibuk-an, ang eksperimento ni Schultz ug mga kaubanan daw adunay taas nga internal validity, apan kini dili kanunay mao ang kaso: ang komplikado nga field ug ang mga eksperimento sa online sa kasagaran adunay mga problema nga sa pagkatinuod naghatag sa hustong pagtratar sa mga tawong matarung ug pagsukod sa mga sangputanan alang sa tanan. Maayo na lang, ang digital nga edad makatabang sa pagpakunhod sa mga kabalaka mahitungod sa internal nga balido tungod kay mas sayon ​​karon nga maseguro nga ang pagtambal gihatag ngadto sa mga tawo nga unta makadawat niini ug sa pagsukod sa mga resulta alang sa tanan nga mga partisipante.

Pagtukod sa mga sentro sa balido sa palibot sa tugma tali sa datos ug sa mga pagtukod sa teoretikal. Sama sa gihisgutan sa kapitulo 2, ang mga pagtukod mga abstract nga mga konsepto nga gipangatarungan sa mga social scientists. Ikasubo, kining mga konsepto nga abstract dili kanunay adunay tin-aw nga mga kahulugan ug mga pagsukod. Pagbalik sa Schultz et al. (2007) , ang pag-angkon nga ang mga lagda sa katilingban nga pagpa-ubos mahimong makapaubos sa paggamit sa elektrisidad nagkinahanglan sa mga tigdukiduki sa pagdesinyo sa usa ka pagtambal nga magmaniobra sa "injunctive social norms" (pananglitan, emoticon) ug pagsukod sa "paggamit sa elektrisidad". Sa mga eksperimento sa analogue, daghang mga tigdukiduki ang nagdisenyo sa ilang kaugalingon nga mga pagtambal ug gisukod ang ilang kaugalingong mga resulta. Kini nga pamaagi nagsiguro nga, kutob sa mahimo, ang mga eksperimento nahiuyon sa abstrakt nga mga pagtuon nga gitun-an. Sa mga digital nga mga eksperimento diin ang mga tigdukiduki nakig-partner sa mga kompaniya o gobyerno sa paghatag sa mga pagtambal ug naggamit kanunay og mga sistema sa datos aron sa pagsukod sa mga resulta, ang tugma tali sa eksperimento ug sa mga teoretikal nga mga pagtukod tingali dili kaayo hugot. Busa, naglaum ako nga ang pagtukod sa balido mahimong mas dako nga kabalaka sa mga eksperimento sa digital kaysa sa mga eksperimento sa mga analogue.

Sa kataposan, ang mga sentro nga balido sa gawas sa palibot kon ang mga resulta niini nga eksperimento mahimo nga gituohan sa ubang mga sitwasyon. Pagbalik sa Schultz et al. (2007) , mahimo nga pangutana sa usa ka tawo kung kining sama nga ideya-paghatag sa mga tawo og kasayuran mahitungod sa paggamit sa enerhiya nga may kalabutan sa ilang mga kaubanan ug signal of injunctive nga mga lagda (pananglitan, usa ka emoticon) -makunhuran ang paggamit sa enerhiya kung kini gihimo sa lain nga paagi sa laing kahimtang. Alang sa kadaghanan nga maayo nga pagkadisenyo ug maayo nga mga eksperimento, ang mga gikabalak-an mahitungod sa eksternal nga balido mao ang pinakalisud nga sulbaron. Sa kaniadto, kini nga mga debate bahin sa eksternal nga balido kanunay nga naglambigit labaw sa usa ka pundok sa mga tawo nga naglingkod sa usa ka lawak nga naningkamot sa paghanduraw kon unsa ang mahitabo kung ang mga pamaagi gihimo sa lain nga paagi, o sa laing dapit, o uban sa nagkalainlain nga mga partisipante . Maayo na lang, nga ang digital nga edad makapahimo sa mga tigdukiduki sa pag-uswag lapas niining mga wala'y kasayuran sa mga datos ug susihon ang eksternal nga balido nga empirically.

Tungod kay ang mga resulta gikan sa Schultz et al. (2007) nakalingaw kaayo, ang usa ka kompanya nga ginganlan nga Opower nakig-uban sa mga utilities sa Estados Unidos aron ipakaylap ang pagtambal sa mas kaylap. Gibase sa disenyo sa Schultz et al. (2007) , ang Opower nagtukod ug customized Home Energy Reports nga adunay duha ka nag-unang mga modulo: usa nga nagpakita sa paggamit sa kuryente sa usa ka panimalay kalabot sa mga silingan niini nga adunay emoticon ug usa nga naghatag mga tip sa pagpaubos sa paggamit sa enerhiya (Figure 4.6). Dayon, sa pakigtambayayong sa mga tigdukiduki, si Opower nagdumala sa nagkalain-laing mga eksperimento nga nakontrol sa pagtuon sa epekto sa mga Home Energy Reports. Bisan pa ang mga pagtambal niini nga mga eksperimento sa kasagaran ipaagi sa pisikal nga paagi-kasagaran pinaagi sa karaan nga snail mail-ang resulta gisukod gamit ang digital devices sa pisikal nga kalibutan (eg, power meters). Dugang pa, kay sa pagkolekta niini nga kasayuran pinaagi sa mga tigdukiduki sa panukiduki sa pagduaw sa matag balay, ang mga eksperimento sa Opower tanan gihimo sa pakigtambayayong sa mga kompaniya sa kuryente nga makahimo sa mga tigdukiduki nga maka-access sa mga pagbasa sa gahum. Busa, kini nga mga partial nga mga eksperimento sa kapatagan gipadagan sa dinagko nga sukdanan sa ubos nga bayranan nga variable.

Figure 4.6: Ang Home Energy Reports adunay usa ka Modulo sa Social Comparison ug Module sa Action Steps. Allcott (2011) pinaagi sa pagtugot gikan sa Allcott (2011) , mga numero 1 ug 2.

Sa unang hugna sa mga eksperimento nga naglangkob sa 600,000 nga mga panimalay gikan sa 10 ka lainlaing mga dapit, Allcott (2011) nga ang Home Energy Report mipaubos sa konsumo sa kuryente. Sa laing pagkasulti, ang mga resulta gikan sa mas dako, mas nagkalainlain nga pagtuon sa geographically susama sa mga resulta gikan sa Schultz et al. (2007) . Dugang pa, sa misunod nga panukiduki nga naglangkob sa walo ka milyon nga dugang nga mga panimalay gikan sa 101 ka lainlaing mga dapit, ang Allcott (2015) nakit-an pag-usab nga ang Home Energy Report kanunay nga gipaubos ang konsumo sa kuryente. Kini nga mas daghan nga hugpong sa mga eksperimento usab nagpadayag sa usa ka makapaikag nga sumbanan nga dili makita sa usa ka eksperimento: ang gidak-on sa epekto mikunhod sa ulahing mga eksperimento (numero 4.7). Allcott (2015) naghunahuna nga kini nga pagkunhod nahitabo tungod kay, sa paglabay sa panahon, ang pagtambal gipadapat ngadto sa nagkalainlaing matang sa mga partisipante. Labaw sa piho, ang mga utilities nga adunay mas daghang mga nakapokus sa kostumer nga mga kustomer mas lagmit nga mosagop sa programa sa sayo pa, ug ang ilang mga kustomer mas responsive sa pagtambal. Ingon sa mga utilities nga adunay dili kaayo mga naka-focus sa mga kustomer nga gisagop ang programa, ang pagka-epektibo niini nagpakita nga mikunhod. Sa ingon, sama sa pagkasayod sa mga eksperimento nga nagsiguro nga ang pagtambal ug pagkontrol sa grupo susama, ang pagsiksik sa mga lugar sa panukiduki nagsiguro nga ang mga pagbanabana mahimo nga kinatibuk-ang gikan sa usa ka pundok sa mga sumasalmot ngadto sa usa ka labaw nga kinatibuk-ang populasyon (hunahunaa balik sa kapitulo 3 mahitungod sa sampling). Kung ang mga research site dili pa-sampol nga random, nan ang paghimo'g kalahian-bisan gikan sa usa ka hingpit nga gidisenyo ug gipahigayon nga eksperimento-mahimong suliran.

Figure 4.7: Resulta sa 111 eksperimento nga nagsulay sa epekto sa Home Energy Report sa konsumo sa kuryente. Sa mga site nga gisagop sa programa sa ulahi, kini adunay gamay nga mga epekto. Allcott (2015) nangatarongan nga ang usa ka nag-unang tinubdan sa niini nga sumbanan mao nga ang mga dapit nga dunay mas daghang kustomer nga naka-focus nga mga kustomer mas lagmit nga mosagop sa programa sa sayo pa. Gikuha gikan sa Allcott (2015) , numero 3.

Kini nga 111 nga mga eksperimento-10 sa Allcott (2011) ug 101 sa Allcott (2015) -naglambo ang mga 8.5 milyon nga mga panimalay gikan sa tibuok Estados Unidos. Kanunay nilang gipakita nga ang Home Energy Reports nagpakunhod sa kasagaran nga konsumo sa elektrisidad, usa ka resulta nga nagsuporta sa orihinal nga mga nahibal-an ni Schultz ug mga kaubanan gikan sa 300 nga mga panimalay sa California. Gawas lamang sa pagkopya niining orihinal nga mga resulta, ang mga eksperimento sa follow-up usab nagpakita nga ang gidak-on sa epekto nagkalainlain sa lokasyon. Kini nga mga eksperimento naghulagway usab sa duha ka labaw nga kinatibuk-an nga mga punto bahin sa bahin nga mga digital nga eksperimento sa uma. Una, ang mga tigdukiduki makahimo pagtubag sa mga kabalaka mahitungod sa eksternal nga balido kung ang gasto sa mga eksperimento ubos, ug kini mahitabo kung ang resulta gisusi na sa kanunay nga sistema sa datos. Busa, kini nagsugyot nga ang mga tigdukiduki kinahanglan nga magbantay alang sa uban nga mga makapaikag ug mahinungdanon nga mga kinaiya nga girekord na, ug unya magplano sa mga eksperimento sa ibabaw niining kasamtangan nga pagsulud sa pagsukod. Ikaduha, kini nga mga eksperimento nagpahinumdom kanato nga ang digital nga mga eksperimento sa field dili lamang sa online; Nagkadako, nagpaabut ako nga kini bisan asa adunay daghang mga resulta nga gisukod sa mga sensors sa gitukod nga palibot.

Ang upat ka mga matang sa balido nga-pagkapamatud-an sa statistical conclusion, internal validity, pagtukod sa balido, ug sa balidong eksternal-paghatag og mental checklist aron matabangan ang mga tigdukiduki sa pagsusi kung ang mga resulta gikan sa usa ka partikular nga eksperimento nagsuporta sa usa ka mas heneral nga konklusyon. Kung itandi sa mga eksperimento sa mga analogue-age, sa mga eksperimento sa digital nga edad, kini kinahanglan nga mas sayon ​​nga masulbad ang eksternal nga balido nga empirically, ug kinahanglan usab nga mas sayon ​​ang pagsiguro sa internal nga balido. Sa laing bahin, ang mga isyu sa pagtukod sa balido tingali mas mahagiton sa mga eksperimento nga digital-edad, labina ang mga digital nga mga eksperimento sa uma nga naglakip sa pakigtambayayong sa mga kompanya.