Kalig nagtumong sa kon sa unsang paagi sa daghan nga ang mga resulta sa usa ka eksperimento sa pagsuporta sa usa ka labaw nga kinatibuk-ang konklusyon.
Walay eksperimento hingpit, ug ang mga tigdukiduki nga og usa ka halapad nga bokabularyo sa paghulagway sa posible nga mga problema. Kamatuuran nagtumong sa gidak-on nga ang mga resulta sa usa ka partikular nga eksperimento sa pagsuporta sa pipila nga mas kinatibuk-ang konklusyon. Social siyentipiko nakakaplag makatabang sa tipak balido ngadto sa upat ka nag-unang matang sa: statistical konklusyon kabalido, internal nga kabalido, magtukod kabalido, ug external nga kabalido (Shadish, Cook, and Campbell 2001, Ch 2) . Batid sa niini nga mga mga konsepto nga sa paghatag kaninyo sa usa ka mental listahan alang sa critiquing ug sa pagpalambo sa mga disenyo ug pagtuki sa usa ka eksperimento, ug kini makatabang kanimo sa pagpakigsulti sa ubang mga tigdukiduki.
Statistical kalig konklusyon centers sa tibuok kon ang statistical analysis sa eksperimento gihimo sa husto nga paagi. Sa konteksto sa Schultz et al. (2007) ang maong pangutana tingali masentro sa kon sila kuwentahon ang ilang p-mga mithi sa husto nga paagi. Statistical analysis anaa sa unahan sa kasangkaran sa niini nga basahon, apan ako moingon nga ang statistical nga mga baruganan nga gikinahanglan sa pagdisenyo ug analisar eksperimento wala mausab sa digital edad. Apan, ang mga lain-laing mga data sa palibot sa digital nga mga eksperimento ang paghimo sa mga bag-ong statistical mga oportunidad (pananglitan, sa paggamit sa mga pamaagi sa makina sa pagkat-on sa Gibanabana sa heterogeneity sa mga epekto sa pagtambal (Imai and Ratkovic 2013) ) ug ang bag-ong computational hagit (pananglitan, ali sa kaylap nga eksperimento (Higgins, Sävje, and Sekhon 2016) ).
Internal kalig centers sa tibuok kon ang eksperimento pamaagi gipahigayon sa husto nga paagi. Pagbalik ngadto sa eksperimento sa Schultz et al. (2007) , mga pangutana mahitungod sa internal nga kalig nga isentro sa palibot sa randomization, delivery sa pagtambal, ug sukod sa resulta. Pananglitan, mahimo ikaw nga nabalaka nga ang research katabang wala sa pagbasa sa electric meters reliably. Sa pagkatinuod, Schultz ug kaubanan ang mga nabalaka mahitungod niini nga problema ug sila may usa ka sample sa metros sa pagbasa sa makaduha; maayo gani, ang mga resulta esensya susama. Sa kinatibuk-an, Schultz ug mga kauban 'eksperimento makita nga adunay taas nga internal nga kabalido, apan kini dili mao kanunay ang kaso; komplikado nga uma ug sa online eksperimento sa kasagaran modagan ngadto sa mga problema sa tinuod pagluwas sa sa husto nga pagtambal sa too sa mga tawo ug sa pagsukod sa mga resulta alang sa tanan. Maayo na lang, ang mga digital nga edad makatabang sa pagpakunhod sa mga kabalaka mahitungod sa internal nga balido tungod kay kini naghimo niini nga mas sayon aron sa pagsiguro nga ang pagtambal mao ang gitugyan ingon sa gihimo aron sa mga tawo nga unta sa pagdawat niini ug sa pagsukod sa resulta alang sa tanan nga mga partisipante.
Pagtukod kalig centers sa palibot sa duwa tali sa mga data ug sa theoretical mga tagik. Sumala sa gihisgotan sa Kapitulo 2, mga tagik mga abstract mga konsepto nga sosyal nga mga siyentipiko rason mahitungod sa. Ikasubo, kini nga mga abstract nga mga konsepto dili sa kanunay adunay tin-aw nga depinisyon ug mga sukod. Pagbalik ngadto Schultz et al. (2007) , ang pag-angkon nga injunctive sosyal nga mga latid mahimong ipaubos sa paggamit sa kuryente nagkinahanglan tigdukiduki sa pagdisenyo sa usa ka pagtambal nga pagmaniobra sa "injunctive sosyal nga mga latid" (pananglitan, usa ka emoticon) ug sa pagsukod sa "paggamit sa elektrisidad". Sa Analog eksperimento, sa daghan nga mga tigdukiduki nga gidisenyo sa ilang kaugalingon nga mga paagi sa pagtambal ug gisukod ang ilang kaugalingon nga mga resulta. Kini nga pamaagi nagsiguro nga, kutob sa mahimo, ang mga eksperimento pagpares sa abstract mga tagik nga gitun-an. Sa digital eksperimento diin tigdukiduki partner uban sa mga kompanya o mga kagamhanan sa pagluwas sa mga tambal ug sa paggamit kanunay-sa sistema sa mga data sa pagsukod sa resulta, ang duwa tali sa eksperimento ug sa theoretical mga tagik mahimong dili kaayo hugot. Busa, ako nga nga ang maghimo og kalig-on tambong nga mahimong usa ka mas dako nga kabalaka sa digital nga mga eksperimento kay sa Analog mga eksperimento.
Sa katapusan, sa gawas kabalido centers sa tibuok kon ang mga resulta sa eksperimento kini generalize sa ubang mga kahimtang. Pagbalik ngadto Schultz et al. (2007) , ang usa ka tawo mangutana, kabubut-on niini nga sama nga impormasyon ideya-sa paghatag og mga tawo mahitungod sa ilang paggamit sa enerhiya diha sa relasyon ngadto sa ilang mga higala ug sa usa ka signal sa injunctive lagda (pananglitan, usa ka emoticon) -reduce enerhiya paggamit kon kini gibuhat sa usa ka lain-laing mga paagi sa sa usa ka lain-laing mga kahimtang? Kay sa pag-ayo-gidisenyo ug pag-ayo-run nga eksperimento, mga kabalaka mahitungod sa gawas nga kalig mao ang pinakalisud sa pagtubag sa. Sa nangagi, kini nga mga mga debate bahin sa gawas nga kalig mga kanunay lang sa usa ka hugpong sa mga tawo nga naglingkod sa usa ka lawak nga naningkamot sa paghunahuna kon unsa kaha ang mahitabo kon ang mga pamaagi nga gibuhat sa usa ka lain-laing mga paagi, o sa usa ka lain-laing mga dapit, o uban sa lain-laing mga mga tawo. Maayo na lang, ang mga digital nga edad makahimo sa mga tigdukiduki sa pagbalhin sa unahan niini nga mga data sa-free pangagpas ug pagtimbang-timbang sa gawas kalig kasinatianong.
Tungod kay ang mga resulta gikan sa Schultz et al. (2007) kaayo kulbahinam, ang usa ka panon sa nga si Opower nakigtambayayong uban sa mga utilities sa Estados Unidos aron sa magdeploy sa pagtambal nga mas kaylap nga. Base sa disenyo sa Schultz et al. (2007) , Opower Gilalang customized Home Energy taho nga may duha ka mga nag-unang nga modules, ang usa nga nagpakita sa paggamit sa kuryente paryente sa usa ka panimalay sa iyang mga silingan uban sa usa ka emoticon ug usa sa paghatag og tips alang sa dag-um sa enerhiya paggamit (Figure 4.6). Unya, sa pakigtambayayong sa mga tigdukiduki, Opower midalagan sinalagma eksperimento sa pagtimbang-timbang sa mga epekto sa Panimalay Energy taho. Bisan tuod ang mga paagi sa pagtambal niini nga mga eksperimento nga kasagaran gitugyan sa pisikal-kasagaran pinaagi sa daan nga gihimo nga hilahila mail-ang resulta nga gisukod sa paggamit digital nga mga himan diha sa mga pisikal nga kalibotan (pananglitan, gahum metros). Imbes kamut sa pagkolekta niini nga impormasyon uban sa research assistant sa pagbisita sa matag balay, ang Opower mga eksperimento tanan gibuhat sa pakigtambayayong sa mga kompaniya sa gahum sa makaabag nga sa mga tigdukiduki sa pag-access sa mga pagbasa sa gahum. Busa, kini nga mga partially digital eksperimento nga modagan sa usa ka kaylap nga scale sa ubos nga baryable gasto.
Sa usa ka unang hugpong sa mga eksperimento nga naglakip sa 600,000 ka mga panimalay nag-alagad sa 10 nga kompanya sa utility sa palibot sa Estados Unidos, Allcott (2011) nakakaplag sa Home Energy Report lowered konsumo sa elektrisidad sa 1.7%. Sa laing mga pulong, ang mga resulta gikan sa daghan nga mas dako, mas geographically lain-lain nga nga pagtuon sa mga qualitatively susama sa mga resulta gikan sa Schultz et al. (2007) . Apan, ang gidak-on nga epekto mas gamay: sa Schultz et al. (2007) ang mga panimalay sa mga mahubiton ug injective lagda nga kahimtang (ang usa sa mga emoticon) pagkunhod sa ilang paggamit sa kuryente pinaagi sa 5%. Ang tukmang hinungdan sa kalainan kini mao ang wala mailhi, apan Allcott (2011) speculated nga ang pagdawat sa usa ka sinulat sa kamot nga emoticon ingon nga bahin sa usa ka pagtuon nga gipaluyohan sa usa ka unibersidad aron makabaton sa usa ka mas dako nga epekto sa kinaiya kay sa pagdawat sa usa ka pinatik nga emoticon ingon nga bahin sa usa ka masa nga gipatungha taho gikan sa usa ka gahum nga kompanya.
Dugang pa, sa sunod-sunod nga panukiduki, Allcott (2015) report sa usa ka dugang nga 101 eksperimento nga naglakip sa usa ka dugang nga 8 ka milyon nga panimalay. Sa niini nga mga sunod nga 101 eksperimento sa Panimalay Energy Report nagpadayon sa hinungdan sa mga tawo sa pagpaubos sa ilang konsumo sa elektrisidad, apan ang mga epekto sa mga bisan gamay. Ang tukmang hinungdan sa pagkunhod kini dili mao ang nailhan, apan Allcott (2015) speculated nga ang pagka-epektibo sa mga taho nagpakita nga declining sa panahon tungod kay kini sa tinuod nga gipadapat sa lain-laing mga matang sa mga partisipante. Mas espesipiko, utilities sa mas environmentalist nga mga dapit mas lagmit mosagop sa programa sa sayo pa ug ang ilang mga kustomer mas modawat sa pagtambal. Ingon sa mga utilities uban sa dili kaayo sa kinaiyahan kustomer gisagop sa programa, pagka-epektibo niini nagpakita sa kahaponon. Busa, ingon nga randomization diha sa mga eksperimento nagsiguro nga ang mga pagtambal ug pagpugong sa grupo susama, randomization sa mga dapit research nagsiguro nga ang mga banabana mahimong heneral nga gikan sa usa ka sa usa ka grupo sa mga partisipante sa usa ka labaw nga kinatibuk-ang populasyon (hunahuna balik sa Kapitulo 3 mahitungod sa sampling). Kon research nga mga dapit wala mingkuha sa sinalagma, nan generalization-bisan gikan sa usa ka hingpit nga gidisenyo ug gipahigayon eksperimento-mahimong problemado.
Mag-uban, kini nga mga 111 eksperimento-10 sa Allcott (2011) ug 101 sa Allcott (2015) -ang naglangkit sa bahin sa 8.5 ka milyon nga panimalay gikan sa tanan nga sa ibabaw sa United States. Sila kanunayng pagpakita nga Panimalay Energy taho pagpakunhod average konsumo sa kuryente, usa ka resulta nga nagsuporta sa orihinal nga mga kaplag sa Schultz ug kaubanan gikan sa 300 nga mga panimalay sa California. Sa unahan lang sa pagsundog sa niini nga orihinal nga mga resulta, ang follow-up eksperimento nagpakita usab nga ang gidak-on sa epekto magkalahi sa lokasyon. Kini nga hugpong sa mga eksperimento usab naghulagway sa duha ka dugang nga kinatibuk-ang mga punto mahitungod sa partially digital eksperimento uma. Una, ang mga tigdukiduki makahimo sa kasinatianong adres nga mga kabalaka mahitungod sa gawas nga kalig sa diha nga ang gasto sa nagaagay nga eksperimento mao ang ubos, ug kini mahimong mahitabo kon ang resulta na nga gisukod sa usa ka kanunay nga-sa datos nga sistema. Busa, kini nagsugyot nga research kinahanglan nga sa pagtan-aw-gikan sa uban nga mga makapaikag nga ug importante nga kinaiya nga na nga natala, ug unya sa pagdisenyo eksperimento sa ibabaw niining kasamtangan nga igsusukod nga imprastruktura. Ikaduha, kini nga hugpong sa mga eksperimento nagpahinumdom kanato nga ang digital eksperimento dili lang online; mas magdahom ako nga sila mahimong bisan diin sa daghang mga resulta gisukod pinaagi sa mga sensor sa gitukod nga palibot.
Ang upat ka matang sa kalig--statistical kabalido konklusyon, internal nga kabalido, magtukod kabalido, gawas nga kabalido-paghatag og usa ka mental listahan sa pagtabang sa mga tigdukiduki pagtimbang-timbang kon ang mga resulta gikan sa usa ka partikular nga eksperimento pagsuporta sa usa ka labaw nga kinatibuk-ang konklusyon. Kon itandi sa Analog eksperimento edad, sa digital nga mga eksperimento edad nga kini kinahanglan nga mas sayon aron sa pagtubag sa gawas nga balido kasinatianong ug kini kinahanglan nga mas sayon aron sa pagsiguro sa internal nga kabalido. Sa laing bahin, mga isyu sa kabalido maghimo og tingali mahimong mas mahagiton sa digital nga mga eksperimento edad (bisan tuod nga dili mao ang kaso sa mga eksperimento Opower).