4.4.1 galiojimas
Galiojimas nurodo, kiek eksperimento rezultatai patvirtina bendresnę išvadą.
Nė vienas eksperimentas nėra tobulas, o mokslininkai sukūrė daugybę žodžių, apibūdinančių galimas problemas. Galiojimas reiškia, kiek konkretaus eksperimento rezultatai paremia keletą bendrų išvadų. Socialiniai mokslininkai nustatė naudingą padalijimą į keturis pagrindinius tipus: statistinės išvados pagrįstumą, vidinį galiojimą, konstrukcijos pagrįstumą ir išorinį pagrįstumą (Shadish, Cook, and Campbell 2001, chap. 2) . Šių koncepcijų įvaldymas suteiks jums psichinį kontrolinį sąrašą, skirtą kritikuoti ir tobulinti eksperimento projektą ir analizę, ir padės jums bendrauti su kitais tyrėjais.
Statistinės išvados pagrįstumas yra tas, ar eksperimento statistinė analizė buvo atlikta teisingai. Schultz et al. (2007) Kontekste Schultz et al. (2007) , toks klausimas gali būti nukreiptas į tai, ar jie teisingai apskaičiavo jų \(p\) -valus. Statistiniai principai turi kurti ir analizuoti eksperimentus, kurie nepatenka į šios knygos taikymo sritį, tačiau jie skaitmeniniame amžiuje iš esmės nepasikeitė. Vis dėlto pasikeitė tai, kad skaitmeninių eksperimentų duomenų aplinka sukūrė naujas galimybes, pavyzdžiui, naudojant mašininio mokymosi metodus gydymo efektų heterogeniškumui įvertinti (Imai and Ratkovic 2013) .
Vidaus galiojimas priklauso nuo to, ar eksperimento procedūros atliktos teisingai. Grįžtant prie Schultz et al. (2007) Eksperimento Schultz et al. (2007) Klausimai apie vidinį galiojimą gali būti susiję su atsitiktinumu, gydymo pristatymu ir rezultatų įvertinimu. Pavyzdžiui, galite būti susirūpinęs, kad moksliniai padėjėjai patikimai neįskaitė elektros skaitiklių. Tiesą sakant, Schultz ir jo kolegos buvo susirūpinę dėl šios problemos, o du skaitikliai buvo skaitomi du kartus; laimei, rezultatai iš esmės buvo identiški. Apskritai Schultz ir jo kolegų eksperimentas, atrodo, turi didelį vidinį pagrįstumą, tačiau tai ne visada yra: sudėtingos srities ir internetinių eksperimentų metu dažnai susiduriama su problemomis, iš tiesų suteikiant tinkamą gydymą tinkamiems žmonėms ir vertinant kiekvieno asmens rezultatus. Laimei, skaitmeninis amžius gali padėti sumažinti susirūpinimą dėl vidinio galiojimo, nes dabar lengviau užtikrinti, kad gydymas būtų teikiamas tiems, kurie turėtų jį gauti ir įvertinti rezultatus visiems dalyviams.
Konstrukcijos teisingumas yra tarp duomenų ir teorinių konstrukcijų. Kaip aptarta 2 skyriuje, konstrukcijos yra abstrakčios sąvokos, kurias socialiniai mokslininkai supranta. Deja, šiose abstrakčiose sąvokose ne visada yra aiškių apibrėžimų ir matavimų. Grįžtant prie Schultz et al. (2007) Teiginys, kad draudžiamojo pobūdžio socialinės normos gali mažinti elektros energijos vartojimą, todėl mokslininkai turi kurti gydymą, kuris manipuliuotų "draudžiamomis socialinėmis normomis" (pvz., Emocijomis) ir išmatuoti "elektros energijos" naudojimą. Analoginiais bandymais daugelis mokslininkų sukūrė savo gydymą ir išmatavo savo rezultatus. Šis metodas užtikrina, kad kiek įmanoma, eksperimentai atitiktų tyrimo abstrakčius konstrukcijas. Skaitmeniniuose eksperimentuose, kuriuose mokslininkai bendradarbiauja su kompanijomis ar vyriausybėmis, norėdami pateikti gydymo metodus ir naudoti visada naudojamas duomenų sistemas rezultatų matavimui, eksperimento ir teorinių konstrukcijų atitikimas gali būti mažiau griežtas. Taigi, tikiuosi, kad konstrukcijos pagrįstumas dažniausiai yra didesnis rūpestis skaitmeniniuose eksperimentuose nei analoginiai eksperimentai.
Galiausiai, išorinis galiojimas sutelkia dėmesį į tai, ar šio eksperimento rezultatai gali būti apibendrinti kitomis situacijomis. Grįžtant prie Schultz et al. (2007) Galima paklausti, ar tie patys idėją teikianti žmonės su informacija apie savo energijos vartojimą santykiuose su savo bendraamžiais ir įspėjančiųjų normų signalu (pvz., Emocijomis) galėtų sumažinti energijos vartojimą, jei tai būtų daroma kitaip kitoje aplinkoje. Daugumai gerai suplanuotų ir gerai valdomų eksperimentų labiausiai sunku spręsti problemas dėl išorinio galiojimo. Anksčiau šios diskusijos apie išorinį galiojimą dažnai įtraukė ne vien į grupę žmonių, sėdinčių kambaryje, bandydamos įsivaizduoti, kas atsitiko, jei procedūros būtų vykdomos kitaip, kitoje vietoje ar su skirtingais dalyviais . Laimei, skaitmeninis amžius leidžia mokslininkams peržengti šias be duomenų laisvių spekuliacijas ir empiriškai įvertinti išorinį pagrįstumą.
Kadangi Schultz et al. (2007) Buvo taip įdomu, o bendrovė "Opower" bendradarbiavo su komunalinėmis paslaugomis Jungtinėse Amerikos Valstijose, kad plačiau taikytų gydymą. Remiantis Schultz et al. (2007) Opower" sukūrė individualizuotas namų energijos ataskaitas, kuriose buvo du pagrindiniai moduliai: vienas parodė namų ūkio elektros energijos panaudojimą, palyginti su kaimynais, su šypsenėlėmis ir vienas patarimų energijos vartojimo mažinimui (4.6 pav.). Tada, bendradarbiaudama su tyrėjais, "Opower" valdė atsitiktinių imčių kontroliuojamus eksperimentus, kad įvertintų šių "Home Energy" ataskaitų poveikį. Nors šių eksperimentų metu gydymas paprastai buvo pristatytas fiziškai, dažniausiai naudojant senamadiškas sraigės laiškus, rezultatas buvo matuojamas naudojant skaitmeninius prietaisus fiziniame pasaulyje (pvz., Elektros skaitikliai). Be to, negu rankiniu būdu renkant šią informaciją su mokslinių tyrimų asistentais, lankančiais kiekvieną namą, "Opower" eksperimentai buvo atliekami bendradarbiaujant su energetikos bendrovėmis, leidžiančiomis mokslininkams gauti energijos rodmenis. Taigi šie dalinai skaitmeniniai lauko eksperimentai buvo vykdomi masiniu mastu mažomis kintamosiomis sąnaudomis.
4.6 pav.. "Home Energy" ataskaitose buvo socialinio palyginimo modulis ir veiksmo veiksmų modulis. Allcott (2011) , 1 ir 2 paveikslais.
Pirmajame eksperimentų Allcott (2011) kurioje dalyvavo 600 000 namų ūkių iš 10 skirtingų vietų, Allcott (2011) , kad namų energijos ataskaita sumažino elektros energijos suvartojimą. Kitaip tariant, daug didesnio, labiau geografiškai skirtingo tyrimo rezultatai buvo kokybiškai panašūs į Schultz et al. (2007) . Be to, vėlesniuose tyrimuose, kuriuose dalyvavo aštuonis milijonus papildomų namų ūkių iš 101 skirtingų vietų, " Allcott (2015) Vėl nustatė, kad namų energijos ataskaita nuosekliai sumažino elektros energijos suvartojimą. Šis daug didesnis eksperimentų rinkinys taip pat atskleidė įdomų naują modelį, kuris nebūtų matomas nė viename eksperimente: poveikis sumažėjo vėlesniuose eksperimentuose (4,7 pav.). Allcott (2015) Spektaklis teigė, kad šis sumažėjimas atsitiko dėl to, kad laikui bėgant gydymas buvo taikomas skirtingiems dalyvių tipams. Konkrečiau kalbant, komunalinės paslaugos, kuriose buvo labiau orientuoti į aplinką vartotojai, labiau tikėtina, anksčiau pritaikė programą, o jų klientai labiau reagavo į gydymą. Kadangi komunalinės paslaugos, kuriose mažiau aplinkai orientuoti vartotojai pritaikė programą, jos efektyvumas sumažėjo. Taigi, lygiai taip pat, kaip eksperimentų atsitiktinės atrankos būdu, užtikrinama, kad gydymo ir kontrolės grupė yra panaši, atsitiktinės atrankos tyrimo vietose užtikrinama, kad įvertinimai gali būti apibendrinami iš vienos grupės dalyvių į labiau paplitusią populiaciją (žr. 3 skyrių apie mėginių ėmimą). Jei tyrimo vietos nėra atrinktos atsitiktine tvarka, tai apibendrinimas net iš idealiai suplanuoto ir atlikto eksperimento gali būti problemiškas.
4.7 paveikslas. 111 eksperimentų, tiriančių namų energijos ataskaitos poveikį elektros energijos suvartojimui, rezultatai. Vietose, kuriose programa buvo priimta vėliau, ji turėjo mažesnį poveikį. Allcott (2015) Teigia, kad pagrindinis šio modelio šaltinis yra tai, kad svetainės, kuriose yra labiau orientuoti į aplinką vartotojai, labiau linkusios priimti programą anksčiau. Pritaikytas iš " Allcott (2015) , 3 pav.
Kartu šie 111 eksperimentų ( Allcott (2011) - 10 Allcott (2011) ir Allcott (2015) 101 dalyvavo iš viso 8,5 milijono namų ūkių iš visų Jungtinių Amerikos Valstijų. Jie nuosekliai rodo, kad namų energijos ataskaitos sumažina vidutinį elektros energijos suvartojimą, todėl tai patvirtina originalus Schultz ir kolegų iš 300 namų Kalifornijoje išvadas. Be to, kad tik pakartotinai būtų šie pirminiai rezultatai, tolesni eksperimentai taip pat rodo, kad poveikio dydis priklauso nuo vietos. Šis eksperimentų rinkinys taip pat iliustruoja dar du bendresnius dalykus, susijusius su iš dalies skaitmeniniais lauko eksperimentais. Pirma, mokslininkai galės empiriškai spręsti problemas dėl išorinio galiojimo, kai eksperimentų vykdymo išlaidos yra mažos, ir tai gali atsitikti, jei rezultatas jau yra matuojamas nuolatinės duomenų sistemos. Todėl jis siūlo, kad mokslininkai turėtų stebėti kitus įdomius ir svarbius elgesio būdus, kurie jau yra registruojami, ir tada kurti eksperimentus prie šios esamos matavimo infrastruktūros. Antra, šis eksperimentų rinkinys mums primena, kad skaitmeniniai eksperimentai lauke nėra tiesioginiai; Vis tik, aš tikiuosi, kad jie bus visur, kur daugybė rezultatų bus išmatuojami jutikliais į pastatytą aplinką.
Keturių tipų galiojimo-statistinės išvados pagrįstumas, vidinis galiojimas, konstrukcijos galiojimas ir išorinis galiojimas - psichinis kontrolinis sąrašas, padedantis mokslininkams įvertinti, ar konkretaus eksperimento rezultatai paremia bendresnes išvadas. Palyginti su analoginio amžiaus eksperimentais, skaitmeninio amžiaus eksperimentuose turėtų būti lengviau spręsti išorinį galiojimą empiriškai, taip pat turėtų būti lengviau užtikrinti vidinį galiojimą. Kita vertus, konstrukcijos galiojimo klausimai greičiausiai bus sudėtingesni skaitmeninio amžiaus eksperimentuose, ypač skaitmeninių laukų eksperimentuose, kuriuose dalyvauja partnerystė su įmonėmis.
