4.4.1 galiojimas
Galiojimas nurodo, kiek eksperimento rezultatai patvirtina bendresnę išvadą.
Nėra eksperimentas yra tobula, ir mokslininkai sukūrė platų žodyną apibūdinti galimas problemas. Galiojimas nurodo, kiek tam tikro eksperimento rezultatai patvirtina kai bendresnę išvadą. Socialiniai mokslininkai nustatė, kad naudinga padalinti galiojimą į keturias pagrindines grupes: statistinis sudarymo galiojimo, vidaus galiojimo, statyti galiojimą ir išorės galiojimą (Shadish, Cook, and Campbell 2001, Ch 2) . Mastering šias sąvokas suteiks Jums psichikos kontrolinį sąrašą critiquing ir gerinti projektavimas ir analizė eksperimentą, ir tai padės jums bendrauti su kitais mokslininkais.
Statistiniai sudarymo galiojimo centrai aplink, ar statistinė analizė eksperimente buvo padaryta teisingai. Kontekste Schultz et al. (2007) , pavyzdžiui klausimas gali sutelkiamas ar jie apskaičiuojami jų p reikšmės teisingai. Statistinė analizė yra anapus šios knygos taikymo sritį, tačiau galiu pasakyti, kad statistikos principus, reikalingus kurti ir analizuoti eksperimentų nepasikeitė skaitmeniniame amžiuje. Tačiau skirtingi duomenys aplinka skaitmeninių eksperimentų ar kurti naujus statistinius galimybes (pavyzdžiui, naudojant mašina mokymosi metodus įvertinti heterogeniškumas gydymo poveikis (Imai and Ratkovic 2013) ) ir Naujosios skaičiavimo uždaviniai (pvz, blokuoja masyvi eksperimentų (Higgins, Sävje, and Sekhon 2016) ).
Vidaus galiojimo centrai aplink, ar eksperimentiniai procedūros buvo atliktos tinkamai. Sugrįžti į eksperimento Schultz et al. (2007) , klausimai apie vidaus galiojimo galėjo sutelks tikimybių, pristatymas gydymo ir matavimo rezultatus. Pavyzdžiui, jums gali būti suinteresuotos, kad mokslinių tyrimų asistentai ne skaityti elektros skaitikliai patikimai. Tiesą sakant, Schultz kolegos buvo susirūpinę šia problema ir jie turėjo metrų skaityti du kartus mėginio; Laimei, rezultatai iš esmės buvo identiški. Apskritai, Schultz kolegų eksperimentas, atrodo, turi aukštą vidinį pagrįstumą, tačiau tai ne visada; sudėtinga sritis ir internetiniai eksperimentai dažnai paleisti į problemų iš tikrųjų įgyvendinančių tinkamą gydymą reikiamiems žmonėms ir matavimo rezultatų visiems. Laimei, skaitmeninis amžius gali padėti sumažinti susirūpinimą dėl vidaus galiojimo, nes ji padeda lengviau užtikrinti, kad gydymas yra tiekiama kaip skirta tiems, kurie turėjo jį gauti ir įvertinti rezultatus visiems dalyviams.
Nubraižykite galiojimo centrus visame tarp duomenų ir teorinių konstruktų rungtynių. Kaip aptarta 2 skyriuje, konstruktai yra abstrakčios sąvokos, kurios sociologai priežastis apie tai. Deja, šie abstrakčios sąvokos ne visada turi aiškius apibrėžimus ir matavimus. Sugrįžti į Schultz et al. (2007) teiginys, kad įpareigojančius socialines normas gali sumažinti elektros energijos vartojimą reikia mokslininkus sukurti gydymą, kuris būtų manipuliuoti "įpareigojančius socialines normas" (pvz, jaustuko) ir priemonę "elektros naudojimui". Analoginiai eksperimentai, daugelis mokslininkų sukurtas savo gydymo ir išmatuoti savo rezultatus. Šis metodas užtikrina, kad, kiek įmanoma, eksperimentai minutę abstrakčios konstruktai buvo tiriamas. Skaitmeninių eksperimentų kur mokslininkai partneris su įmonių ar vyriausybių pristatyti gydymo ir naudoti visada į duomenų sistemas, įvertinti rezultatus, tarp eksperimento ir teorinių konstruktų rungtynės gali būti mažiau įtemptas. Taigi, tikiuosi, kad konstruktas galiojimas bus linkę būti didesnis susirūpinimas skaitmeninių eksperimentų nei analoginių eksperimentams.
Galiausiai, išorės galiojimo centrai aplink ar Šio eksperimento rezultatai būtų apibendrinti, kad kitose situacijose. Sugrįžti į Schultz et al. (2007) , vienas gali paklausti, ar tai tą pačią idėją teikiantys žmonės informacija apie jų energijos vartojimo santykį su savo bendraamžiais ir iš draudžiamųjų normų (pvz jaustuko) -sumažinti energijos naudojimo, jei tai buvo padaryta kitokiu būdu signalo skirtingas nustatymas? Daugumai gerai suprojektuoti ir gerai vykdyti eksperimentus, susirūpinimas išorės galiojimo yra sunkiausia spręsti. Anksčiau šie debatai apie išorės galiojimo dažnai buvo tiesiog žmonių, sėdinčių kambaryje bando įsivaizduoti, kas būtų nutikę, jei procedūros buvo padaryta kitokiu būdu ar kitoje vietoje, arba su įvairiais žmonėmis krūva. Laimei, skaitmeninis amžius leidžia mokslininkams peržengti šių duomenų nemokamai spekuliacijų ir įvertinti išorinį pagrįstumą empiriškai.
Kadangi rezultatais Schultz et al. (2007) buvo taip įdomu, bendrovė pavadinta Opower bendradarbiauja su komunalinių JAV dislokuoti gydymą plačiau. Remiantis projektavimo Schultz et al. (2007) , Opower sukurta individualų namų energijos praneša, kad turėjo du pagrindinius modulius, vienas rodo namų ūkio elektros energijos naudojimo, palyginti su savo kaimynais su veidelį ir vienas teikiant patarimus sumažinti energijos sąnaudas (4,6 pav.) Tada, bendradarbiaujant su mokslininkais, Opower bėgo atsitiktinių imčių kontroliuojamų eksperimentų įvertinti namų energijos ataskaitų poveikį. Nors šių eksperimentų gydymas paprastai buvo pristatytas fiziškai dažniausiai per senamadiškas paprastu paštu-rezultatas buvo matuojamas naudojant skaitmeninius prietaisus fiziniame pasaulyje (pvz elektros skaitikliai). Užuot rankiniu būdu rinkti šią informaciją su mokslinių tyrimų padėjėjų aplankant kiekvieną namas, Opower eksperimentai buvo viskas padaryta bendradarbiaujant su energetikos bendrovių leidžiantys mokslininkams prieiti prie energijos rodmenis. Taigi, šios dalies skaitmeniniai lauko bandymai buvo paleisti masiškai žemoje kintamosios išlaidos.
4.6 paveikslas: namų energijos Ataskaitos Allcott (2011) turėjo socialinių palyginimas modulis ir ieškinį Žingsniai modulį.
Pirmajame rinkinio eksperimentų su 600.000 namų ūkių aptarnauja 10 komunalinių paslaugų įmonėms visame Jungtinėse Amerikos Valstijose, Allcott (2011) nustatė, kad Titulinis Energijos ataskaita sumažino elektros suvartojimą 1,7%. Kitaip tariant, kyla iš daug didesnės, labiau geografiškai įvairų tyrime, buvo kokybiškai panašūs į rezultatus, gautus Schultz et al. (2007) . Bet, poveikis dydis buvo mažesnis: į Schultz et al. (2007) , kad aprašomajame ir injekcinius normas būklės (vieną su veidelį) namų ūkiai sumažino savo elektros sunaudojimą 5%. Tiksli priežastis, dėl šio skirtumo yra nežinoma, tačiau Allcott (2011) spėliojo, kad gauti ranka rašytą emocijas kaip dalis studijų remia universitete gali turėti didesnį poveikį elgesiui nei gauti išspausdintas emocijas kaip dalis masiškai gaminamas protokolą maitinimo įmonės.
Be to, į vėlesnius tyrimus, Allcott (2015) pranešė apie dar 101 eksperimentų su papildomų 8 milijono namų ūkių. Šiais artimiausius 101 eksperimentų Home Energetika ataskaita ir toliau priversti žmones sumažinti savo elektros energijos suvartojimą, bet poveikis buvo dar mažesnė. Tiksli priežastis, dėl šio nuosmukio nėra žinoma, tačiau Allcott (2015) spėliojo, kad ataskaitos veiksmingumas pasirodė mažėja laikui bėgant, nes ji buvo faktiškai taikyti skirtingų tipų dalyviams. Tiksliau, komunalinės daugiau gamtosaugininkas srityse buvo labiau tikėtina, priimti programą anksčiau, o jų klientai labiau reaguoja į gydymą. Kaip komunalinių su mažiau aplinkai klientams priėmė programą, jos veiksmingumas pasirodė mažėti. Taigi, kaip tikimybių eksperimentuose užtikrina, kad gydymas ir kontrolė grupė yra panašūs, tikimybių mokslinių tyrimų svetainių užtikrina, kad į sąmatas galima apibendrinti iš vienos grupės dalyvių bendresnio gyventojų (prisiminkite 3 skyriuje apie mėginių ėmimą). Jeigu mokslinių tyrimų tinklalapiai nėra imami atsitiktinai, tada apibendrinančių-net puikiai suprojektuotas ir atliktas eksperimentas-gali būti problemiškas.
Kartu šie 111 eksperimentai-10 Allcott (2011) ir 101 Allcott (2015) -involved apie 8,5 milijono namų ūkių iš viso Jungtinėse Valstijose. Jie nuolat rodo, kad namų energijos Ataskaitos sumažinti vidutinį elektros energijos suvartojimą, rezultatas, kuris palaiko originalias išvadas Schultz ir kolegos iš 300 namų Kalifornijoje. Be tik pakartoti šiuos originalius rezultatus, kokių tolesnių eksperimentų taip pat rodo, kad poveikio dydis priklauso nuo vietovės. Šis eksperimentų rinkinys taip pat iliustruoja du bendresnius dalykus apie dalies skaitmeninių eksperimentų. Pirma, mokslininkai galės empiriškai spręsti susirūpinimą išorės galiojimo, kai veikia eksperimentus kaina yra žemas, o tai gali atsitikti, jei rezultatas jau yra matuojama visada ant duomenimis sistema. Todėl teigiama, kad tyrimas turėtų būti ant Sargvieta kitų įdomių ir svarbių elgesio modelius, kurie jau yra įrašytų, ir tada kurti eksperimentus ant šios esamos matavimo infrastruktūrą. Antra, ši eksperimentų rinkinys primena mums, kad skaitmeniniai lauko bandymai yra ne tik internete; vis tikiuosi, kad jie bus visur daug rezultatų matuojant pagal daviklių užstatytą aplinką.
Keturi tipai galiojimo statistikos sudarymo galiojimo, vidaus galiojimo statyti galiojimą, išorės galiojimas teikti psichikos kontrolinį sąrašą, kad tyrėjai įvertinti, ar rezultatai konkretaus eksperimento palaikyti bendresnę išvadą. Palyginti su analoginių amžiaus eksperimentus, Skaitmeninis amžius eksperimentus turėtų būti lengviau spręsti išorinį pagrįstumą empiriškai ir ji turėtų būti lengviau užtikrinti vidaus galiojimą. Kita vertus, klausimai konstrukto galiojimo tikriausiai bus sunkiau į skaitmeninio amžiaus eksperimentų (nors tai buvo ne tas atvejis su Opower eksperimentus).
