4.4.1 Spēkā esamība
Derīgums attiecas uz to, cik daudz Eksperimenta rezultāti atbalstīt daudz vispārīgu secinājumu.
Nē eksperiments ir ideāls, un zinātnieki ir izstrādājuši plašu vārdu krājumu, lai aprakstītu iespējamās problēmas. Derīguma termiņš attiecas uz kādā mērā konkrēta eksperimenta rezultāti atbalstīt kādu vispārēju secinājumu. Sociālie zinātnieki ir atklājuši, ka ir lietderīgi sadalīt derīgumu četrās galvenajās kategorijās: statistikas secinājums derīguma, iekšējo derīguma, būvēt derīgumu, un ārējā derīgums (Shadish, Cook, and Campbell 2001, Ch 2) . Apgūt šos jēdzienus sniegs jums garīgo kontrolsarakstu critiquing un uzlabotu dizainu un analīzi eksperimenta, un tas palīdzēs jums sazināties ar citiem pētniekiem.
Statistikas secinājums derīguma centros visā vai statistiskā analīze eksperimenta tika darīts pareizi. Saistībā ar Schultz et al. (2007) šāds jautājums varētu vērsta uz to, vai viņi aprēķina savas p-vērtības pareizi. Statistiskā analīze ir plašāki par šajā grāmatā, bet es varu teikt, ka statistikas principi, kas nepieciešami, lai izstrādātu un analizēt eksperimentus nav mainījušies digitālajā laikmetā. Tomēr dažādi dati vide ciparu eksperimentos neparedz radīt jaunas statistikas iespējas (piemēram, izmantojot mašīna mācīšanās metodes, lai novērtētu neviendabīgumu ārstēšanas efektu (Imai and Ratkovic 2013) ) un jauniem skaitļošanas izaicinājumus (piemēram, bloķēšana masveida eksperimenti (Higgins, Sävje, and Sekhon 2016) ).
Iekšējais derīgums centros visā vai eksperimentālie procedūras tika veiktas pareizi. Atgriežoties pie eksperimenta Schultz et al. (2007) , jautājumi par iekšējo derīguma varētu būt vērsti ap randomizācijas, piegādi ārstēšanā, un mērīšanu rezultātu. Piemēram, jūs varētu būt bažas, ka pētniecības asistenti nebija lasīt elektrības skaitītāji uzticami. Patiesībā, Schultz un kolēģi bija noraizējies par šo problēmu, un tie bija paraugu metru lasīt divreiz; Par laimi, rezultāti bija būtībā ir identiski. Kopumā Schultz un kolēģu eksperiments, šķiet, ir augsts iekšējo spēku, bet tas ne vienmēr lieta; komplekss lauka un tiešsaistes eksperimenti bieži uzskriet problēmas faktiski piegādā pareizo attieksmi pret pareizajiem cilvēkiem un mērījumu rezultātus ikvienam. Par laimi, digitālajā laikmetā var palīdzēt mazināt bažas par iekšējā derīgumu, jo tas ir vieglāk, lai nodrošinātu to, ka ārstēšana tiek piegādāts kā paredzēts, lai tiem, kas ir paredzēts, lai saņemtu to, un lai novērtētu ietekmi uz visiem dalībniekiem.
Konstruēt derīguma centros visā spēles starp datiem un teorētiskiem konstrukcijas. Kā minēts 2. nodaļā, konstrukcijas ir abstrakti jēdzieni, ka sociālie zinātnieki iemesls apmēram. Diemžēl, šīs abstrakti jēdzieni ne vienmēr ir skaidras definīcijas un mērījumi. Atgriežoties pie Schultz et al. (2007) , apgalvojums, ka par tiesas sociālās normas var samazināt elektroenerģijas patēriņu prasa pētniekus, lai izstrādātu ārstēšanu, kas varētu manipulēt "tiesas sociālās normas" (piemēram, emocijzīmi), un, lai novērtētu "elektroenerģijas lietošanu". In analog eksperimentos, daudzi zinātnieki izstrādāti savi ārstēšanu un izmērīt savu rezultātu. Šī pieeja nodrošina, ka, cik vien iespējams, eksperimenti spēles abstraktie konstrukcijas tiek pētīta. Digitālajās eksperimentos kur pētnieki partneris ar uzņēmumiem vai valdībām, kā nodrošināt ārstēšanu un izmantot vienmēr-on datu sistēmām, lai novērtētu rezultātus, mačs starp eksperimenta un teorētiskie konstrukcijas var būt mazāk saspringts. Tātad, es ceru, ka konstrukcija derīgums būs mēdz būt lielāks bažas ciparu eksperimentos nekā analogās eksperimentiem.
Visbeidzot, ārējais derīguma centros visā vai šā eksperimenta rezultātus varētu vispārināt uz citām situācijām. Atgriežoties pie Schultz et al. (2007) , varētu jautāt, vai tas pati ideja, sniedzot cilvēkiem informāciju par viņu enerģijas izmantošana attiecībās ar saviem vienaudžiem un signāls normu tiesas aizsardzību (piemēram, emocijzīmi) Samazināt enerģijas patēriņu, ja tas tika darīts citā veidā atšķirīgs uzstādījums? Attiecībā uz lielāko labi izstrādāta un labi vadīta eksperimentus, bažas par ārējā derīguma ir visgrūtāk, lai risinātu. Agrāk šīs diskusijas par ārējo derīguma bieži bija tikai ķekars cilvēku sēž istabā mēģinot iedomāties, kas būtu noticis, ja procedūras tika darīts savādāk, vai kādā citā vietā, vai ar dažādiem cilvēkiem. Par laimi, digitālajā laikmetā ļauj pētniekiem, vadoties pēc šiem datiem bez spekulācijām un novērtēt ārējo derīgumu empīriski.
Jo rezultātiem Schultz et al. (2007) bija tik aizraujoša, uzņēmuma nosaukumu Opower sadarbojas ar komunālajiem ASV izvietot ārstēšanu plašāk. Pamatojoties uz projekta Schultz et al. (2007) , kas izveidotas Opower pielāgotus mājas enerģijas ziņo, ka bija divi galvenie moduļi, viens ar mājsaimniecības elektroenerģijas patēriņu, salīdzinot ar kaimiņvalstīm ar emocijzīmi un vienu sniedzot padomus pazeminot enerģijas patēriņu (4.6 attēls). Tad, sadarbībā ar pētniekiem, Opower skrēja randomizēti kontrolēti eksperimenti, lai novērtētu ietekmi Home Energy ziņojumos. Pat ja ārstēšana šajās eksperimentos parasti tika piegādāti fiziski parasti caur vecmodīgi gliemeža pastu-iznākums tika novērtēts, izmantojot digitālās ierīces fiziskajā pasaulē (piemēram, barošanas metri). Nevis manuāli šo informāciju ar pētniecības asistentiem apmeklē katru māju savākt, tad Opower eksperimenti tika viss darīts sadarbībā ar enerģētikas uzņēmumiem ļauj pētniekiem piekļūt barošanas mērījumi. Tādējādi šie daļēji ciparu lauka eksperimenti tika darbināts masveida zemām mainīgajām izmaksām.
Attēls 4.6: Home Energy ziņojumi Allcott (2011) bija sociālo Salīdzinājums moduli un rīcības soļi modulis.
Pirmajā kopumu eksperimentos ar 600,000 mājsaimniecību apkalpo 10 komunālo pakalpojumu uzņēmumiem visā ASV, Allcott (2011) atklāju Home Energy ziņojumā samazināja elektroenerģijas patēriņu par 1,7%. Citiem vārdiem sakot, rezultāti no daudz lielāka, vairāk ģeogrāfiski daudzveidīgu pētījumā, bija kvalitatīvi līdzīgi rezultātiem Schultz et al. (2007) . Bet, efekts izmērs bija mazāks: in Schultz et al. (2007) mājsaimniecību aprakstošā un injective normām stāvoklī (viens ar emocijzīmi) samazināja elektroenerģijas patēriņu par 5%. Precīzs iemesls šādai starpībai nav zināms, bet Allcott (2011) spekulējis, ka saņemot rokrakstā emocijzīmi kā daļu no pētījuma par ko galvojusi universitātē varētu būt lielāka ietekme uz uzvedību, nekā saņem iespiests emocijzīmi kā daļu no masveida ražots ziņojumu enerģētikas uzņēmums.
Turklāt, turpmākajā pētniecībā, Allcott (2015) ziņoja par vēl 101 eksperimenti ar papildu 8 miljoni mājsaimniecību. Šajos Nākamajos 101 eksperimentos Home Energy ziņojumā turpināja izraisīt cilvēku samazināt savu elektroenerģijas patēriņu, bet sekas bija vēl mazāka. Precīza Šā samazinājuma iemesls nav zināms, taču Allcott (2015) spekulējis, ka efektivitāte ziņojuma izrādījās samazinās laika gaitā, jo tas faktiski tiek piemērota dažāda veida dalībniekiem. Precīzāk, komunālie vairāk Environmentalist jomās biežāk pieņemt programmu agrāk, un viņu klienti bija vairāk reaģē uz ārstēšanu. Kā komunālie ar mazāk vides klientiem pieņēma programmu, tā efektivitāte parādījās samazināties. Tādējādi, tāpat kā randomizācijas eksperimentos nodrošina, ka attieksme un kontroles grupā ir līdzīgi, randomizācijas pētniecības vietās nodrošina to, ka aplēses var vispārināt no vienas grupas dalībnieku, lai vairāk iedzīvotāju (domāju, ka atpakaļ uz 3. nodaļu par paraugu). Ja izpētes vietnes nav izlasē nejauši, tad vispārinājums-pat no pilnīgi izstrādāts un veikts eksperiments-var būt problemātiska.
Kopā šie 111 eksperimenti-10 Allcott (2011) un 101 Allcott (2015) -involved aptuveni 8,5 miljoni mājsaimniecību no visas ASV. Viņi pastāvīgi liecina, ka Home Energy Reports samazināt vidējo elektroenerģijas patēriņu, rezultātu, kas atbalsta sākotnējos atzinumus Schultz un kolēģiem no 300 mājām Kalifornijā. Beyond vienkārši atdarināt šos sākotnējos rezultātus, pēcpārbaudes eksperimenti liecina, ka lielums ietekme ir atkarīga no vietas. Šo eksperimentu kopums ilustrē arī vairāk divi vispārīgi punkti par daļēji ciparu lauka eksperimentiem. Pirmkārt, zinātnieki varēs empīriski risināt bažas par ārējo derīgumu, kad izmaksas eksperimentējot ir zems, un tas var notikt, ja iznākums jau tiek mērīta ar vienmēr-par datu sistēmu. Tāpēc, tas liecina, ka pētījumi ir jābūt par izskatu-out citas interesantas un svarīgas uzvedību, kas jau tiek reģistrēti, un tad dizains eksperimentus virsū šīs esošās mērīšanas infrastruktūru. Otrkārt, šis komplekts eksperimentu atgādina mums, ka digitālās lauka eksperimenti ir ne tikai tiešsaistē; arvien vairāk es ceru, ka tie būs visur ar daudziem rezultātiem mēra ar sensoru radīto vidi.
Četri veidi derīguma-statistikas noslēgšanas spēkā esamību, iekšējā spēkā esamību, būvēt derīgumu, ārējais derīgums-sniedz garīgo kontrolsarakstu, lai palīdzētu pētniekiem izvērtēt, vai iegūtas no konkrētā eksperimenta atbalstīt vispārēju secinājumu. Salīdzinot ar analogo vecuma eksperimentiem, digitālo vecuma eksperimentos tas būtu vieglāk risināt ārējo derīgumu empīriski un tas būtu vieglāk, lai nodrošinātu iekšējo derīgumu. No otras puses, jautājumi būvēt derīguma, iespējams, būs grūtāks digitālās vecuma eksperimentiem (lai gan tas tā nav gadījumā ar Opower eksperimentiem).
