4.4.1 Spēkā esamība

Derīgums attiecas uz to, cik daudz Eksperimenta rezultāti atbalstīt daudz vispārīgu secinājumu.

Neviens eksperiments nav ideāls, un pētnieki ir izstrādājuši plašu vārdnīcu, lai aprakstītu iespējamās problēmas. Derīgums attiecas uz to, cik lielā mērā konkrētā eksperimenta rezultāti apstiprina dažus vispārīgākus secinājumus. Sociālie zinātnieki ir uzskatījuši, ka ir lietderīgi sadalīt spēkā esamību četrās galvenajās kategorijās: statistiskā secinājuma derīgums, iekšējais derīgums, konstrukcijas spēkā esamība un ārējā derīgums (Shadish, Cook, and Campbell 2001, chap. 2) . Šo koncepciju apgūšana nodrošinās jums garīgu kontrolsarakstu, lai kritizētu un uzlabotu eksperimenta plānošanu un analīzi, kā arī palīdzēs jums sazināties ar citiem pētniekiem.

Statistikas secinājumu pamatotība ir vērsta uz to, vai eksperimenta statistiskā analīze tika veikta pareizi. Saistībā ar Schultz et al. (2007) , šāds jautājums varētu būt atkarīgs no tā, vai viņi pareizi aprēķināja savas \(p\) -vērtības. Statistikas principi ir jāveido un jāanalizē, eksperimenti ir ārpus šīs grāmatas darbības jomas, taču digitālajā laikmetā tie fundamentāli nav mainījušies. Tomēr ir mainījies tas, ka datu vide digitālajos eksperimentos ir radījusi jaunas iespējas, piemēram, mašīnu mācību metožu izmantošana, lai novērtētu ārstēšanas efektu neviendabīgumu (Imai and Ratkovic 2013) .

Iekšējais derīgums nosaka, vai eksperimentālās procedūras tika veiktas pareizi. Atgriežoties pie eksperimenta Schultz et al. (2007) , jautājumus par iekšējo derīgumu varētu koncentrēt nejaušās izlases veidā, ārstēšanas sniegšanā un rezultātu novērtēšanā. Piemēram, jūs varētu būt bažas, ka pētnieku asistenti ticami neizlasīja elektrisko skaitītāju. Patiesībā Schultz un viņa kolēģi bija noraizējušies par šo problēmu, un viņiem bija divu skaitļu skaitītājs; par laimi, rezultāti būtībā bija vienādi. Kopumā Schultz un kolēģu eksperimentam, šķiet, ir augsts iekšējais derīgums, bet tas ne vienmēr ir gadījums: sarežģīti lauki un tiešsaistes eksperimenti bieži sastopas ar problēmām, kas patiešām rada pareizu attieksmi pret pareizajiem cilvēkiem un novērtē rezultātus ikvienam. Par laimi, digitālais laikmets var palīdzēt mazināt bažas par iekšējo derīgumu, jo tagad ir vieglāk nodrošināt, ka ārstēšana tiek sniegta tiem, kas to gribētu saņemt un novērtēt rezultātus visiem dalībniekiem.

Konstruēt derīgumu centri ap spēli starp datiem un teorētisko konstrukciju. Kā aprakstīts 2. nodaļā, konstrukti ir abstrakts jēdziens, par kuru domā sociālie zinātnieki. Diemžēl šajās abstraktās jēdzēs ne vienmēr ir skaidri definīcijas un mērījumi. Atgriežoties pie Schultz et al. (2007) apgalvojums, ka prasību par to, ka ar tiesas aizliegumu saistītās sociālās normas var samazināt elektroenerģijas patēriņu, pētnieki izstrādā tādu ārstēšanu, kas manipulētu ar "aizliegtajām sociālajām normām" (piemēram, emocijzīmi) un novērtētu "elektrības patēriņu". Analogos eksperimentos daudzi pētnieki izstrādāja savas ārstēšanas metodes un novērtēja savus rezultātus. Šī pieeja nodrošina, ka, cik vien iespējams, eksperimenti atbilst pētītajiem abstraktiem konstruktiem. Digitālajos eksperimentos, kuros pētnieki sadarbojas ar uzņēmumiem vai valdībām, lai veiktu ārstēšanu un izmantotu vienmēr pieejamās datu sistēmas, lai novērtētu rezultātus, eksperimenta un teorētisko konstrukciju saskaņotība var būt mazāka. Tādējādi es ceru, ka konstrukcijas derīgums parasti būs lielāka problēma digitālajos eksperimentos nekā analogos eksperimentos.

Visbeidzot, ārējās derības centri ir par to, vai šī eksperimenta rezultātus var vispārināt citās situācijās. Atgriežoties pie Schultz et al. (2007) , varētu uzdot jautājumu, vai šie paši ideju radošie cilvēki ar informāciju par enerģijas izmantošanu attiecībās ar viņu vienaudžiem un noraidošo norāžu signāls (piemēram, emocijzīme) varētu samazināt enerģijas patēriņu, ja tas tiktu veikts citādi citā vidē. Lielākajai daļai labi izstrādātu un labi vadītu eksperimentu vissmagāk jāpievēršas bažām par ārējo derīgumu. Agrāk šīs debates par ārējo derīgumu bieži vien bija saistītas tikai ar cilvēku grupu, kas sēdēja telpā, mēģinot iedomāties, kas būtu noticis, ja procedūras tiktu veiktas citā veidā vai citā vietā vai ar dažādiem dalībniekiem . Par laimi, digitālais laikmets ļauj pētniekiem pāriet uz šīm bezpeļņas spekulācijām un novērtēt ārējo derīgumu empīriski.

Tā kā rezultāti no Schultz et al. (2007) bija tik aizraujoši, uzņēmums Opower sadarbojās ar komunālajiem pakalpojumiem Amerikas Savienotajās Valstīs, lai plašāk izmantotu ārstēšanu. Pamatojoties uz Schultz et al. (2007) Opower radīja pielāgotus mājsaimniecības ziņojumus, kuros bija divi galvenie moduļi: viens mājsaimniecības elektroenerģijas patēriņš salīdzinājumā ar kaimiņiem ar emocijzīmi un viens padomi enerģijas patēriņa samazināšanai (4.6. Attēls). Tad sadarbībā ar pētniekiem Opower vadīja randomizētus kontrolētos eksperimentus, lai novērtētu šo Mājas enerģijas pārskatu ietekmi. Pat ja apstrādes šajos eksperimentos parasti tika piegādāti fiziski - parasti ar vecmodīgu gliemežu pastu - rezultāts tika mērīts, izmantojot fiziskās pasaules digitālās ierīces (piemēram, jaudas mērītājus). Turklāt, nevis manuāli apkopojot šo informāciju ar pētnieku asistentiem, kas apmeklēja katru māju, Opower eksperimenti tika veikti sadarbībā ar enerģijas uzņēmumiem, kas ļāva pētniekiem piekļūt barošanas rādījumiem. Tādējādi šie daļēji digitālie lauka eksperimenti tika veikti masveidā ar nelielām mainīgajām izmaksām.

4.6. Attēls. Mājas enerģijas pārskatos bija sociālās salīdzināšanas modulis un rīcības pakāpju modulis. Allcott (2011) atļauju, 1. un 2. Allcott (2011) .

Pirmajā eksperimentu komplektā, kurā piedalījās 600 000 mājsaimniecību no 10 dažādām vietnēm, Allcott (2011) konstatēja, ka mājsaimniecības ziņojums samazina elektroenerģijas patēriņu. Citiem vārdiem sakot, daudz lielāka, vairāk ģeogrāfiski atšķirīga pētījuma rezultāti bija kvalitatīvi līdzīgi rezultātiem no Schultz et al. (2007) . Turklāt turpmākajos pētījumos, kuros piedalījās astoņi miljoni papildu mājsaimniecību no 101 dažādām vietnēm, Allcott (2015) atkārtoti konstatēja, ka Home Energy ziņojums konsekventi samazināja elektroenerģijas patēriņu. Šis daudz lielāks eksperimentu kopums atklāja arī interesantu jaunu modeli, kas nebūtu redzams nevienā atsevišķā eksperimentā: efekta lielums vēlākajos eksperimentos samazinājās (4.7. Attēls). Allcott (2015) domāja, ka šis samazinājums noticis tāpēc, ka laika gaitā režīms tika piemērots dažādu dalībnieku veidiem. Konkrētāk, komunālie pakalpojumi, kuros ir vairāk videi draudzīgu klientu, visticamāk, agrāk izmantoja programmu, un viņu klienti vairāk reaģēja uz ārstēšanu. Tā kā komunālie pakalpojumi ar mazāk videi draudzīgiem klientiem pieņēma programmu, tā efektivitāte, šķiet, samazinājās. Tāpat, tāpat kā eksperimentu randomizācija nodrošina, ka ārstēšanas un kontroles grupa ir līdzīga, pētījumu vietņu randomizācija nodrošina, ka aplēses var vispārināt no vienas dalībnieku grupas uz vispārīgāku iedzīvotāju grupu (domājiet, ka atgriezieties 3. nodaļā par paraugu ņemšanu). Ja izpētes vietas netiek atlasītas nejaušā veidā, tad vispārināšana - pat no ideāli izstrādāta un vadīta eksperimenta - var būt problemātiska.

4.7. Attēls: 111 eksperimentu rezultāti, kuri pārbauda Mājas enerģijas ziņojuma ietekmi uz elektroenerģijas patēriņu. Vietās, kur programma tika pieņemta vēlāk, tā tendence bija mazāka. Allcott (2015) apgalvo, ka galvenais šī modeļa avots ir tas, ka vietnes, kurās ir vairāk videi draudzīgu klientu, visticamāk, agrāk izmantotu programmu. Pielāgots no Allcott (2015) , 3. attēls.

Kopā šie 111 eksperimenti-10 Allcott (2011) un 101 Allcott (2015) aptuveni 8,5 miljonus mājsaimniecību no visas Amerikas Savienotajām Valstīm. Tie konsekventi rāda, ka mājsaimniecības ziņojumi samazina vidējo elektroenerģijas patēriņu, kas atbalsta sākotnējos atzinumus Schultz un kolēģiem no 300 mājām Kalifornijā. Papildus tikai šo oriģinālo rezultātu atkārtojumam, pēcpārbaudes eksperimenti arī parāda, ka ietekmes lielums dažādās vietās atšķiras. Šis eksperimentu komplekts arī ilustrē divus vispārīgākus punktus par daļēji digitāliem lauku eksperimentiem. Pirmkārt, pētnieki spēs empirici pievērsties bažām par ārējo derīgumu, ja eksperimentu veikšanas izmaksas ir zemas, un tas var notikt, ja rezultātu jau mēra vienmērīga datu sistēma. Tāpēc tas liecina, ka pētniekiem būtu jācenšas atrast citas interesantas un nozīmīgas uzvedības, kas jau tiek ierakstītas, un pēc tam izstrādāt eksperimentus par esošo mērīšanas infrastruktūru. Otrkārt, šis eksperimentu komplekss mums atgādina, ka digitālā lauka eksperimenti nav tikai tiešsaistē; arvien vairāk es ceru, ka tie būs visur ar daudziem rezultātiem, ko mēra ar sensoriem iebūvētajā vidē.

Četru veidu derīguma-statistiskā secinājuma derīgums, iekšējais derīgums, konstrukcijas derīgums un ārējā derīgums - nodrošina garīgu kontrolsarakstu, lai palīdzētu pētniekiem novērtēt, vai konkrētā eksperimenta rezultāti apstiprina vispārīgāku secinājumu. Salīdzinājumā ar analogu vecuma eksperimentiem digitālā vecuma eksperimentos būtu jābūt vieglākam, lai empirici pievērstu uzmanību ārējai derīgumam, un tam būtu arī vieglāk nodrošināt iekšējo derīgumu. No otras puses, konstrukcijas derīguma jautājumi droši vien būs daudz grūtāk digitālā vecuma eksperimentos, jo īpaši digitālajos eksperimentos, kuros iesaistītas partnerattiecības ar uzņēmumiem.