4.4.1 Gildistími

Gildistími átt við hversu mikið niðurstöður tilraunar styðja almennari niðurstöðu.

Engin tilraun er fullkomin og vísindamenn hafa þróað víðtæka orðaforða til að lýsa hugsanlegum vandamálum. Gildistími vísar til að hve miklu leyti niðurstöðurnar af tiltekinni tilraun styðja meiri almennari niðurstöðu. Félagsvísindamenn hafa fundið það gagnlegt að skiptast á gildi í fjórum helstu gerðum: tölfræðileg niðurstaða gildis, innri gildis, uppbygging gildis og ytri gildi (Shadish, Cook, and Campbell 2001, chap. 2) . Mastering þessara hugtaka mun veita þér gátlista fyrir gagnrýni og bæta hönnun og greiningu á tilraun, og það mun hjálpa þér að eiga samskipti við aðra vísindamenn.

Tölfræðileg niðurstaða gildir um hvort tölfræðileg greining á tilrauninni hafi verið gerðar á réttan hátt. Í samhengi við Schultz et al. (2007) , slík spurning gæti sent mið af því hvort þeir reiknuðu \(p\) gildi þeirra rétt. Tölfræðilegar meginreglur þurfa að hanna og greina tilraunir eru utan gildissviðs þessarar bókar, en þeir hafa ekki í grundvallaratriðum breyst á stafrænu aldri. Það sem hefur breyst er hins vegar að gögn umhverfi í stafrænum tilraunum hefur skapað ný tækifæri, svo sem að nota námsmatskerfi til að meta ólíkleika meðferðaráhrifa (Imai and Ratkovic 2013) .

Innri gildi miðast við hvort tilraunirnar hafi verið gerðar á réttan hátt. Aftur á tilraun Schultz et al. (2007) , gætu spurningar um innra gilda miðað við slembiröðun, afhendingu meðferðar og mælingar á niðurstöðum. Til dæmis gætirðu verið áhyggjur af því að rannsóknaraðstoðarmenn hafi ekki lesið rafmælin áreiðanlegan hátt. Reyndar voru Schultz og samstarfsmenn áhyggjur af þessu vandamáli, og þeir höfðu sýnishorn af metrum að lesa tvisvar; Sem betur fer voru niðurstöðurnar í meginatriðum eins. Almennt virðist tilraun Schultz og samstarfsmanna að hafa mikla innri gildi, en þetta er ekki alltaf raunin: flókið svið og á netinu tilraunir eru oft í vandræðum í raun að skila réttri meðferð til rétta fólksins og mæla árangur fyrir alla. Sem betur fer getur stafræn aldur hjálpað til við að draga úr áhyggjum um innri gildi vegna þess að það er nú auðveldara að tryggja að meðferðin sé afhent þeim sem eiga að fá það og mæla niðurstöður fyrir alla þátttakendur.

Uppbyggðu gildi miðstöðvar í kringum samsvörunina milli gagna og fræðilegra bygginga. Eins og fjallað er um í kafla 2 eru uppbyggingar óhlutbundin hugtök sem félagsvísindamenn gruna um. Því miður hafa þessar abstrakt hugtök ekki alltaf skýrar skilgreiningar og mælingar. Aftur á móti Schultz et al. (2007) , krafa um að lögboðnar félagslegar viðmiðanir geti dregið úr rafmagnsnotkun krefst þess að vísindamenn geti hannað meðferð sem myndi vinna "fyrirbælandi félagslegar reglur" (td broskalla) og mæla "rafmagnsnotkun". Í hliðstæðum tilraunum hannaði margir vísindamenn eigin meðferðir og mældu eigin niðurstöður þeirra. Þessi aðferð tryggir að, eins mikið og mögulegt er, tilraunirnar passa við óhlutbundnar byggingar sem rannsakaðir eru. Í stafrænum tilraunum þar sem vísindamenn eiga samstarf við fyrirtæki eða ríkisstjórnir til að skila meðferðum og nota alltaf á tölvukerfi til að mæla árangur, getur samsvörunin milli tilrauna og fræðilegra bygginga verið minni. Þannig býst ég við að byggingargildi muni verða meiri áhyggjuefni í stafrænum tilraunum en í hliðstæðum tilraunum.

Að lokum miðast utanaðkomandi gildi um hvort niðurstöður þessa tilraunar geta verið almennar í öðrum aðstæðum. Aftur á móti Schultz et al. (2007) má spyrja hvort þetta sé sama hugmyndin sem veitir fólki upplýsingar um orkunotkun sína í tengslum við jafningja sína og merki um lögboðnar reglur (td sendimynd) - myndi draga úr orkunotkun ef það væri gert á annan hátt í mismunandi stillingum. Í flestum vel hönnuðum og velgengnum tilraunum eru áhyggjur af ytri gildum erfiðast að takast á við. Í fortíðinni áttu þessar umræður um ytri gildi oft ekkert meira en hópur fólks sem sat í herbergi og reyndu að ímynda sér hvað hefði gerst ef aðferðirnar hefðu verið gerðar á annan hátt eða á annan stað eða með mismunandi þátttakendum . Sem betur fer gerir stafræn aldur vísindamenn kleift að fara út fyrir þessar gagnaástæður og meta utanaðkomandi gildi empirically.

Vegna þess að niðurstöðurnar frá Schultz et al. (2007) voru svo spennandi, fyrirtæki sem nefndist Opower í samstarfi við tólum í Bandaríkjunum til að dreifa meðferðinni víða. Byggt á hönnun Schultz et al. (2007) skapaði Opower sérsniðnar heimili orkugjafarskýrslur sem höfðu tvennt aðalatriði: Einn sýnir rafmagnsnotkun heimilanna miðað við nágranna sína með broskalli og einn sem gefur ráð fyrir að draga úr orkunotkun (mynd 4.6). Þá, í samvinnu við vísindamenn, hljóp Opower slembiraðað samanburðarrannsóknir til að meta áhrif þessara orkugjafarskýrslu. Jafnvel þótt meðferðirnar í þessum tilraunum voru venjulega afhentir líkamlega - venjulega með gamaldags snigla pósti - var niðurstaðan mæld með því að nota stafræna tæki í líkamlegum heimi (td máttur metra). Enn frekar en handvirkt að safna þessum upplýsingum með rannsóknaraðstoðarmönnum sem heimsækja hvert hús, voru Opower-tilraunirnar gerðar í samvinnu við orkufyrirtæki sem gera vísindamönnum kleift að fá aðgang að orkustöðvunum. Þannig voru þessar aðferðir til að stækka stafræna reitina mikið í miklum mæli við litla breytilega kostnað.

Mynd 4.6: Heimilisorkubrögðin höfðu félagslegan samanburðareiningu og aðgerðaskilareining. Allcott (2011) með leyfi Allcott (2011) , tölur 1 og 2.

Í fyrstu setti af tilraunum sem tóku þátt í 600.000 heimilum frá 10 mismunandi stöðum, Allcott (2011) ljós að Allcott (2011) komst að því að heimilisskýrslan lækkaði raforkunotkun. Með öðrum orðum, niðurstöðurnar frá miklu stærri, landfræðilega fjölbreyttri rannsókn voru eðlilega svipaðar niðurstöður Schultz et al. (2007) . Ennfremur í Allcott (2015) í áframhaldandi rannsóknum þar sem áttu sér stað átta milljónir viðbótar heimila frá 101 mismunandi stöðum, sem í Allcott (2015) kom að orkusparnaðarskýrslan minnkaði stöðugt raforkunotkun. Þessi miklu stærri tilraunir sýndu einnig áhugavert nýtt mynstur sem ekki væri sýnilegt í einhverri tilraun: Stærð áhrifa lækkaði í síðari tilraunum (mynd 4.7). Allcott (2015) gáfu til kynna að þessi lækkun varð vegna þess að með tímanum var meðferðin beitt við mismunandi gerðir þátttakenda. Nánar tiltekið voru þjónustufyrirtæki með fleiri umhverfisáhersluðum viðskiptavinum líklegri til að samþykkja áætlunina fyrr og viðskiptavinir þeirra voru betra með meðferðinni. Eins og tólum með minna umhverfisáhersluðu viðskiptavini samþykktu áætlunina virtist árangur þeirra lækka. Svona, eins og slembiröðun í tilraunum tryggir að meðferð og eftirlitshópur sé svipuð, slembiröðun á rannsóknarverkefnum tryggir að áætlanirnar geti verið almennar frá einum hópi þátttakenda til almennra íbúa (hugsaðu aftur í kafla 3 um sýnatöku). Ef rannsóknarstaðir eru ekki sýndar af handahófi, þá getur almennt - jafnvel frá fullkomnu hönnuðri og tilrauninni - verið erfið.

Mynd 4.7: Niðurstöður 111 tilrauna sem prófa áhrif heimavinnaskýrslunnar um raforkunotkun. Á síðum þar sem forritið var samþykkt síðar hafði það tilhneigingu til að hafa minni áhrif. Allcott (2015) heldur því fram að stórt uppspretta þessa mynstur er að staður með fleiri umhverfisáhersluðum viðskiptavinum væri líklegri til að taka upp forritið fyrr. Aðlaga frá Allcott (2015) , mynd 3.

Saman þessara 111 tilraunir -10 í Allcott (2011) og 101 í Allcott (2015) - Allcott (2015) um 8,5 milljónir heimila frá öllum heimshornum. Þeir sýna stöðugt að heimilisskýrslur draga úr meðaltal raforkunotkun, sem leiðir til upprunalegu niðurstaðna Schultz og samstarfsmanna frá 300 heimilum í Kaliforníu. Handan við að afrita þessar upprunalegu niðurstöður, sýna eftirfylgni tilraunirnar einnig að stærð áhrifa breytilegt eftir staðsetningu. Þessi hópur tilraunir sýnir einnig tvær almennar stig um að hluta til stafrænar akreinar tilraunir. Í fyrsta lagi geta fræðimenn reynt að rökstyðja áhyggjur af ytri gildum þegar kostnaður við að keyra tilraunir er lítill og það getur komið fram ef niðurstaðan er þegar mæld með því að nota ávallt gagnasöfn. Þess vegna bendir það til þess að vísindamenn ættu að vera að leita að öðrum áhugaverðum og mikilvægum hegðunum sem þegar eru skráðar og síðan hanna tilraunir ofan á núverandi mælikerfi. Í öðru lagi minnir þetta sett af tilraunum okkur á að rannsóknir á stafrænu sviði séu ekki bara á netinu; Í auknum mæli búast ég við því að þau verði alls staðar með mörgum niðurstöðum mældar af skynjara í byggðri umhverfi.

Fjórar tegundir af gildisgögnum, tölfræðilegri niðurstöðugildi, innri gildi, byggingargildni og ytri gildi - veita gátlisti til að hjálpa vísindamönnum að meta hvort niðurstöðurnar frá tiltekinni tilraun styðja almennari niðurstöðu. Í samanburði við hliðstæðar aldursforsendur, í rannsóknum á stafrænum aldri, ætti það að vera auðveldara að takast á við ytri gildin empirically og það ætti einnig að vera auðveldara að tryggja innri gildi. Á hinn bóginn mun vandamál byggingargildis líklega vera meira krefjandi í rannsóknum á stafrænni aldri, einkum á sviði stafrænna tilrauna sem fela í sér samstarf við fyrirtæki.