4.4.1 voimassaolo
Voimassaolo tarkoittaa sitä, kuinka paljon tulokset kokeesta tukevat hieman yleisempi johtopäätös.
Ei koe on täydellinen, ja tutkijat ovat kehittäneet laaja sanavarasto kuvaamaan mahdollisia ongelmia. Voimassaolo tarkoittaa sitä, missä määrin tuloksia tietyn kokeen tukea joitakin yleisempiä johtopäätös. Sosiaalinen tutkijat ovat löytäneet hyödyllistä jakaa pätevyyttä neljään päätyyppiin: tilastollinen johtopäätös voimassaolo, sisäinen pätevyys, rakentaa pätevyys, ja ulkoinen pätevyys (Shadish, Cook, and Campbell 2001, Ch 2) . Hallitseminen nämä käsitteet tarjoavat sinulle henkistä tarkistuslista kritisoimalla ja parantaa suunnittelu ja analyysi kokeen, ja se auttaa kommunikoida muiden tutkijoiden.
Tilastollinen johtopäätös voimassaolo -sarja keskittyy onko tilastollisen analyysin koe suoritettiin oikein. Yhteydessä Schultz et al. (2007) niin kysymys voisi keskitytään ovatko ne lasketaan niiden p-arvot oikein. Tilastollinen analyysi ei kuulu tämän kirjan, mutta voin sanoa, että tilastollisten periaatteiden avulla voidaan suunnitella ja analysoida kokeiluja eivät ole muuttuneet digitaaliaikaan. Kuitenkin eri tietoja ympäristön digitaalisessa kokeita ei luo uusia tilastollisia mahdollisuuksia (esim käyttäen koneoppimisen menetelmiä arvioida heterogeenisuus hoidon vaikutusten (Imai and Ratkovic 2013) ) ja uusia laskennallisia haasteita (esim esto massiivisissa kokeita (Higgins, Sävje, and Sekhon 2016) ).
Sisäinen voimassaolo -sarja keskittyy onko koemenettelyt suoritettiin oikein. Palatakseni kokeen Schultz et al. (2007) , kysymyksiä sisäinen pätevyyttä voisi keskittyvät satunnaistaminen, toimitus hoidon, ja mittaus tuloksia. Esimerkiksi, saatat olla huolissaan siitä, että tutkimusapulaisia ei lukenut sähköinen metriä luotettavasti. Itse asiassa, Schultz ja kollegat olivat huolissaan tästä ongelmasta ja heillä oli näyte metrin lukea kahdesti; onneksi tulokset olivat olennaisesti identtiset. Yleensä Schultz ja kollegoiden koe näyttää olevan suuri sisäinen voimassaolo, mutta tämä ei aina ole; monimutkainen kenttä ja online kokeita usein törmätä ongelmiin todella tuottaa oikea hoito oikeille ihmisille ja tulosten mittaamiseen kaikille. Onneksi digitaaliaikaan voi auttaa vähentämään huolta sisäisestä pätevyyttä, koska se on helpompi varmistaa, että käsittely toimitetaan suunniteltu niille, jotka on tarkoitus saada se ja mitata tuloksia kaikille osallistujille.
Muodosta voimassaolo keskittyy ottelun tietojen välillä ja teoreettisen konstruktioita. Kuten luvussa 2, konstruktioita ovat abstrakteja käsitteitä, jotka sosiaalitieteilijöille syy noin. Valitettavasti nämä abstrakteja käsitteitä ei aina ole selkeitä määritelmiä ja mittauksia. Palataksemme Schultz et al. (2007) , väite, että väliaikaisiin sosiaaliset normit voivat alentaa sähkön käyttö edellyttää tutkijoiden suunnitella hoidon kustannuksista manipuloida "väliaikaisiin sosiaaliset normit" (esim hymiön) ja mittaamaan "sähkön käyttöä". Analogisessa kokeissa monet tutkijat suunniteltu omat hoidoista ja mitata oman tuloksia. Tämä lähestymistapa varmistaa, että mahdollisimman paljon, kokeet vastaavat abstrakti konstruktioita tutkitaan. Digitaalisessa kokeita, joissa tutkijat kumppani yritysten tai hallitusten toimittaa hoitoja ja käyttää aina päällä tietojärjestelmät mitata tuloksia, välisessä ottelussa kokeen ja teoreettinen Rakenteet voivat olla vähemmän tiukka. Siten odotan, että konstruktio voimassaolo on taipumus olla suurempi huolenaihe digitaalisessa kokeita kuin analoginen kokeiluja.
Lopuksi ulkoinen pätevyys -sarja keskittyy onko Tämän kokeen tulokset olisivat yleistää muihin tilanteisiin. Palataksemme Schultz et al. (2007) , voidaan kysyä, voiko tämä sama idea lisäävä ihmiset tietoa niiden energiankulutus suhteessa heidän ikäisensä ja signaalin kieltotoimia normien (esim hymiön) -voit vähentää energiankulutusta, jos se tehtiin eri tavalla eri asetusta? Useimmille hyvin suunniteltu ja hyvin kokeiltu, huoli ulkoisen voimassaolo on vaikeinta käsitellä. Aiemmin nämä keskustelut ulkoisesta pätevyyttä olivat usein vain joukko ihmisiä istuu huoneen yrittää kuvitella, mitä olisi tapahtunut, jos menettelyjä tehtiin eri tavalla, tai eri paikassa, tai erilaisten ihmisten kanssa. Onneksi digitaaliaikaan avulla tutkijat voivat siirtyä näiden tietojen vapaan spekulaatioita ja arvioida ulkoisten pätevyyttä empiirisesti.
Koska tulokset Schultz et al. (2007) oli niin jännittävä, nimisen yhtiön Opower yhteistyöhön apuohjelmia Yhdysvalloissa lähettämään hoitoon laajemmin. Perustuen suunnittelussa Schultz et al. (2007) , Opower luotu räätälöity Home Energy Raportit että oli kaksi moduulia, yksi osoittaa kotitalouden sähkön käyttöä naapuriensa suhteen kanssa hymiön ja yksi tarjoamalla vihjeitä alentaa energiankäyttöä (Kuva 4.6). Sitten yhdessä tutkijoiden Opower juoksi satunnaistettu kontrolloitu kokeissa vaikutusten arvioimiseksi Home Energy Reports. Vaikka hoitoja näissä kokeissa oli tyypillisesti toimitetaan perinteiseen-Tavallisesti tämä tapahtuu vanhanaikaiset postilähetys-tuloksen mitattiin käyttämällä digitaalisia laitteita fyysisessä maailmassa (esimerkiksi teho metriä). Sen sijaan manuaalisesti kerätä nämä tiedot tutkimusapulaisineen vierailevien kunkin talon, Opower kokeet kaikki tapahtuu yhdessä voimayhtiöiden mahdollistaa tutkijoille pääsyn tehon lukemat. Niinpä nämä osittain digitaalinen kenttäkokeissa ajettiin laajamittaista alhaisilla muuttuvia kustannuksia.
Kuva 4.6: The Home Energy Reports in Allcott (2011) oli Social Vertailu moduulin ja Toimintavaiheet moduuli.
Ensimmäisessä koesarjassa, joissa 600000 kotitalouksien palvelee 10 sähköyhtiöiltä ympäri Yhdysvaltoja, Allcott (2011) löysi Home Energy Report alensi sähkön kulutus 1,7%. Toisin sanoen, tulokset paljon suuremmat ja maantieteellisesti erilaisia tutkimuksessa olivat laadullisesti samanlainen tuloksia Schultz et al. (2007) . Mutta vaikutus koko oli pienempi: in Schultz et al. (2007) kotitalouksista kuvaileva ja injective normit kunto (se, jolla on hymiö) vähensivät sähkön käyttöä 5%. Tarkkaa syytä tähän eroon ei tiedetä, mutta Allcott (2011) spekuloivat, että vastaanotetaan käsinkirjoitettu hymiö osana tutkimusta sponsoroi yliopisto voi olla suurempi vaikutus käyttäytymiseen kuin sai painettua hymiö osana massatuote laatima sähköyhtiöön.
Edelleen myöhempi tutkimus, Allcott (2015) raportoivat ylimääräinen 101 kokeista, joissa ylimääräinen 8 miljoonaa kotitaloutta. Näissä seuraavaksi 101 kokeissa Home Energy Report edelleen aiheuttaa ihmisille alentaa sähkönkulutusta, mutta vaikutukset olivat vielä pienempiä. Tarkka syy tähän laskuun ei ole tiedossa, mutta Allcott (2015) arveltu, että tehokkuus raportin näytti olevan laskussa ajan myötä, koska se oli tosiasiallisesti sovellettu erilaisia osallistujia. Tarkemmin, apuohjelmia enemmän ympäristönsuojelija alueilla olivat todennäköisemmin hyväksyä ohjelman aikaisemmin ja niiden asiakkaat olivat reagoi hoitoon. Kuten apuohjelmia vähemmän ympäristövaikutuksia asiakkaiden hyväksyi ohjelman, sen tehokkuus näytti laskevan. Koska siis satunnaistamista kokeissa varmistaa, että hoito ja kontrolliryhmän ovat samanlaisia, satunnaistamista tutkimukseen sivustoja varmistaa, että arvioita voidaan yleistää alkaen yksi ryhmä osallistujia enemmän väestössä (muistelen 3 luvun noin näytteenotto). Jos tutkimus sivustot eivät näytteitä satunnaisesti, sitten yleistys-jopa täysin suunniteltu ja toteutettu kokeilu-voi olla ongelmallista.
Yhdessä nämä 111 kokeissa-10 Allcott (2011) ja 101 Allcott (2015) -involved noin 8,5 miljoonaa kotitaloutta kaikkialta Yhdysvalloista. Ne osoittavat jatkuvasti Home Energy Reports vähentää keskimääräistä sähkönkulutusta, että tulos tukee alkuperäistä havainnot Schultz kollegoineen 300 asuntoa Kaliforniassa. Beyond vain jäljittelevän nämä alkuperäiset tulokset, jatkokokeilu osoittavat myös, että vaikutusten suuruus vaihtelee eri maissa. Tämä koesarja osoittaa myös kaksi yleisempää huomautusta osittain digitaalisen kenttäkokeissa. Ensinnäkin tutkijat pystyvät empiirisesti osoitteeseen huoli ulkoisen validiteetin kustannukset kokeiluja on alhainen, ja tämä voi tapahtua, jos tulos on jo mitataan aina päällä tietojärjestelmään. Siksi se ehdottaa, että tutkimus pitäisi olla tähystäjä muita mielenkiintoisia ja tärkeitä käyttäytymismalleja, jotka ovat jo tallennettu, ja sitten suunnitella kokeita tämän päälle nykyisten mittaus infrastruktuuria. Toiseksi, tämä koesarja muistuttaa, että digitaalinen kenttäkokeet eivät ole vain verkossa; yhä Odotan, että ne ovat kaikkialla monia tuloksia mitataan anturit rakennetun ympäristön.
Neljä tyypit voimassaolon-tilastollisen päätelmän pätevyyttä, sisäinen pätevyys, rakentaa pätevyys, ulkoinen pätevyys-tarjoavat henkinen tarkistuslista auttaa tutkijoita arvioimaan, ovatko tulokset tietyltä kokeilu tukee hieman yleisempi johtopäätös. Verrattuna analoginen ikä kokeita, digitaalisessa ikä kokeiden pitäisi olla helpompi käsitellä ulkoista voimassaolo empiirisesti, ja sen pitäisi olla helpompi varmistaa sisäinen pätevyyttä. Toisaalta, kysymyksiä konstruktio voimassaolon lienee haastavampaa digitaaliaikana kokeita (vaikka se ei ollut asian laita Opower kokeet).
