4.4.1 érvényesség
Érvényességi utal, hogy mennyi az egy kísérlet eredményei támogatják általánosabb következtetést.
Nem kísérlet tökéletes, és a kutatók kifejlesztettek egy kiterjedt szókincs leírni az esetleges problémákat. Érvényességi utal, hogy milyen mértékben az eredmények egy adott kísérlet támogatja néhány általános következtetés. A társadalomtudósok hasznosnak találta az osztott érvényességét négy fő típusa van: a statisztikai következtetés érvényességét, a belső érvényesség, konstrukció érvényessége, és a külső érvényesség (Shadish, Cook, and Campbell 2001, Ch 2) . Mastering ezek a fogalmak az Ön számára egy listát az agyadban az critiquing és javítja a tervezési és elemzési kísérlet, és ez segít kommunikálni más kutatók.
Statisztikai következtetés érvényességét köré, hogy a statisztikai elemzés a kísérlet történt-e. Az összefüggésben Schultz et al. (2007) például kérdés lehet összpontosítani, hogy azok számított a p-értékek helyes. Statisztikai elemzés túlmutat e könyv, de azt lehet mondani, hogy a statisztikai elvekkel tervezéséhez szükséges és elemezni kísérletek nem változott a digitális korban. Azonban a különféle adatokat környezet digitális kísérletek nem hoz létre új statisztikai lehetőségeket (pl segítségével gépi tanulási módszerek becslésére heterogenitása kezelési hatások (Imai and Ratkovic 2013) ) és az új számítási kihívások (pl blokkoló masszív kísérletekben (Higgins, Sävje, and Sekhon 2016) ).
Belső érvényesség köré, hogy a kísérleti eljárások helyes végrehajtását. Visszatérve a kísérlet Schultz et al. (2007) , kérdések belső érvényességét is köré a véletlenszerűség, a szállítás, a kezelés és a mérési eredmények. Például, lehet, hogy amiatt, hogy a kutatási asszisztensek nem olvassa el a villanyóra megbízhatóan. Sőt, Schultz és munkatársai voltak aggasztja ez a probléma, és volt egy mintát méter olvasni kétszer; Szerencsére, az eredmények lényegében azonosak. Általánosságban, Schultz és munkatársai "kísérlet úgy tűnik, hogy nagy belső érvényességét, de ez nem mindig van így; összetett területen és online kísérletek gyakran befut problémái valóban nyújtja a megfelelő kezelést, hogy a megfelelő embereket, és a mérési eredmények a mindenki számára. Szerencsére a digitális korban segíthet csökkenteni aggodalmak belső érvényességét, mert ez megkönnyíti, hogy a kezelés szállítják célja, hogy azok, akik elvárják, hogy megkapja azt, és mérni eredmények minden résztvevő számára.
Construct érvényességi központok körül a mérkőzés között az adatok és az elméleti konstrukciók. Amint azt a 2. fejezetben, konstrukciók elvont fogalmak, amelyek a társadalomtudósok ok kb. Sajnos ezek az elvont fogalmakat nem mindig egyértelmű meghatározások és mérések. Visszatérve Schultz et al. (2007) azt az állítást, hogy a Kamara társadalmi normák is alacsonyabb villamosenergia-felhasználás megköveteli a kutatókat, hogy tervezzen egy gyógymód, amely manipulálják "Kamara társadalmi normák" (pl hangulatjelet) és mérhető "villamosenergia-felhasználás". Az analóg kísérletekben számos kutató célja, hogy saját kezelések és mérjük a saját eredményeit. Ez a megközelítés biztosítja, hogy, amennyire csak lehetséges, a kísérletek egyezik az absztrakt konstrukciók tanulmányozzák. Digitális kísérletek, amelyekben a kutatók partner cégek vagy a kormányok szállít kezelések és mindig használ-adatok rendszerek mérésére eredmények közötti megfelelés kísérlet és az elméleti konstrukciók lehetnek kevésbé szorosak. Így azt várjuk, hogy konstrukció érvényesség inkább egy nagyobb aggodalomra ad okot a digitális kísérletek, mint az analóg kísérletek.
Végül, a külső érvényesség köré, hogy az ezen kísérlet eredményeit lenne általánossá más helyzetekben. Visszatérve Schultz et al. (2007) , az egyik lehet kérni, majd ugyanez a gondolat, hogy az emberek-információt az energiafelhasználással kapcsolatban a társaik és a jel elrendelő szabványok (pl hangulatjelet) -reduce energiafelhasználását, ha ez történt egy másik módja egy másik beállítást? A legtöbb jól megtervezett és jól működő kísérletek aggodalmak külső érvényességét a legnehezebb kezelni. A múltban ezek a viták a külső érvényesség voltak gyakran csak egy csomó ember ül egy szobában, próbálta elképzelni, mi történt volna, ha az eljárásokat végeztek eltérő módon, vagy egy másik helyen, vagy a különböző emberek. Szerencsére a digitális korban lehetővé teszi a kutatók, hogy túllépjünk ezen adatok szabad spekulációk és értékeli a külső érvényesség empirikusan.
Mivel az eredmények a Schultz et al. (2007) volt olyan izgalmas, a cég neve Opower partnereként közművek az Egyesült Államokban, hogy telepíteni a kezelés szélesebb körben. Ennek alapján a tervezés a Schultz et al. (2007) , Opower létrehozott szabott Home Energy jelentések szerint két fő modulból, egyiken a háztartási villamosenergia-felhasználás képest szomszédai egy hangulatjelet, és amelyek közül az egyik tippek csökkentő energiafelhasználás (4.6 ábra). Ezután közösen kutatók Opower futott randomizált, kontrollált kísérletek hatását értékelni a Home Energy jelentések. Annak ellenére, hogy a kezelések ezekhez a kísérletekhez általában szállított fizikailag általában a régi csiga mail-kimenetelét mértük a digitális eszközök a fizikai világban (pl teljesítmény méter). Ahelyett, hogy manuálisan az információk gyűjtése és kutatási asszisztens látogató minden ház, a Opower kísérleteket mindezt együttműködve villamosenergia-vállalat, amely lehetővé teszi a kutatók számára, hogy hozzáférjen a teljesítmény értékeket. Így ezek részben digitális területen kísérleteket futtatni tömeges alacsony változó költség.
4.6 ábra: A Home Energy jelentések Allcott (2011) volt a szociális összehasonlítás modul és cselekvési lépések modult.
Az első kísérletsorozatban járó 600.000 háztartás által kiszolgált 10 közüzemi vállalatok szerte az Egyesült Államokban, Allcott (2011) megállapította, a Home Energy Report csökkentette a villamosenergia-fogyasztás 1,7% -kal. Más szavakkal, az eredmények a sokkal nagyobb, földrajzilag különböző vizsgálatban minőségileg hasonló az eredmények a Schultz et al. (2007) . De a hatás mértéke kisebb volt: a Schultz et al. (2007) a háztartások a leíró és injektív normák állapotban (az egyik a hangulatjel) csökkent a villamosenergia-felhasználás 5% -kal. A pontos oka ennek a különbségnek nem ismert, de Allcott (2011) feltételezi, hogy a fogadó egy kézzel írt emoticon részeként tanulmány által támogatott egyetemi lehet, hogy egy nagyobb hatással van a viselkedésre, mint a fogadó egy nyomtatott emoticon részeként tömeggyártott jelentés egy áramszolgáltatóval.
Továbbá, a későbbi kutatás, Allcott (2015) számolt be egy további 101 érintő kísérletek további 8 millió háztartás. Ezekben a következő 101 kísérletekben a Home Energy Report tovább okozhat az emberek, hogy alacsonyabb villamosenergia-fogyasztás, de a hatások még kisebb. A pontos oka a visszaesés nem ismert, de Allcott (2015) feltételezi, hogy a hatékonysága a jelentés úgy tűnt, hogy csökken az idő múlásával, mert ténylegesen alkalmazzák a különféle résztvevők. Pontosabban, a közművek több környezetvédő területeken nagyobb valószínűséggel fogadja el a program korábbi és ügyfeleik voltak reagálnak a kezelésre. Például a közművek, a környezetet kevésbé vevők elfogadta a programot, annak hatékonyságát megjelent csökken. Amíg tehát a véletlenszerűség kísérletek biztosítja, hogy a kezelések és a kontroll csoportban hasonlóak a véletlenre a kutatóhelyek biztosítja, hogy a becslés is általánosítva egy csoportja a résztvevők egy általános populáció (gondoljunk vissza a 3. fejezet körülbelül mintavétel). Ha a kutatás oldalak mintában nem véletlenszerűen, majd generalizálásnak akár egy tökéletesen megtervezett és lefolytatott kísérlet-problémás lehet.
Együttesen ezek 111 kísérleteket-10 Allcott (2011) és 101 Allcott (2015) -involved mintegy 8,5 millió háztartásban szerte az Egyesült Államokban. Ők következetesen azt mutatják, hogy Home Energy Reports csökkenti az átlagos villamosenergia-fogyasztás, az eredmény, amely támogatja az eredeti megállapításait Schultz és munkatársai a 300 lakás Kaliforniában. Ne csak lemásolják ezeket eredeti eredményeket, a nyomon követés kísérletek is azt mutatják, hogy a méret a hatás a helytől függően változik. Ez kísérletsorozat azt is szemlélteti, két általános tudnivalók részben digitális szántóföldi kísérletek. Először is, a kutatók képesek lesznek empirikusan cím aggodalmak külső érvényességét, ha a költsége fut kísérletek alacsony, és ez akkor fordulhat elő, ha az eredmény már most mérhető egy állandóan adatrendszer. Ezért azt javasolja, hogy a kutatás legyen a kilátó egyéb érdekes és fontos viselkedések, amelyek már rögzítésre kerül, majd tervezési kísérletek a tetején a meglévő mérési infrastruktúra. Másodszor, ez a kísérletsorozatban arra emlékeztet minket, hogy a digitális szabadföldi kísérletek nem csak az interneten keresztül; egyre inkább azt várják, hogy lesz mindenhol sok eredményeket a szenzorok által mért az épített környezetben.
A négyféle érvényességének statisztikai következtetés érvényességét, a belső érvényesség, konstrukció érvényessége, külső érvényesség-olyan mentális lista segítségével a kutatók megítélése, hogy az eredmények egy adott kísérlet támogatására általánosabb következtetést. Mint az analóg kor kísérletek a digitális korban kísérletek könnyebben lehet kezelni a külső érvényesség empirikusan, és könnyebben lehet biztosítania kell a belső érvényesség. Másrészt, kérdések konstrukció érvényessége valószínűleg nagyobb kihívást a digitális korban kísérletek (bár nem ez volt a helyzet a Opower kísérlet).
