4.4.1 Platnosť

Platnosť sa odkazuje na koľko výsledky experimentu podporovať všeobecnejší záver.

Žiadny experiment nie je dokonalý, a výskumníci vyvinuli rozsiahlu slovnú zásobu na opis možných problémov. Platnosť sa týka miery, do akej výsledky konkrétneho experimentu podporovať niektoré všeobecnejšie závery. Sociálna vedci zistili, že je užitočné rozdeliť platnosť do štyroch hlavných typov: štatistický záver platnosti, vnútorné platnosti, konštruovať platnosť a externé validita (Shadish, Cook, and Campbell 2001, Ch 2) . Zvládnutie týchto pojmov vám poskytne duševné kontrolný zoznam pre kritiku a zlepšenie tvorby a analýzu experimentu, a to vám pomôže komunikovať s inými výskumníkmi.

Štatistický záver platnosti točí okolo, či je štatistická analýza experimentu bolo vykonané správne. V súvislosti s Schultz et al. (2007) , ako otázka môže sústrediť na tom, či správne vypočítané ich p-hodnoty. Štatistická analýza je nad rámec tejto knihy, ale môžem povedať, že štatistické zásady potrebné navrhovať a analyzovať experimenty sa nezmenili v digitálnom veku. Avšak, odlišné prostredie dát v digitálnych experimentoch nemá vytvárať nové štatistické príležitosti (napr použitím metód strojového učenia pre odhad rôznorodosti liečebných účinkov (Imai and Ratkovic 2013) ) a nových výpočtových výzvy (napríklad blokovanie v masívnych experimentoch (Higgins, Sävje, and Sekhon 2016) ).

Interná platnosť točí okolo toho, či boli pokusy vykonané správne. Ak sa vrátime k experimentu Schultz et al. (2007) , otázky týkajúce sa vnútorného platnosti by mohla stredu okolo randomizácii, dodávku liečby a meranie výsledkov. Napríklad môžete mať obavy, že pomocní výskumníci nečítal elektromery spoľahlivo. V skutočnosti, Schultz a jeho kolegovia mali obavy o tomto probléme a mali vzorku metrov čítať dvakrát; našťastie, výsledky boli v podstate totožné. Všeobecne možno povedať, Schultz a experiment kolegov, zdá sa, že vysoký vnútorný platnosť, ale toto nie je vždy prípad; Komplex poľa a online experimentov sa často dostanete do problémov v skutočnosti dodávajú správne zaobchádzanie s tými správnymi ľuďmi a meranie výsledkov pre každého. Našťastie v digitálnom veku môže pomôcť znížiť obavy z vnútorného platnosti, pretože to uľahčuje, aby zabezpečili, že liečba je dodávaný ako určený pre tých, ktorí majú to prijímať a merať výsledky pre všetkých účastníkov.

Construct platnosti centier po celom zápasu medzi dátami a teoretických konštruktov. Ako je uvedené v kapitole 2, konštrukty sú abstraktné pojmy, ktoré sociológovia dôvod okolo. Bohužiaľ, tieto abstraktné pojmy nemajú vždy jasné definície a meranie. Ak sa vrátime Schultz et al. (2007) , tvrdenie, že zdržanie sa spoločenské normy môžu nižšiu spotrebu elektrickej energie vyžaduje, aby výskumní navrhnúť liečbu, ktorá by manipulovať "zdržanie sa spoločenské normy" (napr emotikon), a na mieru "využívanie elektriny". V analógových experimentov, mnoho výskumníkov navrhnutý tak svoje vlastné procedúry a merať svoje výsledky. Týmto spôsobom je zabezpečené, že, ako je to len možné, experimenty zodpovedajú abstraktné konštrukty boli študované. V digitálnych experimentoch, kde výskumníci partner s podnikmi alebo vlády sa na ošetrenie a používať trvalé pripojenie k dátovej systémy na meranie výsledkov, zhoda medzi experimentu a teoretických konštruktov môže byť menej tesný. Preto očakávam, že konštrukt Platnosť bude inklinovať byť väčšie obavy v oblasti digitálnych experimentoch ako analógové experimentov.

A konečne, vonkajšie platnosti točí okolo, či výsledky tohto experimentu by zovšeobecniť na iné situácie. Ak sa vrátime Schultz et al. (2007) , jeden mohol pýtať, bude to rovnaký nápad na poskytnutie ľudia informácie o ich spotrebe energie vo vzťahu k ich rovesníkmi a signál prikazujúcej noriem (napr emotikon) -reduce spotrebu energie v prípade, že bola vykonaná iným spôsobom, iné nastavenie? Pre väčšinu dobre navrhnuté a dobre fungujúci experimenty, obavy z vonkajšej platnosti je najťažšie riešiť. V minulosti sa tieto debaty o vonkajšej platnosti boli často len partia ľudí, ktorí sedia v miestnosti sa snažia predstaviť, čo by sa stalo, keby postupy boli vykonané iným spôsobom, alebo na inom mieste, alebo s rôznymi ľuďmi. Našťastie v digitálnom veku umožňuje výskumníkom prejsť od týchto dátových bez špekulácií a vyhodnotiť externé validitu empiricky.

Vzhľadom k tomu, výsledky z Schultz et al. (2007) boli tak vzrušujúce, spoločnosť s názvom Opower spolupracuje s inžinierskych sietí v Spojených štátoch nasadiť liečbu v širšom meradle. Na konštrukciu na báze Schultz et al. (2007) , Opower vytvorené na mieru Home Energy hlási, že mal dva hlavné moduly, jeden ukazujúci domácnosti Spotreba elektrickej energie v porovnaní so svojimi susedmi s emotikon a jeden poskytuje rady pre zníženie spotreby energie (obrázok 4.6). Potom, v spolupráci s výskumníkmi, Opower bežal randomizovanej kontrolovanej experimenty na posúdenie vplyvu Home Energy Reports. Aj napriek tomu, že liečba v týchto experimentoch boli spravidla dodávané fyzicky zvyčajne cez staromódny klasickú poštu-výsledkom bola meraná pomocou digitálnych prístrojov vo fyzickom svete (napr wattmetre). Skôr než ručne zberu týchto informácií s výskumnými asistentmi, ktorí navštívia každý dom, pokusy Opower boli všetci vykonané v spolupráci s energetickými spoločnosťami, ktoré umožňujú vedcom prístup k hodnoty spotreby. Tak, tieto experimenty čiastočne digitálne teréne prebiehali pri masovom meradle pri nízkej variabilné náklady.

Obrázok 4.6: The Home Energy Správy v Allcott (2011) mal modul sociálneho porovnávanie a Kroky modul.

V prvej sade experimentov zahŕňajúcich 600.000 domácností slúžili o 10 rozvodných spoločností po celých Spojených štátoch, Allcott (2011) zistil, Home Energy správa o znížila spotrebu elektriny o 1,7%. Inými slovami, výsledky z omnoho väčšie, viac geograficky odlišných štúdii boli kvalitatívne podobné výsledky z Schultz et al. (2007) . Ale, veľkosť účinku bol menší: vo Schultz et al. (2007) domácností v informatívnom a injective normami stavu (ten s emotikony) znížila ich spotrebu elektriny o 5%. Presný dôvod tohto rozdielu je neznámy, ale Allcott (2011) špekuloval, že príjem vlastnoručný emotikon ako súčasť štúdie sponzorované vysokej škole môže mať väčší vplyv na správanie, než dostane tlačený emotikon ako súčasť správy o masovom vyrobené z energetická spoločnosť.

Ďalej v následnom výskume, Allcott (2015) informoval o ďalších 101 pokusov na ďalších 8 miliónov domácností. V týchto ďalších 101 experimentov Home Energy správa aj naďalej prinútiť ľudí, aby znížiť ich spotrebu elektriny, ale účinky boli ešte menšie. Presný dôvod tohto poklesu nie je známy, ale Allcott (2015) špekulovalo, že účinnosť tejto správy zdalo sa, že v priebehu času klesá, pretože sa skutočne použiť pre rôzne typy účastníkov. Presnejšie povedané, inžinierske siete vo viacerých oblastiach environmentalista bola väčšia pravdepodobnosť prijatia programu skorší a ich zákazníci boli lepšie reagovať na liečbu. Ako nástroje s menej zákazníkov v oblasti životného prostredia bol prijatý program, jej účinnosť sa objavil klesať. Tak, rovnako ako randomizácie pri pokusoch zaisťuje, že ošetrenie a kontrolnej skupiny sú si podobné, randomization vo výskumných pracovísk zaisťuje, že odhady je možné zovšeobecniť z jednej skupiny účastníkov na všeobecnejšej populácie (myslím späť do kapitoly 3 o odbere vzoriek). Ak výskumné pracoviská nie sú náhodne vybraných, potom zovšeobecnenie-iz perfektne navrhnúť a experiment, môže byť problematické.

Spoločne tieto experimenty 111-10 v Allcott (2011) a 101 v Allcott (2015) -involved asi 8,5 milióna domácností zo všetkých kútov Spojených štátov. Sú dôsledne ukazujú, že Home Energy Reports znížiť priemernú spotrebu elektrickej energie, čo je výsledok, ktorý podporuje pôvodné zistenia Schultz a kolegami z 300 domov v Kalifornii. Viac než len kopírujúci tieto pôvodné výsledky, nadväzujúce experimenty tiež ukazujú, že veľkosť účinku sa líši podľa oblasti. Tento súbor experimentov tiež ilustruje ďalšie dva všeobecné body týkajúce sa pokusov čiastočne digitálneho poľa. Po prvé, vedci budú môcť empiricky obavy z vonkajšej platnosti, kedy náklady na prevádzku experimentov je nízka, a to môže nastať v prípade, že výsledok je už meraná vždy-o údajoch systému. Z tohto dôvodu, to naznačuje, že výskum by mal byť na pozore pre ostatných zaujímavé a dôležité správanie, ktoré sú už zaznamenané, a potom navrhovať experimenty na vrchole tejto existujúcej meracej infraštruktúry. Po druhé, táto sada experimentov, nám pripomína, že pokusy digitálne teréne sú nielen online; stále očakávam, že budú všade s mnohými výsledkov meraných senzory v zastavaného prostredia.

Štyri typy platnosti štatistickým záver platnosti, vnútorné platnosti postaviť platnosť, externá validita-poskytujú dobré kontrolný zoznam pomôcť vedci posúdiť, či sú výsledky z určitého experimentu podporovať všeobecnejší záver. V porovnaní s analógovým veku experimentov, v digitálnom veku experimentov by mali byť ľahšie riešiť vonkajšie platnosti empiricky, a to by malo byť jednoduchšie zabezpečiť vnútornú platnosť. Na druhú stranu, bude problematika konstruktové platnosti pravdepodobne náročnejšie v digitálnom veku experimentov (hoci to nebol prípad s experimenty Opower).