4.4.1 Validitéit

Validitéit rappeléiert wéi vill d'Resultat vun engem Experiment Ënnerstëtzung eng méi generell Conclusioun.

Keng Experimenter ass perfekt, a Fuerscher eng extensiv Vocabulaire hunn entwéckelt fir méiglech Problemer beschreiwen. Validitéit un d'Ausmoos wéi nennt d'Resultater vun enger besonnesch Experimenter puer méi generell Conclusioun Ënnerstëtzung. Social Wëssenschaftler hunn et hëllefräich fonnt Validitéit an véier Haaptgrënn Zorte ze kontrolléieren: Statistik Conclusioun Validitéit, intern Validitéit, bauen Validitéit, an extern Validitéit (Shadish, Cook, and Campbell 2001, Ch 2) . dës Konzepter Spaass wäert Dir eng mental Checklëschten wats critiquing an den Design an d'Analyse vun engem Experiment ze verbesseren, an et hëlleft Dir mat anere Fuerscher kommunizéieren.

Statistique Conclusioun Validitéit zentréiert ronderëm ob statistesch Analyse vun der Experimenter war richteg gemaach. Am Kontext vun Schultz et al. (2007) wéi Fro kéint op Zentrum ob se richteg hir p-Wäerter berechnen. Statistesch Analyse ass iwwer de Kader vun dësem Buch, mee ech ka soen, datt statistesch Prinzipien waren Experimenter ze Design an analyséieren hunn net an der digitaler Ära geännert. Mä, stellt de verschiddenen Donnéeën Ëmwelt an digital Experimenter nei statistesch Méiglechkeete schafen (zB, andeems Maschinn Léiermethoden heterogeneity vun Behandlung Effekter ze schätzen (Imai and Ratkovic 2013) ) an nei computational Erausfuerderungen (zB, ëmmer zu massive Experimenter (Higgins, Sävje, and Sekhon 2016) ).

Intern Validitéit zentréiert ronderëm ob der experimentell Prozedure goufen richteg gesuergt. Zréckgoen op d'Experimenter vun Schultz et al. (2007) , Froen iwwer intern Validitéit konnt Zentrum ronderëm d'randomization, Liwwerung vun der Behandlung, a Moosse vun Resultater. Zum Beispill, kéint Dir besuergt ginn, datt d'Fuerschung Assistenten net den elektreschen Meter zouverlässeg gelies hutt. An Tatsaach, Schultz a Kollegen sech Suergen iwwert dëse Problem an si haten eng Prouf vun Meter zweemol liesen; glécklecherweis, goufen d'Resultater geing. Am Allgemengen, Schultz an Experimenter 'Kollegen schéngt héich intern Gëltegkeet ze hunn, mee dëst ass net ëmmer de Fall; komplexe Beräich an online Experimenter oft an Problemer lafen tatsächlech d'Recht Behandlung fir de Recht Leit liwweren an d'Resultater fir jiddereen Moossen. Glécklecherweis, kann déi digital Alter hëllefen Suergen iwwert intern Validitéit reduzéieren, well et ass einfach ze suergen, mécht, datt d'Behandlung déi als entworf geliwwert gëtt, deen et hi kréien a Resultater fir all Participanten ze moossen.

Bauen Validitéit zentréiert ronderëm de Match tëschent den Donnéeën an d'theoretesch gesond. Wéi 2 an Chapter diskutéiert, si gesond mythologesch Konzepter déi sozial Wëssenschaftler iwwer Grond. Leider, muss dës mythologesch Konzepter net ëmmer kloer Definitiounen a Moossen. Zréckgoen zu Schultz et al. (2007) , d'Fuerderung, datt sozial Normen injunctive ka Stroum benotzt manner verlaangt Fuerscher enger Behandlung ze Design, datt "injunctive sozial Normen" (zB, en Emoticon) an op Mooss "Stroum benotzt" manipuléieren wär. An Analog Experimenter, entworf vill Fuerscher hir eege Behandlung an gemooss hir eege Resultater. Dës Approche Litigen, sou vill wéi méiglech, d'Experiment der mythologesch gesond Match studéiert ginn. An digital Experiment wou Fuerscher Partner mat Entreprisen oder Regierungen Behandlungen ze liwweren an ëmmer-iwwert Daten Systemer zu Resultater Moossnam, de Match tëscht der Experimenter an d'theoretesch gesond vläicht manner enk ginn benotzen. Sou, ech erwaarden dass bauen Validitéit eng grouss Suerg vun digitale Experimenter wéi Analog Experimenter ze ginn tendéieren.

Endlech, Zentren externen Validitéit ronderëm ob d'Resultater vun dëser Erfarung ze aner Situatiounen generalize géif. Zréckgoen zu Schultz et al. (2007) , kéint ee froen, wäert dat selwecht Iddi-suergt Leit Informatiounen iwwer hir Energie Uleedung an Relatioun zu hierem an e Signal vun injunctive Normen (zB, en Emoticon) moossen Energie Uleedung wann et zu enger anerer Manéier gemaach gouf an engem anere beherrscht? Fir déi gutt-konzipéiert a gutt-Course Experimenter, Suergen iwwert extern Validitéit sinn déi haardsten an Adress. An der Vergaangenheet, waren dës Diskussiounen iwwer externen Validitéit dacks just eng ganz Rëtsch vun Leit an engem Sall sëtzt virzestellen versicht wat geschitt wier wann d'Prozedure vun enger anerer Aart a Weis gemaach huet, oder an enger anerer Plaz, oder mat aner Leit. Duerfir, erlaabt der digitaler Ära Fuerscher iwwer dës Daten-gratis Spekulatiounen ze plënneren an extern Validitéit haut zum bewäerten.

Well d'Resultater vun Schultz et al. (2007) huet sou spannend, eng Firma mam Numm Opower sech mat Etablissementer an d'USA méi dicht der Behandlung ze ronn. Baséiert op den Design vun Schultz et al. (2007) , gegrënnt Opower Home Energie Rapporten perséinlëche déi zwee Haaptgrënn Moduler haten, ee engem Stot d'Elektrizitéit Uleedung relativ zu sengem Noper mat engem Emoticon weist an ee suergt Tipps fir noléisst Energie frais (Dorënner 4.6). Dunn, an Zesummenaarbecht mat Wëssenschaftler, Géigespiller Opower kontrolléiert Experimenter zoufälleg den Impakt vun der Home Energie Rapporten ze bewäerten. Och wann den Traitementer vun dësen Experimenter typesch geliwwert goufen kierperlech-normalerweis duerch al almoudeschen Wéngertsschleek Mail-d'Resultat war mat digital Apparaten an der kierperlecher Welt gemooss (zB, Muecht Meter). Anstatt manuell dës Informatioun mat Fuerschung Assistenten sammelt all Haus besicht, goufen d'Opower Experimenter all am Partenariat mat Muecht Entreprisen gemaach d'Fuerscher Meldunge der Muecht Moossungen zu Zougang. Sou, um niddereg Variabel Käschten op engem massive Skala lafen dës deelweis digital Terrain Experiment.

Figur 4.6: Den Home Energie Rapporten zu Allcott (2011) no engem Social Se Modul an eng Action Schrëtt Modul.

An engem éischte Set vun Experimenter mat 600.000 Stéit vun 10 Déngscht Entreprisen ëm den USA drun, Allcott (2011) hunn d'Home Energy Verknëppung Energiekäschten vun 1,7% Gang. An anere Wierder, goufen d'Resultater vun de vill méi grouss, méi déi geographesch Objeten Etude qualitativ ähnlech zu de Resultater vun Schultz et al. (2007) . Mä, war den Effet Gréisst kleng: zu Schultz et al. (2007) an de Stéit an de Dësen a injective Normen Bedingung (déi ee mat der Emoticon) reduzéiert hir Stroum- Uleedung vun 5%. Déi genee Ursaach fir dës Differenz ass onbekannt, mee Allcott (2011) spekuléieren, datt e manueller Emoticon als Deel vun enger vun enger Uni gesponsort Etude feieren kéint eng grouss Wierkung op gelooss hunn wéi enger gedréckter Emoticon als Deel vun enger Mass produzéiert Rapport vun enger Erhalen Muecht Firma.

Weider, zu Kierzunge Fuerschung, Allcott (2015) gemellt eng zousätzlech 8 Millioune Stéit op eng zousätzlech 101 Experimenter sensibiliséieren. An deene nächsten 101 Experimenter weiderhinn d'Home Energy Verknëppung Leit ze féieren hir Energiekäschten ze niddreg, mä d'Auswierkunge goufen och kleng. Déi genee Ursaach fir dëse Réckgang ass net bekannt, mä Allcott (2015) spekuléieren, datt d'Effikacitéit vun der Rapport zréckgeet méi Zäit ze ginn wossten, well et eigentlech zu verschidden Zorte vu Participanten applizéiert ginn ass. Méi genau, goufen Etablissementer zu méi économesch Beräicher méi adoptéieren wahrscheinlech de Programm virdrun an hir Clienten ze färten méi responsiven goufen. Als Etablissementer mat manner Ëmwelt- Clienten Programm ugeholl, wossten seng Efficacitéit ze réckleefeg. Sou, grad wéi randomization an Experimenter garantéiert, datt d'Behandlung an Kontroll Grupp sinn ähnlech, randomization zu Fuerschung Siten garantéiert datt d'Schätzunge vun engem ee Grupp vu Mataarbechter zu engem méi allgemeng Bevëlkerung generaliséiert gin kann (mengen zréck ze Kapitel 3 iwwer probéieren). Wann Fuerschung Siten zoufälleg net anerer sinn, dann generalization-souguer aus engem perfekten Design an gehaal Experimenter-ka problematesch sinn.

Zesumme, dës 111 Experimenter-10 zu Allcott (2011) a 101 zu Allcott (2015) -involved ronn 8,5 Millioune Stéit aus all iwwer d'USA. Si weisen konsequent dass Home Energie Rapporten Duerchschnëtt Energiekäschten reduzéieren, e Resultat dat d'original Conclusiounen vun Schultz a Kollegen aus 300 Heiser an California ënnerstëtzt. Dozou just dës originell Resultater replicating, de Suivi Experimenter weisen och, datt d'Gréisst vun den Effet vun Standuert schwankt. Dës Formatioun vun Experimenter illustréiert och zwou méi allgemeng Punkten iwwer deelweis digital Terrain Experimenter. Éischt, wäert Fuerscher kënnen Adress Suergen iwwert extern Validitéit bis haut zum wou d'Käschten Experimenter vun Lafen niddereg ass, an dat kann geschéien, wann d'Resultat schonn ass duerch eng ëmmer-iwwert Daten System gemooss ginn. Dofir, seet et, datt Fuerschung op der Wanterschlof-out fir aner interessant a wichteg Verhaalen soll dat schonn opgeholl gi sinn, an dann Experimenter Design op erop vun dëser bestehend Moossen Infrastrukturen. Zweet, dës Formatioun vun Experimenter rappeléiert, datt digital Terrain Experimenter si net just online; méi erwaarden ech dass se iwwerall mat duerch detektéieren am bebauten Ëmfeld gemooss vill Resultater ginn.

Déi véier Zorte vu Validitéit-statistesch Conclusioun Validitéit, intern Validitéit, bauen Validitéit, externen Validitéit-bidden eng mental Checklëschten Fuerscher ob d'Resultater vun enger besonnesch Experimenter Ënnerstëtzung eng méi generell Conclusioun bewäerten ze hëllefen. Verglach Analog Alter Experimenter, an digital Alter Experiment soll et méi einfach ginn extern Validitéit haut zum zu Adress an et soll einfach ginn intern Validitéit ze garantéieren. Op der aner Hand, gëtt Problemer vun bauen Validitéit wahrscheinlech méi usprochsvollen an digital Alter Experimenter gin (obwuel dat net de Fall mat der Opower Experiment war).