4.4.1 Validitéit

Validitéit rappeléiert wéi vill d'Resultat vun engem Experiment Ënnerstëtzung eng méi generell Conclusioun.

Keen Experiment ass perfekt, an d'Fuerscher hunn en extensiv Vokabulär ze entwéckelen fir méiglech Problemer ze beschreiwen. D'Validitéit bezitt sech op d'Ausmooss wou d'Resultater vun engem bestëmmten Experiment e méi allgemeng Conclusioun ënnerstëtzen. D'Sozialwëssenschaftler hunn et hëllefräich fonnt fir d'Validitéit an vier Haapttypen ze verdeelen: statistesch Schlusslechkeet, interner Gültegkeet, Konstruktivitéit a (Shadish, Cook, and Campbell 2001, chap. 2) . Dir maacht dës Konzepter Iech mat enger mentale Checkliste fir Critéieren a verbesseren d'Design an d'Analyse vun engem Experiment, an et wäert Iech hëllefen mat aneren Fuerscher ze kommunizéieren.

Statistesch Conclusiouns Validitéitszentren ronderëm ob d'statistesch Analyse vum Experiment korrekt gemaach ass. Am Kontext vu Schultz et al. (2007) , sou eng Fro op zentraler Positioun, ob se hir \(p\) -Wäert korrekt berechtegt. D'statistesch Prinzipien mussen d'Experimenter entwéckelen an analyséieren d'Ausmooss vum Buch, awer si hunn net fundamental am Digitalen Alter geännert. Wat huet sech awer verännert, datt d'Datenumgebung an digitale Experimentë nei Méiglechkeete geschaf gouf, wéi zum Beispill Maschinn vu Léiermethoden fir Heterogenitéit vun Behandlungsofwier (Imai and Ratkovic 2013) ze schätzen.

Intern Beweegungszentren ronderëm ob déi experimentell Prozeduren korrekt gemaach goufen. Zréck op den Experiment vum Schultz et al. (2007) , Froe vu interne Validitéit kënnen ëm d'Zirkulatioun, d'Liwwerung vun der Behandlung an d'Mesure vun den Resultater zirkuléieren. Zum Beispill, Dir kënnt Angscht hunn, datt d'Fuerscher d'Wëssenschaftler net zouverlässeg gelies hunn. Tatsächlech, Schultz a Kollegen hu sech Gedanken iwwer dëst Problem gemaach, a si haten eng Probe vu Meter zweemol geliest; Glécklecherweis waren d'Resultater am Wesentlech identesch. Allgemeng schéngt de Experiment vu Schultz an Kollegen ze héich, an dat ass net ëmmer de Fall: komplexe Feld a Onlineexperimenter féieren oft Problemer an d'richteg Behandlung an de richtege Leit an d'Messung vun den Resultater fir jiddereen. Glécklecherweis kann den digitale Alter d'Bedenken iwwert d'intern Gëllenheet reduzéieren, well et méi einfach gëtt fir datt d'Behandlung d'Leit geliwwert gëtt, déi et soll erreechen an fir d'Resultater fir all Participanten ze mellen.

Construct Validitéitskenter um Match tëscht den Daten an den theoreteschen Konstrukturen. Wéi am Kapitel 2 diskutéiert ginn, sinn Konstrukturen abstrakt Konzepter, déi d'Sozialwëssenschaftler iwwerraschen. Leider hunn dës abstrakte Konzepter net ëmmer kloer Definitioune a Mesuren. Zréck op Schultz et al. (2007) , d'Fuerderung datt gesetzlech sozial Normen d'Elektrizitéit benotzt reduzéieren, brauche Fuerscher eng Behandlungsgestioun ze entwéckelen, déi "injunctive social norms" (zB Emoticon) ze manipuléieren an "Stroum benotzt" ze mellen. An analog Experimenter sinn vill Forscher hir eege Behandlungen entwéckelt an hir eege Resultater gemooss. Dës Approche garantéiert datt déi Experimenter déi souwuel wéi méiglech mat den abstrakte Konstrukt matenee studéiert hunn. An digitale Experimenter wou d'Fuerscher Partner mat Firmen oder Regierungen fir Behandlungen ze maachen an ëmmer Daten op Systemer fir Messer ze meeschteren, kann de Match tëschent dem Experiment an den theoreteschen Konstrukt manner kleng sinn. Also, ech erwaarden datt d'Gëltegkeet konstruktiv eng méi interessant an digitaler Experimenter sinn wéi an analog Experimenter.

Endlech gëllt fir externe Validitéit un, ob d'Resultater vun dësem Experiment all anere Situatiounen agehal ginn. Zréck op Schultz et al. (2007) , kann ee froen ob dëst eng Iddi ass - d'Leit mat Informatioun iwwer hir Energieverbrauch an der Bezéiung mat hire Kollegen an e Signal vun onregelméissegen Normen (z. B. e Emoticon) - d'Energieverbrauch reduzéieren, wann et op eng aner Aart gemaach an enger anerer Ambitioun. Fir déi meescht konstruktiv a gutt ausgezeechent Experimenter sinn d'Besuergunge vun der externer Gültegkeet déi am härtsten. An der Vergaangenheet hunn dës Debatten iwwert extern Günnere méi nëtzlech wéi eng Grupp vu Leit, déi an engem Raum wunnen, deen sech virstellen, wat wier geschitt, ob déi Prozeduren an engem anere Wee gemaach goufen oder op enger anerer Plaz oder mat verschiddene Participanten . Glécklecherweis kann den digitale Alter et erméiglechen Fuerscher iwwer dës net-gratis Spekulatiounen ze verschwannen an emptréiert externe Validitéit empiresch.

Well d'Resultater vum Schultz et al. (2007) sinn sou opreegend, eng Firma namens "Opower" zesumme mat Onsécherheeten an den USA fir d'Behandlung méi wäit z'erklären. Opgrond vum Design vu Schultz et al. (2007) huet Opower speziell Home Energy Reports entwéckelt, déi zwee Haaptmodule hunn: eent wat d'Elektrizitéit benotzt en Haushaltsverhältnis relative mat hiren Noperen mat engem Emoticon weist an een Drëtte fir Energieverbrauch ze reduzéieren (4,6). Duerno hunn d'Opower a Partnerschaft mam Fuerscher randomiséierter kontrolléiert Experimentë fir d'Auswierkunge vun dësen Home Energy Reports beurteelen. Obwuel d'Behandlungen an dësen Experimenten normalerweis physesch geliwwert hunn - normalerweis duerch almodesch Schneekereien, gouf d'Resultat mat digitale Geräter an der kierperlecher Welt (zB Power Meter) gemooss. Weider, anstatt datt dës Informatioun mat de Fuerscher, déi all Haus besicht hunn, dës manuell Informatiounen ze sammelen, goufen d'Opower Experimenter an Zesummenaarbecht mat Stroumfirmen gemaach, déi d'Fuerscher erreecht hunn fir d'Machtreadings ze kréien. Dofir hu dës deelweis Digital Experimenter an enger massiver Skala bei niddrege variabel Präisser gemaach.

Figure 4.6: D'Home Energy Reports haten e Sozialmodell an e Action Steps Modul. Duerch d'Erlaabnis vum Allcott (2011) , de Figuren 1 an 2.

An engem éischte Satz vun Experimenten mat 600.000 Stéit an 10 verschiddene Siten, hunn Allcott (2011) festgestallt datt d'Energieeffizienz vum Energiekonsum Allcott (2011) . An anere Wierder, d'Resultater vun der vill gréisser, méi geographesch Diversitéit ass qualitativ ähnlech wéi d'Resultater vun Schultz et al. (2007) . Weider, an der folgender Fuerschung mat 8 Milliounen Additional Allcott (2015) aus 101 verschiddene Site, Allcott (2015) huet fest fonnt datt de Home Energy Report konsequent den Elektrizitéitkonsum reduzéiert huet. Dëst vill méi groussen Versuch vun engem Experiment weist och e interessant neit Muster, deen net an engem Experiment giff ginn: d'Gréisst vum Effekt giff an de spéider Experimenten zréckginn (4,7). Allcott (2015) spekuléiert datt dësen Réckgang geschitt ass, datt iwwer d'Zäit d'Behandlung an ënnerschiddlech Zorte vun den Participanten ugewand war. Méi spezifesch ass d'Utilitéiten mat méi ëmweltfrëndlecht Client méi e wahrscheinlech d'Programm adoptéieren, an hir Clienten hunn méi Responsabel fir d'Behandlung. Well Utilitéiten mat manner ökologesch fokusséiert Client'en hunn d'Programm ugeholl, huet hir Effektivitéit zréckgezunn. Esou wéi och Zäähmung an Experimentë garantéiert datt d'Behandlungs- a Kontrollgruppe ähnlech sinn, gëtt d'Zentraliséierung vun de Fuerschungsplazen garantéiert datt d'Schätzunge vun enger Grupp vun Participanten zu enger méi allgemenger Bevëlkerung generaliséiert ginn (kuckt ierch Kapitel 3 iwwert d'Probebuere). Wann d'Fuerschungsplazen net onbedéngt abezunn sinn, da kënnt d'Generaliséierung - och vun engem perfekt entwéckelten an experimentéierte Experiment - kann problematesch sinn.

Figure 4.7: Resultater vun 111 Experimenten, déi den Effekt vum Haus Energy Report iwwer de Stroumverbrauch testen. Op Websäiten, wou de Programm méi spéit opgeholl gouf, huet et e méi klengen Effekter. Allcott (2015) beweist, datt eng grouss Quell vun dësem Muster ass datt Siten mat méi ëmweltfrëndleche Clienten méi wahrscheinlech d'Programm éischter fréi hunn. Am Allcott (2015) , 3.

Zesumme ginn dës 111 Experimenter 10 an Allcott (2011) an 101 zu Allcott (2015) - ëm 8,5 Milliounen Haushalte aus ganz den USA. Si weisen konsequent datt d'Home Energy Reports den Duerchschnëtter Elektrizitéitkonsum reduzéieren, e Resultat deen d'originell Befunde vu Schultz an Kollegen aus 300 Haiser an Kalifornien ënnerstëtzt. Méi wéi nëmmen dës ursprénglech Erklärung ze maachen, sinn déi Follow-Up Experimente och bewisen, datt d'Gréisst vum Effekt ofhängeg ass. Dëse Set vun Experimenteren illustréiert zwee méi allgemeng Punkten iwwer deelweis digital Experimenter. Eischtens kënnen d'Fuerscher d'Bedenken iwwert externe Gëltegkeet empiresch behandelen, wann d'Käschte fir Laafenexperimente niddereg sinn an dëst kann optrieden wann de Resultat schonn duerch e bestëmmten Datensystem gemooss gëtt. Dofir proposéiert et, datt d'Fuerscher sech op aner interessant a wichteg Verhalen opmaachen, déi scho gespaart sinn, an dann Design Experimenter op der bestehender Messinfrastruktur ze entwéckelen. Zweetens, dës Versioun vun Experimenten erënnert eis datt digitale Feldexperimenter net nëmmen online sinn; ëmmer méi, ech erwaarden datt se iwwerall vill Resultater sinn, déi vu Sensoren an der bebaute Ëmwelt gemooss sinn.

Déi véier Zorte vu Validitéitstatistesch Conclusiouns gëltegkeet, interner Gültegkeet, Konstruktivitéit an externer Gültegkeet stellen eng mentalprobative Lëscht zur Verfügung fir d'Fuerscher ze ermëttelen datt d'Resultater vun engem speziellen Experiment méi allgemeng Conclusioun ënnerstëtzen. Am Verglach mat experimentellen analogen Experimenten soll et an einfachen Experimenteren méi einfach sinn, fir externe Validitéit empiresch z'entwéckelen an et soll och méi einfach sinn fir intern interne Gültegkeet ze garantéieren. Déi aner Aspekter vum Konstruktentlechkeet sinn wahrscheinlech méi Erausfuerderung bei digitaler Experimenter ze benotzen, besonnesch digitale Feldexperimenter déi Partnerschaften mat Firmen hunn.