4.4.1 Jildichheid
Jildichheid ferwiist nei hoefolle de resultaten fan in eksperimint stypje in mear algemiene konklúzje.
Gjin eksperimint is perfekt, en ûndersikers hawwe in wiidweidige wurdskat ûntwikkele om problemen te beskriuwen. Validiteit ferwiist nei hoefolle resultaten fan in spesifike eksperimint wat algemiene konklúzje stypje. Sosjale wittenskippers hawwe it nuttich fûn om jildigens te ferdielen yn fjouwer haadtypen: statistyske konklúzjildigens, ynterne jildigens, jildigens, en eksterne jildigens (Shadish, Cook, and Campbell 2001, chap. 2) . Meitsjen fan dizze begripen leverje jo mei in mentale kontriste foar it kritearjen en ferbetterjen fan it ûntwerp en analyze fan in eksperimint, en it sil jo kommunisearje mei oare ûndersikers.
Statistyske konklúzjevaliditeit sintraasjes om oft de statistyske analyze fan it eksperimint korrekt dien is. Yn it ramt fan Schultz et al. (2007) , soene in fraach stelle kinne op oft se har \(p\) -wearden korrekt hawwe. De statistyske begjinsels moatte ûntwikkeling en analysearje fan eksperiminten binne bûten it gebiet fan dit boek, mar se hawwe net grûnwize feroare yn 'e digitale leeftyd. Wat lykwols feroare is dat it gegevensomge yn digitale eksperiminten nije kânsen kreëarre, lykas gebrûk fan masine-learmetoaden om de heterogeneiteit fan behannele effekten (Imai and Ratkovic 2013) te beskriuwen.
Ynterne jildigensintraasjes rûnen oft de eksperimintele prosedueres korrekt útfierd wurde. Gean werom nei it eksperiment fan Schultz et al. (2007) , fragen oer ynterne jildigens kinne omsette om randomisaasje, opbou fan behanneling, en mjitting fan resultaten. Sa kinne jo bygelyks dwaande wêze dat de ûndersyksassistenten de elektrysk meter net betrouber leare. In feite, Schultz en kollega's wiene besocht oer dit probleem, en se hiene in sample fan meter twa kear lêzen; Gelokkich binne de resultaten yn wêzen identyk. Yn it algemien ferskynt Schultz en kollega's eksperimint hege ynterne jildigens, mar dit is net altyd it gefal: komplekse fjild en online eksperiminten lûke faak yn problemen dy't de krekte behanneling de goede behanneling leveret en de resultaten foar elkenien mjitten. Gelokkich kin it digitale leeftiid helpe om fertrouwen oer ynterne jildigens te ferminderjen, om't it no makliker is om te garandearjen dat de behanneling leveret wurdt oan dyjingen dy't har ûntfange en it resultaat te mjitten foar alle dielnimmers.
Jildichheidssintra bouwe oer it match tusken de gegevens en de teoretyske konstruksjes. As besprutsen yn haadstik 2, binne konstruken abstrakte begripen dy't sosjale wittenskippers reden hawwe. Spitigernôch hawwe dizze abstrakte begripen net altyd dúdlike definysjes en mjittingen. Werom nei Schultz et al. (2007) , de beweeching dat ynsette sosjale normen it lege elektrisiteitsbedriuw ferleegje, fereasket ûndersikers om in behanneling te meitsjen dy't "ynsette sosjale normen" manipulearje (bygelyks in emoticon) en "elektrisiteit brûke" mjitte. Yn analoge eksperiminten ûntwikkele in soad ûndersikers har eigen behannelingen en bepaalde eigen resultaten. Dizze oanpak soarget dat, sa folle as mooglik, de eksperiminten oerienkomme mei de abstrakte konstruksjes dy't studearre wurde. Yn digitale eksperiminten dêr't ûndersikers partners mei bedriuwen of oerheden om behannelingen te leverjen en altyd op datasjemooglikheden te meitsjen om resultaten te mjitte, kin it match tusken it eksperiment en de teoretyske konstruksjes minder wurde. Dêrom ferwachtsje ik dat genoatigens konstruksjes in tendinsearje wolle yn digitale eksperiminten as yn analogen eksperiminten.
Uteinlik binne eksterne jildigens sintrum rûnom oft de resultaten fan dit eksperimint generalisearre wurde kinne oan oare situaasjes. Werom nei Schultz et al. (2007) , kinne jo freegje oft dit deselde idee is - it leverjen fan minsken mei ynformaasje oer har enerzjyferbod yn 'e relaasje mei harren kollega's en in sinjaal fan yntinsive normen (bgl. In emoticon) - soe it brûken fan enerzjy ferwachtsje as it op in oare wize dien is yn in oare ynstelling. Foar de meast goed ûntwurpen en goed rinnende eksperiminten binne beklingen oer eksterne jildigens de hurdste adressen. Yn it ferline hawwe dizze debatten oer eksterne jildichheid faak mear as in groep minsken yn in keamer sitten dy't probearje te wêzen wat soe wêze as de prosedueres op in oare wize dien binne, of op in oare plak, of mei ferskate dielnimmers . Gelokkich kin de digitale leeftiid ûndersikers ynstelle om dizze data-frije spekulaasjes te ferhúzjen en emptipearje fan 'e eksterne wierheid.
Om't de resultaten fan Schultz et al. (2007) wie sa spannend, in bedriuw neamd Opower dy't mei utillen yn 'e Feriene Steaten gearwurkje om de behanneling mear breedte te brûken. Op grûn fan it ûntwerp fan Schultz et al. (2007) , Opower makke oanpast oan Home Energy Reports dy't twa haadmodule hienen: ien fan in brûkte elektrisiteit fan húshâlding foar syn buorlju mei in emoticon en ien dy't tips foar it ferleegjen fan enerzjyferbrûk (figuer 4.6). Dêrnei rûn Opower yn gearwurking mei ûndersikers randomisearre kontrolearjende eksperiminten om de ynfloed fan dizze Home Energy Reports te beoardieljen. Alhoewol't de behannelingen yn dizze eksperiminten typysk fysysk levere waarden - meastal troch âlde modele snailpost - waard it gefolch dat de digitale apparaten yn 'e fysike wrâld (bygelyks power meters) gemient wurde. Fierder, ynstee fan it sammeljen fan dizze ynformaasje mei ûndersikers, dy't elke hûs besykje, waarden de eksperiminten fan Opower allegear yn gearwurking mei krêftige bedriuwen dien, wêrtroch't de ûndersikers de tagongsrjochten tagong hawwe. Sa waarden dizze diels digitale fjildakseksjes op in massive skaal yn 'e leechlike fariantkosten rinne.
Figure 4.6: De hûs-energie-rapporten hie in Sosjale Ferpakkermodul en in Action Steps-Module. Allcott (2011) troch tastimming fan Allcott (2011) , sifers 1 en 2.
Yn in earste set fan eksperiminten mei 600.000 húshâldingen fan 10 ferskillende plakken, fûn Allcott (2011) dat it Home Energy Report de elektryske konsumpsje ferlege. Mei oare wurden, de resultaten út it folle gruttere, mear geografysk ferskaat ûndersyk wiene kwalitatyf fergelykber mei de resultaten fan Schultz et al. (2007) . Fierder fûn yn Allcott (2015) yn it folgjende ûndersyk mei acht miljoen ekstra húshâldings fan 101 ferskillende Allcott (2015) wer werom dat de Home Energy Report konsekwint elektrisiteitsferbod ôfstimt. Dizze folle gruttere set fan eksperiminten joech ek in nijsgjirrich nij patroan dat net sichtber wêze soe yn ien eksperimint: de grutte fan it effekt ferkocht yn 'e lettere eksperiminten (figuer 4.7). Allcott (2015) spekulearre dat dizze ferfal barde om't, mei tiid, de behanneling tapast waard foar ferskate soarten dielnimmers. Mear spesifyk, brûkberheden mei mear ekologyske rjochte klanten wiene earder wierskynlik it programma earder fêststeld, en har kliïnten wiene mear reageare op 'e behanneling. As utilities mei minder ekologyske rjochte klanten it programma oannaam, ferskynde syn effektiviteit te ferfallen. As lykwols as randomisearing yn eksperiminten soarget dat de behanneling en kontrôle groep is lykwicht, randomisearring yn ûndersyksiteiten soarget derfoar dat de skatten as generalisearre wurde kinne fan ien groep fan dielnimmers nei in mear algemien befolking (tink werom nei haadstik 3 oer sampling). As ûndersyksiteiten net samar útfine, dan kin generalisearring - sels fan in perfekt ûntwikkele en eksperiminteel - probleem wêze.
Ofbylding 4.7: Resultaten fan 111 eksperiminten testje it effekt fan it Home Energy Report oer elektrisiteit. Op siden dêr't it programma letter letter oannaam waard, wie it tinzen om lytsere effekten te hawwen. Allcott (2015) argued dat in wichtige boarne fan dit patroan is dat websiden mei mear Allcott (2015) klanten it earder wierskynlik it programma earder fêststelle. Oanpast út Allcott (2015) , figuer 3.
Mei-elkoar binne dizze 111 eksperiminten-10 yn Allcott (2011) en 101 yn Allcott (2015) -nominre sa'n 8,5 miljoen húshâldingen fan 'e Feriene Steaten. Se steane konsekwint dat Home Energy Reports trochsneaste gemiddelde elektrisiteitsferbettering, in resultaat dy't de oarspronklike befiningen fan Schultz en kollega's út 300 wenningen yn Kalifornje stipet. Beyond just it replikearjen fan dizze orizjinele resultaten, de folgjende eksperiminten sjen litte ek dat de grutte fan 'e effekt ôfwikselet troch lokaasje. Dizze set fan eksperiminten jout ek twa algemiene punten om te dielen fan digitale fjilden eksperiminten. Earst kinne ûndersikers ynteressearje om soargen oer de eksterne jildigens te bewizen as de kosten fan rinnende eksperiminten leech binne, en dit kin foarkomme as de útkomst al werjûn wurdt troch in altyd opsysteem. Dêrom sjogge wy dat ûndersikers op it útsicht wêze moatte foar oare ynteressante en wichtige gedrach dy't no opnommen wurde, en dan ûntwerp eksperiminten boppe dizze besteande measte ynfrastruktuer. Twadder dizze opset fan eksperiminten is opnij dat digitale fjilden eksperiminten net gewoan online binne; Hieltyd mear ferwachtsje ik, dat se oeral mei in protte resultaten wurde gemient troch sensoren yn 'e beboude omjouwing.
De fjouwer soarten fan jildigens-statistyske konklúzjildigens, ynterne jildigens, jildigens en eksterne jildigens leverje in mentale kontriste om te helpen troch ûndersikers te beoardieljen oft de resultaten út in bepaald eksperimint in algemiene konklúzje stypje. Yn ferliking mei analoech-eksperiminten, yn digitale-eksperiminten, moat it makliker wêze om de eksterne jildigens empirysk te rjochtsjen, en it moat ek makliker wêze om ynterne jildigens te garandearjen. Oan 'e oare kant wurde problemen fan konkrete jildigens wierskynber mear útdaging yn digitale-eksperiminten, benammen digitale fjilden eksperiminten dy't partnerskip mei bedriuwen hawwe.
