4.4.1 Jildichheid

Jildichheid ferwiist nei hoefolle de resultaten fan in eksperimint stypje in mear algemiene konklúzje.

Gjin eksperimint is folslein, en ûndersikers hawwe ûntwikkele in wiidweidige wurdskat te beskriuwen mooglike problemen. Jildichheid ferwiist nei de mjitte dêr't de resultaten fan in bepaald eksperimint stypje wat mear algemiene konklúzje. Sosjale wittenskippers hawwe fûn it helpful te split jildichheid yn fjouwer wichtichste soarten: statistyske konklúzje jildichheid, ynterne jildichheid, bouwen jildichheid, en eksterne jildichheid (Shadish, Cook, and Campbell 2001, Ch 2) . It behearskjen fan dy begripen sil foarsjen jo in mentale Checklist foar critiquing en ferbetterjen fan it ûntwerp en analyze fan in eksperimint, en dat sil helpe jo kommunisearjen mei oare ûndersikers.

Statistyske konklúzje jildichheid centers om oft de statistyske analyze fan it eksperimint waard dien goed. Yn it ramt fan Schultz et al. (2007) sa'n fraach miskien Wetter op oft se computed harren p-wearden goed. Statistyske analyze is bûten it berik fan dit boek, mar ik kin sizze dat de statistyske begjinsels nedich te ûntwerpen en analysearjen eksperiminten net wizige hawwe yn de digitale leeftyd. Lykwols, de oare gegevens omjouwing yn digitale eksperiminten hat meitsje nije statistyske kânsen (bygelyks, mei help fan machine learen metoaden te skatten heterogeneity fan behanneling effekten (Imai and Ratkovic 2013) ) en nije kompjûtasjonele útdagings (bygelyks, blokkearjende yn massive eksperiminten (Higgins, Sävje, and Sekhon 2016) ).

Ynterne jildichheid centers om oft de eksperimintele prosedueres waarden útfierd goed. Werom nei it eksperimint fan Schultz et al. (2007) , fragen oer ynterne jildichheid koe Wetter om de randomization, besoargjen fan de behanneling, en mjitting fan útkomsten. Bygelyks, Jo soe wêze om dat it ûndersyk assistinten net lêze de elektryske meter betrouber. Yn feite, Schultz en kollega wiene soargen oer dit probleem en hja hiene in stekproef fan meter lêzen twaris; aldergeloks, de resultaten wiene yn wêzen gelyk. Yn it algemien, Schultz en kollega 'eksperimint liket te hawwen hege ynterne jildichheid, mar dat is net altyd it gefal; kompleks fjild en online eksperiminten faak rinne yn problemen eins it leverjen fan it rjocht behanneling nei it rjocht minsken en mjitten de útkomsten foar elkenien. Gelokkich, de digitale leeftyd kin helpe ferminderjen soargen oer ynterne jildichheid omdat it makket it makliker om te soargjen dat de behanneling is oerlevere as ûntwurpen oan dyjingen dy't mienden te ûntfangen en te mjitten resultaten foar alle dielnimmers.

Construct jildichheid centres om de wedstriid tusken de gegevens en de teoretyske Constructs. As bepraat yn haadstik 2, Constructs binne abstrakte begripen dat sosjale wittenskippers reden oer. Spitigernôch, dy abstrakte begripen net altyd hawwe dúdlike definysjes en mjittingen. Werom nei Schultz et al. (2007) , de bewearing dat injunctive sosjale noarmen kinne leger elektrisiteit gebrûk freget ûndersikers te ûntwerpen in behanneling dy't soe manipulearje "injunctive maatskiplike noarmen" (bg, in emobyldkaike) en te mjitten "elektrisiteit gebrûk". Yn analoge eksperiminten, in protte ûndersikers ûntwurpen harren eigen behannelingen en meat harren eigen útkomsten. Dy oanpak soarget derfoar, dat, safolle mooglik, de eksperiminten oerien mei de abstrakte Constructs wurde bestudearre. Yn digitale eksperiminten dêr't ûndersikers partner mei bedriuwen of oerheden te leverjen behannelings en brûk altyd-op gegevens systemen te mjitten útkomsten, de wedstriid tusken it eksperimint en de teoretyske Constructs kinne minder strak. Sa, ik ferwachtsje dat matearje jildichheid sil tend te wêzen in grutter soarch yn digitale eksperiminten as analoge eksperiminten.

Ta beslút, eksterne jildichheid centers om oft de resultaten fan dit eksperimint soe generalisearje nei oare situaasjes. Werom nei Schultz et al. (2007) , men koe freegje, sil dit deselde idee-jaan fan minsken ynformaasje oer harren enerzjy usage yn relaasje ta harren leeftydsgenoaten en in sinjaal fan injunctive noarmen (bygelyks, in emobyldkaike) -reduce enerzjy usage as dat waard dien yn in oare wize yn in oare ynstelling? Foar de measte well-ûntwurpen en goed-rinne eksperiminten, soargen oer eksterne jildichheid binne de hurdste oan te pakken. Yn it ferline, dy debatten oer eksterne jildichheid wienen faak krekt in bosk minsken sitte yn in keamer besiket te tinken wat soe bard as de prosedueres waarden dien op in oare wize, of yn in oar plak, of mei ferskillende minsken. Gelokkich, de digitale leeftyd stelt ûndersikers te bewegen boppe dy gegevens-frije spekulaasjes en beoardielje eksterne jildichheid empirically.

Omdat de útkomsten fan Schultz et al. (2007) wiene sa spannend, in bedriuw mei de namme Opower partnered mei nutsbedriuwen yn 'e Feriene Steaten te ynsette de behanneling mear soad. Op grûn fan it ûntwerp fan Schultz et al. (2007) , Opower makke oanpast Thús Energy Rapporten dat hie twa wichtichste modules, ien sjocht in húshâlding fan elektrisiteit usage relatyf oan syn buorlju mei in emobyldkaike en ien it jaan fan tips foar ferleegjen enerzjy usage (Figure 4.6). Dêrnei, yn oparbeidzjen mei ûndersikers, Opower ran willekeurich kontrolearren eksperiminten te beoardieljen fan de gefolgen fan de Home Energy Rapporten. Ek al de behannelings yn dizze eksperiminten waarden typysk levere fysyk-meastentiids troch âlde fashioned slak mail-de útkomst waard mjitten mei help fan digitale apparaten yn de fysike wrâld (bygelyks, macht meter). Ynstee fan mei de hân sammeljen fan dizze ynformaasje mei ûndersyk assistinten besite elk hûs, de Opower eksperiminten waarden allegearre dien yn gearwurking mei macht bedriuwen sadat de ûndersikers om tagong ta de macht lêzingen. Sa, dy foar in part digitale fjild eksperiminten waarden rinne op in massive skaal by lege fariabele kosten.

Figuer 4.6: De Home Energy Reports yn Allcott (2011) hie in Sosjale Comparison Module en in Action Steps Module.

Yn in earste set fan eksperiminten wêrby't 600.000 húshâldens tsjinne troch 10 nut bedriuwen om de Feriene Steaten, Allcott (2011) fûn it Home Enerzjy Meld ferlege elektrisiteit ferbrûk troch 1,7%. Yn oare wurden, de resultaten út de folle gruttere, mear geografysk ferskaat stúdzje wiene kwalitatyf ek nei de resultaten fan Schultz et al. (2007) . Mar, it effekt grutte wie lytser: yn Schultz et al. (2007) de húshâldens yn de beskriuwende en injective noarmen tastân (it ien mei it emobyldkaike) fermindere harren elektrisiteit usage troch 5%. De krekte reden foar dit ferskil is ûnbekend, mar Allcott (2011) spekulearre dat it krijen fan in mei de hân skreaune emoticon as ûnderdiel fan in ûndersyk sponsore troch in universiteit soe hawwe in grutter effekt op gedrach as it krijen fan in printe emoticon as ûnderdiel fan in massa produsearre ferslach fan in macht bedriuw.

Fierder, yn lettere ûndersyk, Allcott (2015) melde op in ekstra 101 eksperiminten wêrby't in ekstra 8 miljoen húshâldens. Yn dizze folgjende 101 eksperiminten de Home Enerzjy Meld fierder te feroarsaakje minsken te ferleegje harren elektrisiteit konsumpsje, mar de effekten wiene noch lytser. De krekte reden foar dizze delgong is net bekend, mar Allcott (2015) spekulearre dat de effektiviteit fan it rapport ferskynde te delgong oer tiid omdat it wie eins dat tapast oan ferskillende typen fan dielnimmers. Mear spesifyk, nutsbedriuwen yn mear environmentalist gebieten wiene mear kâns nimt it programma earder en harren klanten wiene mear reageren nei de behanneling. As nutsbedriuwen mei minder miljeu klanten dy't it programma, syn effektiviteit ferskynde te decline. Sa, krekt as randomization yn eksperiminten soarget derfoar dat de behanneling en kontrôle groep binne ek, randomization yn ûndersyk sites soarget derfoar dat de rûzingen wurde kinne generalisearre út in ien groep fan dielnimmers oan in mear algemiene befolking (tink werom nei haadstik 3 oer sampling). As ûndersyk siden binne net sampled willekeurich, dan feralgemienjen-sels út in perfekt ûntwurpen en útfierd eksperimint-kin wêze problematysk.

Tegearre, dizze 111 eksperiminten-10 yn Allcott (2011) en 101 yn Allcott (2015) -involved oer 8,5 miljoen húshâldens út de hiele Feriene Steaten. Se konsekwint litte dat Home Energy Rapporten ferminderjen trochsneed elektrisiteitsferbrûk, in gefolch dat stipet de oarspronklike befinings fan Schultz en kollega fan 300 wenten yn Kalifornje. Beyond krekt replicating dizze oarspronklike resultaten, de follow-up eksperiminten ek sjen litte dat de omfang fan it effekt ferskilt troch lokaasje. Dy set fan eksperiminten ek yllustrearret twa mear algemiene punten oer in part digitale fjild eksperiminten. Earst, ûndersikers sille wêze kinne empirically adres soargen oer eksterne jildichheid doe't de kosten fan rinnende eksperiminten is leech, en dat kin barre as de útkomst wurdt al wurdt mjitten troch in altyd-op gegevens systeem. Dêrom, dat suggerearret dat ûndersyk moat wêze op de look-out foar oare nijsgjirrige en wichtige gedragingen dy't al wurdt opnommen, en dan ûntwerpe eksperiminten boppe op dizze besteande measuring ynfrastruktuer. Twadde, dit set fan eksperiminten herinnert ús dat digitale fjild eksperiminten binne net allinnich online; hieltyd Ik ferwachtsje dat se sille wêze oeral mei in protte útkomsten metten troch sensoren yn de boude omjouwing.

De fjouwer soarten jildichheid-statistyske konklúzje jildichheid, ynterne jildichheid, bouwen jildichheid, eksterne jildichheid-biede in mentale Checklist te helpen ûndersikers beoardielje oft de resultaten fan in bepaalde eksperimint stypje in mear algemiene konklúzje. Yn ferliking mei analoge leeftyd eksperiminten, yn digitale leeftyd eksperiminten it moat wêze makliker te pakken eksterne jildichheid empirically en it moat wêze makliker te garandearjen ynterne jildichheid. Oan de oare kant, kwestjes fan matearje jildichheid sil nei alle gedachten wêze mear útdaagjend yn digitale leeftyd eksperiminten (hoewol't dat wie net it gefal mei de Opower eksperiminten).