4.4.1 Validità

Validità si rifirisci ô quantu dê risurtati di nu spirimentu pruponnu na cunchiusioni cchiù ginirali.

Nisun prufundimentu hè perfettu, è i circunsidenti anu sviluppatu un veicu vocabulariu per discrivinu qualchì problema. A Validità référence à l'extente à chì i risultati di un esperimentu particulari sustene una certa cuncritu più generale. I scientisti scientifichi anu truvatu utile à split validity in quattru tipi principali: validità di validazione interna, validità interna, custruisce validità è validità esterna (Shadish, Cook, and Campbell 2001, chap. 2) . Ammaistà queste cuncetti pruclamarà una lista di verificatu mentale per critiquing è a migliurà u disignu è l'analisi di un sperimentu, è vi aiutavà à cumunicà cù altri investigatori.

A validità di ecunomica statistiche si circundanu à l'analisi statistichi di l'esperimentu era fattu bè. In u cuntestu di Schultz et al. (2007) , una quistione di quistione puderà centru nantu à l'intemperu u so \(p\) -valute correctamente. I principii statìstichi necessanu di disignà è analizà i esperimenti sò alluntanati di u scopu di stu libru, ma ùn anu micca cambiatu in fundamentale in l'era digitale. Hè ciò chì hà cambiatu, però, hè chì l'ambienti di dati in esperimenti digitale hà creatu novi oportunità, cumu l'usu di metudi di struzzioni in metudi, per stima l'heterogeneità di l'effetti di trattamentu (Imai and Ratkovic 2013) .

A validez internu centru in u circondu chì i pratichi esperimenti sò stati rializati bè. Ritorna à l'esperimentu di Schultz et al. (2007) , quistione nantu à a validità interna puderia circhendu à l'aleatoriu, u cunsigliu di trattamentu, è di i misurazioni di i viaghji. Per esempiu, pudete esse preoccupatu chì l'assistenti di ricerca ùn hà micca leghjitatu i metri elettrichi de rigalu. Infatti, Schultz è i culleghi èranu preoccupatu di stu prublema, è avìanu una mostra di mette da lettu dui volte; furtunamenti, i risultati eranu essenziu listessi. In generale, l'esperimentu di Schultz è di u culleghju pare avè una validez interna alta, ma questu ùn hè micca sempre u casu: campu cumplessu è esperimenti online spessu scontranu in prublemi di rializà u trattamentu propiu à e persone ghjustu è misurendu i ricerca per tutti. Fortunatamente, l'età digitale pò aiutà à reduie i prublemi nantu à a validez interna perchè hè più faciule per assicurà chì u trattamentu hè furnitu à quelli chì sò stati avè ricivutu è per misurà e prublemi per tutti i participanti.

Construct validity centers around the match between the data and the constructs teorichi. Comu discutitu in u Chapter 2, constructi sò cuncetti astratti chì i ragiuni scientifichi raghjoni. Sfortunatamente, queste cuncepimentu astratti risicate ùn sò micca sempre boni definizzioni è medizioni clarificate. Riturnà à Schultz et al. (2007) , u prublema chì i normi normattivi ghjuridichi puderanu diminuite l'utilizazione di l'energia elettrica u duminiu di ricerca per disignà un trattamentu chì manipule "norme norma univirsivu" (per esempiu, un emoticonu) è à misurà "usura di l'electricità". In esperimenti analogichi, parechji circuniecziu anu criatu i so trattamenti è misurà i so proprii. Stu approcciu s'acurava chì, quantu à u pussibule, l'esperimenti attaccanu i constructi astratti à studienti. In esperimenti digitale induve i ricerchi chì sò cumpagnie cù e cumpagnie o guvernu per furnisce i tratti è utilizanu sempre à i sistemi di dati per misurami, u match entre l'esperimentu è i constructi teorichi pò esse menu strette. Cusì, vogliu chì custruisce a validità tendenu à esse una preoccupa maiò in l'esperimenti digitale cà in esperimenti analogichi.

Finalmente, a validez à l'esternità si circundava o risultati di questu esperimentu pò esse ghjinalizzatu à e altre situazione. Riturnà à Schultz et al. (2007) si puderianu dumandà quella chì l 'ugguali idee chì furnisce infurmazioni nantu à l'ingaghjamentu d'energia in a relazione à i so pari, è un signalu di norme debuttante (per esempiu, un emoticonu) -ghjughe l'usu d'energia si era fattu d'una manera diferenta in un paràmetru diffirenti. Per esempi più prudutti boni è beni cunduti, i prublemi nantu à validità esterni sò u più duru di indirizzà. In u passatu, queste discussioni nantu à a validità esterni ùn anu spessu implicatu più nant'à un gruppu di persone à pusà à una stanza pruvatu d'imagine ciò chì avissi avutu l'uttene si i prucessi avianu fattu d'una manera diferenta, o in un locu diffeinu, o cù parechji participanti . Fortunatamente, l'età digitale permette chì i ricerchi anu da traspondiri issi spicculazioni senza di dati è evaluate a validità externa empiricamente.

Perché i risultati da Schultz et al. (2007) sò cusì excitingu, una sucità citau Opower assuciatu cù utilità in i Stati Uniti per sparisce u trattamentu più largamente. Basatu nantu à u disignu di Schultz et al. (2007) , Opower hà creatu un rapportu energeticu energeticu persunalizatu chì avianu dui moduli principali: un chì mostra l'impenite di l'electricità di una famiglia di i so vicini cù un emoticon è un prublemi cunsiglii per a diminuite l'energia (figura 4.6). Allora, in cullaburazione cù i circhuli, Opower cuminciò l'esperimenti sont ascirugati à l'azardu à evaluà l'impattu di questi Reports di Energia Spagnola. Ancu s'è i tratti in issi esperimenti sò stati normalizati fìsici fisicamente, per mezu di u libru anticu, i risultu hè stata misurata cù i dispositi digitali in u monulu fisicu (per esempiu, i metri d'energia). Aiutru, invece di manchjà sta racchjà sta infurmazione cù l'assistenti di ricerca chì visitanu ogni casa, l'operimenti di l'Opower sò stati fatti in cullaburazione cù e cumpagnie di l'energia chì hà permette chì i cullighjenti accessu à e lezioni di l'energia. Cusì, i sperimentazione di spaziumentu parziale digitale fòrdenu a scala massiva à u costu variable variante.

Figura 4.6: I Riguli di Energie di l 'Ughjettivu appi un Mètode di Compara Soziale è un Mètode d'accadimentu. Riproduciutu cun permessu di Allcott (2011) , figuri 1 è 2.

In un primu settore di sperimentazioni chì participanu 600000 di casi di 10 siti diffirenti, Allcott (2011) truvaru chì u Allcott (2011) l'Energia di l'Umani diminuinu u cunsumu elettricu. In altri dritti, i risultati da l'assai più numerichi, più geograficamente diverse, eranu qualitativamenti simili à i risultati da Schultz et al. (2007) . Aghjunghje, in ricerca sussegwenti chì implicanu 8 ettari di l'abitanti di 101 siti diffirenzii, Allcott (2015) novatu chì l'Energetria di l'Energia diminuinu cunsumu l'energia elettrica. Questu settimentu più grande di esperimenti hà avè revelatu ancu un mudellu novu interessanti chì ùn esse micca visibiliu in qualsiasi esperimentu: u grandezza di l'effetti diminuì in l'esperimenti laterali (figura 4.7). Allcott (2015) spicchò chì sta decadenza accadò, chì, à u tempu, u trattamentu era esse aplicatu à i sfarenti tipi di participanti. A più specificamente, i servizii di utilità cù i clienti cumentu più urfanatu i mediambienti sò più prubabile adopri u prugramma prima, è i so clienti sò più rispondi à u trattamentu. Comu l'utilità cù menu cuncettori ambientali ci anu adoptatu u prugramma, a so effikaċja pareva di ricusate. Cusì, cum'è l'aleatoriu in esperimenti assicura chì u gruppu di trattamentu è cuntrollu hè simili, l'aleatoriu in siti di ricerca assicura chì l'estimi pò esse ghjinirenziali da un gruppu di participanti à una populazione più generale (pensate à u capu 3 nantu à a mostra). Sì i siti di ricerca ùn sò micca studiatu aleatoriamente, a ghjeneralizazione, ancu di un esperimentu perfeziatu è cumporu, pò esse problematicu.

Figura 4.7: Risultati di 111 esperimenti pruvati l'effettu di l'energetica di u travagliu energeticu in u cunsumu d'energia elettrica. In i siti induve u prugramma fu adopitu dopu, tendia à avè effetti più chjude. Allcott (2015) sustene chì una fonte principale di stu patronu hè chì i siti cun più crescenti cun u mediateambienti anu più prubabili di adopranu u prugramma prima. Adattazione di Allcott (2015) , figura 3.

Inseme, questi 111 esperimenti-10 in Allcott (2011) è 101 in Allcott (2015) impregnati circa 8,5 miliuna di casi di tutti i Stati Uniti. Anu cunsistenti chì l'energetichi di l'energia in u minimu u cunsumu d'energia elettrica, un risultatu chì sustene i scuperte originali di Schultz è i culleghi di 300 fede in California. In più di riplicà issi rializazioni originali, l'esperimenti di seguitu indicanu ancu chì u grandu di l'effettu varia da locu. Stu settore di sperimenti also illustrates two more points generale nantu à spirimenti parziale digitale campu. Prima, i ricerchi anu da pudè indirizzà indirizzu empiricu di a validità esternale quandu u spendu di spirimintà spirimitzariu hè bellu, è questu si pò esse se u risultatu hè digià cunsigliatu per un sistema di dati sempri. Perchè suggestionu chì i ricerca sò stati à guardà per altru cumpurtamentu interessanti è impurtanti chì sò digià sappiutu, è puderà sperimentali di designu nantu à questa infrastruttura di metricu esistenti. Sicunna, stu settore di esperimenti ricorda chì l'esperimenti di campagni digitale ùn sò micca in linea; Anu più freti, aghju bè chì sò in ogni locu cù parechje rivenuti misurati da i sensori in u ambientu fattu.

E quattru tipi di validità-validazione di valutazzioni statìstica, validità interna, custruisce validità, è validità esterni-furnisce una lista di verificatu mentale per aiutà i circuncelaviani a valutà per esse se u risultu d'un esperimentu particulare una fundazione più generale. Comparatu cù esperimenti analogi in l'età, in l'esperimenti d'età digitale, deve esse facilitu per indirizzà validità esternale empiricamente, è deve ancu esse faciule più sicuru per a validità interna. Invece, e prublemi di a validità di custruisce sò più prumettienti in i tempi di l'età digitale, spécialement campagni di campagni campagnolu chì intervene cumuni cun l'imprese.