4.4 Andare oltre semplici esperimenti
Andiamo oltre semplici esperimenti. Tre concetti sono utili per esperimenti ricchi: validità, eterogeneità degli effetti del trattamento e meccanismi.
I ricercatori che sono nuovi agli esperimenti si concentrano spesso su una domanda molto specifica e ristretta: questo trattamento "funziona"? Ad esempio, una telefonata di un volontario incoraggia qualcuno a votare? La modifica del pulsante di un sito Web da blu a verde aumenta la percentuale di clic? Sfortunatamente, il fraseggio su ciò che "funziona" oscura il fatto che esperimenti strettamente focalizzati non ti dicono realmente se un trattamento "funziona" in senso generale. Piuttosto, esperimenti strettamente focalizzati rispondono a una domanda molto più specifica: qual è l'effetto medio di questo specifico trattamento con questa specifica implementazione per questa popolazione di partecipanti in questo momento? Chiamerò esperimenti che si concentrano su questa semplice domanda, semplici esperimenti .
Semplici esperimenti possono fornire informazioni preziose, ma non rispondono a molte domande che sono sia importanti che interessanti, ad esempio se ci sono alcune persone per le quali il trattamento ha avuto un effetto maggiore o minore; se ci sia un altro trattamento che sarebbe più efficace; e se questo esperimento si riferisce a teorie sociali più ampie.
Per mostrare il valore di andare oltre semplici esperimenti, consideriamo un esperimento sul campo analogico di P. Wesley Schultz e colleghi sulla relazione tra norme sociali e consumo di energia (Schultz et al. 2007) . Schultz e colleghi hanno appeso portafogli su 300 famiglie a San Marcos, in California, e questi portinai hanno consegnato messaggi diversi progettati per incoraggiare il risparmio energetico. Quindi, Schultz e colleghi hanno misurato l'effetto di questi messaggi sul consumo di elettricità, sia dopo una settimana che dopo tre settimane; vedere la figura 4.3 per una descrizione più dettagliata del progetto sperimentale.
Figura 4.3: Schema del disegno sperimentale di Schultz et al. (2007) . L'esperimento sul campo ha coinvolto la visita di circa 300 famiglie a San Marcos, in California, per cinque volte in un periodo di otto settimane. Ad ogni visita, i ricercatori hanno preso manualmente una lettura dal misuratore di potenza della casa. In due delle visite, hanno collocato degli scambiatori su ciascuna casa fornendo alcune informazioni sull'utilizzo energetico della famiglia. La domanda di ricerca era come il contenuto di questi messaggi avrebbe un impatto sull'uso di energia.
L'esperimento ha avuto due condizioni. Nel primo, le famiglie hanno ricevuto suggerimenti generali per il risparmio energetico (ad esempio, utilizzare i ventilatori al posto dei condizionatori d'aria) e informazioni sul loro consumo di energia rispetto all'utilizzo medio di energia nel loro quartiere. Schultz e colleghi lo chiamavano la condizione normativa descrittiva perché le informazioni sull'uso dell'energia nel vicinato fornivano informazioni sul comportamento tipico (cioè una norma descrittiva). Quando Schultz e colleghi hanno esaminato l'utilizzo di energia risultante in questo gruppo, il trattamento sembrava non avere alcun effetto, a breve oa lungo termine; in altre parole, il trattamento non sembrava "funzionare" (figura 4.4).
Fortunatamente, Schultz e colleghi non si sono accontentati di questa analisi semplicistica. Prima che iniziasse l'esperimento, pensavano che gli utenti pesanti di elettricità - persone al di sopra della media - potessero ridurre il loro consumo, e che gli utenti leggeri di persone elettriche al di sotto della media potrebbero effettivamente aumentare il loro consumo. Quando hanno guardato i dati, è esattamente quello che hanno trovato (figura 4.4). Quindi, quello che sembrava un trattamento che non stava avendo alcun effetto era in realtà un trattamento che aveva due effetti di compensazione. Questo aumento controproducente tra gli utenti leggeri è un esempio di effetto boomerang , in cui un trattamento può avere l'effetto opposto rispetto a quello che era inteso.
Figura 4.4: risultati di Schultz et al. (2007) . Il panel (a) mostra che il trattamento normativo descrittivo ha un effetto terapeutico pari a zero stimato. Tuttavia, il pannello (b) mostra che questo effetto di trattamento medio è in realtà composto da due effetti di compensazione. Per gli utenti pesanti, il trattamento ha ridotto l'utilizzo, ma per gli utenti più leggeri il trattamento ha aumentato l'utilizzo. Infine, il pannello (c) mostra che il secondo trattamento, che utilizzava norme descrittive e ingiuntive, aveva grosso modo lo stesso effetto sugli utenti pesanti, ma attenuava l'effetto boomerang sugli utenti leggeri. Adattato da Schultz et al. (2007) .
Simultaneamente alla prima condizione, Schultz e colleghi hanno anche eseguito una seconda condizione. Le famiglie nella seconda condizione hanno ricevuto lo stesso trattamento, consigli generali per il risparmio energetico e informazioni sull'utilizzo energetico della loro famiglia rispetto alla media del loro quartiere, con una piccola aggiunta: per le persone con un consumo inferiore alla media, i ricercatori hanno aggiunto: Queste persone sono state progettate per innescare ciò che i ricercatori hanno definito norme ingiuntive: le norme ingiuntive si riferiscono alle percezioni di ciò che è comunemente approvato (e non approvato), mentre le norme descrittive si riferiscono alle percezioni di cosa è comunemente fatto (Reno, Cialdini, and Kallgren 1993) .
Aggiungendo questa piccola emoticon, i ricercatori hanno ridotto drasticamente l'effetto boomerang (figura 4.4). Quindi, rendendo questo semplice cambiamento - un cambiamento motivato da una teoria psicologica sociale astratta (Cialdini, Kallgren, and Reno 1991) - i ricercatori sono stati in grado di trasformare un programma che non sembrava funzionare in uno che funzionava, e, contemporaneamente, sono stati in grado di contribuire alla comprensione generale di come le norme sociali influenzano il comportamento umano.
A questo punto, tuttavia, potresti notare che qualcosa è un po 'diverso in questo esperimento. In particolare, l'esperimento di Schultz e colleghi non ha realmente un gruppo di controllo allo stesso modo degli esperimenti controllati randomizzati. Un confronto tra questo disegno e quello di Restivo e van de Rijt illustra le differenze tra due principali progetti sperimentali. Nei progetti tra soggetti , come quello di Restivo e van de Rijt, c'è un gruppo di trattamento e un gruppo di controllo. Nei progetti all'interno dei soggetti , d'altra parte, il comportamento dei partecipanti viene confrontato prima e dopo il trattamento (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . In un esperimento interno è come se ogni partecipante agisse come il proprio gruppo di controllo. La forza dei progetti tra soggetti è che forniscono protezione contro i confondenti (come ho descritto prima), mentre la forza degli esperimenti all'interno dei soggetti è una maggiore precisione delle stime. Infine, per prefigurare un'idea che verrà dopo, quando offro consigli sulla progettazione di esperimenti digitali, un design misto combina la precisione migliorata dei progetti all'interno dei soggetti e la protezione contro il confondimento di disegni tra soggetti (figura 4.5).
Figura 4.5: tre progetti sperimentali. Esperimenti controllati randomizzati standard usano progetti tra soggetti . Un esempio di design tra soggetti è l'esperimento di Restivo e van de Rijt (2012) su barnstars e contributi a Wikipedia: i ricercatori hanno diviso casualmente i partecipanti in gruppi di trattamento e controllo, hanno dato ai partecipanti al gruppo di trattamento una barnstar e hanno confrontato i risultati per il due gruppi. Il secondo tipo di design è un design all'interno dei soggetti . I due esperimenti condotti nello studio di Schultz e colleghi (2007) sulle norme sociali e l'uso dell'energia illustrano un progetto all'interno dei soggetti: i ricercatori hanno confrontato l'uso di elettricità dei partecipanti prima e dopo aver ricevuto il trattamento. I progetti all'interno dei soggetti offrono una precisione statistica migliorata, ma sono aperti a possibili fattori di confondimento (ad esempio, cambiamenti del tempo tra il periodo di pretrattamento e di trattamento) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . I progetti all'interno dei soggetti sono talvolta chiamati anche disegni di misure ripetute. Infine, i disegni misti combinano la precisione migliorata dei progetti all'interno dei soggetti e la protezione contro il confondimento dei progetti tra soggetti. In un design misto, un ricercatore confronta il cambiamento nei risultati per le persone nei gruppi di trattamento e controllo. Quando i ricercatori hanno già informazioni di pre-trattamento, come avviene in molti esperimenti digitali, i progetti misti sono generalmente preferibili ai disegni tra soggetti, poiché determinano una migliore precisione delle stime.
Nel complesso, il design e i risultati dello studio di Schultz e colleghi (2007) mostrano il valore di andare oltre semplici esperimenti. Fortunatamente, non è necessario essere un genio creativo per progettare esperimenti come questo. Gli scienziati sociali hanno sviluppato tre concetti che ti guideranno verso esperimenti più ricchi: (1) validità, (2) eterogeneità degli effetti del trattamento e (3) meccanismi. Cioè, se tieni a mente queste tre idee mentre stai progettando il tuo esperimento, creerai naturalmente un esperimento più interessante e utile. Per illustrare questi tre concetti in azione, descriverò una serie di esperimenti sul campo parzialmente digitali di follow-up basati sul design elegante e sui risultati entusiasmanti di Schultz e colleghi (2007) . Come vedrai, attraverso una progettazione, un'attuazione, un'analisi e un'interpretazione più accurate, anche tu puoi andare oltre i semplici esperimenti.
