4.4 Andare oltre semplici esperimenti
Passiamo al di là di semplici esperimenti. Tre concetti sono utili per ricchi esperimenti: la validità, l'eterogeneità degli effetti del trattamento, e il meccanismo.
I ricercatori che sono nuovi per gli esperimenti spesso si concentrano su un particolare, stretta domanda: fa questo trattamento "lavoro"? Ad esempio, fa una telefonata da un volontario incoraggiare qualcuno a votare? Fa cambiare un pulsante sito web dal blu al aumento di click-through rate verde? Purtroppo, fraseggio sciolto su ciò che "funziona" oscura il fatto che gli esperimenti strettamente focalizzati in realtà non vi dicono se un trattamento "funziona" in senso generale. Piuttosto, strettamente focalizzata esperimenti rispondere a una domanda molto più specifico: qual è l'effetto medio di questo trattamento specifico con questa specifica implementazione per questa popolazione di partecipanti in questo momento? Chiamerò esperimenti che si concentrano su questa stretta domanda semplici esperimenti.
Semplici esperimenti possono fornire informazioni preziose, ma non riescono a rispondere a molte domande che sono sia importante e interessante come ad esempio: ci sono alcune persone per le quali il trattamento ha avuto un effetto più o meno grande ?; c'è un altro trattamento che sarebbe più efficace ?; e in che modo questo esperimento si riferiscono a teorie sociali più ampie?
Al fine di mostrare il valore di muoversi al di là di semplici esperimenti, consideriamo uno dei miei esperimenti di campo analogici preferiti, uno studio condotto da P. Wesley Schultz e colleghi sul rapporto tra norme sociali e il consumo di energia (Schultz et al. 2007) . Schultz e colleghi hanno appeso doorhangers su 300 famiglie a San Marcos, in California, e questi doorhangers recapitati messaggi diversi destinate a incoraggiare il risparmio energetico. Poi, Schultz e colleghi hanno misurato l'effetto di questi messaggi sul consumo di energia elettrica, sia dopo una settimana e tre settimane; Figura 4.3 per una descrizione più dettagliata del disegno sperimentale.
Figura 4.3: Schema di disegno da Schultz et al. (2007) . L'esperimento sul campo coinvolto di visitare circa 300 famiglie a San Marcos, in California per cinque volte nel corso di un periodo di otto settimane. Su ogni visita i ricercatori hanno preso manualmente una lettura dal misuratore di potenza della casa. Su due delle visite i ricercatori hanno messo doorhangers sulla casa che fornisce alcune informazioni sul loro consumo di energia. La domanda di ricerca è come il contenuto di questi messaggi avrebbe un impatto uso di energia.
L'esperimento ha avuto due condizioni. Nella prima condizione, le famiglie hanno ricevuto suggerimenti di risparmio energetico in generale (ad esempio, utilizzare ventilatori al posto dei condizionatori d'aria) e informazioni sull'uso di energia del proprio nucleo familiare rispetto alla media del consumo di energia nel loro quartiere. Schultz e colleghi hanno chiamato questa condizione normativa descrittiva perché le informazioni circa l'uso di energia nel loro quartiere ha fornito informazioni sul comportamento tipico (ad esempio, una norma descrittiva). Quando Schultz e colleghi hanno esaminato il consumo di energia con conseguente questo gruppo, il trattamento sembrava avere alcun effetto, sia nel breve termine oa lungo termine; in altre parole, il trattamento non sembra "lavoro" (Figura 4.4).
Ma, per fortuna, Schultz et al. (2007) non è stata risolta per questa analisi semplicistica. Prima che l'esperimento ha cominciato il loro ragionamento che gli utenti pesanti di elettricità persone al di sopra della media-potrebbero ridurre il loro consumo, e che la luce gli utilizzatori di energia elettrica-persone al di sotto della media-potrebbe effettivamente aumentare il loro consumo. Quando hanno esaminato i dati, questo è esattamente ciò che hanno trovato (Figura 4.4). Così, quello che sembrava un trattamento che stava avendo alcun effetto era in realtà un trattamento che ha avuto due effetti di compensazione. I ricercatori hanno chiamato questo aumento controproducente tra gli utenti di luce un effetto boomerang.
Figura 4.4: I risultati di Schultz et al. (2007) . Il primo pannello mostra che il trattamento norma descrittiva ha una stima di effetto di trattamento medio pari a zero. Tuttavia, il secondo pannello mostra che questo effetto medio di trattamento è in realtà composto da due effetti di compensazione. Per gli utenti pesanti, il trattamento è diminuito utilizzo ma per gli utenti leggeri, il trattamento maggiore utilizzo. Infine, il terzo pannello mostra che il secondo trattamento, che ha utilizzato norme descrittive e ingiuntivi, ha all'incirca lo stesso effetto sugli utenti pesanti ma attenuato l'effetto boomerang sugli utenti leggeri.
Inoltre, Schultz e colleghi anticipato questa possibilità, e nella seconda condizione che dispiegati un trattamento leggermente diverso, uno esplicitamente progettato per eliminare l'effetto boomerang. Le famiglie della seconda condizione hanno ricevuto gli stessi suggerimenti di risparmio energetico al trattamento generale esatte e le informazioni circa l'utilizzo di energia del proprio nucleo familiare rispetto al loro quartiere, con una piccola aggiunta: per le persone con un consumo inferiore alla media, i ricercatori hanno aggiunto un :) e per le persone con un consumo superiore alla media hanno aggiunto una :(. Queste emoticon sono stati progettati per innescare quello che i ricercatori hanno chiamato norme ingiuntivi. norme ingiuntivo si riferiscono alla percezione di ciò che è comunemente riconosciuto (e disapprovato), mentre le norme descrittivi si riferiscono alla percezione di ciò che viene comunemente fatto (Reno, Cialdini, and Kallgren 1993) .
Con l'aggiunta di questo piccolo emoticon, i ricercatori hanno drasticamente ridotto l'effetto boomerang (Figura 4.4). Così, facendo questo semplice cambiamento, un cambiamento che è stato motivato da una teoria astratta sociale psicologica (Cialdini, Kallgren, and Reno 1991) -I ricercatori sono stati in grado di trasformare un programma da uno che non sembra funzionare in uno che lavorato, e, allo stesso tempo, sono stati in grado di contribuire alla comprensione generale di come norme sociali influenzare il comportamento umano.
A questo punto, però, si potrebbe notare che qualcosa è un po 'diverso in questo esperimento. In particolare, l'esperimento di Schultz e colleghi non ha in realtà un gruppo di controllo nello stesso modo in cui gli esperimenti randomizzati e controllati fanno. Il confronto tra questo disegno e la progettazione di Restivo e van de Rijt illustra le differenze tra due importanti disegni utilizzati dai ricercatori. Nel tra soggetti disegni, come Restivo e van de Rijt, vi è un gruppo di trattamento e un gruppo di controllo, e entro soggetti progetta il comportamento dei partecipanti è confrontato prima e dopo il trattamento (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . In un esperimento entro i soggetti è come se ogni partecipante agisce come suo proprio gruppo di controllo. La forza di tra soggetti disegni è che fornisce protezione contro i fattori di confondimento (come ho descritto in precedenza), e la forza di esperimenti entro soggetti è aumentata precisione nelle stime. Quando ogni partecipante si comporta come il loro controllo, tra-partecipante variazione viene eliminato (vedi allegato tecnico). Per prefigurare una che verrà più tardi, quando offro consigli sulla progettazione di esperimenti digitali, c'è un disegno finale, chiamato un disegno misto, che unisce la migliore precisione dei disegni entro soggetti e la protezione contro la confusione di disegni tra i soggetti.
Figura 4.5: Tre disegni sperimentali. Standard randomizzati esperimenti controllati usano fra soggetti disegni. Un esempio di progettazione tra soggetti è Restivo e di van de Rijt (2012) esperimento su Barnstars e contributi a Wikipedia: ricercatori hanno diviso in modo casuale i partecipanti in gruppi di trattamento e di controllo, ha dato i partecipanti nel gruppo di trattamento un barnstar, e confrontati i risultati per i due gruppi. Un secondo tipo di disegno è un disegno entro i soggetti. I due esperimenti di Schultz e collega (2007) studio sulle norme sociali e l'uso di energia illustrano un disegno entro soggetti: ricercatori hanno confrontato l'uso di energia elettrica dei partecipanti prima e dopo aver ricevuto il trattamento. Entro soggetti disegni offrono una migliore precisione statistica, eliminando tra varianza soggetto (si veda l'allegato tecnico), ma sono aperti a possibili fattori confondenti (ad esempio, i cambiamenti nel tempo tra il periodo di pre-trattamento e trattamento) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Entro soggetti disegni sono anche misure volte chiamato ripetuti disegni. Infine, disegni misti combinano la maggiore precisione dei disegni entro soggetti e la protezione contro la confusione di disegni tra i soggetti. In un disegno misto, un ricercatore confronta la variazione nei risultati per le persone nei gruppi di trattamento e di controllo. Quando i ricercatori hanno già informazioni di pre-trattamento, come è il caso in molti esperimenti digitali, disegni misti sono preferibile tra soggetti disegni a causa di aumenti di precisione (vedi allegato tecnico).
Nel complesso, la progettazione e risultati di Schultz et al. (2007) mostrano il valore di muoversi al di là di semplici esperimenti. Fortunatamente, non c'è bisogno di essere un genio per creare esperimenti come questo. Gli scienziati sociali hanno sviluppato tre concetti che vi guideranno verso il più ricco e più esperimenti creativi: 1) la validità, 2) eterogeneità degli effetti del trattamento, e 3) meccanismi. Cioè, se si mantiene queste tre idee in mente mentre si sta progettando l'esperimento, sarà naturalmente creare esperimenti più interessanti e utili. Per illustrare questi tre concetti in azione, descriverò una serie di esperimenti sul campo parzialmente digitali di follow-up che hanno costruito sul design elegante e risultati entusiasmanti in Schultz et al. (2007) . Come si vedrà, attraverso più attenta progettazione, l'implementazione, l'analisi e l'interpretazione, anche voi potete andare oltre semplici esperimenti.
