4.4.3 Meccanismi

Gli esperimenti misurano quello che è successo. Meccanismi spiegare perché e come sia successo.

La terza idea chiave per andare oltre semplici esperimenti è meccanismi . I meccanismi ci dicono perché o come un trattamento ha causato un effetto. Il processo di ricerca di meccanismi viene talvolta chiamato anche alla ricerca di variabili intervenienti o variabili di mediazione . Sebbene gli esperimenti siano utili per stimare gli effetti causali, spesso non sono progettati per rivelare meccanismi. Gli esperimenti digitali possono aiutarci a identificare i meccanismi in due modi: (1) ci consentono di raccogliere più dati di processo e (2) ci permettono di testare molti trattamenti correlati.

Poiché i meccanismi sono difficili da definire formalmente (Hedström and Ylikoski 2010) , inizierò con un semplice esempio: limes and scurvy (Gerber and Green 2012) . Nel diciottesimo secolo, i dottori avevano la netta sensazione che quando i marinai mangiavano i lime, non avevano lo scorbuto. Lo scorbuto è una malattia terribile, quindi questa era una potente informazione. Ma questi medici non sapevano perché le calce prevenivano lo scorbuto. Fu solo nel 1932, quasi 200 anni dopo, che gli scienziati poterono dimostrare in modo affidabile che la vitamina C era la ragione per cui la calce preveniva lo scorbuto (Carpenter 1988, 191) . In questo caso, la vitamina C è il meccanismo attraverso il quale i limoni prevengono lo scorbuto (figura 4.10). Naturalmente, identificare il meccanismo è anche molto importante dal punto di vista scientifico: molte delle scienze riguardano la comprensione del perché le cose accadono. L'identificazione dei meccanismi è anche molto importante praticamente. Una volta compreso il motivo per cui un trattamento funziona, possiamo potenzialmente sviluppare nuovi trattamenti che funzionano ancora meglio.

Figura 4.10: le calce impediscono lo scorbuto e il meccanismo è la vitamina C.

Sfortunatamente, i meccanismi di isolamento sono molto difficili. A differenza delle calce e dello scorbuto, in molti contesti sociali i trattamenti probabilmente funzionano attraverso molti percorsi interconnessi. Tuttavia, nel caso delle norme sociali e del consumo di energia, i ricercatori hanno cercato di isolare i meccanismi raccogliendo i dati di processo e testando i relativi trattamenti.

Un modo per testare i possibili meccanismi è raccogliendo dati di processo su come il trattamento ha influito sui possibili meccanismi. Ad esempio, ricorda che Allcott (2011) dimostrato che i rapporti sull'energia domestica hanno causato il Allcott (2011) dell'uso di elettricità da parte delle persone. Ma come hanno fatto questi rapporti a ridurre il consumo di elettricità? Quali erano i meccanismi? In uno studio di follow-up, Allcott and Rogers (2014) collaborato con una società elettrica che, attraverso un programma di sconti, aveva acquisito informazioni su quali utenti hanno aggiornato le proprie apparecchiature a modelli più efficienti dal punto di vista energetico. Allcott and Rogers (2014) riscontrato che un numero leggermente maggiore di persone che ricevono l'Home Energy Reports ha aggiornato i propri elettrodomestici. Ma questa differenza era così piccola che poteva rappresentare solo il 2% della diminuzione del consumo di energia nelle famiglie trattate. In altre parole, gli aggiornamenti degli elettrodomestici non erano il meccanismo dominante attraverso il quale il rapporto sull'energia domestica diminuiva il consumo di elettricità.

Un secondo modo per studiare i meccanismi è quello di eseguire esperimenti con versioni leggermente diverse del trattamento. Ad esempio, nell'esperimento di Schultz et al. (2007) e tutti i successivi esperimenti di Home Energy Report, ai partecipanti è stato fornito un trattamento che aveva due parti principali (1) consigli sul risparmio energetico e (2) informazioni sul loro consumo energetico rispetto ai loro coetanei (figura 4.6). Pertanto, è possibile che i suggerimenti per il risparmio energetico siano ciò che ha causato il cambiamento, non le informazioni dei pari. Per valutare la possibilità che i suggerimenti da soli sarebbero stati sufficienti, Ferraro, Miranda, and Price (2011) collaborato con un'azienda idrica vicino ad Atlanta, in Georgia, e hanno condotto un esperimento correlato sulla conservazione dell'acqua coinvolgendo circa 100.000 famiglie. C'erano quattro condizioni:

• un gruppo che ha ricevuto consigli sul risparmio dell'acqua
• un gruppo che ha ricevuto consigli sul risparmio dell'acqua più un appello morale per risparmiare acqua
• un gruppo che ha ricevuto suggerimenti su come risparmiare acqua più un appello morale per risparmiare acqua più informazioni sul loro uso di acqua rispetto ai loro coetanei
• un gruppo di controllo

I ricercatori hanno scoperto che il trattamento di sola lettura non ha avuto alcun effetto sull'uso dell'acqua a breve (un anno), medio (due anni) e lungo (tre anni). I suggerimenti e il trattamento d'appello hanno indotto i partecipanti a ridurre l'uso di acqua, ma solo a breve termine. Infine, i suggerimenti e l'appeal più il trattamento delle informazioni tra pari hanno causato un calo dell'utilizzo a breve, medio e lungo termine (figura 4.11). Questi tipi di esperimenti con trattamenti separati sono un buon modo per capire quale parte del trattamento - o quali parti insieme - sono quelle che stanno causando l'effetto (Gerber and Green 2012, sec. 10.6) . Ad esempio, l'esperimento di Ferraro e colleghi ci mostra che i soli consigli per risparmiare acqua non bastano a ridurre il consumo di acqua.

Figura 4.11: risultati di Ferraro, Miranda, and Price (2011) . I trattamenti sono stati inviati il ​​21 maggio 2007 e gli effetti sono stati misurati durante le estati del 2007, 2008 e 2009. Separando il trattamento, i ricercatori speravano di sviluppare un migliore senso dei meccanismi. Il trattamento di solo trattamento non ha sostanzialmente avuto alcun effetto nel termine breve (un anno), medio (due anni) e lungo (tre anni). I suggerimenti e il trattamento d'appello hanno indotto i partecipanti a ridurre l'uso di acqua, ma solo a breve termine. Il consiglio più appello, più il trattamento delle informazioni tra pari, ha portato i partecipanti a ridurre il consumo di acqua a breve, medio e lungo termine. Le barre verticali sono intervalli di confidenza stimati. Vedi Bernedo, Ferraro, and Price (2014) per i materiali di studio reali. Adattato da Ferraro, Miranda, and Price (2011) , tabella 1.

Idealmente, si andrebbe oltre la stratificazione dei componenti (suggerimenti, suggerimenti più appello, suggerimenti più appello più informazioni sui pari) a un design fattoriale completo, anche a volte chiamato un design fattoriale \(2^k\) , in cui ogni possibile combinazione del vengono testati tre elementi (tabella 4.1). Testando ogni possibile combinazione di componenti, i ricercatori possono valutare appieno l'effetto di ciascun componente in isolamento e in combinazione. Ad esempio, l'esperimento di Ferraro e colleghi non rivela se il confronto tra pari da solo sarebbe stato sufficiente per portare a cambiamenti nel comportamento a lungo termine. In passato, questi progetti fattoriali completi sono stati difficili da eseguire perché richiedono un numero elevato di partecipanti e richiedono ai ricercatori di essere in grado di controllare con precisione e fornire un gran numero di trattamenti. Ma, in alcune situazioni, l'era digitale rimuove questi vincoli logistici.

In breve, i meccanismi - i percorsi attraverso i quali un trattamento ha un effetto - sono incredibilmente importanti. Gli esperimenti sull'era digitale possono aiutare i ricercatori a conoscere i meccanismi mediante (1) la raccolta dei dati di processo e (2) l'abilitazione di progetti fattoriali completi. I meccanismi suggeriti da questi approcci possono quindi essere testati direttamente da esperimenti specificamente progettati per testare meccanismi (Ludwig, Kling, and Mullainathan 2011; Imai, Tingley, and Yamamoto 2013; Pirlott and MacKinnon 2016) .

In totale, questi tre concetti - validità, eterogeneità degli effetti del trattamento e meccanismi - forniscono un potente insieme di idee per progettare e interpretare esperimenti. Questi concetti aiutano i ricercatori a superare semplici esperimenti su ciò che "funziona" per esperimenti più ricchi che hanno legami più stretti con la teoria, che rivelano dove e perché i trattamenti funzionano e che potrebbero persino aiutare i ricercatori a progettare trattamenti più efficaci. Dato questo sfondo concettuale sugli esperimenti, passerò ora a come puoi realmente realizzare i tuoi esperimenti.