4.3 Due dimensioni di esperimenti: laboratorio sul campo e analogico-digitali

Esperimenti di laboratorio offrono un controllo, gli esperimenti sul campo offrono realismo, e gli esperimenti sul campo digitali combinano il controllo e il realismo in scala.

Gli esperimenti sono disponibili in diverse forme e dimensioni. In passato, i ricercatori hanno trovato utile organizzare esperimenti lungo un continuum tra esperimenti di laboratorio ed esperimenti sul campo . Ora, tuttavia, i ricercatori dovrebbero anche organizzare esperimenti lungo un secondo continuum tra esperimenti analogici e esperimenti digitali . Questo spazio di progettazione bidimensionale ti aiuterà a capire i punti di forza e di debolezza dei diversi approcci e ad evidenziare le aree di maggiore opportunità (figura 4.1).

Figura 4.1: Schema dello spazio di progettazione per gli esperimenti. In passato, gli esperimenti variavano lungo la dimensione del campo di laboratorio. Ora, variano anche sulla dimensione analogico-digitale. Questo spazio di progettazione bidimensionale è illustrato da quattro esperimenti che descrivo in questo capitolo. A mio avviso, l'area di maggiore opportunità sono gli esperimenti sul campo digitale.

Una dimensione lungo la quale gli esperimenti possono essere organizzati è la dimensione del campo di laboratorio. Molti esperimenti nelle scienze sociali sono esperimenti di laboratorio in cui studenti universitari svolgono compiti strani in un laboratorio per il credito corso. Questo tipo di esperimento domina la ricerca in psicologia perché consente ai ricercatori di creare impostazioni altamente controllate per isolare e testare specifiche teorie sul comportamento sociale. Per alcuni problemi, tuttavia, c'è qualcosa di strano nel trarre conclusioni forti sul comportamento umano da parte di persone così insolite che svolgono compiti così insoliti in un contesto così insolito. Queste preoccupazioni hanno portato a un movimento verso esperimenti sul campo . Gli esperimenti sul campo combinano il forte design di esperimenti di controllo randomizzati con gruppi di partecipanti più rappresentativi che eseguono compiti più comuni in contesti più naturali.

Sebbene alcune persone considerino gli esperimenti in laboratorio e sul campo come metodi concorrenti, è meglio considerarli complementari, con diversi punti di forza e di debolezza. Ad esempio, Correll, Benard, and Paik (2007) usato sia un esperimento di laboratorio che un esperimento sul campo nel tentativo di trovare le fonti della "pena di maternità". Negli Stati Uniti, le madri guadagnano meno denaro delle donne senza figli, anche quando confrontando le donne con competenze simili che lavorano in lavori simili. Ci sono molte possibili spiegazioni per questo schema, uno dei quali è che i datori di lavoro sono prevenuti contro le madri. (È interessante notare che il contrario sembra essere vero per i padri: tendono a guadagnare di più degli uomini senza figli comparabili.) Al fine di valutare possibili pregiudizi contro le madri, Correll e colleghi hanno condotto due esperimenti: uno in laboratorio e uno sul campo.

Innanzitutto, in un esperimento di laboratorio hanno detto ai partecipanti, che erano studenti universitari, che una società stava conducendo una ricerca di lavoro per una persona a capo del suo nuovo dipartimento marketing della costa orientale. Agli studenti è stato detto che la compagnia voleva il loro aiuto nel processo di assunzione e gli è stato chiesto di esaminare i curriculum di diversi potenziali candidati e di valutare i candidati su una serie di dimensioni, come la loro intelligenza, calore e impegno nel lavoro. Inoltre, agli studenti è stato chiesto se avessero raccomandato di assumere il candidato e cosa avrebbero raccomandato come stipendio iniziale. All'insaputa degli studenti, tuttavia, i curriculum sono stati costruiti appositamente per essere simili, tranne che per una cosa: alcuni di essi segnalavano la maternità (elencando il coinvolgimento in un'associazione genitori-insegnanti) e altri no. Correll e colleghi hanno scoperto che gli studenti erano meno propensi a raccomandare l'assunzione delle madri e che offrivano loro uno stipendio iniziale più basso. Inoltre, attraverso un'analisi statistica di entrambi i rating e delle decisioni relative alle assunzioni, Correll e colleghi hanno scoperto che gli svantaggi delle madri erano in gran parte spiegati dal fatto che erano considerati più bassi in termini di competenza e impegno. Pertanto, questo esperimento di laboratorio ha permesso a Correll e ai colleghi di misurare un effetto causale e fornire una possibile spiegazione per quell'effetto.

Certamente, si potrebbe essere scettici nel trarre conclusioni sull'intero mercato del lavoro americano basandosi sulle decisioni di poche centinaia di studenti universitari che probabilmente non hanno mai avuto un lavoro a tempo pieno, per non parlare dell'assunzione di qualcuno. Pertanto, Correll e colleghi hanno anche condotto un esperimento sul campo complementare. Hanno risposto a centinaia di offerte di lavoro pubblicizzate con false lettere di copertura e curriculum. Simile ai materiali mostrati agli studenti universitari, alcuni riprendono la maternità segnalata e altri no. Correll e colleghi hanno scoperto che le madri avevano meno probabilità di essere richiamate per le interviste rispetto alle donne senza figli ugualmente qualificate. In altre parole, i datori di lavoro reali che prendono decisioni consequenziali in un contesto naturale si comportano in modo molto simile agli studenti universitari. Hanno preso decisioni simili per lo stesso motivo? Sfortunatamente, non lo sappiamo. I ricercatori non sono stati in grado di chiedere ai datori di lavoro di valutare i candidati o spiegare le loro decisioni.

Questa coppia di esperimenti rivela molto sugli esperimenti di laboratorio e sul campo in generale. Gli esperimenti di laboratorio offrono ai ricercatori il controllo quasi totale dell'ambiente in cui i partecipanti prendono decisioni. Così, ad esempio, nell'esperimento di laboratorio, Correll e colleghi sono stati in grado di garantire che tutti i curricula fossero letti in un ambiente tranquillo; nell'esperimento sul campo, alcuni dei resumes potrebbero non essere nemmeno stati letti. Inoltre, poiché i partecipanti al laboratorio sanno che sono in fase di studio, i ricercatori sono spesso in grado di raccogliere ulteriori dati che possono aiutare a spiegare perché i partecipanti prendono le loro decisioni. Ad esempio, Correll e colleghi hanno chiesto ai partecipanti all'esperimento di laboratorio di valutare i candidati su diverse dimensioni. Questo tipo di dati di processo potrebbe aiutare i ricercatori a comprendere i meccanismi alla base delle differenze nel modo in cui i partecipanti trattano i curricula.

D'altra parte, anche queste stesse identiche caratteristiche che ho appena descritto come vantaggi sono talvolta considerate svantaggi. I ricercatori che preferiscono esperimenti sul campo sostengono che i partecipanti agli esperimenti in laboratorio potrebbero agire in modo molto diverso perché sanno che sono stati studiati. Ad esempio, nell'esperimento di laboratorio, i partecipanti potrebbero aver indovinato l'obiettivo della ricerca e alterato il loro comportamento in modo da non apparire di parte. Inoltre, i ricercatori che preferiscono esperimenti sul campo potrebbero sostenere che piccole differenze nei curricula possono solo emergere in un ambiente di laboratorio molto pulito e sterile, e quindi l'esperimento di laboratorio sovrastimerà l'effetto della maternità sulle decisioni di assunzione reali. Infine, molti sostenitori degli esperimenti sul campo criticano la dipendenza degli esperimenti di laboratorio dai partecipanti al WEIRD: principalmente studenti provenienti da paesi occidentali, istruiti, industrializzati, ricchi e democratici (Henrich, Heine, and Norenzayan 2010a) . Gli esperimenti di Correll e colleghi (2007) illustrano i due estremi sul continuum di laboratorio. Tra questi due estremi ci sono anche una varietà di design ibridi, inclusi approcci come portare i non-studenti in un laboratorio o andare sul campo ma avere ancora partecipanti che svolgono un compito insolito.

Oltre alla dimensione del campo di lavoro che esisteva nel passato, l'era digitale significa che i ricercatori hanno ora una seconda dimensione importante lungo la quale gli esperimenti possono variare: analogico-digitale. Proprio come ci sono esperimenti di laboratorio puri, esperimenti sul campo puro e una varietà di ibridi in mezzo, ci sono esperimenti puramente analogici, esperimenti puramente digitali e una varietà di ibridi. È difficile offrire una definizione formale di questa dimensione, ma una definizione operativa utile è che esperimenti completamente digitali sono esperimenti che utilizzano l'infrastruttura digitale per reclutare partecipanti, randomizzare, fornire trattamenti e misurare i risultati. Ad esempio, lo studio di Restivo e van de Rijt (2012) su barnstars e Wikipedia è stato un esperimento completamente digitale perché utilizzava i sistemi digitali per tutti e quattro questi passaggi. Allo stesso modo, esperimenti completamente analogici non utilizzano l'infrastruttura digitale per nessuno di questi quattro passaggi. Molti degli esperimenti classici in psicologia sono esperimenti completamente analogici. Tra questi due estremi, ci sono esperimenti parzialmente digitali che utilizzano una combinazione di sistemi analogici e digitali.

Quando alcune persone pensano agli esperimenti digitali, pensano immediatamente agli esperimenti online. Questo è un peccato perché le opportunità di eseguire esperimenti digitali non sono solo online. I ricercatori possono eseguire esperimenti parzialmente digitali utilizzando dispositivi digitali nel mondo fisico per fornire trattamenti o misurare i risultati. Ad esempio, i ricercatori potrebbero utilizzare gli smartphone per fornire trattamenti o sensori nell'ambiente costruito per misurare i risultati. Infatti, come vedremo più avanti in questo capitolo, i ricercatori hanno già usato misuratori di potenza a casa per misurare i risultati in esperimenti sul consumo di energia che coinvolgono 8,5 milioni di famiglie (Allcott 2015) . Man mano che i dispositivi digitali si integrano sempre più nella vita delle persone e i sensori si integrano nell'ambiente costruito, queste opportunità di condurre esperimenti parzialmente digitali nel mondo fisico aumenteranno notevolmente. In altre parole, gli esperimenti digitali non sono solo esperimenti online.

I sistemi digitali creano nuove possibilità per esperimenti ovunque lungo il continuum di laboratorio. In esperimenti di laboratorio puri, per esempio, i ricercatori possono utilizzare i sistemi digitali per una misurazione più precisa del comportamento dei partecipanti; un esempio di questo tipo di misurazione migliorata è l'attrezzatura per il tracciamento degli occhi che fornisce misure precise e continue della posizione dello sguardo. L'era digitale crea anche la possibilità di condurre esperimenti di laboratorio online. Ad esempio, i ricercatori hanno rapidamente adottato Amazon Mechanical Turk (MTurk) per reclutare partecipanti per esperimenti online (figura 4.2). MTurk corrisponde ai "datori di lavoro" che hanno compiti che devono essere completati con "lavoratori" che desiderano completare tali attività per denaro. A differenza dei tradizionali mercati del lavoro, tuttavia, i compiti in questione richiedono in genere solo pochi minuti e l'intera interazione tra datore di lavoro e lavoratore è online. Poiché MTurk imita aspetti di esperimenti di laboratorio tradizionali, pagando le persone per completare compiti che non sarebbero gratuiti, è naturalmente adatto per determinati tipi di esperimenti. Essenzialmente, MTurk ha creato l'infrastruttura per la gestione di un pool di partecipanti - reclutando e pagando le persone - e i ricercatori hanno approfittato di tale infrastruttura per attingere a un pool di partecipanti sempre disponibile.

Figura 4.2: Documenti pubblicati utilizzando i dati di Amazon Mechanical Turk (MTurk). MTurk e altri mercati del lavoro online offrono ai ricercatori un modo conveniente per reclutare partecipanti per esperimenti. Adattato da Bohannon (2016) .

I sistemi digitali creano ancora più possibilità per esperimenti sul campo. In particolare, consentono ai ricercatori di combinare lo stretto controllo e i dati di processo associati agli esperimenti di laboratorio con i partecipanti più diversi e le impostazioni più naturali associate agli esperimenti di laboratorio. Inoltre, gli esperimenti sul campo digitale offrono anche tre opportunità tendenzialmente difficili negli esperimenti analogici.

Innanzitutto, mentre la maggior parte degli esperimenti di laboratorio e di campo analogici hanno centinaia di partecipanti, gli esperimenti sul campo digitale possono avere milioni di partecipanti. Questo cambiamento di scala è dovuto al fatto che alcuni esperimenti digitali possono produrre dati a costo zero variabile. Cioè, una volta che i ricercatori hanno creato un'infrastruttura sperimentale, aumentare il numero di partecipanti in genere non aumenta i costi. Aumentare il numero di partecipanti di un fattore pari o superiore a 100 non è solo un cambiamento quantitativo ; è un cambiamento qualitativo , perché consente ai ricercatori di apprendere cose diverse dagli esperimenti (ad esempio, l'eterogeneità degli effetti del trattamento) e di eseguire progetti sperimentali completamente diversi (ad esempio, esperimenti su grandi gruppi). Questo punto è così importante, tornerò verso la fine del capitolo quando offro consigli sulla creazione di esperimenti digitali.

In secondo luogo, mentre la maggior parte degli esperimenti di laboratorio e di campo analogici considerano i partecipanti come widget indistinguibili, gli esperimenti sul campo digitale spesso utilizzano informazioni di base sui partecipanti nelle fasi di progettazione e analisi della ricerca. Queste informazioni di base, che sono chiamate informazioni di pre-trattamento , sono spesso disponibili in esperimenti digitali perché vengono eseguite su sistemi di misurazione sempre attivi (vedere il capitolo 2). Ad esempio, un ricercatore di Facebook ha molte più informazioni pre-trattamento sulle persone nel suo esperimento sul campo digitale di quello che un ricercatore universitario ha sulle persone nel suo esperimento sul campo analogico. Questo pre-trattamento consente progettazioni sperimentali più efficienti, come il blocco (Higgins, Sävje, and Sekhon 2016) e il reclutamento mirato dei partecipanti (Eckles, Kizilcec, and Bakshy 2016) e un'analisi più approfondita, come la stima dell'eterogeneità degli effetti del trattamento (Athey and Imbens 2016a) e regolazione covariata per una migliore precisione (Bloniarz et al. 2016) .

Terzo, mentre molti esperimenti di laboratorio e di campo analogici forniscono trattamenti e misurano i risultati in un tempo relativamente ridotto, alcuni esperimenti sul campo digitale avvengono su scale temporali molto più lunghe. Per esempio, l'esperimento di Restivo e van de Rijt ha avuto il risultato misurato giornalmente per 90 giorni, e uno degli esperimenti di cui parlerò più avanti nel capitolo (Ferraro, Miranda, and Price 2011) tracciato i risultati nell'arco di tre anni praticamente senza costo. Queste tre informazioni sulle opportunità, le informazioni sul trattamento preliminare e il trattamento longitudinale e i dati sui risultati si presentano più comunemente quando gli esperimenti vengono eseguiti su sistemi di misurazione sempre attivi (vedere il capitolo 2 per ulteriori informazioni sui sistemi di misurazione sempre attivi).

Sebbene gli esperimenti sul campo digitale offrano molte possibilità, condividono anche alcuni punti deboli con gli esperimenti di laboratorio analogico e analogico. Ad esempio, gli esperimenti non possono essere utilizzati per studiare il passato e possono solo stimare gli effetti dei trattamenti che possono essere manipolati. Inoltre, sebbene gli esperimenti siano indubbiamente utili per orientare la politica, l'esatto orientamento che possono offrire è alquanto limitato a causa di complicazioni come la dipendenza ambientale, i problemi di conformità e gli effetti di equilibrio (Banerjee and Duflo 2009; Deaton 2010) . Gli esperimenti sul campo digitale amplificano anche le preoccupazioni etiche create dagli esperimenti sul campo, un argomento che affronterò più avanti in questo capitolo e nel capitolo 6.