4.3 Due dimensioni di esperimenti: laboratorio sul campo e analogico-digitali

Esperimenti di laboratorio offrono un controllo, gli esperimenti sul campo offrono realismo, e gli esperimenti sul campo digitali combinano il controllo e il realismo in scala.

Gli esperimenti sono disponibili in diverse forme e dimensioni diverse. Ma, nonostante queste differenze, i ricercatori hanno trovato utile organizzare esperimenti lungo un continuum tra esperimenti di laboratorio ed esperimenti sul campo. Ora, però, i ricercatori dovrebbero organizzare esperimenti lungo un continuum tra esperimenti analogici e digitali esperimenti. Questo spazio disegno a due dimensioni vi aiuterà a capire i punti di forza e di debolezza dei diversi approcci e suggerire aree di maggiore opportunità (Figura 4.1).

Figura 4.1: Schema di spazio di progettazione per gli esperimenti. In passato, esperimenti variati lungo la dimensione lab-field. Ora, variano anche sulla dimensione analogico-digitale. A mio parere, l'area del più grande opportunità è esperimenti sul campo digitali.

In passato, il modo principale che i ricercatori organizzati esperimenti era lungo la dimensione lab-field. La maggior parte degli esperimenti nelle scienze sociali sono esperimenti di laboratorio in cui gli studenti universitari svolgono compiti strani in un laboratorio per il credito corso. Questo tipo di esperimento domina ricerca in psicologia, perché consente ai ricercatori di creare trattamenti molto specifici progettati per testare le teorie molto specifiche sul comportamento sociale. Per alcuni problemi, però, qualcosa si sente un po 'strano trarre conclusioni forti sul comportamento umano da queste persone insolite che svolgono tali compiti insoliti in un ambiente così insolito. Queste preoccupazioni hanno portato ad un movimento verso esperimenti sul campo. esperimenti sul campo combinano la forte progettazione di esperimenti di controllo randomizzati con i gruppi più rappresentativi di partecipanti, l'esecuzione di compiti più comuni, in contesti più naturali.

Anche se alcuni pensano di esperimenti di laboratorio e sul campo, come i metodi in competizione, è meglio pensare a loro come metodi complementari con diversi punti di forza e di debolezza. Ad esempio, Correll, Benard, and Paik (2007) utilizzato sia un esperimento di laboratorio e un esperimento sul campo, nel tentativo di trovare le fonti della "pena di maternità." Negli Stati Uniti, le madri guadagnano meno soldi rispetto alle donne senza figli, anche quando le donne si confrontano con abilità simili che lavorano in posti di lavoro simili. Ci sono molte spiegazioni possibili per questo modello, e uno è che i datori di lavoro sono di parte contro le madri. (È interessante notare che, al contrario sembra essere vero per i padri: essi tendono a guadagnare più degli uomini senza figli comparabili). Al fine di valutare possibili distorsioni contro le madri, Correll e colleghi correvano due esperimenti: uno in laboratorio e uno nel campo.

In primo luogo, in un esperimento di laboratorio Correll e colleghi hanno detto i partecipanti, che erano studenti universitari, che una società di comunicazione di start-up con sede in California stava conducendo una ricerca di occupazione per una persona per portare il suo nuovo ufficio marketing East Coast. Agli studenti è stato detto che l'azienda ha voluto il loro aiuto nel processo di assunzione e che è stato chiesto di rivedere curricula dei diversi candidati potenziali e di votare i candidati su una serie di misure, come la loro intelligenza, calore, e l'impegno a lavorare. Inoltre, gli studenti è stato chiesto se avrebbero consiglio di noleggiare il richiedente e che consiglierebbero come stipendio di partenza. All'insaputa degli studenti, tuttavia, i curricula sono stati appositamente costruiti per essere simile, tranne che per una cosa: alcuni dei curricula segnalati maternità (elencando coinvolgimento in una associazione genitori-insegnanti) e altri no. Correll scoperto che gli studenti erano meno propensi a raccomandare l'assunzione di madri e offerto loro più basso stipendio iniziale. Inoltre, attraverso un'analisi statistica sia delle valutazioni e le decisioni di assunzione legate, Correll ha trovato che gli svantaggi madri sono stati in gran parte spiegato con il fatto che le madri sono stati valutati più basso in termini di competenza e di impegno. In altre parole, Correll sostiene che questi tratti sono il meccanismo attraverso il quale le madri sono svantaggiati. Così, questo esperimento di laboratorio ha permesso Correll e colleghi per misurare un effetto causale e fornire una possibile spiegazione per questo effetto.

Naturalmente, si potrebbe essere scettici circa trarre conclusioni circa l'intero mercato del lavoro degli Stati Uniti sulla base delle decisioni di qualche centinaio di studenti che hanno probabilmente mai avuto un lavoro a tempo pieno, per non parlare assunto persone. Pertanto, Correll e colleghi hanno anche condotto un esperimento sul campo complementare. I ricercatori hanno risposto a centinaia di aperture di lavoro pubblicizzati inviando falsi lettere di copertura e riprende. Simile ai materiali esposti agli studenti, alcuni riprende segnalati maternità e altri no. Correll e colleghi hanno scoperto che le madri erano meno probabilità di essere richiamato per le interviste rispetto alle donne senza figli altrettanto qualificati. In altre parole, veri e propri datori di lavoro prendere decisioni conseguenti in un ambiente naturale si comportavano proprio come gli studenti universitari. Hanno prendere decisioni simili per lo stesso motivo? Purtroppo, non sappiamo. I ricercatori non sono stati in grado di chiedere ai datori di lavoro di valutare i candidati o spiegare le loro decisioni.

Questa coppia di esperimenti rivela molto su esperimenti di laboratorio e sul campo in generale. Esperimenti di laboratorio offrono ricercatori vicino il controllo totale dell'ambiente in cui i partecipanti prendono decisioni. Così, per esempio, nell'esperimento laboratorio, Correll era in grado di garantire che tutte le riprende state lette in un ambiente tranquillo; nel esperimento sul campo, alcuni dei curricula potrebbero non avere ancora stato letto. Inoltre, poiché i partecipanti al laboratorio impostazione sanno che sono in fase di studio, i ricercatori sono spesso in grado di raccogliere dati aggiuntivi che possono aiutare a capire il motivo per cui i partecipanti stanno facendo le loro decisioni. Ad esempio, Correll chiesto ai partecipanti all'esperimento di laboratorio per valutare i candidati di diverse dimensioni. Questo tipo di dati di processo potrebbe aiutare i ricercatori a capire i meccanismi dietro differenze nel modo partecipanti trattano la riprende.

D'altra parte, queste caratteristiche esattamente lo stesso che ho appena descritto come vantaggi sono a volte considerati svantaggi. I ricercatori che preferiscono esperimenti sul campo sostengono che i partecipanti in esperimenti di laboratorio potrebbero agire in modo molto diverso quando vengono strettamente osservate. Ad esempio, nel laboratorio partecipanti esperimento può immaginare l'obiettivo della ricerca e modificato il loro comportamento in modo da non apparire distorte. Inoltre, i ricercatori che preferiscono esperimenti sul campo potrebbe sostenere che piccole differenze su curricula possono stare solo in un ambiente di laboratorio molto pulito, sterile, e quindi l'esperimento di laboratorio saranno sopravvalutare l'effetto della maternità sulle decisioni reali di assunzione. Infine, molti sostenitori di esperimenti sul campo criticano esperimenti di laboratorio dipendenza dai partecipanti WEIRD: principalmente studenti provenienti da occidentale, educato, industrializzato, ricco e paesi democratici (Henrich, Heine, and Norenzayan 2010) . Gli esperimenti di Correll e colleghi (2007) illustrano i due estremi sul continuo laboratorio di campo. Tra questi due estremi ci sono una varietà di disegni ibridi tra cui approcci come portare i non-studenti in un laboratorio o di entrare in campo, ma continua ad avere i partecipanti svolgono un compito insolito.

Oltre alla dimensione laboratorio campo che esiste in passato, nell'era digitale significa che i ricercatori hanno ora una seconda dimensione importante lungo la quale esperimenti possono variare: analogico-digitale. Così come ci sono esperimenti puri di laboratorio, esperimenti sul campo puri, e una varietà di ibridi in mezzo, ci sono pure gli esperimenti analogici, digitali esperimenti puri, e una varietà di ibridi. E 'difficile da offrire una definizione formale di questa dimensione, ma una definizione operativa utile è che gli esperimenti completamente digitali sono esperimenti che fanno uso di infrastrutture digitali per reclutare i partecipanti, casuale, fornire trattamenti, e misurare i risultati. Ad esempio, Restivo e van de Rijt di (2012) studio della Barnstars e Wikipedia è stato un esperimento completamente digitale perché ha utilizzato sistemi digitali per tutti e quattro di questi passaggi. Allo stesso modo completamente gli esperimenti analogici sono esperimenti che non fanno uso di infrastrutture digitali per una qualsiasi di queste quattro fasi. Molti dei classici esperimenti di psicologia sono esperimenti analogici. Tra questi due estremi sono parzialmente esperimenti digitali che utilizzano una combinazione di sistemi analogici e digitali per i quattro passaggi.

Criticamente, le opportunità di eseguire esperimenti digitali non sono solo on-line. I ricercatori possono eseguire esperimenti parzialmente digitali utilizzando dispositivi digitali nel mondo fisico al fine di fornire trattamenti e misurare i risultati. Ad esempio, i ricercatori potrebbero usare i telefoni intelligenti per fornire trattamenti o sensori nell'ambiente costruito per misurare i risultati. In realtà, come vedremo più avanti in questo capitolo, i ricercatori hanno già utilizzato misuratori di potenza a casa per misurare i risultati di esperimenti su norme sociali e del consumo energetico che coinvolge 8,5 milioni di famiglie (Allcott 2015) . Poiché i dispositivi digitali diventano sempre più integrati nella vita delle persone e sensori di integrarsi nell'ambiente costruito, queste opportunità di eseguire esperimenti in parte digitali nel mondo fisico aumenterà in modo drammatico. In altre parole, gli esperimenti digitali non sono solo esperimenti on-line.

I sistemi digitali creano nuove possibilità di sperimentazione in tutto il mondo lungo il continuum laboratorio-campo. In esperimenti di laboratorio puri, per esempio, i ricercatori possono utilizzare sistemi digitali per la misurazione più fine del comportamento dei partecipanti; un esempio di questo tipo di misura migliorata è apparecchiatura eye-tracking che fornisce misure precise e continue di posizione sguardo. L'era digitale crea anche la possibilità di eseguire esperimenti di laboratorio-simile in linea. Ad esempio, i ricercatori hanno rapidamente adottato Amazon Mechanical Turk (MTurk) per reclutare i partecipanti per gli esperimenti in linea (Figura 4.2). MTurk partite "datori di lavoro" che hanno compiti che devono essere completati con "lavoratori" che desiderano completare quei compiti per i soldi. A differenza dei mercati del lavoro tradizionali, tuttavia, le attività coinvolte di solito richiedono solo pochi minuti per completare e l'intero interazione tra datore di lavoro e lavoratore è virtuale. Perché imita MTurk aspetti degli esperimenti di laboratorio paganti tradizionali di persone per completare le attività che non avrebbero fare gratis-è naturalmente adatto per alcuni tipi di esperimenti. In sostanza, MTurk ha creato l'infrastruttura per la gestione di un pool di partecipanti-reclutamento e pagare le persone-e ricercatori hanno approfittato di tale infrastruttura di attingere a una piscina sempre a disposizione dei partecipanti.

Figura 4.2: lavori pubblicati utilizzando i dati di Amazon Mechanical Turk (MTurk) (Bohannon 2016) . altri mercati del lavoro on-line MTurk e di offrire ai ricercatori un modo conveniente per reclutare i partecipanti per gli esperimenti.

Esperimenti digitali creano ancora più possibilità per gli esperimenti sul campo-like. esperimenti sul campo digitali possono offrire dati di controllo e di processo stretti per comprendere i possibili meccanismi (come esperimenti di laboratorio) e partecipanti più diverse prendono decisioni reali in un ambiente naturale (come esperimenti sul campo). In aggiunta a questa combinazione di buone caratteristiche di precedenti esperimenti, esperimenti di campo digitali offrono anche tre opportunità che erano difficili in esperimenti di laboratorio e di campo analogici.

In primo luogo, mentre la maggior parte degli esperimenti di laboratorio e di campo analogici hanno centinaia di partecipanti, esperimenti sul campo digitali possono avere milioni di partecipanti. Questo cambiamento di scala è perché alcuni esperimenti digitali possono produrre dati a zero costo variabile. Cioè, una volta che i ricercatori hanno creato un'infrastruttura sperimentale, aumentando il numero di partecipanti tipicamente non aumenta il costo. Aumentando il numero di partecipanti di un fattore 100 o più non è solo un cambiamento quantitativo, si tratta di un cambiamento qualitativo, in quanto consente ai ricercatori di imparare cose diverse da esperimenti (ad esempio, l'eterogeneità degli effetti del trattamento) e gestito interamente diversi modelli sperimentali ( ad esempio, gli esperimenti di gruppo di grandi dimensioni). Questo punto è così importante, tornerò ad esso verso la fine del capitolo, quando offro consigli su come creare esperimenti digitali.

In secondo luogo, mentre la maggior parte degli esperimenti di laboratorio e di campo analogici trattare i partecipanti come widget indistinguibili, esperimenti sul campo digitali utilizzano spesso le informazioni di base sui partecipanti alle fasi di progettazione e di analisi della ricerca. Queste informazioni di base, che si chiama informazione pre-trattamento, è spesso disponibile in esperimenti digitali perché si svolgono in ambienti completamente misurati. Ad esempio, un ricercatore presso Facebook ha molte più informazioni di pre-trattamento di un ricercatore progettazione di un esperimento di laboratorio di serie con gli studenti universitari. Queste informazioni pretrattamento consente ai ricercatori di andare oltre il trattamento partecipanti widget come indistinguibili. Più in particolare, informazioni pre-trattamento consente più efficienti disegni-come sperimentali il blocco (Higgins, Sävje, and Sekhon 2016) e il reclutamento mirato di partecipanti (Eckles, Kizilcec, and Bakshy 2016) -e analisi quali più penetranti come la stima di eterogeneità degli effetti del trattamento (Athey and Imbens 2016a) e la regolazione covariate per una migliore precisione (Bloniarz et al. 2016) .

In terzo luogo, mentre molti esperimenti di laboratorio e sul campo analogico fornire trattamenti e risultati di misura in una quantità relativamente compressa di tempo, alcuni esperimenti di campo digitali implicano trattamenti che possono essere consegnati nel corso del tempo e gli effetti possono essere misurati nel corso del tempo. Ad esempio, Restivo e van de Rijt dell'esperimento è il risultato misurato al giorno per 90 giorni, e uno degli esperimenti ti dirò più avanti nel capitolo (Ferraro, Miranda, and Price 2011) tiene traccia dei risultati su 3 anni a praticamente nessun costo. Questi tre opportunità a grandezza naturale, di informazione pre-trattamento e trattamento longitudinali e di risultato dei dati-sono più comuni quando gli esperimenti vengono eseguiti sulla parte superiore del sempre-sui sistemi di misurazione (si veda il Capitolo 2 per maggiori informazioni sul always-on sistemi di misura).

Mentre esperimenti sul campo digitali offrono molte possibilità, condividono anche alcune debolezze sia con laboratorio analogica e sperimentazioni sul campo. Ad esempio, gli esperimenti non possono essere utilizzati per studiare il passato, e possono solo stimare gli effetti di trattamenti che possono essere manipolate. Inoltre, anche se gli esperimenti sono senza dubbio utile per orientare la politica, la guida precisa che possono offrire è piuttosto limitata a causa di complicazioni quali la dipendenza ambientale, problemi di conformità, e gli effetti di equilibrio (Banerjee and Duflo 2009; Deaton 2010) . Infine, esperimenti sul campo digitali ingrandiscono le preoccupazioni etiche create da esperimenti sul campo. I fautori di esperimenti sul campo tromba la loro capacità di discrezione e in modo casuale intervenire in decisioni conseguenti fatti da milioni di persone. Queste caratteristiche offrono alcuni vantaggi scientifici, ma possono anche fare esperimenti sul campo eticamente complessa (si pensi a questo proposito come ricercatori trattare le persone come "topi da laboratorio" su vasta scala). Inoltre, oltre a possibili danni ai partecipanti, gli esperimenti sul campo digitali, a causa delle loro dimensioni, possono anche sollevare preoccupazioni per l'interruzione del lavoro sistemi sociali (ad esempio, le preoccupazioni circa interrompendo sistema di ricompensa di Wikipedia se Restivo e van der Rijt ha dato troppe Barnstars) .