4.5.2 Costruisci il tuo esperimento
Costruire il proprio esperimento potrebbe essere costoso, ma vi permetterà di creare l'esperimento che si desidera.
Oltre a sovrapporre gli esperimenti agli ambienti esistenti, puoi anche creare il tuo esperimento. Il principale vantaggio di questo approccio è il controllo; se stai costruendo l'esperimento, puoi creare l'ambiente e i trattamenti che desideri. Questi ambienti sperimentali su misura possono creare opportunità per testare teorie impossibili da testare in ambienti naturali. I principali svantaggi della creazione del proprio esperimento sono che può essere costoso e che l'ambiente che si è in grado di creare potrebbe non avere il realismo di un sistema naturale. I ricercatori che costruiscono il proprio esperimento devono anche avere una strategia per reclutare partecipanti. Quando si lavora in sistemi esistenti, i ricercatori stanno essenzialmente portando gli esperimenti ai loro partecipanti. Ma, quando i ricercatori costruiscono il proprio esperimento, hanno bisogno di coinvolgere i partecipanti. Fortunatamente, servizi come Amazon Mechanical Turk (MTurk) possono fornire ai ricercatori un modo conveniente per portare i partecipanti ai loro esperimenti.
Un esempio che illustra le virtù degli ambienti su misura per testare teorie astratte è l'esperimento di laboratorio digitale di Gregory Huber, Seth Hill e Gabriel Lenz (2012) . Questo esperimento esplora una possibile limitazione pratica al funzionamento della governance democratica. Precedenti studi non sperimentali sulle elezioni reali hanno suggerito che gli elettori non sono in grado di valutare con precisione le prestazioni dei politici in carica. In particolare, gli elettori sembrano soffrire di tre pregiudizi: (1) si concentrano su prestazioni recenti piuttosto che cumulative; (2) possono essere manipolati da retorica, inquadratura e marketing; e (3) possono essere influenzati da eventi estranei alle prestazioni incombenti, come il successo delle squadre sportive locali e il clima. In questi primi studi, tuttavia, era difficile isolare uno qualsiasi di questi fattori da tutte le altre cose che accadono in elezioni reali e confuse. Pertanto, Huber e colleghi hanno creato un ambiente di votazione altamente semplificato al fine di isolare e quindi studiare sperimentalmente ciascuno di questi tre possibili pregiudizi.
Mentre descrivo l'impostazione sperimentale di seguito, sembrerà molto artificiale, ma ricorda che il realismo non è un obiettivo in esperimenti in laboratorio. Piuttosto, l'obiettivo è quello di isolare chiaramente il processo che stai cercando di studiare, e questo stretto isolamento a volte non è possibile in studi con più realismo (Falk and Heckman 2009) . Inoltre, in questo caso particolare, i ricercatori hanno sostenuto che se gli elettori non possono valutare efficacemente le prestazioni in questo contesto altamente semplificato, allora non saranno in grado di farlo in un contesto più realistico e più complesso.
Huber e colleghi hanno utilizzato MTurk per reclutare partecipanti. Una volta che un partecipante ha fornito il consenso informato e ha superato un breve test, le è stato detto che partecipava a una partita a 32 round per guadagnare gettoni che potevano essere convertiti in denaro reale. All'inizio del gioco, a ciascun partecipante è stato detto che le era stato assegnato un "allocatore" che le avrebbe dato gettoni gratuiti ogni round e che alcuni allocatori erano più generosi di altri. Inoltre, a ciascun partecipante è stato anche detto che avrebbe avuto la possibilità di mantenere il suo assegnatore o di assegnarne uno nuovo dopo 16 round del gioco. Dato quello che sai sugli obiettivi di ricerca di Huber e colleghi, puoi vedere che l'allocatore rappresenta un governo e questa scelta rappresenta un'elezione, ma i partecipanti non erano a conoscenza degli obiettivi generali della ricerca. In totale, Huber e colleghi hanno reclutato circa 4.000 partecipanti che sono stati pagati circa $ 1,25 per un'attività che ha richiesto circa otto minuti.
Ricordiamo che uno dei risultati di una precedente ricerca era che gli elettori ricompensano e puniscono gli incumbent per risultati chiaramente fuori dal loro controllo, come il successo delle squadre sportive locali e il clima. Per valutare se le decisioni di voto dei partecipanti potrebbero essere influenzate da eventi puramente casuali nel loro contesto, Huber e colleghi hanno aggiunto una lotteria al loro sistema sperimentale. All'8 ° round o al 16 ° round (cioè, poco prima della possibilità di sostituire l'allocatore) i partecipanti sono stati casualmente piazzati in una lotteria dove alcuni hanno vinto 5.000 punti, alcuni hanno vinto 0 punti e alcuni hanno perso 5.000 punti. Questa lotteria aveva lo scopo di imitare le notizie buone o cattive che sono indipendenti dalle prestazioni del politico. Anche se ai partecipanti è stato esplicitamente detto che la lotteria non era correlata alla performance del loro allocatore, il risultato della lotteria ha comunque influenzato le decisioni dei partecipanti. I partecipanti che hanno beneficiato della lotteria avevano più probabilità di mantenere il loro allocatore, e questo effetto è stato più forte quando la lotteria è avvenuta nel turno 16, subito prima della decisione di sostituzione, rispetto a quando è accaduto nel round 8 (figura 4.15). Questi risultati, insieme a quelli di molti altri esperimenti del giornale, hanno portato Huber e colleghi a concludere che anche in un contesto semplificato, gli elettori hanno difficoltà a prendere decisioni sagge, un risultato che ha influito sulla ricerca futura sul processo decisionale degli elettori (Healy and Malhotra 2013) . L'esperimento di Huber e colleghi mostra che MTurk può essere utilizzato per reclutare partecipanti per esperimenti in stile laboratorio al fine di testare con precisione teorie molto specifiche. Mostra anche il valore della creazione del proprio ambiente sperimentale: è difficile immaginare come questi stessi processi avrebbero potuto essere isolati in modo così pulito in qualsiasi altra impostazione.
Figura 4.15: risultati di Huber, Hill, and Lenz (2012) . I partecipanti che hanno beneficiato della lotteria erano più propensi a mantenere il loro allocatore, e questo effetto è stato più forte quando la lotteria è avvenuta nel turno 16, subito prima della sostituzione, rispetto a quando è accaduto nel turno 8. Adattato da Huber, Hill, and Lenz (2012) , figura 5.
Oltre a costruire esperimenti di laboratorio, i ricercatori possono anche costruire esperimenti più simili a quelli di un campo. Ad esempio, Centola (2010) realizzato un esperimento sul campo digitale per studiare l'effetto della struttura dei social network sulla diffusione del comportamento. La sua domanda di ricerca gli imponeva di osservare lo stesso comportamento diffuso in popolazioni che avevano strutture di social network diverse, ma erano altrimenti indistinguibili. L'unico modo per farlo era con un esperimento personalizzato su misura. In questo caso, Centola ha creato una comunità sanitaria basata sul web.
Centola ha reclutato circa 1.500 partecipanti attraverso la pubblicità sui siti web della salute. Quando i partecipanti arrivarono alla comunità online, che era chiamata la rete Healthy Lifestyle, fornirono il consenso informato e furono poi assegnati "compagni di salute". A causa del modo in cui Centola assegnava a questi compagni di salute, era in grado di collegare diverse strutture di social network in diversi gruppi. Alcuni gruppi sono stati creati per avere reti casuali (in cui tutti avevano la stessa probabilità di essere connessi), mentre altri gruppi sono stati creati per avere reti in cluster (dove le connessioni sono più densamente localizzate). Quindi, Centola ha introdotto un nuovo comportamento in ogni rete: la possibilità di registrarsi per un nuovo sito Web con informazioni sanitarie aggiuntive. Ogni volta che qualcuno si iscriveva a questo nuovo sito Web, tutti i suoi amici di salute hanno ricevuto una e-mail che annunciava questo comportamento. Centola ha scoperto che questo comportamento, che si iscriveva al nuovo sito web, si diffondeva sempre più velocemente nella rete in cluster rispetto alla rete casuale, una scoperta contraria ad alcune teorie esistenti.
Complessivamente, costruire il tuo esperimento ti dà un controllo molto maggiore; ti consente di costruire il miglior ambiente possibile per isolare ciò che vuoi studiare. È difficile immaginare come i due esperimenti che ho appena descritto possano essere stati eseguiti in un ambiente già esistente. Inoltre, la costruzione del proprio sistema riduce le preoccupazioni etiche relative alla sperimentazione nei sistemi esistenti. Quando costruisci il tuo esperimento, tuttavia, ti imbatti in molti dei problemi che si incontrano negli esperimenti di laboratorio: reclutare partecipanti e preoccupazioni sul realismo. Uno svantaggio finale è che costruire il tuo esperimento può essere costoso e dispendioso in termini di tempo, anche se, come mostrano questi esempi, gli esperimenti possono variare da ambienti relativamente semplici (come lo studio del voto di Huber, Hill, and Lenz (2012) ) a ambienti relativamente complessi (come lo studio delle reti e il contagio di Centola (2010) ).
