4.1 Introduzione

Negli approcci finora trattati in questo libro di osservazione del comportamento (capitolo 2) e nel porre domande (capitolo 3), i ricercatori raccolgono dati senza modificare intenzionalmente e sistematicamente il mondo. L'approccio trattato in questo capitolo di esperimenti in corso è fondamentalmente diverso. Quando i ricercatori eseguono esperimenti, intervengono sistematicamente nel mondo per creare dati che siano ideali per rispondere a domande sulle relazioni causa-effetto.

Le domande di causa-effetto sono molto comuni nella ricerca sociale, e gli esempi includono domande come: Aumentare gli stipendi degli insegnanti aumenta l'apprendimento degli studenti? Qual è l'effetto del salario minimo sui tassi di occupazione? In che modo la corsa di un candidato al lavoro influisce sulla sua possibilità di trovare un lavoro? Oltre a queste domande esplicitamente causali, a volte le domande di causa ed effetto sono implicite in domande più generali sulla massimizzazione di alcuni parametri di prestazione. Ad esempio, la domanda "Di che colore dovrebbe essere il pulsante di donazione sul sito web di una ONG?" È davvero un sacco di domande sull'effetto dei diversi colori dei pulsanti sulle donazioni.

Un modo per rispondere alle domande causa-effetto è cercare modelli nei dati esistenti. Per esempio, tornando alla domanda sull'effetto dei salari degli insegnanti sull'apprendimento degli studenti, potresti calcolare che gli studenti imparano di più nelle scuole che offrono alti stipendi degli insegnanti. Ma questa correlazione mostra che salari più alti fanno sì che gli studenti imparino di più? Ovviamente no. Le scuole in cui gli insegnanti guadagnano di più potrebbero essere diverse in molti modi. Ad esempio, gli studenti nelle scuole con alti stipendi degli insegnanti potrebbero provenire da famiglie più ricche. Quindi, quello che sembra un effetto degli insegnanti potrebbe venire dal confronto tra diversi tipi di studenti. Queste differenze non misurate tra gli studenti sono chiamate confondenti e, in generale, la possibilità che i confondenti distruggano la capacità dei ricercatori di rispondere alle domande di causa ed effetto cercando schemi nei dati esistenti.

Una soluzione al problema dei confondenti è cercare di fare dei confronti equi aggiustando le differenze osservabili tra i gruppi. Ad esempio, potresti essere in grado di scaricare i dati sulla tassa di proprietà da un certo numero di siti web governativi. Quindi, puoi confrontare le prestazioni degli studenti nelle scuole in cui i prezzi delle case sono simili ma gli stipendi degli insegnanti sono diversi, e potresti comunque scoprire che gli studenti imparano di più nelle scuole con una retribuzione più alta per gli insegnanti. Ma ci sono ancora molti possibili confondenti. Forse i genitori di questi studenti differiscono nel loro livello di istruzione. O forse le scuole differiscono nella loro vicinanza alle biblioteche pubbliche. O forse le scuole con retribuzione più alta hanno anche una retribuzione più elevata per i dirigenti, e la paga principale, non la paga degli insegnanti, è in realtà ciò che sta aumentando l'apprendimento degli studenti. Potresti provare a misurare e adattare anche a questi fattori, ma l'elenco dei possibili fattori confondenti è essenzialmente infinito. In molte situazioni, non è possibile misurare e regolare per tutti i possibili fattori di confusione. In risposta a questa sfida, i ricercatori hanno sviluppato una serie di tecniche per fare stime causali da dati non sperimentali - ne ho discusso alcune nel capitolo 2 - ma, per alcuni tipi di domande, queste tecniche sono limitate e gli esperimenti offrono un promettente alternativa.

Gli esperimenti consentono ai ricercatori di andare oltre le correlazioni nei dati naturali per rispondere in modo affidabile a determinate domande di causa-effetto. Nell'era analogica, gli esperimenti erano spesso logisticamente difficili e costosi. Ora, nell'era digitale, i vincoli logistici stanno gradualmente svanendo. Non solo è più facile fare esperimenti come quelli fatti in passato, ora è possibile eseguire nuovi tipi di esperimenti.

In quello che ho scritto finora sono stato un po 'sciolto nella mia lingua, ma è importante distinguere tra due cose: esperimenti e esperimenti controllati randomizzati. In un esperimento , un ricercatore interviene nel mondo e poi misura un risultato. Ho sentito questo approccio descritto come "perturbare e osservare". In un esperimento controllato randomizzato un ricercatore interviene per alcune persone e non per altri, e il ricercatore decide quali persone ricevono l'intervento dalla randomizzazione (ad esempio, lanciando una moneta). Esperimenti controllati randomizzati creano equi confronti tra due gruppi: uno che ha ricevuto l'intervento e uno che non ha. In altre parole, gli esperimenti controllati randomizzati sono una soluzione ai problemi dei confondenti. Gli esperimenti Perturb-and-observ, tuttavia, coinvolgono solo un singolo gruppo che ha ricevuto l'intervento, e quindi i risultati possono portare i ricercatori alla conclusione sbagliata (come mostrerò presto). Nonostante le importanti differenze tra esperimenti e esperimenti randomizzati controllati, i ricercatori sociali spesso usano questi termini in modo intercambiabile. Seguirò questa convenzione, ma, in alcuni punti, interromperò la convenzione per enfatizzare il valore degli esperimenti controllati randomizzati sugli esperimenti senza randomizzazione e un gruppo di controllo.

Gli esperimenti controllati randomizzati hanno dimostrato di essere un modo efficace per conoscere il mondo sociale, e in questo capitolo, ti mostrerò di più su come usarli nella tua ricerca. Nella sezione 4.2 illustrerò la logica di base della sperimentazione con un esempio di un esperimento su Wikipedia. Quindi, nella sezione 4.3, descriverò la differenza tra esperimenti di laboratorio e esperimenti sul campo e le differenze tra esperimenti analogici e esperimenti digitali. Inoltre, sosterrò che gli esperimenti sul campo digitale possono offrire le migliori caratteristiche degli esperimenti di laboratorio analogico (controllo stretto) e esperimenti sul campo analogico (realismo), il tutto su una scala che prima non era possibile. Successivamente, nella sezione 4.4, descriverò tre concetti - validità, eterogeneità degli effetti del trattamento e meccanismi - che sono fondamentali per progettare esperimenti ricchi. Con questo background, descriverò i trade-off coinvolti nelle due principali strategie per condurre esperimenti digitali: farlo da solo o collaborare con i potenti. Infine, concluderò con alcuni consigli di progettazione su come sfruttare la reale potenza degli esperimenti digitali (sezione 4.6.1) e descrivere alcune delle responsabilità che derivano da quella potenza (sezione 4.6.2).