4.5.1 Utilizzare gli ambienti esistenti

È possibile eseguire esperimenti all'interno degli ambienti esistenti, spesso senza alcuna codifica o di partenariato.

Logisticamente, il modo più semplice per fare un esperimento digitale è sovrapporre l'esperimento a un ambiente esistente. Tali esperimenti possono essere eseguiti su una scala abbastanza ampia e non richiedono una partnership con un'azienda o un vasto sviluppo di software.

Ad esempio, Jennifer Doleac e Luke Stein (2013) hanno approfittato di un mercato online simile a Craigslist per condurre un esperimento che misurava la discriminazione razziale. Pubblicizzavano migliaia di iPod e variando sistematicamente le caratteristiche del venditore, erano in grado di studiare l'effetto della corsa sulle transazioni economiche. Inoltre, hanno usato la scala del loro esperimento per stimare quando l'effetto era maggiore (eterogeneità degli effetti del trattamento) e per offrire alcune idee sul perché l'effetto potrebbe verificarsi (meccanismi).

Gli annunci di Doleac e Stein per iPod variavano su tre dimensioni principali. In primo luogo, i ricercatori hanno variato le caratteristiche del venditore, che è stato segnalato dalla mano fotografata che regge l'iPod [bianco, nero, bianco con tatuaggio] (figura 4.13). In secondo luogo, hanno variato il prezzo richiesto [$ 90, $ 110, $ 130]. In terzo luogo, hanno variato la qualità del testo dell'annuncio [alta qualità e bassa qualità (ad es. Errori di spalizzazione e errori di spelin)]. Quindi, gli autori hanno un design 3 \(\times\) 3 \(\times\) 2 che è stato distribuito in oltre 300 mercati locali, che vanno dalle città (ad esempio, Kokomo, Indiana e North Platte, Nebraska) a megapixel città (ad esempio, New York e Los Angeles).

Figura 4.13: Mani utilizzate nell'esperimento di Doleac and Stein (2013) . Gli iPod sono stati venduti da venditori con caratteristiche diverse per misurare la discriminazione in un mercato online. Riprodotto con il permesso di Doleac and Stein (2013) , figura 1.

Mediamente in tutte le condizioni, i risultati erano migliori per i venditori bianchi rispetto ai venditori neri, con i venditori tatuati con risultati intermedi. Ad esempio, i venditori bianchi hanno ricevuto più offerte e hanno avuto prezzi di vendita finali più elevati. Oltre questi effetti medi, Doleac e Stein hanno stimato l'eterogeneità degli effetti. Ad esempio, una previsione della teoria precedente è che la discriminazione sarebbe minore nei mercati in cui c'è maggiore concorrenza tra gli acquirenti. Utilizzando il numero di offerte in quel mercato come misura della quantità di concorrenza dell'acquirente, i ricercatori hanno scoperto che i venditori di nero hanno effettivamente ricevuto offerte peggiori nei mercati con un basso livello di concorrenza. Inoltre, confrontando i risultati degli annunci con testo di alta qualità e di bassa qualità, Doleac e Stein hanno riscontrato che la qualità degli annunci non influiva sullo svantaggio dei venditori di tatuaggi e neri. Infine, approfittando del fatto che le pubblicità sono state collocate in più di 300 mercati, gli autori hanno scoperto che i venditori di nero erano più svantaggiati nelle città con alti tassi di criminalità e alta segregazione residenziale. Nessuno di questi risultati ci fornisce una comprensione precisa del perché esattamente i venditori neri hanno avuto esiti peggiori, ma, se combinati con i risultati di altri studi, possono iniziare a informare le teorie sulle cause della discriminazione razziale in diversi tipi di transazioni economiche.

Un altro esempio che mostra la capacità dei ricercatori di condurre esperimenti sul campo digitale in sistemi esistenti è la ricerca di Arnout van de Rijt e colleghi (2014) sulle chiavi del successo. In molti aspetti della vita, persone apparentemente simili finiscono con risultati molto diversi. Una possibile spiegazione di questo modello è che i vantaggi piccoli ed essenzialmente casuali possono bloccarsi e crescere nel tempo, un processo che i ricercatori chiamano vantaggio cumulativo . Al fine di determinare se piccoli successi iniziali si bloccano o svaniscono, van de Rijt e colleghi (2014) intervenuti in quattro diversi sistemi, concedendo il successo a partecipanti selezionati a caso, e quindi misurando gli impatti successivi di questo successo arbitrario.

Più in particolare, van de Rijt e colleghi (1) hanno promesso denaro a progetti selezionati a caso su Kickstarter, un sito di crowdfunding; (2) valutato positivamente recensioni selezionate casualmente su Epinions, un sito Web di recensioni dei prodotti; (3) ha assegnato premi a contributori scelti a caso su Wikipedia; e (4) ha firmato petizioni selezionate casualmente su change.org. Trovarono risultati molto simili in tutti e quattro i sistemi: in ciascun caso, i partecipanti che ricevettero in modo casuale dei primi successi ottennero un successo successivo rispetto ai loro pari altrimenti completamente indistinguibili (figura 4.14). Il fatto che lo stesso modello sia apparso in molti sistemi aumenta la validità esterna di questi risultati perché riduce la possibilità che questo modello sia un artefatto di un particolare sistema.

Figura 4.14: Effetti a lungo termine del successo ottenuto in modo casuale in quattro diversi sistemi sociali. Arnout van de Rijt e colleghi (2014) (1) hanno promesso denaro a progetti selezionati a caso su Kickstarter, un sito di crowdfunding; (2) valutato positivamente recensioni selezionate casualmente su Epinions, un sito Web di recensioni dei prodotti; (3) ha assegnato premi a contributori scelti a caso su Wikipedia; e (4) ha firmato petizioni selezionate casualmente su change.org. Adattato da Rijt et al. (2014) , figura 2.

Insieme, questi due esempi mostrano che i ricercatori possono condurre esperimenti sul campo digitale senza la necessità di collaborare con le aziende o di costruire sistemi digitali complessi. Inoltre, la tabella 4.2 fornisce ancora più esempi che mostrano la gamma di ciò che è possibile quando i ricercatori utilizzano l'infrastruttura dei sistemi esistenti per fornire risultati di trattamento e / o misurazione. Questi esperimenti sono relativamente economici per i ricercatori e offrono un alto grado di realismo. Ma offrono ai ricercatori un controllo limitato su partecipanti, trattamenti e risultati da misurare. Inoltre, per gli esperimenti che si svolgono in un solo sistema, i ricercatori devono essere preoccupati che gli effetti possano essere guidati da dinamiche specifiche del sistema (ad esempio, il modo in cui Kickstarter classifica i progetti o il modo in cui change.org classifica le petizioni; per ulteriori informazioni, vedere la discussione sulla confusione algoritmica nel capitolo 2). Infine, quando i ricercatori intervengono nei sistemi di lavoro, emergono complicate questioni etiche su possibili danni a partecipanti, non partecipanti e sistemi. Considereremo queste questioni etiche in modo più dettagliato nel capitolo 6, e c'è un'eccellente discussione su di esse nell'appendice di van de Rijt et al. (2014) . I compromessi che derivano dal lavorare in un sistema esistente non sono ideali per ogni progetto, e per questo motivo alcuni ricercatori costruiscono il proprio sistema sperimentale, come illustrerò successivamente.