4.5.1.1 ambienti Usa esistenti

È possibile eseguire esperimenti all'interno degli ambienti esistenti, spesso senza alcuna codifica o di partenariato.

Logisticamente, il modo più semplice per fare esperimenti digitali è quello di sovrapporre l'esperimento in cima ad un ambiente esistente, consentendo di eseguire un esperimento sul campo digitale. Questi esperimenti possono essere eseguiti in un ragionevolmente larga scala e non richiedono partnership con un'azienda o estesa di sviluppo software.

Ad esempio, Jennifer Doleac e Luca Stein (2013) ha approfittato di un mercato online (ad esempio, Craigslist) per eseguire un esperimento che ha misurato la discriminazione razziale. Doleac e Stein pubblicizzati migliaia di iPod, e sistematicamente variando le caratteristiche del venditore, sono stati in grado di studiare l'effetto della razza sulle transazioni economiche. Inoltre, Doleac e Stein hanno usato la scala del loro esperimento per stimare quando l'effetto è più grande (l'eterogeneità degli effetti del trattamento) e di offrire alcune idee sul perché l'effetto potrebbe verificarsi (meccanismi).

Prima dello studio di Doleac e Stein, c'erano stati due approcci principali per misurare sperimentalmente la discriminazione. In corrispondenza studi i ricercatori creano curricula di persone immaginari di diverse razze e utilizzare questi riprende, per esempio, si applicano per diversi lavori. Bertrand e di Mullainathan (2004) di carta con il titolo memorabile "Sono Emily e Greg più occupabili Than Lakisha e Jamal? Un esperimento sul campo sul mercato del lavoro la discriminazione "è una meravigliosa illustrazione di uno studio corrispondenza. studi per corrispondenza hanno relativamente basso costo per l'osservazione, che consente a un singolo ricercatore di raccogliere migliaia di osservazioni in uno studio tipico. Ma, gli studi per corrispondenza, di discriminazione razziale sono state messe in discussione perché i nomi potenzialmente segnalano molte cose, oltre alla gara del richiedente. Cioè, nomi come Greg, Emily, Lakisha, e Jamal può segnalare la classe sociale, oltre a correre. Così, qualsiasi disparità di trattamento per i curriculum di Greg e Jamal di potrebbe essere dovuto a più di differenze razziali presunte dei richiedenti. Studi di controllo, d'altra parte, comporta l'assunzione di attori di diverse razze di presentarsi di persona per i lavori. Anche se gli studi di revisione forniscono un chiaro segnale di gara richiedente, sono estremamente costosi per l'osservazione, il che significa che in genere hanno solo centinaia di osservazioni.

Nel loro esperimento sul campo digitale, Doleac e Stein sono stati in grado di creare un ibrido interessante. Sono stati in grado di raccogliere i dati a costi relativamente bassi per l'osservazione-provocando migliaia di osservazioni (come in uno studio corrispondenza) -e sono stati in grado di segnalare gara utilizzando fotografie-determinando una chiara segnale uncounfounded di gara (come in uno studio di revisione contabile ). Così, l'ambiente online a volte consente ai ricercatori di creare nuovi trattamenti che hanno proprietà che sono difficili da costruire in altro modo.

Gli annunci di iPod di Doleac e Stein variavano lungo tre dimensioni principali. In primo luogo, essi variano le caratteristiche del venditore, che è stato segnalato dalla mano fotografato tenendo l'iPod [bianco, nero, bianco con il tatuaggio] (Figura 4.12). In secondo luogo, hanno variato il prezzo richiesto [$ 90, $ 110, $ 130]. In terzo luogo, hanno variato la qualità del testo dell'annuncio [di alta qualità e di bassa qualità (ad esempio, errori di capitalizzazione ed errori spelin)]. Così, gli autori avevano un disegno 3 x 3 x 2 che è stato distribuito in più di 300 mercati locali che variano da città (ad esempio, Kokomo, IN e North Platte, NE) per mega-città (ad esempio, New York e Los Angeles).

Figura 4.12: Le mani utilizzati nell'esperimento di Doleac and Stein (2013) . iPod sono stati venduti dai venditori con caratteristiche diverse per misurare la discriminazione in un mercato online.

Media in tutte le condizioni, i risultati sono stati migliori per il venditore bianco che il venditore nero, con il venditore tatuato avere risultati intermedi. Ad esempio, i venditori bianche ricevuto più offerte e aveva più elevati prezzi finali di vendita. Al di là di questi effetti medi, Doleac e Stein hanno stimato l'eterogeneità degli effetti. Per esempio, una previsione dalla teoria anteriore è che la discriminazione sarebbe meno in mercati più competitivi. Utilizzando il numero di offerte pervenute come proxy per la concorrenza sul mercato, gli autori hanno trovato che i venditori neri effettivamente ricevono offerte peggiori in mercati con un basso grado di concorrenza. Inoltre, confrontando i risultati per gli annunci con alta qualità e il testo di bassa qualità, Doleac e Stein hanno scoperto che la qualità degli annunci non influisce lo svantaggio dai venditori in bianco e tatuate. Infine, approfittando del fatto che la pubblicità sono stati collocati in più di 300 mercati, gli autori ritengono che i venditori neri sono più svantaggiati nelle città con alti tassi di criminalità e di alta segregazione residenziale. Nessuno di questi risultati ci danno una precisa comprensione di esattamente perché i venditori neri avevano risultati peggiori, ma, quando combinato con i risultati di altri studi, si può cominciare a comunicare le teorie sulle cause di discriminazione razziale in diversi tipi di transazioni economiche.

Un altro esempio che mostra la capacità dei ricercatori di condurre esperimenti sul campo digitali in impianti esistenti è la ricerca da Arnout van de Rijt e colleghi (2014) sulle chiavi del successo. In molti aspetti della vita, persone apparentemente simili finiscono con esiti molto diversi. Una possibile spiegazione di questo modello è che le piccole-ed essenzialmente casuali vantaggi possono lock-in e crescere nel tempo, un processo che i ricercatori chiamano vantaggio cumulativo. Al fine di determinare se piccoli successi iniziali di lock-in o svaniscono, van de Rijt e colleghi (2014) è intervenuta in quattro diversi sistemi elargendo successo sui partecipanti selezionati in modo casuale, e poi misurato l'impatto a lungo termine di questo successo arbitraria.

Più in particolare, van de Rijt e colleghi 1) date in pegno denaro per progetti selezionati in modo casuale su kickstarter.com , un sito web di crowdfunding; 2) nominale positivamente recensioni scelti a caso sul sito web epinions ; 3) ha dato premi di scelte a caso collaboratori di Wikipedia ; e 4) firmato selezionato casualmente petizioni su change.org . I ricercatori hanno trovato risultati molto simili in tutti e quattro i sistemi: in ogni caso, i partecipanti che sono stati dati in modo casuale alcuni successo iniziale ha continuato ad avere più successo successiva rispetto ai loro coetanei altrimenti completamente indistinguibili (Figura 4.13). Il fatto che lo stesso modello apparso in molti sistemi aumenta la validità esterna di questi risultati perché riduce la probabilità che questo modello è un artefatto di un particolare sistema.

Figura 4.13: Effetti a lungo termine di successo conferito a caso in quattro diversi sistemi sociali. Arnout van de Rijt e colleghi (2014) 1) sono impegnati fondi per progetti selezionati in modo casuale su kickstarter.com , un sito web di crowdfunding; 2) nominale positivamente recensioni scelti a caso sul sito web epinions ; 3) ha dato premi di scelte a caso collaboratori di Wikipedia ; e 4) firmato selezionato casualmente petizioni su change.org .

Insieme, questi due esempi dimostrano che i ricercatori possono condurre esperimenti sul campo digitali senza la necessità di collaborare con le aziende o la necessità di costruire sistemi digitali complessi. Inoltre, tabella 4.2 fornisce anche altri esempi che mostrano la gamma di ciò che è possibile quando i ricercatori utilizzano l'infrastruttura dei sistemi esistenti per fornire i risultati del trattamento e / o di misura. Questi esperimenti sono relativamente economici per i ricercatori e offrono un alto grado di realismo. Ma, questi esperimenti offrono ricercatori controllo limitato sulle partecipanti, trattamenti e gli esiti da misurare. Inoltre, per gli esperimenti che si svolgono in un solo sistema, i ricercatori hanno bisogno di essere preoccupato del fatto che gli effetti potrebbero essere guidati da dinamiche specifiche del sistema (per esempio, il modo in cui si colloca Kickstarter progetti o il modo in cui si colloca change.org petizioni; per ulteriori informazioni, vedere la discussione su di confusione algoritmico nel Capitolo 2). Infine, quando i ricercatori intervengono nei sistemi di lavoro, le questioni etiche difficili emergono su possibili danni ai partecipanti, non partecipanti, e dei sistemi. Noi consideriamo questi questione etica in dettaglio nel capitolo 6, e vi è un eccellente discussione di loro in appendice di van de Rijt (2014) . I compromessi che vengono con il lavoro in un sistema esistente non sono l'ideale per ogni progetto, e per questo motivo alcuni ricercatori costruire il proprio sistema sperimentale, il tema della sezione successiva.