4.5.1 Bruk eksisterende miljøer

Du kan kjøre eksperimenter innenfor eksisterende miljøer, ofte uten koding eller partnerskap.

Logistisk er den enkleste måten å gjøre et digitalt eksperiment på å legge over eksperimentet ditt på toppen av et eksisterende miljø. Slike eksperimenter kan kjøre i rimelig stor skala og krever ikke partnerskap med et selskap eller omfattende programvareutvikling.

For eksempel utnyttet Jennifer Doleac og Luke Stein (2013) en online markedsplass som ligner på Craigslist for å kjøre et eksperiment som målte rasediskriminering. De annonserte tusenvis av iPods, og ved å systematisk variere egenskapene til selgeren, var de i stand til å studere effekten av rase på økonomiske transaksjoner. Videre brukte de omfanget av eksperimentet til å estimere når effekten var større (heterogenitet av behandlingseffekter) og å tilby noen ideer om hvorfor effekten kunne oppstå (mekanismer).

Doleac og Steins iPod-reklame varierte langs tre hovedmål. For det første varierte forskerne kjennetegnene til selgeren, som ble signalisert av hånden fotografert med iPod [hvit, svart, hvit med tatovering] (figur 4.13). For det andre varierte de forespørselsprisen [$ 90, $ 110, $ 130]. For det tredje varierte de kvaliteten på annonseteksten [høy kvalitet og lav kvalitet (f.eks. CApitalization errors og spelin feil)]. Dermed hadde forfatterne en 3 \(\times\) 3 \(\times\) 2 design som ble distribuert på mer enn 300 lokale markeder, alt fra byer (f.eks. Kokomo, Indiana og North Platte, Nebraska) til mega- byer (f.eks. New York og Los Angeles).

Figur 4.13: Hender brukt i forsøket av Doleac and Stein (2013) . iPods ble solgt av selgere med forskjellige egenskaper for å måle diskriminering i en elektronisk markedsplass. Gjengitt med tillatelse fra Doleac and Stein (2013) , figur 1.

Gjennomsnittlig på tvers av alle forhold, var resultatene bedre for de hvite selgerne enn de svarte selgerne, med de tatoverte selgerne som hadde mellomliggende resultater. For eksempel mottok de hvite selgerne flere tilbud og hadde høyere endelige salgspriser. Utover disse gjennomsnittlige effektene, anslår Doleac og Stein heterogeniteten av effekter. For eksempel er en prediksjon fra tidligere teori at diskriminering vil være mindre i markeder der det er mer konkurranse mellom kjøpere. Ved hjelp av antall tilbud i dette markedet som et mål på mengden kjøperkonkurranse, fant forskerne at svarte selgere faktisk mottok dårligere tilbud på markeder med lav konkurranse. Videre, ved å sammenligne resultatene for annonsene med høy kvalitet og lav kvalitetstekst, oppdaget Doleac og Stein at annonsekvalitet ikke påvirket ulempen som svarte og tatoverte selgere møtte. Til slutt utnyttet det faktum at annonser ble plassert på mer enn 300 markeder, fant forfatterne at svarte selgere var mer ugunstige i byer med høy kriminalitet og høy segregering. Ingen av disse resultatene gir oss en presis forståelse av nøyaktig hvorfor svarte selgere hadde dårligere utfall, men når de kombineres med resultatene fra andre studier, kan de begynne å informere teorier om årsakene til rasediskriminering i ulike typer økonomiske transaksjoner.

Et annet eksempel som viser forskernes evne til å gjennomføre digitale felteksperimenter i eksisterende systemer, er forskning av Arnout van de Rijt og kolleger (2014) på nøklene til suksess. I mange aspekter av livet, tilsynelatende lignende mennesker ender opp med svært forskjellige utfall. En mulig forklaring på dette mønsteret er at små og i hovedsak tilfeldige fordeler kan låses inn og vokse over tid, en prosess som forskere kaller kumulativ fordel . For å avgjøre om små innledende suksesser låser seg eller visner bort, har van de Rijt og kolleger (2014) intervenert i fire forskjellige systemer som gir suksess på tilfeldig utvalgte deltakere, og deretter målt de etterfølgende konsekvensene av denne vilkårlig suksess.

Nærmere bestemt lovet van de Rijt og kollegaer (1) penger til tilfeldig utvalgte prosjekter på Kickstarter, et crowdfunding nettsted; (2) positivt vurdert tilfeldig utvalgte anmeldelser på Epinions, en produsert gjennomgang nettsted; (3) ga priser til tilfeldig utvalgte bidragsytere til Wikipedia; og (4) undertegnet tilfeldig valgte petisjoner på change.org. De fant svært like resultater på alle fire systemene: I hvert tilfelle ble deltakerne som tilfeldigvis fikk litt tidlig suksess, mer suksess enn deres ellers helt uutslettelige jevnaldrende (figur 4.14). Det faktum at det samme mønsteret dukket opp i mange systemer øker den eksterne gyldigheten av disse resultatene fordi det reduserer sjansen for at dette mønsteret er en gjenstand for et bestemt system.

Figur 4.14: Langtidseffekter av tilfeldig tilstrekkelig suksess i fire forskjellige sosiale systemer. Arnout van de Rijt og kolleger (2014) (1) lovet penger til tilfeldig utvalgte prosjekter på Kickstarter, et crowdfunding nettsted; (2) positivt vurdert tilfeldig utvalgte anmeldelser på Epinions, en produsert gjennomgang nettsted; (3) ga priser til tilfeldig utvalgte bidragsytere til Wikipedia; og (4) undertegnet tilfeldig valgte petisjoner på change.org. Tilpasset fra Rijt et al. (2014) , figur 2.

Sammen viser disse to eksemplene at forskere kan gjennomføre digitale felteksperimenter uten å måtte samarbeide med selskaper eller bygge komplekse digitale systemer. Videre gir tabell 4.2 enda flere eksempler som viser omfanget av hva som er mulig når forskere bruker infrastrukturen til eksisterende systemer for å levere behandling og / eller måle resultater. Disse forsøkene er relativt billige for forskere, og de tilbyr en høy grad av realisme. Men de tilbyr forskere begrenset kontroll over deltakerne, behandlingene og resultatene som måles. Videre, for eksperimenter som foregår i bare ett system, må forskerne være bekymret for at effektene kan drives av systemspesifikk dynamikk (for eksempel måten Kickstarter rangerer prosjekter på eller hvordan change.org rangerer petisjoner, for mer informasjon, se diskusjonen om algoritmisk confounding i kapittel 2). Til slutt, når forskere griper inn i arbeidssystemer, oppstår vanskelige etiske spørsmål om mulig skade for deltakere, ikke-deltakere og systemer. Vi vil se nærmere på disse etiske spørsmålene i kapittel 6, og det er en utmerket diskusjon om dem i vedlegget til van de Rijt et al. (2014) . Avvikene som kommer med arbeid i et eksisterende system er ikke ideelle for hvert prosjekt, og derfor bygger enkelte forskere sitt eget eksperimentelle system, slik jeg skal illustrere neste.