4.5.1.1 Bruk eksisterende miljøer

Du kan kjøre eksperimenter innenfor eksisterende miljøer, ofte uten koding eller partnerskap.

Logistisk, den enkleste måten å gjøre digitale eksperimenter er å overlappe eksperimentet på toppen av en eksisterende miljø, slik at du kan kjøre en digital felteksperiment. Disse eksperimentene kan kjøres på en forholdsvis stor skala og ikke krever samarbeid med en bedrift eller omfattende programvareutvikling.

For eksempel, Jennifer Doleac og Luke Stein (2013) tok fordel av en online markedsplass (f.eks Craigslist) for å kjøre et eksperiment som målte rasediskriminering. Doleac og Stein annonseres tusenvis av iPoder, og ved systematisk å variere egenskapene til selger, de var i stand til å studere effekten av rase på økonomiske transaksjoner. Videre Doleac og Stein brukt omfanget av deres eksperiment for å anslå når effekten er større (heterogenitet av behandlingseffekter) og har noen ideer om hvorfor effekten kan oppstå (mekanismer).

Før studiet av Doleac og Stein, hadde det vært to hovedtilnærminger til eksperimentelt måle diskriminering. I korrespondanse studier forskere skape gjenopptar av fiktive mennesker av ulike raser og bruke disse gjenopptar til, for eksempel gjelde for ulike jobber. Bertrand og Mullainathan s (2004) papir med minneverdige tittelen "Er Emily og Greg mer arbeids enn Lakisha og Jamal? Feltforsøk på diskriminering i arbeidsmarkedet "er en flott illustrasjon av en korrespondanse studie. Korrespondanse studier har relativt lav kostnad pr observasjon, som muliggjør en enkelt forsker for å samle inn flere tusen observasjoner i et typisk studie. Men, har korrespondanse studier av rasediskriminering blitt avhørt fordi navnene potensielt signaliserer mange ting i tillegg til løpet av søkeren. Det vil si, navn som Greg, Emily, Lakisha, og Jamal kan signalisere sosial klasse i tillegg til å rase. Dermed kan noen forskjell i behandling for gjenopptar av Greg og Jamal skyldes mer enn antatt rase forskjeller på søkerne. Audit studier, på den annen side, innebære å ansette aktører av ulike raser å søke på person for jobben. Selv om revisjons studier gir et klart signal fra søkerens rase, er de ekstremt kostbare pr observasjon, noe som betyr at de vanligvis bare ha hundrevis av observasjoner.

I sine digitale felteksperiment, Doleac og Stein var i stand til å skape et attraktivt hybrid. De var i stand til å samle inn data ved relativt lav kostnad per observasjon-resulterer i tusener av observasjoner (som i en korrespondanse studien) -og de var i stand til å signalisere rase ved bruk av foto-resulterer i en klar uncounfounded signal fra løpet (som i en revisjon studie ). Dermed gjør den elektroniske miljøet noen ganger forskere å skape nye behandlinger som har egenskaper som er vanskelig å konstruere noe annet.

IPod annonser for Doleac og Stein varieres langs tre hoveddimensjoner. Først varierte de egenskapene til selgeren, som ble signalisert i hånden fotografert holder iPod [hvit, svart, hvit med tatovering] (figur 4.12). For det andre, varierte de prisforlangende [$ 90, $ 110, $ 130]. Tredje, de varierte kvaliteten på annonsetekst [høy kvalitet og lav kvalitet (f.eks, kapitalisering feil og spelin feil)]. Dermed forfatterne hadde en 3 x 3 x 2 design som ble distribuert til mer enn 300 lokale markeder som strekker seg fra byene (f.eks Kokomo, IN og North Platte, Nebraska) til mega-byer (for eksempel New York og Los Angeles).

Figur 4.12: Hands anvendt i forsøket på Doleac and Stein (2013) . iPoder ble solgt av selgere med ulike egenskaper for å måle diskriminering i en online markedsplass.

Gjennomsnitt over alle forhold, resultatene var bedre for den hvite selger enn den svarte selgeren, med den tatoverte selger å ha middels resultater. For eksempel, hvite selgere mottatt flere tilbud, og hadde høyere endelige salg priser. Utover disse gjennomsnittseffekter Doleac og Stein anslått heterogenitet av effekter. For eksempel, en prediksjon fra tidligere teori er at diskriminering vil være mindre i markeder som er mer konkurransedyktig. Ved hjelp av antall mottatte som en proxy for konkurransen i markedet tilbyr, fant forfatterne at svarte selgere gjør faktisk får dårligere tilbud i markeder med lav grad av konkurranse. Videre, ved å sammenligne resultatene for annonsene med høy kvalitet og lav kvalitet tekst, Doleac og Stein funnet ut at annonsekvalitet påvirker ikke den ulempe møtt av svart og tatoverte selgere. Til slutt, drar nytte av det faktum at reklame ble plassert i mer enn 300 markeder, finner forfatterne at svarte selgere er mer vanskeligstilte i byer med høy kriminalitet og høy bolig segregering. Ingen av disse resultatene gir oss en presis forståelse av nøyaktig hvorfor svarte selgere hatt verre utfall, men da kombinert med resultatene fra andre studier, kan de begynne å informere teorier om årsakene til rasediskriminering i ulike typer økonomiske transaksjoner.

Et annet eksempel som viser evne til forskere til å gjennomføre digitale feltforsøk i eksisterende systemer er forskningen ved Arnout van de Rijt og kolleger (2014) på nøklene til suksess. I mange aspekter av livet, tilsynelatende lignende folk ender opp med svært ulike utfall. En mulig forklaring på dette mønsteret er at små og i hovedsak tilfeldige-fordeler kan låse inn og vokse over tid, en prosess som forskerne kaller kumulative fordel. For å avgjøre hvorvidt små innledende suksesser lock-in eller visne bort, van de Rijt og kolleger (2014) grep inn i fire forskjellige systemer skjenke suksess på tilfeldig utvalgte deltakere, og deretter målt de langsiktige konsekvensene av vilkårlig suksess.

Mer spesifikt, van de Rijt og kolleger 1) lovet penger til tilfeldig utvalgte prosjekter på kickstarter.com , en crowdfunding nettside; 2) positivt vurdert tilfeldig valgte vurderinger på nettstedet epinions ; 3) ga priser til tilfeldig utvalgte bidragsytere til Wikipedia ; og 4) signert tilfeldig valgt begjæringer om change.org . Forskerne fant svært like resultater på tvers av alle fire systemer: i hvert tilfelle, deltakere som tilfeldig ble gitt noen tidlig suksess gikk på å ha flere etterfølgende suksess enn sine ellers helt utvisket jevnaldrende (figur 4.13). Det faktum at det samme mønster dukket opp i mange systemer øker ytre gyldigheten av disse resultatene, fordi den reduserer faren for at dette mønsteret er et produkt av en hvilken som helst spesielt system.

Figur 4.13: Langtidseffekter av tilfeldig gitt suksess i fire ulike sosiale systemer. Arnout van de Rijt og kolleger (2014) 1) lovet penger til tilfeldig utvalgte prosjekter på kickstarter.com , en crowdfunding nettside; 2) positivt vurdert tilfeldig valgte vurderinger på nettstedet epinions ; 3) ga priser til tilfeldig utvalgte bidragsytere til Wikipedia ; og 4) signert tilfeldig valgt begjæringer om change.org .

Sammen utgjør disse to eksemplene viser at forskerne kan utføre digitale feltforsøk uten behov for å samarbeide med selskaper eller behovet for å bygge komplekse digitale systemer. Videre Tabell 4.2 gir enda flere eksempler som viser omfanget av hva som er mulig når forskere bruker infrastrukturen i eksisterende systemer for å levere behandling og / eller måle resultater. Disse eksperimentene er relativt billig for forskere og de tilbyr en høy grad av realisme. Men, disse eksperimentene har forskerne begrenset kontroll over deltakernes, behandlinger, og resultater som skal måles. Videre for eksperimenter som finner sted i bare ett system, må forskerne å være bekymret for at effektene kan være drevet av systemspesifikke dynamikk (f.eks den måten at Kickstarter rangerer prosjekter eller måten change.org rangerer begjæringer, for mer informasjon, se diskusjonen om algoritmisk confounding i kapittel 2). Til slutt, når forskere gripe inn i arbeidssystemer, vanskelige etiske spørsmål dukker opp om mulig skade på deltakere, ikke-deltakere, og systemer. Vi vil vurdere disse etiske spørsmålet nærmere i kapittel 6, og det er en utmerket diskusjon av dem i vedlegget van de Rijt (2014) . Avveiningene som kommer med å jobbe i et eksisterende system er ikke ideelt for hvert prosjekt, og av den grunn noen forskere bygge sitt eget eksperimentelle system, tema for neste avsnitt.