4.5.1 Brug eksisterende miljøer

Du kan køre eksperimenter inde eksisterende miljøer, ofte uden nogen kodning eller partnerskab.

Logistisk er den nemmeste måde at lave et digitalt eksperiment på at overlejre dit eksperiment oven på et eksisterende miljø. Sådanne eksperimenter kan køres i en rimelig stor skala og kræver ikke partnerskab med et firma eller omfattende softwareudvikling.

For eksempel udnyttede Jennifer Doleac og Luke Stein (2013) en online markedsplads svarende til Craigslist for at køre et eksperiment, der målte racediskrimination. De annoncerede tusindvis af iPod'er, og ved systematisk at variere sælgernes egenskaber kunne de studere effekten af ​​race på økonomiske transaktioner. Desuden anvendte de omfanget af deres forsøg til at estimere, hvornår effekten var større (heterogenitet af behandlingseffekter) og at tilbyde nogle ideer om, hvorfor effekten kunne forekomme (mekanismer).

Doleac og Steins iPod-reklamer varierede langs tre hovedmål. For det første varierede forskerne sælgernes egenskaber, som blev signaleret af hånden fotograferet med iPod'en (hvid, sort, hvid med tatovering) (figur 4.13). For det andet varierede de forespørgselsprisen [$ 90, $ 110, $ 130]. For det tredje varierede kvaliteten af ​​annonceteksten [høj kvalitet og lav kvalitet (f.eks. CApitalization errors og spelin errors)]. Således havde forfatterne et 3 \(\times\) 3 \(\times\) 2 design, der blev implementeret på mere end 300 lokale markeder, der spænder fra byer (f.eks. Kokomo, Indiana og North Platte, Nebraska) til mega- byer (f.eks. New York og Los Angeles).

Figur 4.13: Hænder anvendt i eksperimentet fra Doleac and Stein (2013) . iPods blev solgt af sælgere med forskellige egenskaber for at måle diskrimination på en online markedsplads. Reproduceret med tilladelse fra Doleac and Stein (2013) , figur 1.

Gennemsnittet på tværs af alle forhold var resultaterne bedre for de hvide sælgere end de sorte sælgere, hvor de tatoverede sælgere havde mellemresultater. For eksempel modtog de hvide sælgere flere tilbud og havde højere endelige salgspriser. Ud over disse gennemsnitlige effekter vurderede Doleac og Stein heterogeniteten af ​​effekter. For eksempel er en forudsigelse fra tidligere teori, at diskrimination ville være mindre på markeder, hvor der er mere konkurrence mellem købere. Ved hjælp af antallet af tilbud på dette marked som et mål for mængden af ​​køberkonkurrence fandt forskerne, at sorte sælgere rent faktisk modtog dårligere tilbud på markeder med ringe konkurrence. Ved at sammenligne resultaterne for annoncerne med høj kvalitet og lav kvalitet, fandt Doleac og Stein, at annoncekvaliteten ikke påvirker den ulempe, som sorte og tatoverede sælgere står over for. Endelig udnyttede forfatterne, at reklamer blev placeret på mere end 300 markeder, at de sorte sælgere var mere dårligt stillede i byer med høje kriminalitetsgrader og høj beboelsessegregation. Ingen af ​​disse resultater giver os en præcis forståelse for, præcis hvorfor sorte sælgere havde dårligere resultater, men når de kombineres med resultaterne af andre undersøgelser, kan de begynde at informere teorier om årsagerne til racediskrimination i forskellige former for økonomiske transaktioner.

Et andet eksempel, der viser forskernes evne til at gennemføre digitale felteksperimenter i eksisterende systemer, er Arnout van de Rijts forskning og kolleger (2014) på nøglerne til succes. I mange aspekter af livet, synes tilsyneladende lignende mennesker med meget forskellige resultater. En mulig forklaring på dette mønster er, at små og i det væsentlige tilfældige fordele kan låses ind og vokse over tid, en proces, som forskere kalder kumulativ fordel . For at afgøre, om små indledende succeser låser eller falmer væk, intervenerede van de Rijt og kolleger (2014) i fire forskellige systemer, der gav succes til tilfældigt udvalgte deltagere, og derefter målte de efterfølgende virkninger af denne vilkårlig succes.

Mere specifikt lovede van de Rijt og kolleger (1) penge til tilfældigt udvalgte projekter på Kickstarter, en crowdfunding hjemmeside; (2) positivt vurderede tilfældigt udvalgte anmeldelser på Epinions, et produktoversigt hjemmeside; (3) gav priser til tilfældigt udvalgte bidragydere til Wikipedia; og (4) underskrevet tilfældigt udvalgte andragender på change.org. De fandt meget lignende resultater på tværs af alle fire systemer: i hvert tilfælde blev deltagere, der tilfældigt fik en vis tidlig succes, fået mere efterfølgende succes end deres ellers fuldstændigt uundgåelige jævnaldrende (figur 4.14). Den kendsgerning, at det samme mønster dukkede op i mange systemer, øger den eksterne validitet af disse resultater, fordi det reducerer chancen for, at dette mønster er en artefakt af et bestemt system.

Figur 4.14: Langsigtede virkninger af tilfældigt skænket succes i fire forskellige sociale systemer. Arnout van de Rijt og kolleger (2014) (1) pantsatte penge til tilfældigt udvalgte projekter på Kickstarter, en crowdfunding hjemmeside; (2) positivt vurderede tilfældigt udvalgte anmeldelser på Epinions, et produktoversigt hjemmeside; (3) gav priser til tilfældigt udvalgte bidragydere til Wikipedia; og (4) underskrevet tilfældigt udvalgte andragender på change.org. Tilpasset fra Rijt et al. (2014) , figur 2.

Sammen viser disse to eksempler, at forskere kan gennemføre digitale felteksperimenter uden at skulle samarbejde med virksomheder eller bygge komplekse digitale systemer. Desuden indeholder tabel 4.2 endnu flere eksempler, der viser omfanget af hvad der er muligt, når forskere anvender infrastrukturen i eksisterende systemer til at levere behandling og / eller måle resultater. Disse eksperimenter er relativt billige for forskere, og de giver en høj grad af realisme. Men de tilbyder forskere begrænset kontrol over deltagerne, behandlingerne og de resultater, der skal måles. For at eksperimenter kun foregår i ét system, skal forskerne være bekymrede for, at virkningerne kan styres af systemspecifik dynamik (fx den måde, som Kickstarter rækker projekter eller den måde, som change.org rangerer andragender for mere information, se diskussionen om algoritmisk confounding i kapitel 2). Endelig, når forskere går ind i arbejdssystemer, opstår der vanskelige etiske spørgsmål om mulig skade for deltagere, ikke-deltagere og systemer. Vi vil overveje dette etiske spørgsmål mere detaljeret i kapitel 6, og der er en fremragende diskussion af dem i appendiks af van de Rijt et al. (2014) . De kompromisser, der kommer med arbejde i et eksisterende system, er ikke ideelle til hvert projekt, og derfor bygger nogle forskere deres eget eksperimentelle system, som jeg illustrerer næste.