4.5.1 Använd befintliga miljöer

Du kan köra experiment i befintliga miljöer, ofta utan någon kodning eller partnerskap.

Logistiskt är det enklaste sättet att göra ett digitalt experiment att överlappa ditt experiment utöver en befintlig miljö. Sådana experiment kan köras i rimligt stor skala och kräver inte partnerskap med ett företag eller omfattande mjukvaruutveckling.

Till exempel utnyttjade Jennifer Doleac och Luke Stein (2013) en online-marknadsplats som liknar Craigslist för att driva ett experiment som mättes rasdiskriminering. De annonserade tusentals iPods och genom att systematiskt ändra säljarens egenskaper kunde de studera effekten av ras på ekonomiska transaktioner. Vidare använde de omfattningen av deras experiment för att uppskatta när effekten var större (heterogenitet av behandlingseffekter) och att erbjuda några idéer om varför effekten skulle kunna uppstå (mekanismer).

Doleac och Steins iPod-reklam varierade längs tre huvuddimensioner. Först varierade forskarna säljarens egenskaper, vilket var signalerat av handen fotograferad med iPod [vit, svart, vit med tatuering] (figur 4.13). För det andra varierade de förfrågningspriset [$ 90, $ 110, $ 130]. För det tredje varierade kvaliteten på annonstexten [högkvalitativ och lågkvalitativ (t.ex. cApitalization errors och spelin errors)]. Således hade författarna en 3 \(\times\) 3 \(\times\) 2 design som användes på mer än 300 lokala marknader, allt från städer (t.ex. Kokomo, Indiana och North Platte, Nebraska) till mega- städer (t.ex. New York och Los Angeles).

Figur 4.13: Händer som används i experimentet Doleac and Stein (2013) . iPods såldes av säljare med olika egenskaper för att mäta diskriminering i en online-marknadsplats. Reproducerad med tillstånd från Doleac and Stein (2013) , figur 1.

I genomsnitt över alla förhållanden var resultaten bättre för de vita säljare än de svarta säljarena, med de tatuerade säljare som har mellanliggande resultat. Till exempel fick de vita säljarena fler erbjudanden och hade högre slutliga försäljningspriser. Utöver dessa genomsnittliga effekter uppskattade Doleac och Stein effekterna av heterogenitet. Exempelvis är en förutsägelse från tidigare teori att diskriminering skulle vara mindre på marknader där det finns mer konkurrens mellan köpare. Med hjälp av antalet erbjudanden på den marknaden som ett mått på mängden köpare konkurrens fann forskarna att svarta säljare faktiskt fick sämre erbjudanden på marknader med låg konkurrensnivå. Genom att jämföra resultat för annonserna med högkvalitativa och lågkvalitativa text fann Doleac och Stein att annonskvaliteten inte påverkat nackdelen inför svarta och tatuerade säljare. Slutligen utnyttjade det faktum att annonser placerades på mer än 300 marknader, fann upphovsmännen att svarta säljare var mer missgynnade i städer med höga brottsfrekvenser och hög bostads segregation. Inget av dessa resultat ger oss en exakt förståelse för exakt varför svarta säljare hade sämre resultat men i kombination med resultaten från andra studier kan de börja informera teorier om orsakerna till rasdiskriminering i olika typer av ekonomiska transaktioner.

Ett annat exempel som visar forskarnas möjligheter att genomföra digitala fältförsök i befintliga system är Arnout van de Rijts forskning och kollegor (2014) på nycklarna till framgång. I många aspekter av livet, till synes liknande människor slutar med mycket olika resultat. En möjlig förklaring till detta mönster är att små och väsentligen slumpmässiga fördelar kan låsa in och växa över tiden, en process som forskare kallar kumulativ fördel . För att avgöra om små initiala framgångar låser sig in eller bleknar, intervjuade van de Rijt och kollegor (2014) i fyra olika system som gav framgång till slumpmässigt utvalda deltagare och sedan uppmätta de efterföljande effekterna av denna godtyckliga framgång.

Mer specifikt lovade van de Rijt och kollegor (1) pengar till slumpmässigt utvalda projekt på Kickstarter, en crowdfunding webbplats; (2) positivt betygsatta slumpmässigt valda recensioner på Epinions, en granskningswebbplats; (3) gav utmärkelser till slumpmässigt utvalda bidragsgivare till Wikipedia; och (4) signerade slumpmässigt utvalda framställningar på change.org. De hittade mycket liknande resultat över alla fyra system: i varje fall deltog deltagare som slumpmässigt fick lite tidig framgång för mer efterföljande framgång än deras annars helt oskiljaktiga kamrater (figur 4.14). Det faktum att samma mönster uppträdde i många system ökar den externa validiteten av dessa resultat eftersom det minskar risken för att detta mönster är en artefakt av ett visst system.

Figur 4.14: Långtidseffekter av slumpmässigt skänkt framgång i fyra olika sociala system. Arnout van de Rijt och kollegor (2014) (1) lovade pengar till slumpmässigt utvalda projekt på Kickstarter, en crowdfunding webbplats; (2) positivt betygsatta slumpmässigt valda recensioner på Epinions, en granskningswebbplats; (3) gav utmärkelser till slumpmässigt utvalda bidragsgivare till Wikipedia; och (4) signerade slumpmässigt utvalda framställningar på change.org. Anpassad från Rijt et al. (2014) , figur 2.

Tillsammans visar dessa två exempel att forskare kan genomföra digitala fältförsök utan att behöva samarbeta med företag eller bygga komplexa digitala system. Tabell 4.2 ger dessutom ännu fler exempel som visar hur mycket som är möjligt när forskare använder infrastrukturen hos befintliga system för att leverera behandling och / eller mätresultat. Dessa experiment är relativt billiga för forskare och de erbjuder en hög grad av realism. Men de erbjuder forskare begränsad kontroll över deltagarna, behandlingarna och resultaten som ska mätas. Vidare, för experiment som äger rum i ett enda system, måste forskarna vara oroliga för att effekterna kan drivas av systemspecifik dynamik (t.ex. det sätt som Kickstarter rankar projekt eller hur change.org rankar framställningar, för mer information, se diskussionen om algoritmisk förvirring i kapitel 2). Slutligen, när forskare ingriper i arbetssystemen, uppstår svåra etiska frågor om eventuella skador på deltagare, icke-deltagare och system. Vi kommer att behandla denna etiska fråga mer i detalj i kapitel 6, och det finns en utmärkt diskussion om dem i bilagan till van de Rijt et al. (2014) . Avvägningarna som kommer att fungera i ett befintligt system är inte idealiska för varje projekt, och därför bygger vissa forskare sitt eget experimentella system, som jag ska illustrera nästa.