4.5.1.1 Användning befintliga miljöer

Du kan köra experiment i befintliga miljöer, ofta utan någon kodning eller partnerskap.

Logistiskt är det enklaste sättet att göra digitala experiment för att överlagra experimentet ovanpå en befintlig miljö, så att du kan köra en digital fältförsök. Dessa experiment kan köras på en rimligt stor skala och inte kräver samarbete med ett företag eller en omfattande utveckling av programvara.

Till exempel, Jennifer Doleac och Luke Stein (2013) utnyttjade ett online-marknaden (t.ex. Craigslist) för att köra ett experiment som mätte rasdiskriminering. Doleac och Stein annonserade tusentals iPods, och genom att systematiskt variera egenskaperna hos säljaren, kunde de studera effekten av ras på ekonomiska transaktioner. Vidare använde Doleac och Stein omfattningen av deras experiment för att uppskatta när effekten är större (heterogenitet av behandlingseffekter) och erbjuder några idéer om varför effekten kan inträffa (mekanismer).

Innan studien av Doleac och Stein, hade det funnits två huvudlinjer att experimentellt mäta diskriminering. I korrespondens studier forskare skapar återupptar av fiktiva personer av olika raser och använda dessa återupptar till exempel ansöka om olika jobb. Bertrand och Than s (2004) papper med den minnesvärda titeln "Är Emily och Greg mer anställnings än Lakisha och Jamal? Ett fältförsök på Arbetsmarknads diskriminering "är en underbar illustration av en korrespondens studie. Korrespondens studier har relativt låg kostnad per observation, vilket möjliggör att en enskild forskare att samla tusentals observationer i en typisk studie. Men, har korrespondens studier av rasdiskriminering ifrågasatts eftersom namn potentiellt signalera många saker förutom loppet av sökanden. Det vill säga, namn som Greg, Emily, Lakisha, och Jamal kan signalera social klass utöver att tävla. Således kan någon skillnad i behandling för återupptar av Gregs och Jamals bero på mer än förmodade rasskillnader av de sökande. Revisions studier, å andra sidan, innebär att anställa aktörer av olika raser att tillämpa personligen jobb. Även om revisions studier ger en tydlig signal om sökande ras, de är extremt dyra per observation, vilket innebär att de normalt bara har hundratals observationer.

I sin digitala fältförsök, Doleac och Stein kunde skapa en attraktiv hybrid. De kunde samla in data vid relativt låg kostnad per observations vilket resulterar i tusentals observationer (som i en korrespondens studie) -och de kunde signalera ras med hjälp av fotografier-resulterar i en tydlig uncounfounded signal ras (som i en revision studie ). Således möjliggör nätmiljön ibland forskare att skapa nya behandlingar som har egenskaper som är svåra att bygga något annat.

IPod annonser av Doleac och Stein varierade längs tre huvuddimensioner. Först varierade de egenskaper säljaren, som signaleras i handen fotograferade håller iPod [vit, svart, vit med tatuering] (Figur 4.12). För det andra, varierade de priset frågar [$ 90, $ 110, $ 130]. För det tredje, varierade de kvaliteten på annonstexten [hög kvalitet och låg kvalitet (t.ex., kapitalisering fel och spelin fel)]. Således, författarna hade en 3 x 3 x 2 konstruktion som utplacerades över mer än 300 lokala marknader som sträcker sig från städer (t.ex. Kokomo, IN och North Platte, NE) till megastäder (t.ex. New York och Los Angeles).

Figur 4.12: Händer som används i försöket av Doleac and Stein (2013) . iPods såldes av säljare med olika egenskaper för att mäta diskriminering i ett online-marknaden.

Genomsnitt över alla förhållanden, resultaten var bättre för vita säljaren än den svarta säljare, med tatuerade säljaren har delresultat. Till exempel fick vita säljare fler erbjudanden och hade högre slutliga försäljningspriser. Utöver dessa genomsnittliga effekter, Doleac och Stein uppskattade heterogenitet effekter. Till exempel är en förutsägelse från tidigare teori att diskriminering skulle vara mindre på marknader som är mer konkurrenskraftiga. Med det antal anbud som mottagits som en proxy för konkurrensen på marknaden, författarna fann att svarta säljare verkligen mottar värre erbjudanden på marknader med en låg grad av konkurrens. Vidare, genom att jämföra resultaten för annonser med hög kvalitet och låg kvalitet text, Doleac och Stein fann att annonskvaliteten påverkar inte nackdelen av svarta och tatuerade säljare står inför. Slutligen, dra nytta av det faktum att reklam placerades i mer än 300 marknader, författarna finner att svarta säljare är mer missgynnade i städer med hög kriminalitet och hög boendesegregation. Ingen av dessa resultat ger oss en exakt förståelse av exakt varför svarta säljare hade sämre resultat, men i kombination med resultaten från andra studier, kan de börja informera teorier om orsakerna till rasdiskriminering i olika typer av ekonomiska transaktioner.

Ett annat exempel som visar förmågan hos forskare att genomföra digitala fältexperiment i befintliga system är forskningen av Arnout van de Rijt och kollegor (2014) på nycklarna till framgång. I många aspekter av livet, till synes likartade människor hamnar med mycket olika resultat. En möjlig förklaring till detta mönster är att små och i huvudsak slumpmässiga fördelar kan låsa in och växa med tiden, en process som forskarna kallar kumulativa fördel. För att avgöra om små initiala framgångar låsa in eller försvinna, van de Rijt och kollegor (2014) ingrep i ​​fyra olika system skänka framgång på slumpmässigt utvalda deltagare, och sedan mätte långsiktiga effekterna av denna godtyckliga framgång.

Mer specifikt, van de Rijt och kollegor 1) ställda pengar till slumpmässigt utvalda projekt kickstarter.com , en crowdfunding webbplats; 2) positivt betygsatt slumpvis utvalda recensioner på webbplatsen epinions ; 3) gav utmärkelser till slumpvis utvalda deltagare till Wikipedia , och 4) undertecknade slumpmässigt utvalda framställningar om change.org . Forskarna fann mycket likartade resultat i alla fyra system: i varje fall, deltagare som randomiserades ges några tidiga framgångar fortsatte med att ha mer efterföljande framgång än sina annars helt omöjlig att skilja peers (Figur 4.13). Det faktum att samma mönster dök upp i många system ökar den externa giltigheten för dessa resultat, eftersom det minskar risken för att detta mönster är en artefakt av något särskilt system.

Figur 4.13: Långsiktiga effekter av slumpmässigt skänkt framgång i fyra olika sociala system. Arnout van de Rijt och kollegor (2014) 1) lovade pengar till slumpmässigt utvalda projekt kickstarter.com , en crowdfunding webbplats; 2) positivt betygsatt slumpvis utvalda recensioner på webbplatsen epinions ; 3) gav utmärkelser till slumpvis utvalda deltagare till Wikipedia , och 4) undertecknade slumpmässigt utvalda framställningar om change.org .

Tillsammans utgör dessa två exempel visar att forskarna kan göra digitala fältförsök utan behov att samarbeta med företag eller behovet av att bygga komplexa digitala system. Vidare, tabell 4.2 ger ännu fler exempel som visar utbudet av vad som är möjligt när forskare använder infrastrukturen i befintliga system för att leverera behandling och / eller mäta resultat. Dessa experiment är relativt billiga för forskare och de erbjuder en hög grad av realism. Men dessa försök har forskare begränsad kontroll över deltagarna, behandlingar och resultat som skall mätas. Vidare, för experiment som äger rum i endast ett system, forskarna måste vara orolig för att effekterna skulle drivas av systemspecifika dynamiken (t.ex. det sätt som kicken rankar projekt eller det sätt som change.org rankas framställningar, för mer information, se diskussionen om algoritmisk confounding i kapitel 2). Slutligen, när forskare ingripa i fungerande system, knepiga etiska frågor dyka upp om eventuella skador till deltagarna, icke-deltagare, och system. Vi kommer att överväga dessa etiska frågan mer i detalj i kapitel 6, och det finns en utmärkt diskussion om dem i bilagan till van de Rijt (2014) . Kompromisser som kommer med att arbeta i ett existerande system är inte idealiskt för varje projekt, och därför vissa forskare bygga sina egna experimentella system, ämnet för nästa avsnitt.