4.5.1.1 Gebruik bestaande omgevingen

U kunt experimenten draaien binnen bestaande omgevingen, vaak zonder enige codering of partnerschap.

Logistiek, de makkelijkste manier om digitale experimenten doen is om uw experiment overlay op de top van een bestaande omgeving, zodat u een digitale veldexperiment uit te voeren. Deze experimenten kunnen worden uitgevoerd op een redelijk grote schaal en hebben een partnerschap met een bedrijf of een uitgebreide software-ontwikkeling nodig.

Bijvoorbeeld, Jennifer Doléac en Luke Stein (2013) maakte gebruik van een online marktplaats (bijv craigslist) om een experiment dat rassendiscriminatie gemeten draaien. Doléac en Stein geadverteerd duizenden iPods, en door het systematisch variëren van de kenmerken van de verkoper, waren ze in staat om het effect van de race op economische transacties te bestuderen. Verder Doléac en Stein gebruikt de omvang van hun experiment in te schatten wanneer het effect is groter (heterogeniteit van de effecten van de behandeling) en bieden een aantal ideeën over waarom het effect kan optreden (mechanismen).

Voorafgaand aan de studie van Doléac en Stein, er sprake was van twee belangrijke benaderingen van experimenteel meten van discriminatie. In correspondentie studies onderzoekers creëren cv's van de fictieve mensen van verschillende rassen en het gebruik van deze cv's om, bijvoorbeeld, een aanvraag voor verschillende banen. Bertrand en Mullainathan's (2004) papier met de memorabele titel "Zijn Emily en Greg beter inzetbaar dan Lakisha en Jamal? Een veldexperiment op Labor Market discriminatie "is een prachtige illustratie van een correspondentie studie. Correspondentie studies hebben een relatief lage kosten per observatie, waarbij een enkele onderzoeker in staat stelt om duizenden waarnemingen te verzamelen in een typisch onderzoek. Maar, correspondentie studies van rassendiscriminatie in twijfel getrokken, omdat namen in potentie veel dingen signaleren in aanvulling op de race van de aanvrager. Dat wil zeggen, namen als Greg, Emily, Lakisha en Jamal kunnen sociale klasse signaleren in aanvulling om te racen. Zo zou elk verschil in behandeling voor cv's van Greg en Jamal te wijten zijn aan meer dan veronderstelde raciale verschillen van de aanvragers. Audit studies, aan de andere kant, omvatten het inhuren van acteurs van verschillende rassen toe te passen in eigen persoon voor de werkgelegenheid. Hoewel controle studies een duidelijk signaal van aanvraagster ras, ze zijn erg duur per waarneming, waardoor ze meestal alleen honderden observaties.

In hun digitale veldexperiment, Doléac en Stein waren in staat om een ​​aantrekkelijk hybride te creëren. Ze waren in staat om gegevens te verzamelen tegen relatief lage kosten per observatie-resulterend in duizenden waarnemingen (zoals in een correspondentie studie) -en ze in staat waren om te racen signaal met behulp van foto-wat resulteert in een duidelijk signaal uncounfounded van ras (zoals bij een controle onderzoek ). Zo is de online-omgeving maakt soms onderzoekers om nieuwe behandelingen die eigenschappen die moeilijk anders te bouwen zijn, hebben te maken.

De iPod advertenties van Doléac en Stein gevarieerd langs drie belangrijke dimensies. Ten eerste, varieerden ze de kenmerken van de verkoper, die werd gesignaleerd door de hand gefotografeerd met de iPod [wit, zwart, wit met tattoo] (figuur 4.12). Ten tweede varieerden ze de vraagprijs [$ 90, $ 110, $ 130]. Ten derde, varieerden ze de kwaliteit van de advertentietekst [van hoge kwaliteit en lage kwaliteit (bijvoorbeeld, kapitalisatie fouten en spelin fouten)]. Zo, de auteurs hadden een 3 x 3 x 2 design, die in meer dan 300 lokale markten variërend van steden (bv, Kokomo, IN en North Platte, NE) tot mega-steden (bv, New York en Los Angeles) werd ingezet.

Figuur 4.12: Handen gebruikt in het experiment van Doleac and Stein (2013) . iPods werden verkocht door verkopers met verschillende eigenschappen om discriminatie in een online marktplaats te meten.

Gemiddeld over alle omstandigheden, de resultaten waren beter voor de witte verkoper dan de zwarte verkoper, met de getatoeëerde verkoper met tussentijdse resultaten. Zo ontving witte verkopers meer aanbiedingen en hadden een hogere uiteindelijke verkoopprijs. Naast deze gemiddelde effecten, Doléac en Stein schatte de heterogeniteit van effecten. Bijvoorbeeld, een voorspelling van eerdere theorie is dat discriminatie minder in markten die meer concurrerend zou zijn. Met behulp van het aantal aanbiedingen ontvangen als een proxy voor de concurrentie op de markt, de auteurs vinden dat zwarte verkopers inderdaad slechter aanbiedingen in markten ontvangen met een lage mate van concurrentie. Verder, door het vergelijken van de resultaten voor de advertenties met een hoge kwaliteit en lage kwaliteit tekst, Doléac en Stein vond dat ad kwaliteit heeft geen invloed op de ongunstige situatie van zwarte en getatoeëerde verkopers. Tot slot, gebruik te maken van het feit dat de advertenties in meer dan 300 markten werden geplaatst, de auteurs vinden dat zwarte verkopers zijn meer benadeeld in steden met hoge criminaliteit en hoge residentiële segregatie. Geen van deze resultaten geven ons een juist begrip van precies de reden waarom zwarte verkopers hadden slechtere resultaten, maar in combinatie met de resultaten van andere studies, kunnen ze beginnen te theorieën over de oorzaken van rassendiscriminatie in verschillende soorten van economische transacties.

Een ander voorbeeld dat het vermogen van onderzoekers om digitaal gebied experimenten in bestaande toont het onderzoek van Arnout van de Rijt en collega's (2014) van de sleutel tot succes. In veel aspecten van het leven, schijnbaar vergelijkbare mensen uiteindelijk met zeer verschillende uitkomsten. Een mogelijke verklaring voor dit patroon is dat kleine en in hoofdzaak willekeurig voordelen kunnen lock-in en groeien in de tijd, een proces dat onderzoekers noemen cumulatieve voordeel. Om te bepalen of de kleine aanvankelijke successen lock-in of verdwijnen, Van de Rijt en collega's (2014) intervenieerde in vier verschillende systemen schenken succes op willekeurig geselecteerde deelnemers, en vervolgens gemeten op de lange termijn gevolgen van deze willekeurige succes.

Meer in het bijzonder, van de Rijt en collega's 1) toegezegd geld om willekeurig geselecteerde projecten op kickstarter.com , een crowdfunding website; 2) positief gewaardeerd willekeurig geselecteerde beoordelingen op de website Epinions ; 3) gaf awards uit aan willekeurig gekozen bijdragen aan Wikipedia ; en 4) ondertekende willekeurig geselecteerde verzoekschriften over change.org . De onderzoekers vonden zeer vergelijkbare resultaten voor alle vier systemen: telkens deelnemers die willekeurig aantal vroege succes kregen daarna meer opeenvolgende slagen dan de anders volledig onderscheiden peers (figuur 4,13) hebben. Dat hetzelfde patroon in vele systemen verhoogt de externe validiteit van deze resultaten omdat de kans dat dit patroon een artefact van een bepaald systeem vermindert.

Figuur 4.13: effecten van willekeurig geschonken succes op lange termijn in vier verschillende sociale systemen. Arnout van de Rijt en collega's (2014) 1) toegezegd geld om willekeurig geselecteerde projecten op kickstarter.com , een crowdfunding website; 2) positief gewaardeerd willekeurig geselecteerde beoordelingen op de website Epinions ; 3) gaf awards uit aan willekeurig gekozen bijdragen aan Wikipedia ; en 4) ondertekende willekeurig geselecteerde verzoekschriften over change.org .

Samen vormen deze twee voorbeelden blijkt dat onderzoekers digitale veldexperimenten kan doen zonder de noodzaak om samen met bedrijven of de noodzaak om complexe digitale systemen te bouwen. Verder Tabel 4.2 biedt nog meer voorbeelden die het bereik van wat er mogelijk is wanneer de onderzoekers gebruik maken van de infrastructuur van de bestaande systemen voor de behandeling en / of maatregel uitkomsten leveren tonen. Deze experimenten zijn relatief goedkoop voor onderzoekers en ze bieden een hoge mate van realisme. Maar deze experimenten hebben onderzoekers beperkte controle over de deelnemers, behandelingen en resultaten te meten. Verder, voor experimenten die plaatsvinden in slechts één systeem, onderzoekers zorgen hoeft te zijn dat de effecten kunnen worden gedreven door het systeem-specifieke dynamiek (bijvoorbeeld de manier waarop Kickstarter gelederen projecten of de manier waarop change.org gelederen petities, voor meer informatie, zie de discussie over algoritmische verwarrende in hoofdstuk 2). Tot slot, toen de onderzoekers in te grijpen in het werken systemen, lastige ethische vragen ontstaan ​​over mogelijke schade aan de deelnemers, niet-deelnemers, en systemen. We zullen deze ethische kwestie in meer detail in hoofdstuk 6, en er is een uitstekende bespreking van hen in de appendix van Van de Rijt (2014) . De trade-offs die komen met het werken in een bestaand systeem zijn niet ideaal voor elk project, en om die reden sommige onderzoekers bouwen hun eigen experimenteel systeem, het onderwerp van de volgende sectie.