4.5.1.1 Anvendelse af eksisterende miljøer

Du kan køre eksperimenter inde eksisterende miljøer, ofte uden nogen kodning eller partnerskab.

Logistisk, den nemmeste måde at gøre digitale eksperimenter er at overlejre dit eksperiment på toppen af ​​et eksisterende miljø, så du kan køre en digital markforsøg. Disse eksperimenter kan køre på et rimeligt stort omfang og kræver ikke et partnerskab med en virksomhed eller omfattende softwareudvikling.

For eksempel, Jennifer Doleac og Luke Stein (2013) udnyttede en online markedsplads (f.eks Craigslist) til at køre et eksperiment, der målte racediskrimination. Doleac og Stein annonceret tusindvis af iPods, og ved systematisk at variere karakteristika sælger, de var i stand til at undersøge effekten af ​​race på økonomiske transaktioner. Endvidere Doleac og Stein brugte omfanget af deres eksperiment til at anslå, når effekten er større (heterogenitet behandling effekter) og tilbyde nogle ideer om, hvorfor effekten kan opstå (mekanismer).

Forud for studiet af Doleac og Stein, havde der været to tilgange til eksperimentelt måle diskrimination. I korrespondance undersøgelser forskere skaber genoptages af fiktive mennesker af forskellige racer og bruge disse CV'er til for eksempel søge forskellige jobs. Bertrand og Mullainathan s (2004) papir med mindeværdige titlen "Er Emily og Greg Mere beskæftigelsesegnede end Lakisha og Jamal? Et markforsøg Labor Market Diskrimination "er en vidunderlig illustration af en korrespondance undersøgelse. Korrespondance undersøgelser har relativt lav pris pr observation, som muliggør en enkelt forsker til at indsamle tusindvis af observationer i en typisk undersøgelse. Men har korrespondance undersøgelser af racediskrimination blevet afhørt, fordi navne potentielt signalere mange ting ud over den race af ansøgeren. Det vil sige, navne som Greg, Emily, Lakisha, og Jamal kan signalere social klasse i tillæg til race. Således kan nogen forskel i behandling for CV'er af Gregs og Jamals skyldes mere end formodede raceforskelle af ansøgerne. Audit undersøgelser, på den anden side, involverer ansætte skuespillere af forskellige racer til at henvende sig personligt til job. Selvom revision undersøgelser giver et klart signal om ansøger race, de er ekstremt dyre pr observation, hvilket betyder, at de typisk kun har hundredvis af observationer.

I deres digitale område eksperiment, Doleac og Stein var i stand til at skabe en attraktiv hybrid. De var i stand til at indsamle data til relativt lave omkostninger pr observation-resulterer i tusindvis af observationer (som i en korrespondance undersøgelse) -og de var i stand til at signalere sejladsen via fotografier-resulterer i en klar uncounfounded signal race (som ved en revision undersøgelse ). Således online-miljøet til tider giver forskere til at skabe nye behandlinger, som har egenskaber, der er svære at konstruere andet.

De iPod reklamer for Doleac og Stein varierede langs tre hoveddimensioner. Først, de varierede karakteristika sælger, som blev signaleret ved hånden fotograferet holder iPod [hvid, sort, hvid med tatovering] (Figur 4.12). For det andet, de varierede prisforlangende [$ 90, $ 110, $ 130]. For det tredje, de varierede kvaliteten af ​​annonceteksten [høj kvalitet og lav kvalitet (f.eks, kapitalisering fejl og spelin fejl)]. Således forfatterne havde en 3 X 3 X 2 design, som blev indsat over mere end 300 lokale markeder spænder fra byer (f.eks Kokomo, IN og North Platte, NE) til mega-byer (fx New York og Los Angeles).

Figur 4.12: Hands, der anvendes i forsøget med Doleac and Stein (2013) . iPods blev solgt af sælgere med forskellige karakteristika til at måle diskrimination i en online markedsplads.

Gennemsnit på tværs af alle forhold, resultaterne var bedre for det hvide sælger end den sorte sælger, med den tatoverede sælger har mellemresultater. For eksempel, hvide sælgere modtaget flere tilbud, og havde højere endelige salgspriser. Ud over disse gennemsnitlige effekter, Doleac og Stein anslået heterogenitet effekter. For eksempel er en forudsigelse fra tidligere teori er, at diskrimination ville være mindre på markeder, der er mere konkurrencedygtige. Brug af antallet bud modtaget som en proxy for konkurrence på markedet, fandt forfatterne, at sorte sælgere faktisk modtager værre tilbud i markeder med en lav grad af konkurrence. Endvidere ved at sammenligne resultaterne for de annoncer med høj kvalitet og lav kvalitet tekst, Doleac og Stein fandt, at annoncen kvalitet ikke påvirker den ulempe af sorte og tatoverede sælgere står over for. Endelig udnytter det faktum, at reklamer blev placeret i mere end 300 markeder, forfatterne finder, at sorte sælgere er mere udsatte i byer med høj kriminalitet og høj boligsegregation. Ingen af ​​disse resultater giver os en præcis forståelse af, præcis hvorfor sorte sælgere havde dårligere resultater, men, når de kombineres med resultaterne af andre undersøgelser, kan de begynde at informere teorier om årsagerne til racediskrimination i forskellige typer af økonomiske transaktioner.

Et andet eksempel, der viser forskernes evne til at gennemføre digitale markforsøg i eksisterende systemer er forskning Arnout van de Rijt og kolleger (2014) om nøglerne til succes. I mange aspekter af livet, tilsyneladende lignende mennesker ender med meget forskellige resultater. En mulig forklaring på dette mønster er, at små og i det væsentlige tilfældige-fordele kan lock-in og vokse med tiden, en proces, forskere kalder kumulative fordel. For at afgøre, om små indledende succeser lock-in eller forsvinde, van de Rijt og kolleger (2014) intervenerede i fire forskellige systemer skænke succes på tilfældigt udvalgte deltagere, og derefter målte de langsigtede virkninger af denne vilkårlige succes.

Mere specifikt van de Rijt og kolleger 1) pantsatte penge til tilfældigt udvalgte projekter om kickstarter.com , en crowdfunding hjemmeside; 2) positivt bedømt tilfældigt udvalgte anmeldelser på hjemmesiden Epinions ; 3) gav awards til tilfældigt udvalgte bidragsydere til Wikipedia ; og 4) underskrevet tilfældigt udvalgte andragender om change.org . Forskerne fandt meget lignende resultater på tværs af alle fire systemer: i hvert enkelt tilfælde, deltagere, der blev tilfældigt givet nogle tidlige succes gik på at få mere efterfølgende succes end deres ellers helt skelnes peers (Figur 4.13). Den omstændighed, at det samme mønster optrådt i mange systemer øger eksterne validitet af disse resultater, fordi det reducerer risikoen for, at dette mønster er en artefakt af et bestemt system.

Figur 4.13: Langsigtede virkninger af tilfældigt skænket succes i fire forskellige sociale systemer. Arnout van de Rijt og kolleger (2014) 1) lovede penge til tilfældigt udvalgte projekter om kickstarter.com , en crowdfunding hjemmeside; 2) positivt bedømt tilfældigt udvalgte anmeldelser på hjemmesiden Epinions ; 3) gav awards til tilfældigt udvalgte bidragsydere til Wikipedia ; og 4) underskrevet tilfældigt udvalgte andragender om change.org .

Tilsammen udgør disse to eksempler viser, at forskerne kan udføre digitale markforsøg uden behov for at partner med virksomheder eller behovet for at opbygge komplekse digitale systemer. Endvidere Tabel 4.2 giver endnu flere eksempler, der viser udvalget af, hvad der er muligt, når forskerne bruger infrastrukturen i eksisterende systemer til at levere behandling og / eller måle resultater. Disse eksperimenter er relativt billigt for forskere og de tilbyder en høj grad af realisme. Men disse forsøg tilbyde forskere begrænset kontrol over de deltagere, behandlinger og resultater, der skal måles. Endvidere til forsøg finder sted i kun ét system, forskerne nødt til at være bekymret for, at virkningerne kan være drevet af systemspecifikke dynamik (f.eks, den måde, at Kickstarter rangerer projekter eller den måde, at change.org rangerer andragender, for mere information, se diskussionen om algoritmiske confounding i kapitel 2). Endelig, når forskere gribe ind i arbejdsgrupper systemer, tricky etiske spørgsmål dukke op om mulig skade på deltagere, ikke-deltagere, og systemer. Vi vil overveje disse etiske spørgsmål nærmere i kapitel 6, og der er en fremragende diskussion af dem i tillægget til van de Rijt (2014) . De afvejninger, der kommer med at arbejde i et eksisterende system er ikke ideelt for hvert projekt, og derfor nogle forskere bygge deres egen eksperimentelle system, emnet for næste afsnit.