Võite käitada katseid sees olemasolevad keskkondades, sageli ilma kodeerimine või partnerlus.
Logistiliselt on digitaalse katse tegemise lihtsaim viis katset kattuda olemasoleva keskkonna peal. Selliseid eksperimente saab kasutada suures ulatuses ega nõua partnerlust ettevõtte või ulatusliku tarkvaraarendusega.
Näiteks kasutasid Jennifer Doleac ja Luke Stein (2013) Craigslistissa sarnast veebipõhist turgu, et katsetada rassilist diskrimineerimist. Nad reklaamisid tuhandeid iPodisid ja müüja omaduste süstemaatiline muutmine võimaldas neil uurida võistluste mõju majandustehingutele. Lisaks kasutasid nad oma katse ulatust, et hinnata, millal mõju oli suurem (ravitulemuste heterogeensus) ja pakkuda mõningaid mõtteid selle kohta, miks mõju võib toimuda (mehhanismid).
Doleaci ja Steini iPodi reklaamid varieerusid kolm peamist mõõdet. Esiteks, teadlased varieerusid müüja omadusi, millest oli märku andnud fotot saanud iPodi hoidmine [valge, must, valge tätoveeringuga] (joonis 4.13). Teiseks varieerusid need küsitava hinnaga [$ 90, $ 110, $ 130]. Kolmandaks muutusid nad reklaami teksti kvaliteeti [kvaliteetne ja madala kvaliteediga (nt cPaltimise vigu ja spelinivigu)]. Seega oli autoritel 3 \(\times\) 3 \(\times\) 2 disain, mis kasutati rohkem kui 300 kohalikul turul, ulatudes linnadest (nt Kokomo, Indiana ja North Platte, Nebraska) kuni mega- linnad (nt New York ja Los Angeles).
Keskmiselt kõigis tingimustes olid tulemused valgete müüjate jaoks paremad kui mustad müüjad, kusjuures tätoveeritud müüjad said vahepealseid tulemusi. Näiteks võtsid valge müüjad rohkem pakkumisi ja olid kõrgemad müügihinnad. Nende keskmiste mõjude kõrval hindas Doleac ja Stein toimete heterogeensust. Näiteks varasema teooria ühe prognoosiga on see, et turgudel, kus ostjate vahel on rohkem konkurentsi, oleks diskrimineerimine vähem. Uurijad leidsid, et kasutades mitu pakkumist sellel turul kui ostjate konkurentsi suurust, leidsid musta müüjad tõepoolest halvema pakkumise madala konkurentsi tingimustes turgudel. Lisaks sellele leidsid Doleac ja Stein, et võrdlesid tulemusi kvaliteetsete ja madala kvaliteediga tekstiga reklaamide jaoks, et reklaamikvaliteet ei mõjutanud ebasoodsat olukorda, millega silmitsi seisavad mustad ja tätoveeritud müüjad. Lõpuks leidsid autorid, et ärakasutades asjaolu, et reklaamid paigutati rohkem kui 300 turule, musta müüjad ebasoodsamas olukorras linnades, kus on suur kuritegevuse tase ja kõrge eraisiku segregatsioon. Ükski neist tulemustest ei anna meile täpseid teadmisi täpselt, miks musta müüjad olid halvemaid tulemusi, kuid teiste uurimuste tulemustega kombineeritult võivad nad hakata informeerima teooriat rassilise diskrimineerimise põhjuste kohta eri liiki majandustehingutes.
Teine näide, mis näitab teadlaste võimekust digitaalsete katsete tegemisel olemasolevates süsteemides, on Arnout van de Rijti ja tema kolleegide (2014) uurimus edu võtmete kohta. Paljudel eluasemetel näivad näiliselt sarnased inimesed väga erinevad tulemused. Selle mustri üheks võimalikuks seletuseks on see, et väikesed ja sisuliselt juhuslikud eelised võivad aja jooksul lukustada ja kasvada, protsessi, mida teadlased nimetavad kumulatiivseks eeliseks . Van De Rijti ja tema kolleegide (2014) et teha kindlaks, kas väikesed esialgsed õnnestumised lukustuvad või hajuvad, sekkusid neli erinevat süsteemi, mis andsid juhuslikult valitud osalejatele edu, ja seejärel mõõdeti selle meelevaldse edu järgnevaid mõjusid.
Täpsemalt öeldes, van de Rijt ja tema kolleegid (1) pandasid raha juhuslikult valitud projektidele Kickstarteris, rahvaloenduse veebisaidil; (2) positiivselt hinnatud juhuslikult valitud kommentaare Epinions, toota ülevaate veebileht; (3) andis auhindu juhuslikult valitud Wikipedia antavatele panustajatele; ja (4) allkirjastatud juhuslikult valitud petitsioonid saidil change.org. Nad leidsid väga sarnaseid tulemusi kõigis neljas süsteemis: igal juhtumil osalenud osalejad said edukamalt edasi kui nende muul kujul ebaselgeid eakaaslasi (joonis 4.14). Asjaolu, et sama muster ilmnes paljudes süsteemides, suurendab nende tulemuste välist usaldusväärsust, kuna see vähendab võimalust, et see muster on konkreetse süsteemi artefakt.
Need kaks näidet koos näitavad, et teadlased võivad läbi viia digitaalsete katsete läbiviimist, ilma et oleks vaja partneritega ettevõtetel luua keerukaid digitaalseid süsteeme. Lisaks on tabelis 4.2 esitatud veelgi rohkem näiteid, mis näitavad, milline on võimalik, kui teadlased kasutavad olemasolevate süsteemide infrastruktuuri ravi andmiseks ja / või tulemuste mõõtmiseks. Need katsed on teadlaste jaoks suhteliselt odavad ja pakuvad reaalsust. Kuid nad pakuvad teadlastele piiratud kontrolli osalejate, raviviiside ja mõõdetavate tulemuste üle. Peale selle, et katsete puhul, mis toimuvad ainult ühes süsteemis, peavad teadlased muretsema, et mõju võiks juhtida süsteemi spetsiifilise dünaamika (nt kuidas Kickstarter ajastab projekte või kuidas petitsioonid muudavad change.org; rohkem teavet, vt 2. peatükis olevat algoritmilist segadust käsitlevat arutelu). Lõpuks, kui teadlased sekkuvad töösüsteemidesse, ilmnevad ebasoodsad eetilised küsimused võimaliku kahju kohta osalejatele, osalejatele ja süsteemidele. Me käsitleme neid eetikaküsimusi üksikasjalikumalt peatükis 6 ja nende kohta on suurepärane arutelu van de Rijti jt lisas. (2014) . Kompromissid, mis töötavad olemasolevas süsteemis, ei ole ideaalsed iga projekti jaoks ja sellepärast töötavad mõned teadlased oma katsesüsteemi, nagu ma järgnevalt illustreerin.
Teema | Viited |
---|---|
Barnstarsi mõju Wikipediasse tehtavatele panustele | Restivo and Rijt (2012) ; Restivo and Rijt (2014) ; Rijt et al. (2014) |
Aktiivse sõnumi mõju rassistlikele tweetsidele | Munger (2016) |
Enampakkumise meetodi mõju müügihinnale | Lucking-Reiley (1999) |
Reklaamide mõju hinnale online-oksjonitel | Resnick et al. (2006) |
Müüja rassi mõju eBay'i pesapallikaartide müügile | Ayres, Banaji, and Jolls (2015) |
Müüja rassi mõju iPodide müügile | Doleac and Stein (2013) |
Külalisi rassi mõju Airbnb üüridele | Edelman, Luca, and Svirsky (2016) |
Annetuste mõju Kickstarteri projektide edukusele | Rijt et al. (2014) |
Rassi ja etnilise päritolu mõju eluaseme üüridele | Hogan and Berry (2011) |
Positiivse reitingu mõju tulevastele reitingutele Epinions'is | Rijt et al. (2014) |
Allkirjade mõju avalduste edule | Vaillant et al. (2015) ; Rijt et al. (2014) ; Rijt et al. (2016) |