4.5.1 Koristite postojeće okruženje

Možete izvoditi eksperimente unutar postojećih okruženja, često bez kodiranja ili partnerstva.

Logično, najlakši način za napraviti digitalni eksperiment jest pokrivanje eksperimenta na vrhu postojećeg okruženja. Takvi eksperimenti mogu se izvoditi u razumnoj mjeri i ne zahtijevaju partnerstvo s tvrtkom ili opsežnim razvojem softvera.

Na primjer, Jennifer Doleac i Luke Stein (2013) iskoristili su on-line tržište slično Craigslistu kako bi pokrenuli eksperiment koji je mjerio rasnu diskriminaciju. Reklamirali su tisuće iPoda i sustavnim promjenama karakteristika prodavača, mogli su proučiti učinak utrke na gospodarske transakcije. Nadalje, koristili su mjeru eksperimenta kako bi se procijenilo kada je učinak bio veći (heterogenost učinaka liječenja) i ponuditi neke ideje o tome zašto bi učinak mogao nastupiti (mehanizmi).

IPod oglasi Doleaca i Steina promijenili su se u tri glavne dimenzije. Prvo, istraživači su varirali karakteristike prodavača, što je signalizirala ruka fotografirana držeći iPod (bijela, crna, bijela s tetovažom) (slika 4.13). Drugo, varirao je početnu cijenu [$ 90, $ 110, $ 130]. Treće, varirao je kvalitetu teksta oglasa [visoke kvalitete i niske kvalitete (npr. CApitalizacija i pogreške u igri)]. Tako su autori imali 3 \(\times\) 3 \(\times\) 2 dizajn koji je bio raspoređen na više od 300 lokalnih tržišta, od gradova (npr. Kokomo, Indiana i North Platte, Nebraska) do mega- gradova (npr. u New Yorku i Los Angelesu).

Slika 4.13: Ruke korištene u eksperimentu Doleac and Stein (2013) . Prodavači prodavali iPod s različitim karakteristikama za mjerenje diskriminacije na mrežnom tržištu. Reprodukirano dopuštenjem Doleac and Stein (2013) , slika 1.

Obzirom na sve uvjete, rezultati su bili bolji za bijele prodavače od crnih prodavača, a tetovirane prodavači imali su srednje rezultate. Na primjer, bijeli prodavači primili su više ponuda i imali su veće konačne cijene prodaje. Osim tih prosječnih učinaka, Doleac i Stein procjenjuju heterogenost učinaka. Na primjer, jedna predviđanja iz ranijih teorija jest da bi diskriminacija bila manje na tržištima gdje postoji veća konkurencija između kupaca. Korištenjem broja ponuda na tom tržištu kao mjerenoj količini konkurencije kupaca, istraživači su otkrili da crni prodavači zaista primaju lošije ponude na tržištima s niskim stupnjem konkurencije. Nadalje, uspoređujući ishode oglasa s visokokvalitetnim i niskokvalitetnim tekstom, Doleac i Stein ustanovili su da kvaliteta oglasa nije utjecao na nedostatak s kojima se suočavaju crni i tetovirani prodavači. Konačno, iskorištavajući činjenicu da su reklame postavljene na više od 300 tržišta, autori su otkrili da su crni prodavači bili manje nepovoljni u gradovima s visokim stopama kriminala i visokom segregacijom stanovanja. Niti jedan od tih rezultata ne daje precizno razumijevanje zašto crni prodavači imaju lošije rezultate, ali, u kombinaciji s rezultatima drugih istraživanja, mogu početi informirati teorije o uzrocima rasne diskriminacije u različitim vrstama gospodarskih transakcija.

Drugi primjer koji pokazuje sposobnost istraživača da provedu eksperimente na digitalnim poljima u postojećim sustavima je istraživanje Arnout van de Rijt i kolege (2014) o ključevima uspjeha. U mnogim aspektima života, naizgled slični ljudi završavaju s vrlo različitim ishodima. Jedno moguće objašnjenje za ovaj obrazac je da se male i bitno slučajne prednosti mogu zaključati i rasti tijekom vremena, proces koji istraživači nazivaju kumulativnom prednošću . Da bi se utvrdilo jesu li male početne uspjehe zaključane ili nestale, van de Rijt i njegovi kolege (2014) intervenirali su u četiri različita sustava koji su donijeli uspjeh na slučajno odabranim sudionicima, a zatim izmjerili naknadne učinke tog proizvoljnog uspjeha.

Konkretnije, van de Rijt i njegovi kolege (1) obećali su novac slučajno odabranim projektima na Kickstarteru, web mjestu za financiranje turizma; (2) pozitivno ocijenjene nasumično odabrane recenzije na stranici Epinions, web stranica za pregled proizvoda; (3) dodijelio je nagrade za slučajno odabrane suradnike na Wikipediju; i (4) potpisali slučajno odabrane peticije na change.org. Pronašli su vrlo slične rezultate u sva četiri sustava: u svakom slučaju, sudionici koji su slučajno davali neke rane uspjehe, imali su više uspjeha od njihovih inače potpuno neodgovornih vršnjaka (slika 4.14). Činjenica da se isti obrazac pojavljuje u mnogim sustavima povećava vanjsku valjanost tih rezultata jer smanjuje vjerojatnost da je ovaj uzorak artefakt bilo kojeg određenog sustava.

Slika 4.14: Dugoročni učinci nasumično uspješnog uspjeha u četiri različita društvena sustava. Arnout van de Rijt i njegovi kolege (2014) (1) obećali su novac slučajnim odabirom projekata na Kickstarteru, web stranici crowdfundinga; (2) pozitivno ocijenjene nasumično odabrane recenzije na stranici Epinions, web stranica za pregled proizvoda; (3) dodijelio je nagrade za slučajno odabrane suradnike na Wikipediju; i (4) potpisali slučajno odabrane peticije na change.org. Prilagođeno iz Rijt et al. (2014) , slika 2.

Zajedno, ova dva primjera pokazuju da istraživači mogu provoditi eksperimente na digitalnom polju bez potrebe za partnerima s tvrtkama ili izgradnjom složenih digitalnih sustava. Nadalje, tablica 4.2 daje još više primjera koji pokazuju raspon onoga što je moguće kada istraživači koriste infrastrukturu postojećih sustava za isporuku i / ili mjerenje ishoda. Ovi su pokusi relativno jeftini za istraživače i nude visoku razinu realizma. Ali oni nude istraživačima ograničenu kontrolu nad sudionicima, tretmanima i rezultatima koje treba izmjeriti. Nadalje, za eksperimente koji se odvijaju u samo jednom sustavu, istraživači trebaju biti zabrinuti da efekti mogu biti potaknuti dinamikom specifičnim za sustav (npr. Način na koji Kickstarter rangira projekte ili način na koji change.org rangira peticije, za više informacija, pogledajte raspravu o algoritamskom zbacivanju u poglavlju 2). Konačno, kada istraživači sudjeluju u radnim sustavima, pojavljuju se lukavna etička pitanja o mogućoj šteti sudionicima, ne sudionicima i sustavima. Ovo etičko pitanje ćemo detaljnije razmotriti u 6. poglavlju, a njihova je izvrsna rasprava u dodatku van de Rijt i sur. (2014) . Trgovine koje dolaze s radom u postojećem sustavu nisu idealne za svaki projekt, pa zbog toga neki istraživači grade svoj vlastiti eksperimentalni sustav, kao što ću ilustrirati sljedeći.