4.5.1 Uporabite obstoječa okolja

Lahko poskuse znotraj obstoječih okoljih, pogosto brez kodiranja ali partnerstvo.

Logično je, da je najlažji način za digitalni eksperiment preložiti vaš preizkus na obstoječe okolje. Take eksperimente je mogoče izvajati v razmeroma velikem obsegu in ne potrebujejo partnerstva z družbo ali obsežnim razvojem programske opreme.

Na primer, Jennifer Doleac in Luke Stein (2013) sta izkoristili spletno tržišče, podobno kot Craigslist, da bi lahko izvajali poskus, ki je izmeril rasno diskriminacijo. Oglaševali so na tisoče iPodov in sistematično spreminjali lastnosti prodajalca, so lahko preučevali učinek dirke na gospodarske transakcije. Poleg tega so uporabili obseg svojega eksperimenta, da bi ocenili, kdaj je bil učinek večji (heterogenost učinkov zdravljenja) in ponuditi nekaj idej o tem, zakaj se lahko učinek pojavlja (mehanizmi).

Doleac in Steinovi iPod oglasi so se razlikovali po treh glavnih dimenzijah. Prvič, raziskovalci so spreminjali značilnosti prodajalca, kar je signalizirala roka, fotografirana z iPodom [bela, črna, bela s tatoo] (slika 4.13). Drugič, spremenili so zahtevano ceno [90, 110, 130]. Tretjič, spreminjali so kakovost besedila oglasa [visokokakovostne in nizke kakovosti (npr. CApitalizacijske napake in napake v spelinu)]. Tako so imeli avtorji 3 \(\times\) 3 \(\times\) 2 design, ki je bil razporejen na več kot 300 lokalnih trgov, od mest (npr. Kokomo, Indiana in North Platte, Nebraska) mest (npr. v New Yorku in Los Angelesu).

Slika 4.13: Roke, uporabljene v poskusu Doleac and Stein (2013) . Prodajalce iPod z različnimi značilnostmi so prodajali za merjenje diskriminacije na spletnem trgu. Reprodukcija z dovoljenjem Doleac and Stein (2013) , slika 1.

V vseh pogojih so bili rezultati boljši za bele prodajalce kot za črne prodajalce, pri čemer imajo tatooirani prodajalci vmesne rezultate. Na primer, beli prodajalci so prejeli več ponudb in imeli višje končne prodajne cene. Poleg teh povprečnih učinkov sta Doleac in Stein ocenila heterogenost učinkov. Na primer, ena napoved prejšnje teorije je, da bi bila diskriminacija na trgih, kjer je več konkurence med kupci, manj. Raziskovalci so s pomočjo števila ponudb na tem trgu kot merila količine kupčeve konkurence ugotovili, da imajo črni prodajalci dejansko slabše ponudbe na trgih z nizko stopnjo konkurence. Nadalje, s primerjavo rezultatov za oglase z visokokakovostnim in nizko kakovostnim besedilom, sta Doleac in Stein ugotovila, da kakovost oglasov ni vplivala na pomanjkljivost, s katero se soočajo črni in tetovirani prodajalci. Nazadnje, ob uporabi dejstva, da so bili oglasi objavljeni na več kot 300 trgih, so avtorji ugotovili, da so bili v mestih z visokimi stopnjami kaznivih dejanj in visoko ločitvijo prebivalstva v slabšem položaju črni prodajalci. Nobeden od teh rezultatov nam ne daje natančnega razumevanja, zakaj so imeli črn prodajalci slabše rezultate, vendar lahko v kombinaciji z rezultati drugih študij začnejo seznaniti teorije o vzrokih rasne diskriminacije pri različnih vrstah gospodarskih transakcij.

Še en primer, ki kaže na sposobnost raziskovalcev, da izvajajo digitalne eksperimente v obstoječih sistemih, je raziskava Arnout van de Rijta in kolegov (2014) o ključih za uspeh. Na mnogih vidikih življenja na videz podobne ljudi končajo z zelo različnimi izidi. Ena možna razlaga za ta vzorec je, da se majhne in bistveno naključne prednosti lahko zaklenejo in sčasoma razvijajo, proces, ki ga raziskovalci imenujejo kumulativne prednosti . Van de Rijt in sodelavci (2014) intervenirali v štirih različnih sistemih, ki so naključno izbirali udeležence, in nato izmerili posledične posledice tega samovoljnega uspeha, da bi ugotovili, ali se majhni začetni uspehi zaklanjajo ali izginejo.

Natančneje, van de Rijt in kolegi (1) so zastavili denar za naključno izbrane projekte na spletni strani Kickstarter, (2) pozitivno oceni naključno izbrane preglede na Epinions, spletno stran za pregledovanje; (3) podelil nagrade naključno izbranim sodelavcem v Wikipediji; in (4) podpisane naključno izbrane peticije na change.org. Ugotovili so zelo podobne rezultate v vseh štirih sistemih: v vsakem primeru so udeleženci, ki so naključno dobili nekaj zgodnjih uspehov, imeli več kasnejšega uspeha kot njihovi popolnoma drugačni neločljivo povezani vrstniki (slika 4.14). Dejstvo, da se v mnogih sistemih pojavlja isti vzorec, poveča zunanjo veljavnost teh rezultatov, saj zmanjšuje možnost, da je ta vzorec umetno telo katerega koli določenega sistema.

Slika 4.14: Dolgoročni učinki naključno dodeljenega uspeha v štirih različnih družbenih sistemih. Arnout van de Rijt in kolegi (2014) (1) so zastavili denar za naključno izbrane projekte na spletni strani Kickstarter; (2) pozitivno oceni naključno izbrane preglede na Epinions, spletno stran za pregledovanje; (3) podelil nagrade naključno izbranim sodelavcem v Wikipediji; in (4) podpisane naključno izbrane peticije na change.org. Prilagojeno od Rijt et al. (2014) , slika 2.

Skupaj ti dve primeri kažejo, da lahko raziskovalci izvajajo digitalne poljske poskuse brez potrebe po partnerstvu s podjetji ali gradnji zapletenih digitalnih sistemov. Nadalje tabela 4.2 vsebuje še več primerov, ki kažejo obseg mogočega, kadar raziskovalci uporabljajo infrastrukturo obstoječih sistemov za zagotavljanje zdravljenja in / ali merjenja rezultatov. Ti poskusi so relativno poceni za raziskovalce in nudijo visoko stopnjo realizma. Vendar pa raziskovalcem ponujajo omejen nadzor nad udeleženci, zdravljenjem in rezultatom. Poleg tega je treba pri eksperimentih, ki potekajo v samo enem sistemu, skrbeti, da bi lahko učinke vplivale na sistemsko specifično dinamiko (npr. Na način, na katerega Kickstarter uvršča projekte ali na način, na katerega sprememba.org uvršča peticije, glej razpravo o algoritemskem zbiranju v poglavju 2). Nazadnje, ko raziskovalci posežejo v delovne sisteme, nastanejo nejasna etična vprašanja o morebitni škodi udeležencem, nečlanicam in sistemom. To etično vprašanje bomo podrobneje preučili v 6. poglavju, v njej pa je v prilogi van de Rijt et al. (2014) . Kompromisi, ki prihajajo z delom v obstoječem sistemu, niso idealni za vsak projekt, zato nekateri raziskovalci gradijo lasten eksperimentalni sistem, kot bom prikazal naslednji.