4.5.1 A meglévő környezetek használata

Kísérletek futtatásával belül meglévő környezetbe, gyakran anélkül, hogy bármilyen kódoló vagy partnerség.

Logikailag a digitális kísérlet legegyszerűbb módja a kísérlet felülbírálása a meglévő környezet tetején. Az ilyen kísérleteket ésszerűen nagy léptékben lehet működtetni, és nem igényelnek partnerséget egy céggel vagy kiterjedt szoftverfejlesztéssel.

Például Jennifer Doleac és Luke Stein (2013) kihasználta a Craigslisthez hasonló online piacot, hogy futtasson egy olyan kísérletet, amely a faji megkülönböztetést mérte. Az iPodok ezreit reklámozták, és rendszeresen megváltoztatták az eladó jellemzőit, képesek voltak megvizsgálni a verseny hatását a gazdasági tranzakciókra. Továbbá kísérletük skáláját alkalmazták annak becsléséhez, hogy a hatás nagyobb volt (a kezelés hatásainak heterogenitása), és felajánlotta néhány elképzelést arról, hogy miért fordulhat elő a hatás (mechanizmusok).

A Doleac és a Stein iPod hirdetései három fő dimenzió mentén változtak. Először is, a kutatók megváltoztatták az eladó jellemzőit, amelyet az iPodot tartalmazó fehér fénykép, fehér, fekete, fehér tetoválással fényképezett kézzel jelzett (4.13. Ábra). Másodszor, megváltoztatták a kért árat [$ 90, $ 110, $ 130]. Harmadszor, megváltoztatták a hirdetés szövegének minőségét [magas színvonalú és rossz minőségű (pl. CApitalizációs hibák és játékhibák)]. Így a szerzők 3 \(\times\) 3 \(\times\) 2 formátumúak voltak, amelyeket több mint 300 helyi piacon telepítettek a városoktól (pl. Kokomo, Indiana és North Platte, Nebraska) városok (pl. New York és Los Angeles).

4.13. Ábra: A Doleac and Stein (2013) kísérletében használt kezek Doleac and Stein (2013) . Az iPod-okat különböző jellemzőkkel rendelkező eladók értékesítették az online piactéren alapuló megkülönböztetés mérésére. Reprodukált a Doleac and Stein (2013) , 1. ábra.

Átlagosan minden körülmények között a fehér eladóknál jobb eredményt értek el, mint a fekete eladók, a tetovált eladók köztes eredményekkel. Például a fehér eladók több ajánlatot kaptak, és magasabb végső eladási árakkal rendelkeztek. Ezen átlaghatásokon túl Doleac és Stein becslése szerint a hatások heterogenitását. Például egy korábbi elméletből származó előrejelzés az, hogy a diszkrimináció kevésbé lenne olyan piacokon, ahol nagyobb a verseny a vásárlók között. A vevői versenytársak által kínált ajánlatok számának felhasználásával a kutatók úgy találták, hogy a fekete eladók valójában rosszabb ajánlatokat kaptak alacsony versenyfeltételű piacokon. Továbbá, a kiváló minőségű és alacsony minőségű szövegekkel rendelkező hirdetések eredményeinek összehasonlításával a Doleac és Stein megállapította, hogy a hirdetés minősége nem befolyásolja a fekete és tetovált eladók hátrányát. Végül, kihasználva azt a tényt, hogy a reklámokat több mint 300 piacon helyezték el, a szerzők azt találták, hogy a fekete eladók hátrányosabb helyzetben vannak a nagy bűnözési arányú városokban és a magas lakossági szegregációban. Ezen eredmények egyike sem ad pontos megértést arról, hogy a fekete eladók miért voltak rosszabb kimenetelűek, de más tanulmányok eredményével kombinálva elkezdhetik a faji megkülönböztetés okairól szóló elméletek megismertetését különböző típusú gazdasági tranzakciókban.

Egy másik példa, amely bemutatja a kutatók azon képességét, hogy a meglévő rendszerekben digitális helyszíni kísérleteket végezzenek, Arnout van de Rijt és munkatársai (2014) kutatása a siker kulcsairól. Az élet számos aspektusában a látszólag hasonló emberek nagyon különböző kimenetelűek. Ennek a modellnek az egyik lehetséges magyarázata az, hogy a kis és alapvetően véletlenszerű előnyök idővel beakadhatnak és növekedhetnek, ami a kutatók halmozott előnyt jelent . Annak eldöntéséhez, hogy a kis kezdeti sikerek lezárultak-e vagy elhalványodtak-e, van de Rijt és munkatársai (2014) négy különböző rendszerben vettek részt, amelyek véletlenszerűen kiválasztott résztvevők sikerét (2014) , majd mérlegelték ennek az önkényes sikernek az utóbbit.

Pontosabban, van de Rijt és munkatársai (1) pénzeket vállalt a véletlenszerűen kiválasztott projektekhez a Kickstarter, a crowdfunding weboldalon; (2) pozitívan értékelt véletlenszerűen kiválasztott vélemények az Epinions-ről, a termék felülvizsgálati weboldaláról; (3) díjat adott a véletlenszerűen kiválasztott Wikipédia-közreműködőknek; és (4) aláírták a véletlenszerűen kiválasztott petíciókat a change.org oldalon. Nagyon hasonló eredményeket találtak mind a négy rendszeren: minden egyes esetben a véletlenszerűen adott korai sikerre vitt résztvevők további sikereket értek el, mint az egyébként teljesen megkülönböztethetetlen társaik (4.14. Ábra). Az a tény, hogy ugyanaz a minta megjelenik számos rendszerben, növeli ezen eredmények külső érvényességét, mivel csökkenti azt a lehetőséget, hogy ez a minta bármely rendszermunka tárgya.

4.14 ábra: A véletlenszerűen elnyert siker hosszú távú hatása négy különböző társadalmi rendszerben. Arnout van de Rijt és munkatársai (2014) (1) pénzeket ígértek a véletlenszerűen kiválasztott projektekhez a Kickstarter-en, a crowdfunding weboldalon; (2) pozitívan értékelt véletlenszerűen kiválasztott vélemények az Epinions-ről, a termék felülvizsgálati weboldaláról; (3) díjat adott a véletlenszerűen kiválasztott Wikipédia-közreműködőknek; és (4) aláírták a véletlenszerűen kiválasztott petíciókat a change.org oldalon. Adaptált Rijt et al. (2014) , 2. ábra.

Ez a két példa együttesen azt mutatja, hogy a kutatók képesek digitális helyszíni kísérleteket végezni anélkül, hogy partnerkapcsolatot igényelnének, vagy komplex digitális rendszereket kellene építeniük. Továbbá, a 4.2. Táblázat további példákat mutat be, amelyek azt mutatják, hogy milyen lehetőségek állnak rendelkezésre a kutatók számára a meglévő rendszerek infrastruktúráján a kezelés és / vagy az eredmények mérése céljából. Ezek a kísérletek viszonylag olcsóak a kutatók számára, és nagyfokú realizmust kínálnak. De a kutatók számára korlátozott ellenőrzést biztosítanak a résztvevők, a kezelések és a mérések eredményei alapján. Továbbá a csak egy rendszerben zajló kísérletekben a kutatóknak aggályosnak kell lenniük, hogy a hatásokat a rendszerspecifikus dinamika vezérli (pl. A Kickstarter a projektek sorrendjében, vagy ahogyan a change.org rangsorolja a petíciókat, lásd a 2. fejezetben az algoritmikus zavarokról szóló beszélgetést). Végül, amikor a kutatók beavatkoznak a munkakörülményekbe, trükkös etikai kérdések merülnek fel a résztvevők, a nem résztvevők és a rendszerek esetleges káros hatásaival kapcsolatban. Ezeket az etikai kérdéseket részletesebben a 6. fejezetben fogjuk megvizsgálni, és kiválóan tárgyaljuk őket a van de Rijt et al. (2014) . A meglévő rendszerben dolgozó kompromisszumok nem minden projekthez ideálisak, ezért egyes kutatók saját kísérleti rendszert építenek fel, amint azt a következő bemutatom.