4.5.1 Použitie existujúcich prostredí

Môžete vykonávať experimenty vnútri existujúcich prostredí, často bez kódovania alebo partnerstva.

Logisticky najjednoduchší spôsob, ako vykonať digitálny experiment, je prekrytie experimentu nad existujúce prostredie. Takéto experimenty môžu byť spustené v primerane veľkom rozsahu a nevyžadujú partnerstvo so spoločnosťou alebo rozsiahly vývoj softvéru.

Napríklad Jennifer Doleac a Luke Stein (2013) využili online trhovisko podobné Craigslistu, aby mohli experimentovať s meraním rasovej diskriminácie. Propagovali tisíce iPodov a systematicky menili vlastnosti predávajúceho, dokázali študovať vplyv rastu na ekonomické transakcie. Ďalej použili rozsah svojho experimentu, aby odhadli, kedy bol účinok väčší (heterogenita účinkov liečby), a ponúknuť niekoľko nápadov, prečo by sa tento účinok mohol vyskytnúť (mechanizmy).

Doleacová a Steinova reklama pre iPod sa líšili v troch hlavných rozmeroch. Po prvé, výskumníci menili charakteristiky predávajúceho, čo bolo signalizované ručnou fotografiou, ktorá držala iPod [biela, čierna, biela s tetovaním] (obrázok 4.13). Po druhé, menili požadovanú cenu [90 dolárov, 110 dolárov, 130 dolárov]. Po tretie, menili kvalitu reklamného textu [vysokokvalitné a nekvalitné (napr. Chyby cApitalization a špelínové chyby)]. To znamená, že autori mal 3 \(\times\) 3 \(\times\) 2 dizajn, ktorý bol nasadený vo viac ako 300 miestnych trhoch, a to od miest (napr Kokomo, Indiana a Severná Platte, Nebraska) do mega- mestá (napr. New York a Los Angeles).

Obrázok 4.13: Ruky používané v experimente Doleac and Stein (2013) . iPody boli predávané predajcami s rôznymi charakteristikami na meranie diskriminácie na on-line trhovom trhu. Reprodukcia na základe povolenia spoločnosti Doleac and Stein (2013) , obrázok 1.

Pri všetkých podmienkach boli výsledkom lepšie pre bielych predajcov ako pre čiernych predajcov, s tetovanými predajcami s medzivýsledkami. Napríklad bieli predajcovia dostali viac ponúk a mali vyššie konečné predajné ceny. Okrem týchto priemerných účinkov Doleac a Stein odhadli heterogenitu účinkov. Napríklad jedna predikcia z predchádzajúcej teórie je, že diskriminácia by bola menej na trhoch, kde existuje väčšia konkurencia medzi kupujúcimi. Použitím počtu ponúk na tomto trhu ako miery objemu konkurencie medzi kupujúcimi výskumníci zistili, že čierni predajcovia skutočne dostali horšie ponuky na trhoch s nízkou úrovňou hospodárskej súťaže. Ďalej porovnávaním výsledkov pre reklamy s vysoko kvalitným a nekvalitným textom zistili Doleac a Stein, že kvalita reklám nemá vplyv na nevýhodu, ktorej čelia čierni a tetovaní predajcovia. Nakoniec, využívajúc skutočnosť, že inzercia bola umiestnená na viac ako 300 trhoch, autori zistili, že čierni predajcovia boli znevýhodnení v mestách s vysokou kriminalitou a vysokou segregáciou v obytných štvrtiach. Žiaden z týchto výsledkov nevedie k presnému pochopeniu toho, prečo čierni predajcovia majú horšie výsledky, ale v kombinácii s výsledkami iných štúdií môžu začať informovať o príčinách rasovej diskriminácie v rôznych typoch ekonomických transakcií.

Ďalším príkladom, ktorý dokazuje schopnosť výskumných pracovníkov uskutočňovať experimenty s digitálnymi poľami v existujúcich systémoch, je výskum Arnout van de Rijta a kolegov (2014) o kľúči k úspechu. V mnohých aspektoch života, zdanlivo podobní ľudia skončia s veľmi odlišnými výsledkami. Jedným z možných vysvetlení tohto modelu je, že malé a v podstate náhodné výhody môžu zablokovať a rásť v priebehu času, proces, ktorý výskumníci nazývajú kumulatívnou výhodou . S cieľom určiť, či malý počiatočný úspech zamknúť alebo zmiznúť, van de Rijt a kolegovia (2014) zasiahli do štyroch rôznych systémov, ktoré udeľovali úspech náhodne vybraným účastníkom, a potom merali následné vplyvy tohto svojvoľného úspechu.

Konkrétnejšie, van de Rijt a kolegovia (1) prisľúbili peniaze na náhodne vybrané projekty na internetovej stránke Kickstarter, (2) pozitívne hodnotené náhodne vybrané recenzie na stránkach spoločnosti Epinions, webovej stránky na kontrolu produkcie; (3) udelili ocenenia náhodne vybraným prispievateľom na Wikipédiu; a (4) podpísali náhodne vybrané petície na Change.org. Vo všetkých štyroch systémoch zistili veľmi podobné výsledky: účastníci, ktorí náhodne dostali nejaký skorý úspech, mali ďalšiu úspešnosť ako iní úplne nerozoznateľní rovesníci (obrázok 4.14). Skutočnosť, že ten istý vzor sa objavil v mnohých systémoch, zvyšuje vonkajšiu platnosť týchto výsledkov, pretože znižuje pravdepodobnosť, že tento vzor je artefaktom akéhokoľvek konkrétneho systému.

Obrázok 4.14: Dlhodobé účinky náhodne udeleného úspechu v štyroch rôznych sociálnych systémoch. Arnout van de Rijt a kolegovia (2014) (1) prisľúbili peniaze na náhodne vybrané projekty na internetovej stránke Kickstarter; (2) pozitívne hodnotené náhodne vybrané recenzie na stránkach spoločnosti Epinions, webovej stránky na kontrolu produkcie; (3) udelili ocenenia náhodne vybraným prispievateľom na Wikipédiu; a (4) podpísali náhodne vybrané petície na Change.org. Upravené od Rijt et al. (2014) , obrázok 2.

Tieto dva príklady spolu dokazujú, že vedci môžu vykonávať digitálne experimenty bez potreby partnerstva so spoločnosťami alebo vytvárania komplexných digitálnych systémov. Ďalej tabuľka 4.2 poskytuje ešte viac príkladov, ktoré ukazujú rozsah toho, čo je možné, keď výskumníci využívajú infraštruktúru existujúcich systémov na poskytovanie liečby a / alebo výsledkov merania. Tieto experimenty sú relatívne lacné pre výskumníkov a ponúkajú vysoký stupeň realizmu. Ale ponúkajú výskumníkom obmedzenú kontrolu nad účastníkmi, liečby a výsledky, ktoré sa majú merať. Pokiaľ ide o experimenty, ktoré sa uskutočňujú len v jednom systéme, výskumní pracovníci musia mať obavy, že tieto dôsledky by mohli byť spôsobené dynamikou špecifickou pre daný systém (napr. Spôsob, akým Kickstarter zaraďuje projekty alebo spôsob, akým change.org zaraduje petície, pozri diskusiu o algoritmickom zmätení v kapitole 2). A nakoniec, keď vedci zasiahnu do pracovných systémov, objavujú sa zložité etické otázky o možnej ujme účastníkov, účastníkov a systémov. Túto etickú otázku budeme bližšie preskúmať v kapitole 6 a v prílohách van de Rijta et al. (2014) . Kompromisy, ktoré prichádzajú s prácou v existujúcom systéme, nie sú pre každý projekt ideálne a z tohto dôvodu niektorí vedci vytvárajú vlastný experimentálny systém, ako to budem ilustrovať ďalej.