4.5.1 Използване на съществуващи среди

Можете да стартирате експерименти вътре съществуващи среди, често без никакво кодиране или партньорство.

Логистично, най-лесният начин да направите дигитален експеримент е да покриете експеримента си върху съществуваща среда. Такива експерименти могат да се извършват в разумен мащаб и не изискват партньорство с компания или широко разработване на софтуер.

Например Дженифър Долек и Люк Щайн (2013) се възползваха от онлайн пазар, подобен на Craigslist, за да проведат експеримент, който измерва расовата дискриминация. Те рекламират хиляди iPod устройства и систематично променящи характеристиките на продавача, те са в състояние да проучат ефекта от състезанието върху икономическите транзакции. Освен това те използват мащаба на своя експеримент, за да преценят кога ефектът е по-голям (хетерогенност на ефекта от лечението) и да предложите някои идеи за причината, поради която ефектът може да се появи (механизми).

Рекламите на Doleac и Stein за iPod варират в три основни измерения. Първо, изследователите променят характеристиките на продавача, което бе сигнализирано от ръката, снимана с IPod [бяло, черно, бяло с татуировка] (фигура 4.13). Второ, те променят търсената цена [$ 90, $ 110, $ 130]. Трето, те променят качеството на рекламния текст [висококачествено и нискокачествено (напр. Грешки в cApitalization и грешки на spelin)]. По този начин авторите разполагаха с 3- \(\times\) \(\times\) проектирано на повече от 300 местни пазари, вариращи от градове (напр. Kokomo, Indiana и North Platte, Nebraska) до мега- градове (например Ню Йорк и Лос Анджелис).

Фигура 4.13: Ръце, използвани в експеримента на Doleac and Stein (2013) . Ipods се продават от продавачи с различни характеристики, за да измерват дискриминацията в онлайн пазар. Възпроизведено с разрешение от Doleac and Stein (2013) , фигура 1.

Средно за всички условия, резултатите са по-добри за белите продавачи, отколкото за чернокожи продавачи, като татуираните продавачи имат междинни резултати. Например, белите продавачи получиха повече оферти и имаха по-високи крайни продажни цени. Отвъд тези средни ефекти Doleac и Stein оценяват хетерогенността на ефектите. Например, едно предсказване от по-ранна теория е, че дискриминацията ще бъде по-малка на пазарите, където има повече конкуренция между купувачите. Използвайки броя на офертите на този пазар като мярка за размера на конкуренцията на купувачите, изследователите установиха, че чернокожи продавачи наистина са получили по-лоши оферти на пазари с ниска степен на конкуренция. Освен това, сравнявайки резултатите за рекламите с висококачествен и нискокачествен текст, Doleac и Stein установиха, че качеството на рекламите не оказва влияние върху недостатъците, пред които са изправени чернокожите и татуираните продавачи. И накрая, възползвайки се от факта, че рекламите са били пуснати на повече от 300 пазари, авторите установяват, че продавачите на черно са били в по-неравностойно положение в градовете с висока степен на престъпност и висока жилищна сегрегация. Нито един от тези резултати не ни дава точно разбиране за това защо продавачите на черни продукти са имали по-лоши резултати, но когато са комбинирани с резултатите от други изследвания, те могат да започнат да информират теориите за причините за расова дискриминация при различни видове икономически сделки.

Друг пример, който показва способността на изследователите да провеждат дигитални полеви експерименти в съществуващите системи, е изследването на ключовете за успех на Arnout van de Rijt и колегите (2014) . В много аспекти на живота, привидно подобни хора завършват с много различни резултати. Едно възможно обяснение на този модел е, че малките и по същество произволни предимства могат да се заключват и растат с течение на времето, процес, който изследователите наричат кумулативно предимство . За да се определи дали малките първоначални успехи се задържат или изчезват, ван де Рид и колегите (2014) намесват в четири различни системи, които дават успех на случайно подбрани участници, и след това измерват последващите въздействия от този произволен успех.

По-конкретно, Ван дьо Рид и колегите (1) обещаха пари за произволно избрани проекти на уебсайт "Kickstarter" - "crowdfunding"; (2) положително оценени произволно избрани отзиви на Epinions - сайт за преглед на продуктите; (3) даде награди на произволно избрани сътрудници на Уикипедия; и (4) подписани произволно избрани петиции на change.org. Те намериха много сходни резултати и в четирите системи: във всеки случай участниците, които случайно са получили известен ранен успех, са имали по-нататъшен успех, отколкото техните съвсем неразличими връстници (фигура 4.14). Фактът, че същият модел се появи в много системи, увеличава външната валидност на тези резултати, защото намалява шансовете този модел да бъде артефакт на всяка отделна система.

Фигура 4.14: Дългосрочни ефекти от случаен успех в четири различни социални системи. Arnout van de Rijt и колеги (2014) (1) обещаха пари за произволно избрани проекти на Kickstarter, уебсайт за публикуване на информация; (2) положително оценени произволно избрани отзиви на Epinions - сайт за преглед на продуктите; (3) даде награди на произволно избрани сътрудници на Уикипедия; и (4) подписани произволно избрани петиции на change.org. Адаптирано от Rijt et al. (2014) , фигура 2.

Заедно тези два примера показват, че изследователите могат да провеждат експерименти с цифрови полета, без да е необходимо да си партнират с фирми или да изграждат сложни цифрови системи. Освен това в таблица 4.2 са дадени още повече примери, които показват обхвата на това, което е възможно, когато изследователите използват инфраструктурата на съществуващите системи за предоставяне на лечение и / или мерки. Тези експерименти са сравнително евтини за изследователите и те предлагат висока степен на реализъм. Но те предлагат на изследователите ограничен контрол върху участниците, леченията и резултатите, които трябва да бъдат измерени. Освен това, за експерименти, които се провеждат само в една система, изследователите трябва да се притесняват, че ефектите могат да се дължат на динамика, специфична за системата (например начина, по който Kickstarter класира проекти или начина, по който change.org нарежда петиции, виж дискусията за алгоритмично объркване в глава 2). И накрая, когато изследователите се намесят в работните системи, възникват трудни етични въпроси за възможна вреда на участниците, участниците и системите. Ще разгледаме този етичен въпрос по-подробно в глава 6 и има отлично обсъждане на тях в приложението на van de Rijt et al. (2014) . Компромисите, които идват с работа в съществуваща система, не са идеални за всеки проект и затова някои изследователи изграждат собствена експериментална система, както ще илюстрирам по-нататък.