4.5.1 Користете ги постоечките средини

Можете да го извршите експерименти во постоечки средини, често без кодирање или партнерство.

Логистично, најлесниот начин да направите дигитален експеримент е да го преклопите вашиот експеримент врз постоечката средина. Таквите експерименти можат да се одвиваат во разумно големи размери и не бараат партнерство со компанија или обемна развој на софтвер.

На пример, Џенифер Долеак и Лука Штајн (2013) го искористија онлајн пазарот сличен на Craigslist за да извршат експеримент кој ја мери расната дискриминација. Тие рекламирале илјадници iPods и со систематско менување на карактеристиките на продавачот, тие можеле да го проучат влијанието на трката врз економските трансакции. Понатаму, тие ја користеле обемот на нивниот експеримент за да се процени кога ефектот бил поголем (хетерогеност на ефектите од третманот) и да понуди некои идеи за тоа зошто ефектот може да се случи (механизми).

Рекламите на Долец и Штајн од iPod се разликуваат по три главни димензии. Прво, истражувачите ги менуваа карактеристиките на продавачот, што беше сигнализирано од страна на фотографијата фотографирана држејќи го iPod [бела, црна, бела со тетоважа] (слика 4.13). Второ, тие ја менуваа бараната цена [$ 90, $ 110, $ 130]. Трето, тие го менуваа квалитетот на текстот на рекламата [висококвалитетни и ниско-квалитетни (на пример, грешки во capitalization и spelin грешки)]. Така, авторите имаа 3 \(\times\) 3 \(\times\) 2 дизајн кој беше распореден на повеќе од 300 локални пазари, почнувајќи од градови (на пр. Кокомо, Индијана и Северна Платте, Небраска) градови (на пример, Њујорк и Лос Анџелес).

Слика 4.13: Раце употребени во експериментот Doleac and Stein (2013) . iPods беа продавани од продавачи со различни карактеристики за мерење на дискриминацијата во онлајн пазар. Репродуцирано со дозвола од Doleac and Stein (2013) , слика 1.

Во просек во сите услови, резултатите беа подобри за белите продавачи отколку за црните продавачи, при што тетовираните продавачи имаа средно резултати. На пример, белите продавачи добија повеќе понуди и имале повисоки цени за конечна продажба. Освен овие просечни ефекти, Долеак и Штајн ја проценувале хетерогеноста на ефектите. На пример, едно предвидување од претходната теорија е дека дискриминацијата ќе биде помала на пазарите каде што има поголема конкуренција меѓу купувачите. Користејќи го бројот на понуди на тој пазар како мерка за износот на конкуренцијата на купувачите, истражувачите откриле дека црните продавачи навистина добиле полоши понуди на пазари со низок степен на конкуренција. Понатаму, со споредување на резултатите за рекламите со висококвалитетен текст со низок квалитет, Doleac и Stein покажаа дека квалитетот на рекламите не влијае на недостатоците со кои се соочуваат црните и тетовираните продавачи. Конечно, искористувајќи го фактот дека огласите биле ставени на повеќе од 300 пазари, авторите откриле дека црните продавачи се повеќе обесправени во градовите со високи стапки на криминал и висока сегрегација на станбени објекти. Ниту еден од овие резултати не ни дава прецизно разбирање за тоа зошто црните продавачи имаат полоши исходи, но, кога се комбинираат со резултатите од други студии, тие можат да почнат да ги информираат теориите за причините за расна дискриминација во различни видови на економски трансакции.

Друг пример кој ја покажува способноста на истражувачите да спроведат дигитални експерименти на полето во постоечките системи е истражувањето на Arnout van de Rijt и неговите колеги (2014) за клучните за успех. Во многу аспекти на животот, навидум слични луѓе завршуваат со многу различни резултати. Едно можно објаснување за овој модел е тоа што малите и суштински случајни предности можат да се заклучат и да растат со текот на времето, процес што истражувачите ја нарекуваат кумулативна предност . Со цел да се утврди дали малите почетни успеси се заклучени или исчезнат, ван де Рит и неговите колеги (2014) интервенираа во четири различни системи кои придонесоа за успех на случајно избраните учесници, а потоа ги мереше последователните влијанија на овој произволен успех.

Поконкретно, ван де Рит и неговите колеги (1) ветија пари за случајно избрани проекти на веб-страницата на Kickstarter; (2) позитивно оценет случајно избрани прегледи на Епиниони, веб-страница за преглед на продукција; (3) даде награди на случајно избрани соработници на Википедија; и (4) потпишани случајно избрани претставки за change.org. Наоѓаат многу слични резултати во сите четири системи: во секој случај, учесниците кои беа случајно добиени некои рани успеси, имале повеќе последователни успеси од нивните инаку целосно неразделни врсници (слика 4.14). Фактот дека истиот модел се појавува во многу системи ја зголемува надворешната валидност на овие резултати, бидејќи ја намалува можноста дека овој модел е артефакт на некој посебен систем.

Слика 4.14: Долгорочни ефекти од случаен успех во четири различни општествени системи. Arnout van de Rijt и неговите колеги (2014) (1) ветија пари за случајно избрани проекти на веб-страницата на Kickstarter; (2) позитивно оценет случајно избрани прегледи на Епиниони, веб-страница за преглед на продукција; (3) даде награди на случајно избрани соработници на Википедија; и (4) потпишани случајно избрани претставки за change.org. Адаптиран од Rijt et al. (2014) , слика 2.

Заедно, овие два примери покажуваат дека истражувачите можат да спроведат дигитални експерименти, без потреба да соработуваат со компании или да градат комплексни дигитални системи. Понатаму, во табела 4.2 се дадени уште примери кои покажуваат опсег на она што е можно кога истражувачите ја користат инфраструктурата на постојните системи за да обезбедат третман и / или да ги мерат исходите. Овие експерименти се релативно евтини за истражувачите и нудат висок степен на реализам. Но, тие им нудат на истражувачите ограничена контрола врз учесниците, третманите и резултатите кои треба да се измерат. Понатаму, за експериментите кои се одвиваат само во еден систем, истражувачите треба да бидат загрижени дека ефектите може да бидат водени од динамиката специфична за системот (на пример, начинот на кој Kickstarter рангира проекти или начинот на кој change.org ги рангира петициите, видете ја дискусијата за алгоритамско размислување во поглавје 2). Конечно, кога истражувачите интервенираат во работните системи, се појавуваат незгодни етички прашања за можна штета за учесниците, не-учесниците и системите. Ова етичко прашање ќе го разгледаме подетално во поглавјето 6, и таму е одлична дискусија за нив во додатокот на Ван де Рит и сор. (2014) . Компромисите кои доаѓаат со работа во постоечки систем не се идеални за секој проект, и поради тоа некои истражувачи градат свој експериментален систем, како што јас ќе илустрирам понатаму.