4.5.1 Використовуйте існуючі середовища

Ви можете проводити експерименти в існуючих умовах, часто без будь - яких кодування або партнерства.

Логічно, найпростіший спосіб зробити цифровий експеримент полягає в накладенні вашого експерименту на вершині існуючого середовища. Такі експерименти можуть працювати досить масштабно і не вимагають партнерства з компанією або великого програмного забезпечення.

Наприклад, Дженніфер Долеак та Люк Стейн (2013) скористалися інтернет-магазином, подібним Craigslist, для того, щоб провести експеримент із вимірювання расової дискримінації. Вони рекламували тисячі плеєрів, і, систематично змінюючи характеристики продавця, вони могли вивчити вплив гонок на економічні операції. Крім того, вони використовували масштаб свого експерименту, щоб оцінити, коли ефект був більшим (неоднорідність ефектів лікування) та запропонувати деякі ідеї про те, чому ефект може відбутися (механізми).

Оголошення Doleac і Stein's iPod різняться за трьома основними розмірами. По-перше, дослідники змінювали характеристики продавця, про що сигналізувала рука, сфотографована, тримаючи IPod [білий, чорний, білий з татуюванням] (рис 4.13). По-друге, вони змінювали ціну на запит [$ 90, $ 110, $ 130]. По-третє, вони змінювали якість тексту об'яви [високоякісні та низькоякісні (наприклад, помилки, пов'язані з капіталізацією та помилки spelin)]. Таким чином, автори мали дизайн 3 \(\times\) 3 \(\times\) 2, який був розгорнутий на більш ніж 300 місцевих ринках, починаючи від міст (наприклад, Кокомо, Індіана і Північна Платта, штат Небраска) міста (наприклад, Нью-Йорк і Лос-Анджелес).

Рисунок 4.13: Руки, використані в експерименті Doleac and Stein (2013) . Ігрові пристрої були продані продавцями з різними характеристиками для вимірювання дискримінації на інтернет-ринку. Відтворений з дозволу Doleac and Stein (2013) , малюнок 1.

Усереднені за всіма умовами, результати були кращими для білих продавців, ніж чорні продавці, а продавці з татуюванням мали проміжні результати. Наприклад, білі продавці отримали більше пропозицій і мали вищі кінцеві ціни продажу. Окрім цих середніх ефектів, Долеак і Штайн оцінили різнорідність ефектів. Наприклад, одним передбаченням від попередньої теорії є те, що дискримінація буде меншою на ринках, де між покупцями більше конкуренції. Використовуючи кількість пропозицій на цьому ринку як показник кількості конкурентів покупців, дослідники виявили, що чорні продавці дійсно отримують гірші пропозиції на ринках з низьким рівнем конкуренції. Крім того, порівнюючи результати з оголошеннями з високоякісним та низькоякісним текстом, Доулеак і Штейн виявили, що якість реклами не впливає на недоліки, з яким стикаються чорні і татуювані продавці. Нарешті, скориставшись тим, що реклама розміщувалась на більш ніж 300 ринках, автори виявили, що чорні продавці були більш згубними в містах з високим рівнем злочинності та високою сегрегацією житла. Жоден з цих результатів не дає точного розуміння того, чому чорні продавці мали гірші результати, але, поєднуючись з результатами інших досліджень, вони можуть почати інформувати теорії про причини расової дискримінації в різних видах економічних операцій.

Іншим прикладом, який показує здатність дослідників проводити цифрові польові експерименти в існуючих системах, є дослідження Arnout van de Rijt та його колег (2014) про ключі до успіху. У багатьох аспектах життя, здавалося б, схожі люди призводять до дуже різних результатів. Одним з можливих пояснень цієї моделі є те, що малі та, по суті, випадкові переваги можуть блокуватись і зростати з часом, процес, який дослідники називають сукупними перевагами . Для того, щоб визначити, чи малі початкові успіхи замикаються або зникають, ван де Рійт та його колеги (2014) втручаються в чотири різні системи, що дають успіх у випадково відібраних учасників, а потім вимірюють наступні впливи цього довільного успіху.

Більш конкретно, ван де Рійт та його колеги (1) заклали гроші на вибіркові проекти на веб-сайті Kickstarter, що надає гроші; (2) позитивно оцінили випадково вибрані огляди Epinions, веб-сайт огляду продуктів; (3) нагороджує випадковим чином обраних авторів до Вікіпедії; і (4) підписані випадково обрані петиції на сайті change.org. Вони виявили дуже подібні результати у всіх чотирьох системах: у кожному випадку учасники, які випадково отримали якийсь ранній успіх, продовжували мати більш успішний результат, ніж їх інші цілком не відрізнені однолітки (рис. 4.14). Той факт, що така сама картина з'явилася у багатьох системах, збільшує зовнішню цінність цих результатів, оскільки це зменшує шанс того, що така схема є артефактом будь-якої конкретної системи.

Рисунок 4.14: Довгострокові наслідки випадкового успіху в чотирьох різних соціальних системах. Арноут ван де Рійт та його колеги (2014) (1) заклали гроші на випадково відібрані проекти на веб-сайті Kickstarter; (2) позитивно оцінили випадково вибрані огляди Epinions, веб-сайт огляду продуктів; (3) нагороджує випадковим чином обраних авторів до Вікіпедії; і (4) підписані випадково обрані петиції на сайті change.org. Адаптований з Rijt et al. (2014) , малюнок 2.

Разом ці два приклади показують, що дослідники можуть проводити цифрові польові експерименти без необхідності партнерства з компаніями або створення складних цифрових систем. Крім того, таблиця 4.2 наводить ще кілька прикладів, які показують діапазон того, що можливо, коли дослідники використовують інфраструктуру існуючих систем для надання лікування та / або вимірювання результатів. Ці досліди відносно дешеві для дослідників, і вони пропонують високий ступінь реалізму. Але вони пропонують дослідникам обмежений контроль над учасниками, процедури та результати, які потрібно виміряти. Крім того, для експериментів, що відбуваються лише в одній системі, дослідники повинні бути стурбовані тим, що ефекти можуть бути обумовлені специфічною системою динамікою (наприклад, тим, як Kickstarter класифікує проекти, або тим, як read.org реєструє petitions; для отримання додаткової інформації, див. дискусію про алгоритмічне змішування в розділі 2). Нарешті, коли втручаються дослідники у робочі системи, виникають складні етичні питання про можливу шкоду учасникам, не учасникам та системам. Ми розглянемо це етичне питання більш детально в розділі 6, і їх чудове обговорення в додатку van de Rijt та співавт. (2014) . Компроміси, що походять з роботою в існуючій системі, не є ідеальними для кожного проекту, і з цієї причини деякі дослідники створюють власну експериментальну систему, як я проілюструю далі.