4.5.1 Использовать существующие среды

Вы можете проводить эксперименты в существующих условиях, часто без какого - либо кодирования или партнерства.

Логично, что самый простой способ сделать цифровой эксперимент - наложить эксперимент поверх существующей среды. Такие эксперименты могут проводиться в достаточно больших масштабах и не требуют партнерства с компанией или обширной разработки программного обеспечения.

Например, Дженнифер Доляк и Люк Штайн (2013) использовали онлайн-рынок, похожий на Craigslist, чтобы провести эксперимент, измеряющий расовую дискриминацию. Они рекламировали тысячи iPod, и систематически изменяя характеристики продавца, они смогли изучить влияние гонки на экономические транзакции. Кроме того, они использовали масштаб своего эксперимента для оценки, когда эффект был больше (гетерогенность эффектов лечения), и предложить некоторые идеи о том, почему эффект может возникнуть (механизмы).

Реклама Doleac и Stein's iPod варьировалась по трем основным параметрам. Во-первых, исследователи меняли характеристики продавца, о чем свидетельствовала рука, сфотографированная с iPod (белый, черный, белый с татуировкой) (рисунок 4.13). Во-вторых, они варьировали запрашиваемую цену [$ 90, $ 110, $ 130]. В-третьих, они меняли качество текста объявления [высококачественного и низкого качества (например, ошибки cApitalization и ошибки spelin)]. Таким образом, у авторов был проект 3 \(\times\) 3 \(\times\) 2, который был развернут на более чем 300 локальных рынках, начиная от городов (например, Кокомо, Индиана и Норт Платт, Небраска) до мега- городов (например, Нью-Йорк и Лос-Анджелес).

Рисунок 4.13: Руки, используемые в эксперименте Doleac and Stein (2013) . iPod были проданы продавцами с различными характеристиками для измерения дискриминации на онлайн-рынке. Воспроизводится по разрешению Doleac and Stein (2013) , рис. 1.

Усредненные во всех условиях, результаты были лучше для белых продавцов, чем у черных продавцов, при этом татуированные продавцы имели промежуточные результаты. Например, белые продавцы получили больше предложений и имели более высокие конечные цены продажи. Помимо этих средних эффектов Долеак и Штейн оценивали неоднородность эффектов. Например, одно предсказание из более ранней теории заключается в том, что дискриминация будет меньше на рынках, где конкуренция между покупателями больше. Используя количество предложений на этом рынке в качестве показателя количества конкуренции со стороны покупателя, исследователи обнаружили, что черные продавцы действительно получили худшие предложения на рынках с низкой степенью конкуренции. Кроме того, сравнивая результаты для объявлений с высококачественным и некачественным текстом, Долеак и Штайн обнаружили, что качество рекламы не повлияло на недостатки, с которыми сталкиваются черные и татуированные продавцы. Наконец, пользуясь тем фактом, что реклама была размещена на более чем 300 рынках, авторы обнаружили, что черные продавцы оказались в более неблагоприятном положении в городах с высоким уровнем преступности и высокой сегрегацией жилья. Ни один из этих результатов не дает нам точного понимания того, почему у черных продавцов были худшие результаты, но в сочетании с результатами других исследований они могут начать информировать теории о причинах расовой дискриминации при различных видах экономических транзакций.

Другим примером, показывающим способность исследователей проводить полевые эксперименты в существующих системах, является исследование Арнута ван де Рита и его коллег (2014) о ключах к успеху. Во многих аспектах жизни, казалось бы, похожие люди в конечном итоге имеют совершенно разные результаты. Одним из возможных объяснений этого шаблона является то, что небольшие и, по существу, случайные преимущества могут блокироваться и расти с течением времени, процесс, который исследователи называют совокупным преимуществом . Чтобы определить, блокируют ли небольшие начальные успехи или исчезают, ван де Рейт и его коллеги (2014) вмешались в четыре различные системы, дающие успех случайным образом отобранным участникам, а затем измерили последующие последствия этого произвольного успеха.

Более конкретно, ван де Рейт и его коллеги (1) пообещали деньги на случайно выбранные проекты на Kickstarter, веб-сайте crowdfunding; (2) положительно оцененные случайно выбранные обзоры на Epinions, веб-сайте обзора продукции; (3) вручил награды случайным образом избранным вкладчикам в Википедию; и (4) подписали случайно выбранные петиции на change.org. Они получили очень похожие результаты во всех четырех системах: в каждом случае участники, которые были рандомизированы с рандомизацией, получили более последовательный успех, чем их совершенно неразличимые сверстники (рисунок 4.14). Тот факт, что одна и та же модель появилась во многих системах, увеличивает внешнюю достоверность этих результатов, поскольку она уменьшает вероятность того, что этот шаблон является артефактом какой-либо конкретной системы.

Рисунок 4.14: Долгосрочные эффекты случайного успеха в четырех различных социальных системах. Арнут ван де Рейт и его коллеги (2014) (1) пообещали деньги на случайно выбранные проекты на Kickstarter, веб-сайте crowdfunding; (2) положительно оцененные случайно выбранные обзоры на Epinions, веб-сайте обзора продукции; (3) вручил награды случайным образом избранным вкладчикам в Википедию; и (4) подписали случайно выбранные петиции на change.org. Адаптировано Rijt et al. (2014) , рис. 2.

Вместе эти два примера показывают, что исследователи могут проводить цифровые полевые эксперименты без необходимости сотрудничать с компаниями или создавать сложные цифровые системы. Кроме того, в таблице 4.2 представлены еще больше примеров, показывающих диапазон того, что возможно, когда исследователи используют инфраструктуру существующих систем для обеспечения лечения и / или оценки результатов. Эти эксперименты относительно дешевы для исследователей, и они предлагают высокую степень реализма. Но они предлагают исследователям ограниченный контроль над участниками, лечение и результаты, которые необходимо измерить. Кроме того, для экспериментов, происходящих только в одной системе, исследователи должны быть обеспокоены тем, что последствия могут быть обусловлены динамикой системы (например, способ, которым Kickstarter оценивает проекты или способ, которым change.org ставит петиции, для получения дополнительной информации, см. обсуждение алгоритмического смешения в главе 2). Наконец, когда исследователи вмешиваются в рабочие системы, возникают сложные этические вопросы о возможном вреде для участников, не участников и систем. Мы рассмотрим эти этические вопросы более подробно в главе 6, и есть прекрасное обсуждение их в приложении van de Rijt et al. (2014) . Компромиссы, которые приходят с работой в существующей системе, не идеальны для каждого проекта, и по этой причине некоторые исследователи создают собственную экспериментальную систему, как я проиллюстрирую ниже.