4.5.2 Создайте собственный эксперимент

Построение собственного эксперимента может быть дорогостоящим, но это позволит вам создать эксперимент , который вы хотите.

Помимо наложения экспериментов поверх существующих сред, вы также можете создать собственный эксперимент. Основным преимуществом такого подхода является контроль; если вы строите эксперимент, вы можете создать среду и методы лечения, которые вы хотите. Эти экспериментальные среды, созданные на заказ, могут создавать возможности для тестирования теорий, которые невозможно проверить в естественных средах. Главные недостатки в создании собственного эксперимента заключаются в том, что он может быть дорогим и что окружающая среда, которую вы можете создать, может не иметь реализма естественной системы. У исследователей, строящих свой собственный эксперимент, также должна быть стратегия для набора участников. Работая в существующих системах, исследователи в основном приносят эксперименты своим участникам. Но, когда исследователи строят свой собственный эксперимент, им нужно привлечь участников. К счастью, такие услуги, как Amazon Mechanical Turk (MTurk), могут предоставить исследователям удобный способ довести участников до своих экспериментов.

Одним из примеров, иллюстрирующих достоинства заказных сред для тестирования абстрактных теорий, является эксперимент цифровой лаборатории Грегори Хубера, Сета Хилла и Габриэля Ленца (2012) . В этом эксперименте рассматривается возможное практическое ограничение функционирования демократического управления. Ранее неэкспериментальные исследования фактических выборов предполагали, что избиратели не могут точно оценить эффективность действующих политиков. В частности, избиратели, по-видимому, страдают от трех предубеждений: (1) они сосредоточены на недавних, а не кумулятивных результатах; (2) ими могут манипулировать риторика, обрамление и маркетинг; и (3) на них могут влиять события, не связанные с действующим исполнением, такие как успех местных спортивных команд и погода. Однако в этих более ранних исследованиях было сложно выделить любой из этих факторов из всего остального, что происходит на реальных, грязных выборах. Поэтому Хубер и его коллеги создали очень упрощенную среду для голосования, чтобы изолировать, а затем экспериментально изучить каждый из этих трех возможных предубеждений.

Как я опишу ниже, экспериментальная установка будет звучать очень искусственно, но помните, что реализм не является целью в лабораторных экспериментах. Скорее, цель состоит в том, чтобы четко изолировать процесс, который вы пытаетесь изучить, и эта плотная изоляция иногда невозможна в исследованиях с большим реализмом (Falk and Heckman 2009) . Кроме того, в этом конкретном случае исследователи утверждали, что если избиратели не смогут эффективно оценить производительность в этой очень упрощенной обстановке, то они не смогут сделать это в более реалистичной и более сложной обстановке.

Хубер и его коллеги использовали MTurk для набора участников. Как только участник предоставил информированное согласие и прошел короткий тест, ей сказали, что она участвует в 32-раундовой игре, чтобы заработать токены, которые могут быть конвертированы в реальные деньги. В начале игры каждому участнику было сообщено, что ей был назначен «распределитель», который давал ей бесплатные токены в каждом раунде и что некоторые распределители были более щедрыми, чем другие. Кроме того, каждому участнику было также сказано, что у нее будет шанс либо сохранить ее распределитель, либо назначить новую после 16 раундов игры. Учитывая то, что вы знаете о целях исследования Хубера и коллег, вы можете видеть, что распределитель представляет правительство, и этот выбор представляет собой выборы, но участники не знали об общих целях исследования. В общей сложности Хубер и его коллеги набрали около 4000 участников, которым было выплачено около 1,25 доллара за задание, которое заняло около восьми минут.

Напомним, что один из результатов предыдущих исследований заключался в том, что избиратели вознаграждают и наказывают за тех, кто явно не контролирует результаты, такие как успех местных спортивных команд и погода. Для оценки того, могут ли участники голосования на голосование влиять исключительно на случайные события в их настройке, Хубер и его коллеги добавили в свою экспериментальную систему лотерею. На 8-м раунде или 16-м раунде (т. Е. Прямо перед шансом заменить распределителя) участники были случайно размещены в лотерее, где некоторые выиграли 5000 очков, некоторые выиграли 0 очков, а некоторые потеряли 5 000 очков. Эта лотерея была призвана имитировать хорошие или плохие новости, которые не зависят от исполнения политики. Хотя участникам было прямо сказано, что лотерея не связана с работой их распределителя, результат лотереи все еще влиял на решения участников. Участники, которые выиграли от лотереи, с большей вероятностью сохранили свой распределитель, и этот эффект был сильнее, когда лотерея произошла в раунде 16 - прямо перед заменяющим решением - чем когда это произошло в раунде 8 (рисунок 4.15). Эти результаты, наряду с результатами нескольких других экспериментов в документе, побудили Хубера и его коллег сделать вывод о том, что даже в упрощенной обстановке избирателям трудно принимать мудрые решения, что повлияло на будущие исследования по принятию решений о выборах (Healy and Malhotra 2013) , Эксперимент Huber и коллег показывает, что MTurk можно использовать для набора участников для лабораторных экспериментов, чтобы точно протестировать очень конкретные теории. Это также показывает ценность создания собственной экспериментальной среды: трудно представить, как эти же процессы могли быть изолированы так чисто в любых других условиях.

Рисунок 4.15: Результаты от Huber, Hill, and Lenz (2012) . Участники, выигравшие в лотерее, с большей вероятностью сохранили свой распределитель, и этот эффект был сильнее, когда лотерея произошла в раунде 16 - прямо перед заменяющим решением - чем когда это произошло в раунде 8. Адаптировано из Huber, Hill, and Lenz (2012) , рис. 5.

Помимо создания лабораторных экспериментов, исследователи также могут создавать эксперименты, которые более полезна. Например, Centola (2010) построил цифровой полевой эксперимент для изучения влияния структуры социальной сети на распространение поведения. Его исследовательский вопрос потребовал, чтобы он наблюдал такое же поведение, распространяясь в популяциях, которые имели разные структуры социальных сетей, но в остальном неотличимы. Единственный способ сделать это - это индивидуальный эксперимент на заказ. В этом случае компания Centola создала веб-сообщество здравоохранения.

Чентола набрала около 1500 участников через рекламу на сайтах здоровья. Когда участники прибыли в онлайн-сообщество, которое называлось «Сеть здорового образа жизни», они предоставили информированное согласие и затем были назначены «приятелями в области здравоохранения». Из-за того, как Чентола назначила этих приятелей здравоохранения, он смог объединить различные структуры социальных сетей в разные группы. Некоторые группы были созданы, чтобы иметь случайные сети (где все были одинаково вероятно подключены), в то время как другие группы были созданы с кластеризованными сетями (где соединения более локально плотные). Затем Чентола внедрила новое поведение в каждую сеть: возможность зарегистрироваться для нового веб-сайта с дополнительной информацией о здоровье. Всякий раз, когда кто-либо регистрировался на этом новом веб-сайте, все ее друзья-медики получили электронное сообщение, сообщающее об этом. Чентола обнаружил, что такое поведение - подписка на новый сайт - распространяется все быстрее и быстрее в кластерной сети, чем в случайной сети, что противоречит некоторым существующим теориям.

В целом, создание собственного эксперимента дает вам гораздо больше контроля; это позволяет вам построить наилучшую возможную среду, чтобы изолировать то, что вы хотите изучать. Трудно представить себе, как два эксперимента, которые я только что описал, могли быть выполнены в уже существующей среде. Кроме того, создание собственной системы снижает этические проблемы вокруг экспериментов в существующих системах. Однако, когда вы создаете свой собственный эксперимент, вы сталкиваетесь со многими проблемами, которые встречаются в лабораторных экспериментах: привлечение участников и беспокойство по поводу реализма. Конечным недостатком является то, что создание собственного эксперимента может быть дорогостоящим и трудоемким, хотя, как показывают эти примеры, эксперименты могут варьироваться от относительно простых сред (например, исследование голосования Huber, Hill, and Lenz (2012) ), к относительно сложным условиям (например, исследование сетей и зараза от Centola (2010) ).