4.4 Переход от простых экспериментов

Перейдем к простым экспериментам. Три концепции полезны для богатых экспериментов: достоверность, гетерогенность лечебных эффектов и механизмов.

Исследователи, которые являются новыми для экспериментов, часто сосредотачиваются на очень узком, узком вопросе: «Это лечение« работает »? Например, звонит ли кто-нибудь из добровольцев, чтобы кто-то проголосовал? Изменяется ли изменение кнопки веб-сайта от синего до зеленого? К сожалению, расплывчатая фраза о том, что «работает», скрывает тот факт, что узко сосредоточенные эксперименты действительно не говорят вам, работает ли лечение «в общем смысле». Скорее узко сосредоточенные эксперименты отвечают на гораздо более конкретный вопрос: каков средний эффект этого конкретного лечения с этой конкретной реализацией для этого населения участников в это время? Я буду называть эксперименты, которые фокусируются на этом узком вопросе простых экспериментов .

Простые эксперименты могут предоставить ценную информацию, но они не могут ответить на многие важные и интересные вопросы, например, есть ли люди, для которых лечение имело больший или меньший эффект; есть ли другое лечение, которое было бы более эффективным; и относится ли этот эксперимент к более широким социальным теориям.

Чтобы показать значение перехода за пределы простых экспериментов, рассмотрим эксперимент по аналоговому полею П. Уэсли Шульца и его коллег по взаимосвязи между социальными нормами и потреблением энергии (Schultz et al. 2007) . Шульц и его коллеги повесили дверные звонки на 300 домашних хозяйств в Сан-Маркосе, Калифорния, и эти дверные звонки доставили разные сообщения, призванные стимулировать энергосбережение. Затем Шульц и его коллеги оценили влияние этих сообщений на потребление электроэнергии как через неделю, так и через три недели; см. рисунок 4.3 для более подробного описания экспериментальной конструкции.

Рисунок 4.3: Схема экспериментальной конструкции Schultz et al. (2007) . Полевой эксперимент включал посещение около 300 семей в Сан-Маркос, Калифорния, пять раз за восьминедельный период. При каждом посещении исследователи вручную взяли чтение с измерителя мощности дома. Во время двух посещений они размещали дверные замки в каждом доме, предоставляя некоторую информацию об использовании энергии домохозяйства. Исследовательский вопрос заключался в том, как содержание этих сообщений будет влиять на использование энергии.

Эксперимент имел два условия. Во-первых, домохозяйства получили общие советы по экономии энергии (например, используют вентиляторы вместо кондиционеров) и информацию об их потреблении энергии по сравнению со средним потреблением энергии по соседству. Шульц и его коллеги назвали это описательным нормативным условием, поскольку информация об использовании энергии по соседству предоставила информацию о типичном поведении (т.е. описательной норме). Когда Шульц и его коллеги рассмотрели полученное в результате использование энергии в этой группе, лечение оказалось неэффективным ни в краткосрочной, ни в долгосрочной перспективе; другими словами, лечение, похоже, не «работало» (рисунок 4.4).

К счастью, Шульц и его коллеги не согласились на этот упрощенный анализ. До начала эксперимента они рассуждали о том, что тяжелые пользователи электричества - люди выше среднего - могут снизить их потребление, а легкие пользователи электроэнергии - люди ниже среднего - могут фактически увеличить потребление. Когда они смотрели на данные, это именно то, что они нашли (рисунок 4.4). Таким образом, то, что выглядело как лечение, которое не имело никакого эффекта, было фактически обработкой, которая имела два компенсирующих эффекта. Это контрпродуктивное увеличение среди легких пользователей является примером эффекта бумеранга , когда лечение может иметь противоположный эффект от того, что было предназначено.

Рисунок 4.4: Результаты Schultz et al. (2007) . Панель (а) показывает, что обработка описательной нормы имеет оценочный нулевой средний эффект лечения. Однако панель (b) показывает, что этот средний лечебный эффект фактически состоит из двух компенсирующих эффектов. Для тяжелых пользователей лечение уменьшилось, но для легких пользователей лечение увеличилось. Наконец, панель (c) показывает, что вторая обработка, которая использовала описательные и запретительные нормы, оказала примерно такое же воздействие на тяжелых пользователей, но смягчила эффект бумеранга на легких пользователей. Адаптировано из Schultz et al. (2007) .

Одновременно с первым условием Шульц и его коллеги также выполняли второе условие. Домашние хозяйства во втором состоянии получили те же самые общие рекомендации по экономии энергии и информацию об их потреблении энергии в домашних хозяйствах по сравнению со средним показателем для их соседства - с одним крошечным дополнением: для людей с низким уровнем потребления исследователи добавили: ), а для людей с более высоким уровнем потребления они добавили :( Эти смайлики были спроектированы так, чтобы вызвать то, что исследователи назвали запретительными нормами . Индустриальные нормы относятся к восприятию того, что обычно утверждается (и не одобрено), тогда как описательные нормы относятся к восприятию что обычно делается (Reno, Cialdini, and Kallgren 1993) .

Добавив этот один маленький смайлик, исследователи резко снизили эффект бумеранга (рисунок 4.4). Таким образом, сделав это одно простое изменение - изменение, которое было мотивировано абстрактной социально-психологической теорией (Cialdini, Kallgren, and Reno 1991) - исследователи смогли превратить программу, которая, похоже, не работала в ту, которая работала, и одновременно они смогли внести вклад в общее понимание того, как социальные нормы влияют на поведение человека.

Однако в этот момент вы можете заметить, что в этом эксперименте что-то немного отличается. В частности, эксперимент Шульца и его коллег действительно не имеет контрольной группы так же, как это делают рандомизированные контролируемые эксперименты. Сравнение этого проекта с Рестиво и Ван де Ритом иллюстрирует различия между двумя крупными экспериментальными проектами. В проектах между субъектами , таких как Рестиво и Ван де Рейт, есть группа лечения и контрольная группа. С другой стороны, в исследованиях по предметам поведение участников сравнивается до и после лечения (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . В эксперименте внутри субъекта, как будто каждый участник выступает в качестве своей контрольной группы. Прочность конструкций между объектами заключается в том, что они обеспечивают защиту от путаницы (как я описал ранее), в то время как сила экспериментов внутри предметов - это повышенная точность оценок. Наконец, чтобы предвосхитить идею, которая появится позже, когда я дам совет о разработке цифровых экспериментов, смешанная конструкция_коммутирует улучшенную точность конструкций внутри объектов и защиту от смешения конструкций между объектами (рисунок 4.5).

Рисунок 4.5: Три экспериментальных проекта. Стандартные рандомизированные контролируемые эксперименты используют проекты между субъектами . Пример дизайна между субъектами - эксперимент Restivo и van de Rijt (2012) по амбарным звездам и вклад в Википедию: исследователи случайным образом разделили участников на группы лечения и контроля, дали участникам группы лечения амбарнар и сравнили результаты для две группы. Второй тип дизайна - дизайн внутри предмета . Два эксперимента в исследовании Шульца и коллег (2007) по социальным нормам и использованию энергии иллюстрируют дизайн внутри предметов: исследователи сравнили использование электроэнергии участниками до и после лечения. Конструкции внутри предметов предлагают улучшенную статистическую точность, но они открыты для возможных путаниц (например, изменения погоды между периодами предварительной обработки и лечения) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Проекты внутри предметов также иногда называются проектами повторных мер. Наконец, смешанные конструкции сочетают в себе улучшенную точность конструкций внутри предметов и защиту от смешения конструкций между объектами. В смешанном дизайне исследователь сравнивает изменение результатов для людей в группах лечения и контроля. Когда у исследователей уже есть информация для предварительной обработки, как это имеет место во многих цифровых экспериментах, смешанные конструкции обычно предпочтительнее для проектов между субъектами, поскольку они приводят к повышению точности оценок.

В целом, дизайн и результаты исследования Шульца и его коллег (2007) показывают ценность перехода за рамки простых экспериментов. К счастью, вам не нужно быть творческим гением, чтобы проектировать такие эксперименты. Социологи разработали три концепции, которые помогут вам в более богатых экспериментах: (1) справедливость, (2) гетерогенность лечебных эффектов и (3) механизмы. То есть, если вы держите эти три идеи в виду во время разработки своего эксперимента, вы, естественно, создадите более интересный и полезный эксперимент. Чтобы проиллюстрировать эти три концепции в действии, я опишу ряд последующих цифровых экспериментов на поле, которые основывались на элегантном дизайне и захватывающих результатах Шульца и его коллег (2007) . Как вы увидите, благодаря более тщательной разработке, реализации, анализу и интерпретации вы также можете выйти за рамки простых экспериментов.