4.1 Введение

В подходах, охваченных до сих пор в этом наблюдении за книгой (глава 2) и задании вопросов (глава 3), исследователи собирают данные без преднамеренного и систематического изменения мира. Подход, рассматриваемый в этой главе - эксперименты - принципиально отличается. Когда исследователи проводят эксперименты, они систематически вмешиваются в мир для создания данных, которые идеально подходят для ответа на вопросы о причинно-следственных связях.

Причины и последствия очень часто встречаются в социальных исследованиях, а примеры включают такие вопросы, как: Увеличивает ли повышение зарплаты учителей обучение студентов? Каково влияние минимальной заработной платы на уровень занятости? Как гонка кандидата на работу влияет на ее шанс получить работу? В дополнение к этим явно причинным вопросам иногда иногда возникают вопросы причинно-следственной связи в более общих вопросах о максимизации некоторых показателей эффективности. Например, на вопрос «Какой цвет должен быть кнопка пожертвования на сайте НПО?» Действительно много вопросов о влиянии разных цветов кнопок на пожертвования.

Один из способов ответа на причинно-следственные вопросы - искать шаблоны в существующих данных. Например, возвращаясь к вопросу о влиянии зарплаты учителей на обучение студентов, вы можете рассчитать, что учащиеся больше учатся в школах, которые предлагают высокие зарплаты учителям. Но показывает ли эта корреляция, что более высокие зарплаты заставляют студентов больше учиться? Конечно нет. Школы, в которых учителя зарабатывают больше, могут быть разными во многих отношениях. Например, студенты в школах с высокой зарплатой учителей могут поступать из более состоятельных семей. Таким образом, то, что похоже на эффект от учителей, может исходить только от сравнения разных типов учащихся. Эти неизмеримые различия между учащимися называются « помехами» , и, в общем, возможность конфуцирования наносит ущерб способности исследователей отвечать на вопросы причинно-следственной связи путем поиска шаблонов в существующих данных.

Одним из решений проблемы конфуциантов является попытка провести справедливые сравнения путем корректировки наблюдаемых различий между группами. Например, вы можете загрузить данные налога на имущество с нескольких правительственных веб-сайтов. Затем вы можете сравнить производительность учащихся в школах, где цены на жилье аналогичны, но зарплаты учителей разные, и вы все же можете обнаружить, что учащиеся больше учатся в школах с более высокой зарплатой учителям. Но есть еще много возможных факторов. Возможно, родители этих учеников отличаются своим уровнем образования. Или, может быть, школы отличаются своей близостью к публичным библиотекам. Или, может быть, школы с более высокой зарплатой учителя также имеют более высокую оплату для директоров, а основная заработная плата, а не плата учителей, на самом деле является тем, что увеличивает обучение студентов. Вы можете попытаться измерить и приспособиться к этим факторам, но список возможных факторов, по сути, бесконечен. Во многих ситуациях вы просто не можете измерить и настроить все возможные путаницы. В ответ на эту проблему исследователи разработали ряд методов для получения причинно-следственных оценок из неэкспериментальных данных - я обсудил некоторые из них в главе 2, но, по некоторым вопросам, эти методы ограничены, а эксперименты предлагают многообещающие альтернатива.

Эксперименты позволяют исследователям выйти за рамки корреляций в естественных данных, чтобы надежно ответить на некоторые причинно-следственные вопросы. В аналоговом возрасте эксперименты часто были логически трудными и дорогими. Теперь, в эпоху цифровых технологий, логистические ограничения постепенно исчезают. Не только легче проводить эксперименты, как в прошлом, теперь можно запускать новые виды экспериментов.

В том, что я написал до сих пор, я немного расстроен на своем языке, но важно различать две вещи: эксперименты и рандомизированные контролируемые эксперименты. В эксперименте исследователь вмешивается в мир, а затем измеряет результат. Я слышал, что этот подход описывается как «возмущение и наблюдение». В рандомизированном контролируемом эксперименте исследователь вмешивается для некоторых людей, а не для других, и исследователь решает, какие люди получают вмешательство путем рандомизации (например, переворачивание монетки). Рандомизированные контролируемые эксперименты обеспечивают справедливое сопоставление между двумя группами: одно, которое получило вмешательство, а другое - нет. Другими словами, рандомизированные контролируемые эксперименты - это решение проблем смешения. Однако эксперименты с пертурбом и наблюдением включают только одну группу, которая получила вмешательство, и поэтому результаты могут привести исследователей к неправильному выводу (как я покажу в ближайшее время). Несмотря на важные различия между экспериментами и рандомизированными контролируемыми экспериментами, социальные исследователи часто используют эти термины взаимозаменяемо. Я буду следовать этому соглашению, но в некоторых случаях я нарушу соглашение, чтобы подчеркнуть ценность рандомизированных контролируемых экспериментов над экспериментами без рандомизации и контрольной группы.

Рандомизированные контролируемые эксперименты оказались мощным способом узнать о социальном мире, и в этой главе я расскажу вам больше о том, как использовать их в своих исследованиях. В разделе 4.2 я проиллюстрирую основную логику экспериментов на примере эксперимента в Википедии. Затем, в разделе 4.3, я опишу разницу между лабораторными экспериментами и полевыми экспериментами и различиями между аналоговыми экспериментами и цифровыми экспериментами. Кроме того, я буду утверждать, что эксперименты с цифровым полем могут предложить лучшие характеристики аналоговых лабораторных экспериментов (жесткий контроль) и аналоговых полевых экспериментов (реализм), все в масштабах, которые ранее были невозможны. Далее, в разделе 4.4, я опишу три понятия - достоверность, гетерогенность эффектов лечения и механизмы, которые имеют решающее значение для разработки богатых экспериментов. На этом фоне я опишу компромиссы, связанные с двумя основными стратегиями проведения цифровых экспериментов: делать это самостоятельно или сотрудничать с мощными. Наконец, я завершу несколько советов по поводу того, как вы можете использовать реальную силу цифровых экспериментов (раздел 4.6.1) и описать часть ответственности, которая прилагается к этой мощности (раздел 4.6.2).