4.1 Введение

В подходах, покрытых до сих пор в этой книге наблюдений за поведением (глава 2) и задавать вопросы (Глава 3) -researchers собирают данные о том, что в природе в мире. Подход В этой главе рассматриваются выполняющихся экспериментов, принципиально отличается. Когда исследователи проводить эксперименты, они систематически вмешиваются в мире, чтобы создать данные, которые идеально подходят для ответов на вопросы о причинно-следственных связей.

Причинно-следственные вопросы очень распространены в социальных исследованиях, а также примеры включает в себя такие вопросы, как повышение ли зарплаты учителей увеличить обучение студентов? Каково влияние минимальной заработной платы на уровень занятости? Как гонка при приеме на работу заявителя осуществить свой шанс получить работу? В дополнение к этим явно причинных вопросы, иногда причинно-следственные вопросы подразумеваются более общие вопросы о максимизации некоторой метрики производительности. Например, вопрос: "Какой цвет кнопки будет максимизировать пожертвования на сайте сайте НПО?" Действительно много вопросов о влиянии различных цветов кнопки на пожертвования.

Один из способов ответить на причинно-следственные вопросы, чтобы искать закономерности в существующих данных. Например, используя данные из тысяч школ, вы можете посчитать, что студенты учатся больше в школах, которые предлагают высокие зарплаты учителям. Но, разве это соотношение показывает , что более высокие зарплаты вызывают студентов , чтобы узнать больше? Конечно нет. Школы, где учителя зарабатывают больше могут отличаться во многих отношениях. Например, студенты в школах с высокой заработной платы учителей может исходить от более богатых семей. Таким образом, похоже, что эффект учителей может просто исходить от сравнения разных типов студентов. Эти неучтенные различия между студентами называются вмешивающихся факторов и в целом, возможность вмешивающихся наносит ущерб исследователей способность отвечать причинно-следственные вопросы путем поиска моделей в существующих данных.

Одним из путей решения проблемы вмешивающихся, чтобы попытаться сделать справедливые сравнения путем корректировки для наблюдаемых различий между группами. Например, вы могли бы быть в состоянии загрузить данные по налогу на имущество от ряда правительственных веб-сайтов. Затем, вы могли бы сравнить успеваемость учащихся в школах, где цены на жилье похожи, но заработная плата учителя разные, и вы все еще можете обнаружить, что студенты учатся больше в школах с высшим учителем оплаты. Но, есть еще много возможных усложняющих. Может быть, родители этих студента различаются по уровню образования или, возможно, школы различаются по своей близости к публичным библиотекам или, возможно, школы с высшим учителем заработной платы также имеют более высокую оплату труда для директоров и основной заработной платы, а не учитель платить, на самом деле то, что растет обучение студентов. Вы могли бы попытаться измерить эти и другие факторы, а также, но список возможных вмешивающихся по существу безграничны. Во многих ситуациях, вы просто не можете измерить и отрегулировать для всех возможных вмешивающихся. Такой подход может только вы до сих пор.

Лучшее решение проблемы вмешивающихся в проведении экспериментов. Эксперименты позволяют ученым выйти за пределы корреляций в природе данных для того, чтобы надежно ответить на причинно-следственную вопрос. В аналоговом возрасте, эксперименты были часто логистически сложно и дорого. Теперь, в эпоху цифровых технологий, материально-технические ограничения постепенно исчезают. Мало того, что это легче делать эксперименты, как те исследователи сделали в прошлом, теперь можно запускать новые виды экспериментов.

В то, что я написал до сих пор я был немного свободно на моем языке, но важно различать две вещи: эксперименты и рандомизированных контролируемых экспериментов. В эксперименте исследователь вмешивается в мире , а затем измеряет результат. Я слышал этот подход, описанный как "возмущают и наблюдать." Эта стратегия очень эффективна в естественных науках, но и в медицинских и социальных науках, есть другой подход, который работает лучше. В рандомизированном контролируемом эксперименте исследователь вмешивается для некоторых людей , а не для других, и, критически, исследователь решает , какие люди получают вмешательство рандомизации (например, монетку). Эта процедура гарантирует, что рандомизированные контролируемые эксперименты создают справедливые сравнения между двумя группами: одна, которая получила вмешательство и тот, который не имеет. Другими словами, рандомизированные контролируемые эксперименты решение проблемы вмешивающихся. Несмотря на существенные различия между экспериментами и рандомизированных контролируемых экспериментов, социальные исследователи часто используют эти термины взаимозаменяемы. Я буду следовать этому соглашению, но в определенные моменты, я буду нарушать конвенцию, чтобы подчеркнуть значение рандомизированных контролируемых экспериментов над экспериментами без рандомизации и контрольной группой.

Рандомизированные контролируемые эксперименты оказались мощным средством, чтобы узнать о социальном мире, и в этой главе я покажу вам больше о том, как использовать их в ваших исследованиях. В разделе 4.2, я буду иллюстрировать основную логику экспериментов с примером эксперимента на Википедии. Затем в разделе 4.3, я опишу разницу между лабораторных экспериментов и полевых экспериментов и различия между аналоговыми и цифровыми экспериментами экспериментов. Кроме того, я буду утверждать, что эксперименты цифровые поля могут предложить лучшие характеристики аналоговых экспериментов лаборатории (жесткий контроль) и эксперименты аналогового поля (реализм), все в масштабе, что было невозможно ранее. Далее, в разделе 4.4, я опишу три понятия недействительности, гетерогенность эффектов лечения, а также механизмы, которые имеют решающее значение для разработки богатых экспериментов. С этим фоном, я буду описывать компромиссы, участвующих в двух основных стратегий для проведения цифровых экспериментов: делать это самостоятельно (раздел 4.5.1) или в партнерстве с мощным (раздел 4.5.2). И, наконец, я завершу с некоторыми дизайн советы о том, как вы можете воспользоваться реальной силой цифровых экспериментов (раздел 4.6.1) и описать некоторые из ответственности, которая приходит с этой силой (раздел 4.6.2). В этой главе будет представлен с минимумом математических обозначений и формального языка; Читатели, заинтересованные в более формальной, математическом подходе к экспериментам также должны прочитать Техническое приложение в конце этой главы.