4.1 Введення

У підходах, охоплених до цих пір у цій книжковій поведінці (глава 2) та запитуванні питань (розділ 3), дослідники збирають дані без навмисних і систематичних змін у світі. Підхід, який розглядається в цьому розділі експериментів, - принципово інший. Коли дослідники проводять експерименти, вони систематично втручаються у світ для створення даних, що ідеально підходить для відповіді на питання про причинно-наслідкові зв'язки.

Причинно-наслідкові питання дуже часто зустрічаються в соціальних дослідженнях, а приклади включають такі питання, як: Чи підвищує зарплата вчителів підвищення рівня навчання учнів? Який вплив мінімальної заробітної плати на рівень зайнятості? Як раса кандидата на роботу впливає на її шанс отримати роботу? Окрім цих явно-причинних запитань, іноді причинно-наслідкові запитання випливають із більш загальних питань про максимізацію деяких показників ефективності. Наприклад, питання "Який колір має бути кнопкою" Пожертвування "на веб-сайті НУО? Насправді є багато питань про вплив різних кольорових кнопок на пожертвування.

Один із способів відповіді на причинно-наслідкові запитання - це пошук подій у існуючих даних. Наприклад, повертаючись до питання про вплив заробітної плати вчителів на навчання учнів, ви можете підрахувати, що студенти більше навчаються у школах, які пропонують високі зарплати вчителів. Але чи ця кореляція показує, що вищі зарплати змушують учні більше дізнаватися? Звичайно, ні. Школи, де викладачі заробляють більше, можуть бути різними різними способами. Наприклад, студенти в школах із високими зарплатами вчителів можуть надходити з багатих сімей. Таким чином, те, що схоже на ефект вчителя, могло б виникнути лише шляхом порівняння різних типів учнів. Ці невизначені відмінності між студентами називаються конфліктованими , і, загалом, можливість конфліктів спричиняє руйнування здатності дослідників відповідати на причинно-наслідкові запитання, шукаючи закономірності наявних даних.

Одним з варіантів вирішення проблеми конфліктів є спроба здійснити справедливі порівняння шляхом коригування спостережуваних відмінностей між групами. Наприклад, ви можете завантажити дані про податок на майно з багатьох державних веб-сайтів. Тоді ви можете порівняти успішність учнів у школах, де ціни на житло однакові, але зарплата вчителів відрізняється, і ви все ще можете виявити, що студенти навчаються більше у школах з вищою оплатою вчителів. Але є ще багато можливих конфліктів. Може бути, батьки цих студентів відрізняються за рівнем освіти. Або, можливо, школи відрізняються своєю близькістю до публічних бібліотек. Або, можливо, школи з вищою педагогічною оплатою також мають більшу плату для керівників, а основна плата, а не оплата учителя, насправді те, що збільшує рівень навчання учнів. Можна також спробувати виміряти й відрегулювати ці фактори, але перелік можливих конфліктов практично нескінченний. У багатьох ситуаціях ви просто не можете виміряти і налаштовувати всі можливі конфлікти. У відповідь на це завдання дослідники розробили ряд прийомів для створення причинних оцінок з неекспериментальних даних - я обговорив деякі з них у розділі 2, але для деяких видів питань ці методи обмежені, і експерименти пропонують перспективні альтернатива

Експерименти дають змогу дослідникам вийти за рамки кореляції природних даних, щоб надійно відповісти на певні причинно-наслідкові питання. У аналогічному віці експерименти часто логістично важкі та дорогі. Тепер у цифрову епоху матеріальні обмеження поступово зникають. Не тільки легше робити експерименти, подібні до тих, що були зроблені в минулому, тепер можна запускати нові види експериментів.

У тому, що я написав до цих пір, я трохи вільний на моїй мові, але важливо розрізняти дві речі: експерименти та рандомізовані контрольні експерименти. В експерименті дослідник втручається у світ, а потім вимірює результат. Я чув, що такий підхід описаний як "обурення та спостереження". У рандомізованому керованому експерименті дослідник втручається для деяких людей, а не для інших, і дослідник вирішує, які люди отримують втручання шляхом рандомізації (наприклад, перевертання монети). Рандомізовані контрольовані експерименти створюють чесні порівняння між двома групами: одна, яка отримала втручання, і та, що не має. Іншими словами, рандомізовані контрольовані експерименти є вирішенням проблем конфліктів. Однак експерименти з обуренням і спостереженнями включають лише одну групу, яка отримала втручання, і тому результати можуть привести дослідників до неправильного висновку (як я покажу незабаром). Незважаючи на важливі відмінності між експериментами та рандомізованими контрольованими експериментами, соціальні дослідники часто використовують ці терміни взаємозамінно. Я дотримуюсь цієї конвенції, але, в певних моментах, буду порушувати конвенцію, щоб підкреслити значення рандомізованих контрольних експериментів над експериментами без рандомізації та контрольної групи.

Рандомізовані контрольні експерименти виявилися потужним способом дізнатися про соціальний світ, і в цьому розділі я покажу вам більше про те, як використовувати їх у своїх дослідженнях. У розділі 4.2 я проілюструю основну логіку експериментів з прикладом експерименту у Вікіпедії. Тоді, у розділі 4.3, я опишу різницю між лабораторними експериментами та польовими експериментами та відмінності між аналоговими експериментами та цифровими експериментами. Крім того, я стверджую, що цифрові польові експерименти можуть запропонувати найкращі риси аналогових лабораторних експериментів (жорсткий контроль) та аналогових польових експериментів (реалізм), усе це було неможливо раніше. Далі, у розділі 4.4, я описати три поняття-достовірність, неоднорідність ефектів лікування та механізмів, які є критичними для розробки багатих експериментів. На цьому тлі я опишу компроміси, що беруть участь у двох основних стратегіях проведення цифрових експериментів: робити це самостійно або співпрацюючи з потужним. Нарешті, я підводя пораду з дизайну про те, як ви можете скористатися реальною потужністю цифрових експериментів (розділ 4.6.1) і описати деякі з відповідальності, яка походить з цієї потужності (розділ 4.6.2).