4.1 Въведение

В подходите, обхванати досега в това поведение за наблюдение на книгата (глава 2) и задаване на въпроси (глава 3) - изследователите събират данни без да променят умишлено и систематично света. Подходът, обхванат в тази глава - изпълняващи експерименти - е фундаментално различен. Когато изследователите провеждат експерименти, те систематично се намесват в света, за да създадат данни, които идеално отговарят на въпросите за причинно-следствените връзки.

Въпросите с причини и последици са много често срещани в социалните изследвания и примерите включват въпроси като: Нараства ли се увеличаването на заплатите на учителите, за да се увеличи обучението на учениците? Какъв е ефектът от минималната работна заплата върху заетостта? Как расата на кандидата за работа засяга шанса си да си намеря работа? В допълнение към тези изрично причинни въпроси, понякога причинно-следствените въпроси са имплицитни в по-общи въпроси относно максимизирането на някои показатели за ефективността. Например, въпросът "Какъв цвят трябва да бъде бутонът за дарение на уебсайта на НПО?" Е наистина много въпроси относно ефекта от различните цветове на бутоните върху даренията.

Един от начините да се отговори на причинно-следствените въпроси е да се търсят модели в съществуващите данни. Например, връщайки се към въпроса за ефекта от заплатите на учителите върху обучението на студенти, може да изчислите, че учениците научават повече в училища, които предлагат високи заплати на учителите. Но тази корелация показва ли, че по-високите заплати карат учениците да научат повече? Разбира се, че не. Училищата, в които учителите печелят повече, могат да бъдат различни по много начини. Например, ученици в училища с високи заплати на учителите могат да идват от по-богати семейства. По този начин това, което изглежда като ефект на учителите, може да дойде само от сравняването на различните видове студенти. Тези непроменени различия между студентите се наричат объркани и като цяло възможността за объркване води до поражения върху способността на изследователите да отговарят на причинно-следствените въпроси, като търсят модели в съществуващите данни.

Едно решение на проблема със смущенията е да се опитаме да направим справедливи сравнения, като се приспособим за видими различия между групите. Например, може да изтеглите данни за данък сгради от редица правителствени уебсайтове. След това можете да сравните представянето на учениците в училищата, където цените на жилищата са подобни, но заплатите на учителите са различни и все още може да откриете, че учениците научават повече в училищата с по-високи заплати за учители. Но все още има много възможни обърквания. Може би родителите на тези ученици се различават в нивото на тяхното образование. Или може би училищата се различават по тяхната близост до обществените библиотеки. Или може би училищата с по-високи заплати учители също имат по-високи заплати за директори, а основното заплащане, а не заплата учител, е наистина това, което е нарастващо обучение на студентите. Може да се опитате да измерите и коригирате тези фактори, но списъкът от евентуални обърквания е по същество безкраен. В много ситуации просто не можете да измерите и коригирате за всички възможни объркващи. В отговор на това предизвикателство изследователите са разработили редица техники за правене на каузални оценки от не-експериментални данни - обсъдих някои от тях в глава 2, но за някои видове въпроси тези техники са ограничени и експериментите предлагат обещаващи алтернатива.

Експериментите дават възможност на изследователите да преминат отвъд корелациите в естествено срещащи се данни, за да могат надеждно да отговорят на някои въпроси, свързани с причините и последиците. В аналогичната епоха експериментите често са логистично трудни и скъпи. Сега, в дигиталната епоха, логистичните ограничения постепенно избледняват. Не само, че е по-лесно да се правят експерименти като тези, които се правят в миналото, но сега е възможно да се провеждат нови видове експерименти.

В това, което съм написал досега, бях малко свободен на моя език, но е важно да се разграничат две неща: експерименти и рандомизирани контролирани експерименти. В един експеримент един изследовател се намесва в света и след това измерва резултата. Чувал съм, че този подход е описан като "нарушава и наблюдава". В един рандомизиран контролиран експеримент един изследовател се намесва за някои хора, а не за други, и изследователят решава кои хора получават интервенцията чрез рандомизиране (например, обръщане на монета). Рандомизираните контролирани експерименти създават справедливи сравнения между две групи: една, която е получила интервенцията и една, която не е имала. С други думи, рандомизираните контролирани експерименти са решение на проблемите на обърканите. Експериментите "пертурб-и-наблюдение" обаче включват само една група, която е получила интервенцията и следователно резултатите могат да доведат изследователите до грешния извод (както скоро ще ви покажа). Въпреки важните различия между експериментите и рандомизираните контролирани експерименти, социалните изследователи често използват тези термини взаимозаменяемо. Ще следвам тази конвенция, но в определени моменти ще счупя конвенцията, за да подчертая стойността на рандомизираните контролирани експерименти върху експерименти без рандомизиране и контролна група.

Рандомизираните контролирани експерименти се оказаха мощен начин да се запознаят със социалния свят и в тази глава ще ви покажа повече как да ги използвате в своите изследвания. В раздел 4.2 ще илюстрирам основната логика на експеримента с пример за експеримент на Уикипедия. Тогава в раздел 4.3 ще опиша разликата между лабораторните експерименти и полевите експерименти и разликите между аналогови експерименти и цифрови експерименти. Освен това ще твърдя, че експериментите с дигитално поле могат да предложат най-добрите характеристики на експериментите с аналогови лаборатории (строг контрол) и експериментите с аналогови полета (реализъм), всички в мащаб, който преди това не беше възможен. След това в раздел 4.4 ще опиша три концепции - валидност, хетерогенност на ефектите от лечението и механизми, които са от решаващо значение за разработването на богати експерименти. В този контекст ще опиша компромисите, свързани с двете основни стратегии за провеждане на дигитални експерименти: да го направите сами или да си партнирате с мощните. Накрая ще завърша с някои съветнически съвети как можете да се възползвате от реалната сила на цифровите експерименти (раздел 4.6.1) и да опишете част от отговорността, която идва с тази власт (раздел 4.6.2).