4.1 Въведение

В подстъпите обхванати досега в тази книга-наблюдаване на поведението (Глава 2) и задаване на въпроси (Глава 3) научни изследователи събират данни за това, което е естествено срещащи се в света. Подходът, обхваната в настоящата глава, провеждане на експерименти-е коренно различна. Когато изследователите работят експерименти, те системно се намеси в света, за да се създаде данни, че е идеално пригодени да отговарят на въпроси относно причинно-следствените връзки.

Причинно-следствените въпроси са много разпространени в социалните изследвания, и примери включват въпроси като ли увеличаване на заплатите на учителите да повишат познанията на учениците? Какъв е ефектът от минималната работна заплата на равнището на заетост? Как раса на кандидата за работа се осъществи шанс й на получаване на работа? В допълнение към тези изрично причинни въпроси, понякога причинно-следствените въпроси са свързани с прилагането на по-общи въпроси за максимизиране на някои показател производителност. Например, на въпроса "Какво бутон цвят ще максимизира дарения на сайта на сайта на НПО?" Е наистина много въпроси за ефекта на различни цветове на бутоните на дарения.

Един начин да се отговори на въпросите, причинно-следствените е да се търсят модели в съществуващите данни. Например, като се използват данни от хиляди училища, може да се изчисли, че учениците да научат повече в училища, които предлагат високи заплати на учителите. Но, има ли тази корелация показват, че по-високи заплати предизвика учениците да научат повече? Разбира се, че не. Училища, където учителите печелят повече може да са различни в много отношения. Например, учениците в училища с високи заплати на учителите може да идват от по-заможни семейства. По този начин, това, което изглежда като ефект на учителите може просто да дойде от сравняване на различни видове студенти. Тези непремерено разлики между учениците се наричат ​​грешките, и като цяло, възможност за грешките опустошава изследователи способност да отговори на въпросите, причинно-следствените чрез търси модели в съществуващите данни.

Едно решение на проблема на грешките е да се опита да направи честни сравнения чрез коригиране на наблюдаваните разлики между групите. Например, може да бъде в състояние да изтеглите данъчни имот данни от редица правителствени сайтове. След това можете да сравните представянето на учениците в училища, където цените на жилищата са подобни, но учителските заплати са различни, а вие все още може да се намери, че учениците да научат повече в училища с по-високо заплащане на учителите. Но, все още има много възможни грешките. Може би родителите на тези студент се различават по своята степен на образование или може би училищата се различават в близостта им до обществени библиотеки или може би на училищата с по-високо заплащане на учителите също имат по-високо заплащане за директори и главния заплащане, не заплащането на учителите, е наистина това, което се увеличава обучението на студентите. Може да опитате да се измери тези други фактори, както и, но списъкът на възможните грешките е по същество безкраен. В много ситуации, просто не може да се измери и да се настрои всички възможни грешките. Този подход може само да ви отведе до този момент.

По-добро решение на проблема с грешките е провеждане на експерименти. Експерименти позволяват на изследователите да се премине отвъд корелациите в естествено срещащи се на данни, за да се надеждно да отговорим на причинно-ефект въпрос. В аналогов възраст, експерименти често са логистично трудно и скъпо. Сега, в дигиталната епоха, логистични ограничения постепенно затихват. Не само, че е лесно да се прави експерименти като тези изследователи са направили в миналото, сега е възможно да тече нови видове експерименти.

В това, което съм написал досега съм бил малко в насипно състояние в моя език, но е важно да се прави разлика между две неща: експерименти и рандомизирани контролирани експерименти. В един експеримент изследовател се намесва в света и след това измерва резултат. Чувал съм този подход, описан като "смущават и наблюдавайте." Тази стратегия е много ефективна в областта на естествените науки, но в медицински и социални науки, има и друг подход, който работи по-добре. В рандомизирано контролирано експеримент изследовател се намесва, за някои хора, но не и за другите, и, критично, изследователят решава кои хора получават намесата от рандомизацията (например, обръщане на монета). Тази процедура гарантира, че рандомизирани контролирани експерименти създават справедливи сравнения между две групи: едната, че е получил намесата и този, който не разполага. С други думи, рандомизирани контролирани експерименти са решение на проблемите на грешките. Въпреки важни разлики между експерименти и рандомизирани контролирани експерименти, социалните изследователи често използват тези термини като взаимозаменяеми. Ще последват тази конвенция, но, в определени точки, ще ти счупя конвенцията, за да се подчертае стойността на рандомизирани контролирани експерименти над експерименти без рандомизацията и контролна група.

Рандомизирани контролирани експерименти са доказали да бъде мощен начин да научат повече за социалния свят, и в тази глава, аз ще ви научи повече за това как да ги използват в своето изследване. В раздел 4.2, ще илюстрират основната логика на експериментиране с един пример за един експеримент на Wikipedia. След това, в раздел 4.3, аз ще опиша разликата между лабораторни експерименти и полеви експерименти и разликите между аналоговите експерименти и дигитални експерименти. Освен това, аз ще твърдя, че дигитални експерименти полеви могат да предложат най-добрите характеристики на аналогови лабораторни експерименти (строг контрол) и аналогов полеви експерименти (реализъм), всички в мащаб, че не е било възможно по-рано. На следващо място, в раздел 4.4, аз ще опиша три концепции-валидност, хетерогенност на ефекти от лечението, както и механизми-, които са критични за проектиране богати експерименти. С този фон, аз ще опиша компромисите, които участват в две основни стратегии за провеждане на дигитални експерименти: го направите сами (раздел 4.5.1) или в партньорство с мощен (раздел 4.5.2). И накрая, аз ще завърша с някои дизайн съвети за това как можете да се възползвате от истинската сила на дигитални експерименти (раздел 4.6.1) и се описват някои от отговорност, която идва с тази сила (точка 4.6.2). Главата ще бъде представено с минимум от математически нотация и формален език; читатели, интересуващи се от едно по-официално, математически подход към експерименти също трябва да четат техническото допълнение в края на тази глава.