4.1 Úvod

V dosavadních postupech v tomto chování pozorování knih (kapitola 2) a při kladení otázek (kapitola 3) - výzkumníci sbírají data bez úmyslné a systematické změny světa. Přístup pokrytý v této kapitole - běžící experimenty - je zásadně odlišný. Když výzkumníci provádějí experimenty, systematicky zasahují do světa, aby vytvořili data, která jsou ideální pro odpovědi na otázky týkající se příčinných vztahů.

Otázky týkající se příčin a následků jsou v sociálním výzkumu velmi běžné a příklady zahrnují otázky, jako například: zvyšují platy učitelů zvýšení učení studentů? Jaký je dopad minimální mzdy na míru zaměstnanosti? Jakým způsobem zájem žadatele o zaměstnání ovlivňuje její šanci na získání zaměstnání? Navíc k těmto explicitně kauzálním otázkám jsou někdy příčiny a následky důsledkem obecnějších otázek o maximalizaci určité metriky výkonnosti. Například otázka "Jakou barvu by mělo být tlačítko darování na webových stránkách nevládních organizací?" Je spousta otázek ohledně vlivu různých barev na dárky.

Jedním ze způsobů, jak odpovědět na příčiny a následky, je hledat vzory v existujících datech. Například se můžete vrátit k otázce vlivu platů učitelů na studentské učení, můžete si vypočítat, že se studenti dozvědí více ve školách, které nabízejí vysoké platy učitelů. Ale tato korelace ukazuje, že vyšší platy způsobují, že se studenti dozví více? Samozřejmě že ne. Školy, kde učitelé vydělávají více, se mohou v mnoha ohledech lišit. Například studenti ve školách s vysokými platy učitelů mohou pocházet z bohatších rodin. To, co vypadá jako účinek učitelů, může jen pocházet ze srovnání různých typů studentů. Tyto nezměrné rozdíly mezi studenty se nazývají zkresleny a obecně možnost potlačení může způsobit potíže na schopnost výzkumných pracovníků odpovídat na příčiny a následky, a to hledáním vzorců ve stávajících datech.

Jedním z řešení problému zkreslení je snaha o spravedlivé srovnání úpravou pozorovatelných rozdílů mezi skupinami. Můžete například stáhnout údaje o daních z nemovitostí z několika vládních webových stránek. Poté byste mohli porovnat výkony studentů ve školách, kde jsou podobné ceny domů, ale platy učitelů jsou různé a stále byste mohli zjistit, že se studenti dozví ve školách s vyšší platou učitelů více. Ale stále existuje mnoho možných zmatek. Možná se rodiče těchto studentů liší v úrovni vzdělání. Nebo se školy mohou lišit v jejich blízkosti k veřejným knihovnám. Nebo možná i školy s vyššími platy učitelů mají vyšší plat za ředitele, a hlavní mzda, nikoliv placená učitelka, je opravdu to, čím se zvyšuje studium učení. Mohli byste se také pokusit měřit a přizpůsobit se těmto faktorům, ale seznam možných zmatek je v podstatě nekonečný. V mnoha situacích prostě nemůžete měřit a upravovat všechny možné zkreslení. V reakci na tuto výzvu výzkumní pracovníci vyvinuli řadu technik pro tvorbu kauzálních odhadů z nepeterijních dat - některé jsem diskutoval v kapitole 2, ale u některých druhů otázek jsou tyto techniky omezené a pokusy nabízejí slibné alternativní.

Experimenty umožňují výzkumníkům překonat korelace v přirozeně se vyskytujících datech, aby spolehlivě odpovídaly na určité otázky týkající se příčin a následků. V analogickém věku byly experimenty často logisticky obtížné a drahé. Nyní v digitálním věku se logistická omezení postupně ztrácejí. Nejen, že je snadnější provádět experimenty, jako v minulosti, je nyní možné spustit nové druhy experimentů.

V tom, co jsem dosud psal, jsem v mém jazyce trochu volná, ale je důležité rozlišovat mezi dvěma věcmi: experimenty a randomizované řízené experimenty. V experimentu zasahuje vědecký pracovník ve světě a následně měří výsledek. Slyšel jsem, že tento přístup je popsán jako "narušovat a pozorovat". V randomizovaném kontrolovaném experimentu výzkumník zasahuje pro některé lidi, a nikoliv pro druhé, a výzkumník rozhodne, kteří lidé dostávají intervenci randomizací (např. Randomizované řízené experimenty vytvářejí spravedlivé srovnání mezi dvěma skupinami: jednou, která obdržela zásah, a druhou, která ne. Jinými slovy, randomizované řízené experimenty jsou řešením problémů zmatek. Experimenty s narušením pozornosti však zahrnují pouze jednu skupinu, která obdržela zásah, a proto výsledky mohou vést badatele k nesprávnému závěru (jak brzy uvidím). Přes významné rozdíly mezi experimenty a randomizovanými kontrolovanými experimenty, sociální výzkumníci často používají tyto pojmy zaměnitelně. Budu následovat tuto konvenci, avšak v určitých bodech ukončím konvenci, abych zdůraznil hodnotu randomizovaných kontrolovaných experimentů bez experimentů bez randomizace a kontrolní skupiny.

Randomizované řízené experimenty se ukázaly jako silný způsob, jak se naučit o společenském světě, a v této kapitole vám ukážeme více o tom, jak je využít ve svém výzkumu. V části 4.2 se seznámím se základní logikou experimentování s příkladem experimentu na Wikipedii. Potom v části 4.3 budu popisovat rozdíl mezi laboratorními experimenty a terénními experimenty a rozdíly mezi analogovými experimenty a digitálními experimenty. Dále budeme argumentovat, že experimenty s digitálními poli mohou nabídnout nejlepší vlastnosti experimentů analogového laboratoře (pevné kontroly) a analogových experimentů na poli (realismus), a to vše v měřítku, které dříve nebylo možné. Dále v části 4.4 budu popisovat tři pojmy - platnost, heterogenita léčebných efektů a mechanismy - které jsou rozhodující pro navrhování bohatých experimentů. S tímto zázemím budu popisovat kompromisy, které se účastní dvou hlavních strategií pro provádění digitálních experimentů: děláte to sami nebo partnerství s mocnými. Nakonec skončím s některými návrhovými radami o tom, jak můžete využít skutečné síly digitálních experimentů (část 4.6.1) a popsat část odpovědnosti, která přichází s touto mocí (oddíl 4.6.2).