4.3 Dva rozměry experimentů: laboratorní pole a analogově-digitální

Laboratorní experimenty nabízejí kontrolu, polní pokusy nabízejí realismus a experimenty digitální terénní kombinovat kontrolu a realismus v požadovaném rozsahu.

Experimenty přicházejí v mnoha různých tvarech a velikostech. V minulosti výzkumníci považovali za užitečné uspořádat experimenty podél kontinuity mezi laboratorními experimenty a terénními experimenty . Nyní by však výzkumníci měli také organizovat experimenty podél druhého kontinua mezi analogovými experimenty a digitálními experimenty . Tento dvourozměrný návrhový prostor vám pomůže pochopit silné a slabé stránky různých přístupů a zvýraznit oblasti s největší příležitostí (obrázek 4.1).

Obrázek 4.1: Schéma návrhu prostoru pro experimenty. Experimenty se v minulosti lišily v rozměru laboratorního pole. Nyní se také liší v analogově-digitální dimenzi. Tento dvourozměrný designový prostor je ilustrován čtyřmi experimenty, které popsám v této kapitole. Podle mého názoru je oblastí největších příležitostí experimenty s digitálním polem.

Jedna dimenze, pod kterou mohou být experimenty uspořádány, je rozměr lab-pole. Mnoho experimentů ve společenských vědách jsou laboratorní experimenty, kde vysokoškolští studenti vykonávají zvláštní úkoly v laboratoři pro zápočet. Tento typ experimentu dominuje výzkumu v psychologii, protože umožňuje výzkumníkům vytvářet vysoce řízená nastavení, aby přesně izolovali a testovali specifické teorie o sociálním chování. U určitých problémů se však něco cítí trochu divné, když se vyvozujeme silné závěry o lidském chování od takových neobvyklých lidí, kteří provádějí takové neobvyklé úkoly v tak neobvyklém prostředí. Tyto obavy vedly k pohybu směrem k terénním experimentům . Terénní experimenty kombinují silný návrh randomizovaných kontrolních experimentů s více reprezentativními skupinami účastníků, kteří provádějí častější úkoly v přirozenějším prostředí.

Přestože někteří lidé považují experimenty v laboratořích a polích za konkurenční metody, je nejlepší si je uvažovat jako doplňující, s různými silnými a slabými stránkami. Například Correll, Benard, and Paik (2007) používaly jak laboratorní experiment, tak experiment v terénu v pokusu najít zdroje "mateřského trestu". Ve Spojených státech matky vydělávají méně peněz než bezdětné ženy, dokonce i když srovnávání žen s podobnými dovednostmi pracujícími na podobných pracovních místech. Existuje mnoho možných vysvětlení tohoto modelu, z nichž jeden je, že zaměstnavatelé jsou zaujatý proti matkám. (Zajímavé je, že opak je pro otce pravdivý: mají tendenci vydělat víc než srovnatelné bezdětné muže.) Aby bylo možné posoudit případné předsudky vůči matkám, Correll a jeho kolegové vedli dva experimenty: jeden v laboratoři a jeden v terénu.

Za prvé, v laboratorním experimentu řekli účastníkům, kteří byli vysokoškolští vysokoškoláci, že společnost provádí hledání zaměstnání pro osobu, která má vést své nové marketingové oddělení východního pobřeží. Studenti byli informováni o tom, že společnost chtěla jejich pomoc v procesu náboru a byli požádáni, aby přezkoumali životopisy několika potenciálních kandidátů a hodnotili kandidáty na mnoha dimenzích, jako je jejich inteligence, teplo a závazek pracovat. Dále byli studenti požádáni, zda by doporučili najímat žadatele a co budou doporučovat jako výchozí plat. Známky studentům však nebyly nic společného s návrhem, které by byly podobné, s výjimkou jedné věci: někteří z nich naznačovali mateřství (uvedením zapojení do sdružení rodičů-učitelů) a někteří ne. Correll a kolegové zjistili, že studenti méně doporučují najímat matky a že jim nabídli nižší výchozí plat. Dále, prostřednictvím statistické analýzy hodnocení a rozhodnutí o náboru, Correll a kolegové zjistili, že nevýhody matek byly do značné míry vysvětleny skutečností, že byly hodnoceny nižší, pokud jde o kompetence a odhodlání. Tento laboratorní experiment umožnil společnosti Correll a kolegům určit příčinný účinek a poskytnout možné vysvětlení pro tento účinek.

Samozřejmě, někdo by mohl být skeptický ohledně vyvozování závěrů o celém americkém trhu práce na základě rozhodnutí několika stovek vysokoškoláků, kteří pravděpodobně nikdy neměli práci na plný úvazek, natož aby najali někoho. Proto Correll a kolegové také provedli doplňkový terénní experiment. Odpověděli na stovky inzerovaných pracovních míst s falešnými průvodními dopisy a pokračováním. Podobně jako materiály předvedené vysokoškolským studentům některé studie signalizovaly mateřství a některé ne. Correll a kolegové zjistili, že u matek je méně pravděpodobné, že se dostanou zpět k rozhovorům, než jsou ženy bezdětné. Jinými slovy, skuteční zaměstnavatelé, kteří provádějí následná rozhodnutí v přirozeném prostředí, se chovali podobně jako vysokoškoláci. Udělali podobná rozhodnutí ze stejného důvodu? Bohužel nevíme. Výzkumníci nebyli schopni žádat zaměstnavatele, aby hodnotili kandidáty nebo vysvětlili jejich rozhodnutí.

Tento pár experimentů odhaluje hodně o laboratorních a terénních pokusech obecně. Laboratorní experimenty nabízejí výzkumným pracovníkům téměř úplnou kontrolu nad prostředím, v němž účastníci rozhodují. Tak například v laboratorním experimentu byli Correll a kolegové schopni zajistit, aby byly všechny životopisy přečteny v klidném prostředí; v terénním experimentu by některé z životopisů nemusely být přečteny. Dále, protože účastníci pracovního prostředí vědí, že jsou studováni, výzkumníci jsou často schopni shromažďovat další údaje, které mohou pomoci vysvětlit, proč účastníci rozhodují. Například Correll a kolegové požádali účastníky laboratorního experimentu, aby hodnotili kandidáty na různých dimenzích. Tento druh dat procesu by mohl pomoci vědcům pochopit mechanismy, které stojí za rozdíly v tom, jak účastníci zachovávají životopisy.

Na druhou stranu, tyto přesně stejné vlastnosti, které jsem právě popsal jako výhody, jsou někdy považovány za nevýhody. Výzkumní pracovníci, kteří dávají přednost terénním experimentům, tvrdí, že účastníci laboratorních experimentů mohou jednat velmi odlišně, protože vědí, že jsou studováni. Například v laboratorním experimentu účastníci mohli odhadnout cíl výzkumu a změnit své chování tak, aby se nezobrazovali zaujatý. Dále výzkumníci, kteří upřednostňují terénní experimenty, mohou tvrdit, že malé rozdíly v resuméch mohou vyniknout pouze ve velmi čistém, sterilním laboratorním prostředí, a proto laboratorní experiment nadhodnotí vliv mateřství na skutečná rozhodnutí o přijímání. Konečně mnozí zastánci terénních experimentů kritizují spoléhání se na laboratorní experimenty s účastníky WEIRD: především studenti ze západních, vzdělávacích, industrializovaných, bohatých a demokratických zemí (Henrich, Heine, and Norenzayan 2010a) . Pokusy od Corrella a kolegů (2007) ilustrují dva extrémy na kontinuu laboratoře. Mezi těmito dvěma extrémy existuje také řada hybridních návrhů, včetně přístupů, jako je přivedení non-studentů do laboratoře nebo vstup do terénu, ale stále mají účastníci plnit neobvyklý úkol.

Vedle dimenze pracovního pole, která existovala v minulosti, digitální věk znamená, že výzkumníci mají nyní druhou hlavní dimenzi, na níž se experimenty mohou lišit: analogově-digitální. Stejně jako tam jsou čisté laboratorní experimenty, čisté experimenty na poli a řada hybridů mezi nimi, existují čistě analogové experimenty, čisté digitální experimenty a řada hybridů. Je obtížné nabídnout formální definici této dimenze, ale užitečnou pracovní definicí je to, že plně digitální experimenty jsou experimenty, které využívají digitální infrastrukturu k náboru účastníků, k randomizaci, k poskytování léčby ak měření výsledků. Například Restivo a van de Rijt (2012) studium barnstars a Wikipedia byl plně digitální experiment, protože použil digitální systémy pro všechny čtyři z těchto kroků. Podobně úplně analogové experimenty nepoužívají digitální infrastrukturu pro žádný z těchto čtyř kroků. Mnoho klasických experimentů v psychologii jsou plně analogickými experimenty. Mezi těmito dvěma extrémy existují částečně digitální experimenty, které používají kombinaci analogových a digitálních systémů.

Když někteří lidé myslí na digitální experimenty, okamžitě přemýšlejí o on-line experimentech. To je nešťastné, protože příležitosti k provozování digitálních experimentů nejsou jen online. Výzkumníci mohou provozovat částečně digitální experimenty s využitím digitálních zařízení ve fyzickém světě za účelem poskytování léčby nebo měření výsledků. Vědci mohou například využít inteligentní telefony k poskytování ošetření nebo senzorů ve vyvstávajícím prostředí za účelem měření výsledků. Ve skutečnosti, jak uvidíme později v této kapitole, vědci již používali měřiče spotřeby domů k měření výsledků v experimentech o spotřebě energie zahrnující 8,5 milionu domácností (Allcott 2015) . Vzhledem k tomu, že digitální zařízení se stále více integrují do života lidí a senzory se integrují do zastavěného prostředí, tyto příležitosti k provozování částečně digitálních experimentů ve fyzickém světě se výrazně zvýší. Jinými slovy, digitální experimenty nejsou pouze on-line experimenty.

Digitální systémy vytvářejí nové možnosti pro experimenty všude v kontinuu laboratoře. V čistých laboratorních experimentech například výzkumníci mohou používat digitální systémy pro jemnější měření chování účastníků; jedním z příkladů tohoto typu zlepšeného měření je zařízení pro sledování očí, které poskytuje přesné a kontinuální měření polohy pohledu. Digitální věk také vytváří možnost provozovat on-line experimenty podobné laboratoři. Například výzkumníci rychle přijali Amazon Mechanical Turk (MTurk), aby přijali účastníky online experimentů (obrázek 4.2). MTurk odpovídá "zaměstnavatelům", kteří mají úkoly, které je třeba doplnit o "pracovníky", kteří chtějí plnit tyto úkoly za peníze. Na rozdíl od tradičních trhů práce však úkoly obvykle vyžadují jen pár minut k dokončení a celá interakce mezi zaměstnavatelem a pracovníkem je online. Protože MTurk napodobuje aspekty tradičních laboratorních experimentů - placení lidem k dokončení úkolů, které nebudou dělat zdarma - je přirozeně vhodné pro určité typy experimentů. V podstatě MTurk vytvořil infrastrukturu pro správu skupiny účastníků - získávání a placení lidí - a výzkumní pracovníci využili této infrastruktury k tomu, aby využili vždy dostupný soubor účastníků.

Obrázek 4.2: Příspěvky publikované pomocí dat z Amazon Mechanical Turk (MTurk). MTurk a další on-line trhy práce nabízejí výzkumným pracovníkům pohodlný způsob náboru účastníků experimentů. Přizpůsoben od Bohannon (2016) .

Digitální systémy vytvářejí ještě více možností pro terénní experimenty. Konkrétně umožňují výzkumníkům spojit přísné kontrolní a procesní data, která jsou spojena s laboratorními experimenty s různorodějšími účastníky a přirozenějšími nastaveními, která jsou spojena s laboratorními experimenty. Navíc experimenty s digitálním polem nabízejí také tři příležitosti, které v analogových experimentech ztěžují obtíž.

Za prvé, zatímco většina analogových laboratorních a terénních experimentů má stovky účastníků, experimenty digitálních polí mohou mít miliony účastníků. Tato změna měřítka je způsobena tím, že některé digitální experimenty mohou produkovat data za nulovou proměnlivou cenu. To znamená, že jakmile výzkumní pracovníci vytvoří experimentální infrastrukturu, zvýšení počtu účastníků obvykle nezvyšuje náklady. Zvýšení počtu účastníků o faktor 100 nebo více není jen kvantitativní změna; je to kvalitativní změna, protože umožňuje výzkumníkům naučit se různé věci od experimentů (např. heterogenita účinků léčby) a provádět zcela odlišné experimentální návrhy (např. experimenty s velkými skupinami). Tento bod je tak důležitý, vrátím se k němu ke konci kapitoly, když vám nabídnu radu o vytváření digitálních experimentů.

Zadruhé, zatímco většina analogových laboratorních a terénních experimentů považuje účastníky za nerozlišitelné widgety, experimenty s digitálními poli často používají základní informace o účastnících ve fázi návrhu a analýzy výzkumu. Tyto informace o pozadí, které se nazývají informace o předběžné léčbě , jsou často k dispozici v digitálních experimentech, protože jsou provozovány na vestavěných měřicích systémech (viz kapitola 2). Například výzkumník na Facebooku má mnohem více informací o předcházejících léčbě lidí v experimentu v oblasti digitálních polí, než má univerzitní vědec, který se zabývá lidmi ve svém experimentu s analogovým polem. Tato předběžná léčba umožňuje efektivnější experimentální návrhy - například blokování (Higgins, Sävje, and Sekhon 2016) a cílenou nábor účastníků (Eckles, Kizilcec, and Bakshy 2016) - a další důkladná analýza - například odhad heterogenity účinků léčby (Athey and Imbens 2016a) a (Athey and Imbens 2016a) úpravu pro lepší přesnost (Bloniarz et al. 2016) .

Zatřetí, zatímco mnoho analogových laboratorních a terénních experimentů přináší léčbu a měří výsledky v poměrně komprimovaném množství času, některé experimenty s digitálním polem se vyskytují v mnohem delších časových intervalech. Například experimenty Restivo a van de Rijta měřily denní výsledky po dobu 90 dnů a jeden z experimentů, které vám řeknu později v kapitole (Ferraro, Miranda, and Price 2011) sledoval výsledky za tři roky v podstatě ne náklady. Tyto tři možnosti příležitostí, informace o předběžné léčbě a údaje o dlouhodobé léčbě a výsledcích nejčastěji vznikají při pokusech na pokrytí vždy-na měřících systémech (viz kapitola 2 pro více na vždy-na měřících systémech).

Zatímco experimenty s digitálním polem nabízejí mnoho možností, sdílejí také některé slabiny s analogovými laboratorními a analogovými experimenty. Například experimenty nemohou být použity ke studiu minulosti a mohou odhadnout pouze účinky léčby, které lze manipulovat. I přes to, že experimenty jsou nepochybně užitečné pro vedení politiky, je přesné vedení, které mohou nabídnout, poněkud omezené kvůli komplikacím, jako je závislost na životním prostředí, problémy s dodržováním předpisů a rovnovážné účinky (Banerjee and Duflo 2009; Deaton 2010) . Pokusy v oblasti digitálního pole také zvětšují etické obavy vytvořené experimenty v terénu - téma, které budu řešit později v této kapitole av kapitole 6.