4.3 Dva rozměry experimentů: laboratorní pole a analogově-digitální

Laboratorní experimenty nabízejí kontrolu, polní pokusy nabízejí realismus a experimenty digitální terénní kombinovat kontrolu a realismus v požadovaném rozsahu.

Experimenty přijít v mnoha různých tvarů a velikostí. Ale i přes tyto rozdíly, vědci zjistili, že je užitečné organizovat experimenty podél kontinua mezi laboratorních pokusů a experimentů v terénu. Nyní však vědci by také měla organizovat experimenty podél kontinua mezi analogových a digitálních experimentů experimentů. Tento dvourozměrný vzor prostoru vám pomůže pochopit silné a slabé stránky různých přístupů a navrhnout oblasti největší příležitost (Obrázek 4.1).

Obrázek 4.1: Schéma navrhování prostor pro experimenty. V minulosti pokusy měnit podél rozměru laboratorní pole. Teď se lišit také na analogovém digitální rozměr. Podle mého názoru je plocha největší příležitost je experimenty digitálních polí.

V minulosti, hlavním způsobem, že výzkumní pracovníci organizované experimenty byl podél rozměru laboratorní pole. Většina experimentů ve společenských vědách jsou laboratorní experimenty, kdy vysokoškolští studenti vykonávají zvláštní úkoly v laboratoři na zápočet. Tento typ experimentu dominuje výzkum v psychologii, protože umožňuje vědcům vytvořit velmi specifické léčby určené k testování velmi specifické teorie o sociálním chování. U některých problémů, ale něco cítí trochu divného čerpání silné závěry o lidském chování z těchto neobvyklých osob vykonávajících takové neobvyklé úkoly v takovém netradičním prostředí. Tyto obavy vedly k pohybu směrem polních pokusů. polní pokusy kombinovat silné konstrukci randomizovaných kontrolních experimentech s více reprezentativních skupin účastníků, hrát více společných úkolů ve více přirozeném prostředí.

I když někteří lidé si myslí, laboratorních a polních pokusů, jak konkurenčních způsobů, to je nejlepší uvažovat o nich jako doplňkové metody s různými silné a slabé stránky. Například Correll, Benard, and Paik (2007) používá jak laboratorní experiment a polní pokus v snaze najít zdroje na "trest mateřství." Ve Spojených státech, matky vydělávají méně peněz, než bezdětné ženy, i když porovnávající ženy s podobnými schopnostmi, kteří pracují v obdobných pracovních míst. Existuje mnoho možných vysvětlení pro tento vzorek, a jeden je, že zaměstnavatelé jsou zaujatá proti matkám. (Je zajímavé, že opak se zdá být pravda pro otce: mají tendenci vydělávat více než srovnatelné bezdětných mužů). Za účelem posouzení možného předpojatost vůči matkám, Correll a jeho kolegové běžel dva pokusy: jeden v laboratoři a jeden v poli.

Za prvé, v laboratorním experimentu Correll a jeho kolegové řekl účastníkům, kteří byli vysokoškolští vysokoškoláci, že se sídlem v Kalifornii rozběhové komunikační společnost řídil vyhledávání zaměstnání pro osobu vést svou novou východního pobřeží marketingové oddělení. Žáci bylo řečeno, že společnost chtěla jejich pomoc v procesu přijímání a byli požádáni, aby přečíst životopisy několika možných kandidátů a hodnotit kandidáty na řadu rozměrů, jako je jejich inteligence, teplo, a závazek k práci. Dále studenti byli dotázáni, zda by doporučovat přijímání žadatele a to, co by v ní doporučilo jako výchozí plat. Unbeknownst studentům, nicméně, pokračuje byly speciálně konstruována tak, aby byl podobný až na jednu věc: některé z životopisů signalizuje mateřství (výčtem zapojení do sdružení rodičů a učitelů) a některé ne. Correll zjistila, že studenti byli méně pravděpodobné, že doporučovat přijímání matky a nabídl jim nižší počáteční plat. Dále, pomocí statistické analýzy obou hodnocení a rozhodnutí najímání souvisejících Correll zjištěno, že nevýhody matek byly do značné míry vysvětlit tím, že matky byly hodnoceny hůře z hlediska způsobilosti a závazku. Jinými slovy, Correll tvrdí, že tyto vlastnosti jsou mechanismus, jehož prostřednictvím matky jsou znevýhodněny. Tak, tato laboratoř experiment dovoleno Correll a kolegy k měření kauzální účinek a poskytovat možné vysvětlení v tomto smyslu.

Samozřejmě, jeden by mohl být skeptický k vyvození závěrů o celé amerického trhu práce na základě rozhodnutí několika set studentů, kteří pravděpodobně nikdy neměli práci na plný úvazek, natož najatých lidí. Proto Correll a jeho kolegové také provedl doplňující terénní experiment. Výzkumní pracovníci reagovali na stovky inzerovaných pracovních míst zasláním falešných průvodních dopisů a životopisů. Podobně jako u materiálů uvedených na vysokoškoláky, někteří pokračuje naznačil mateřství a některé ne. Correll a jeho kolegové zjistili, že matky byly méně pravděpodobné, že si zavolal na pohovor než stejně kvalifikovaný bezdětné ženy. Jinými slovy, skutečné zaměstnavatelé dělat následných rozhodnutí v přírodním prostředí se choval podobně jako vysokoškoláci. Udělali podobné rozhodnutí pro stejného důvodu? Bohužel nevíme. Výzkumníci nebyli schopni požádat zaměstnavatele, aby hodnotit kandidáty nebo vysvětlit svá rozhodnutí.

Tato dvojice experimentů odhalí hodně o laboratorních a polních pokusů obecně. Laboratorní experimenty nabízejí výzkumným pracovníkům v blízkosti úplnou kontrolu nad prostředím, v němž jsou účastníci rozhodování. Tak, například, v laboratorním pokusu, Correll byl schopen zajistit, aby všechny obnoví byly čteny v klidném prostředí; v polním pokusu, některé z obnoví nemusí být dokonce čtení. Dále, protože účastníci v laboratorním nastavení vědí, že jsou studovány vědci jsou často schopni sbírat další údaje, které jim mohou pomoci pochopit, proč jsou účastníci svém rozhodování. Například Correll požádal účastníky v laboratorním pokusu hodnotit kandidáty na různých rozměrů. Tento druh procesních dat by mohlo pomoci výzkumníci pochopit mechanismy, které stojí za rozdíly v tom, jak účastníci léčbě pokračuje.

Na druhé straně, tyto přesně stejné vlastnosti, které jsem právě popsány jako výhody jsou také někdy považovány za nevýhody. Výzkumní pracovníci, kteří dávají přednost polní pokusy argumentují tím, že účastníci laboratorních experimentech by mohl působit velmi rozdílně, když jsou pečlivě sledováni. Například v laboratoři účastníci experimentu si mohla myslet cíl výzkumu a změnil své chování tak, aby se jeví jako zkreslená. Dále výzkumníci, kteří dávají přednost polní pokusy by mohl namítnout, že malé rozdíly na životopisů může stát pouze ve velmi čistém a sterilním laboratorním prostředí, a tím i laboratorní experiment se přeceňují vliv mateřství na rozhodování v reálném náboru. Konečně, mnoho zastánci polních pokusů kritizují laboratorních cvičení spoléhání se na divné účastníků: převážně studentů ze západní, vzdělaný, industrializovaných, bohatý, a demokratickými zeměmi (Henrich, Heine, and Norenzayan 2010) . Experimenty podle Correll a kolegové (2007) ilustrují dva extrémy na lab pole kontinua. Mezi těmito dvěma extrémy existuje řada hybridních konstrukcí, včetně přístupů, jako je podání nestudentů do laboratoře, nebo jít do terénu, ale stále mají účastníci provést neobvyklý úkol.

Kromě rozměru laboratorní pole, která existovala v minulosti, digitální věk znamená, že výzkumní pracovníci nyní mají druhý hlavní rozměr, po které se může měnit experimenty: analogově-digitální. Stejně jako existují čisté laboratorní experimenty, pokusy čisté pole a různé hybridy mezi, tam jsou čistě analogové experimenty, čistě digitální experimenty a různé hybridy. To je složité nabídnout formální definici tohoto rozměru, ale užitečný pracovní definice je to, že plně digitální experimenty jsou experimenty, které využívají digitální infrastruktury do počtu účastníků, náhodně, poskytování léčby, a měřit výsledky. Například Restivo a van de Rijt je (2012) studium barnstars a Wikipedia byl plně digitální experiment, protože používá digitální systémy pro všechny čtyři z těchto kroků. Stejně tak plně analogové experimenty jsou experimenty, které nejsou využívají digitální infrastruktury pro některý z těchto čtyř kroků. Mnoho z klasických experimentů v psychologii jsou analogové experimenty. Mezi těmito dvěma extrémy jsou částečně digitální experimenty, které používají kombinaci analogových a digitálních systémů pro čtyř kroků.

Kriticky, příležitosti ke spuštění digitální experimenty jsou nejen online. Výzkumní pracovníci mohou běžet částečně digitální experimenty pomocí digitálních přístrojů ve fyzickém světě s cílem dodávat ošetření nebo měřit výsledky. Například výzkumníci mohli používat chytré telefony dodat ošetření nebo senzory v zastavěném prostředí pro měření výsledků. Ve skutečnosti, jak uvidíme dále v této kapitole, vědci již používají doma měřičů výkonu pro měření výsledků Při pokusech o sociálních norem a spotřeby energie zahrnující 8,5 milionu domácností (Allcott 2015) . Jako digitální zařízení stále více integrují do životů lidí a senzory integrovat se do zastavěného prostředí, tyto příležitosti ke spuštění částečně digitální experimenty ve fyzickém světě dramaticky vzroste. Jinými slovy, digitální experimenty nejsou jen on experimenty.

Digitální systémy vytvářejí nové možnosti pro experimenty všude podél lab pole kontinua. V čistých laboratorních experimentech, například, výzkumníci mohou použít digitální systémy pro měření jemnější chování účastníků; Jedním z příkladů tohoto typu zlepšeného měření je oko-sledovací zařízení, které zajišťuje přesné a kontinuální opatření místě pohledem. Digitální věk také vytváří možnost spustit laboratorní podobné experimenty online. Například výzkumníci urychleně přijmout Amazonku mechanický Turek (MTurk) pro nábor účastníků pro online experimentů (obr 4.2). MTurk utkání "zaměstnavatele", kteří mají úkoly, které je třeba doplnit "zaměstnance", kteří chtějí dokončit tyto úkoly za peníze. Na rozdíl od tradičních trhů práce, nicméně, úkoly zapojené obvykle vyžadují pouze několik minut na dokončení a celá interakce mezi zaměstnavatelem a pracovníkem je virtuální. Vzhledem k tomu, MTurk napodobuje aspekty tradičních laboratorních experimentů platící lidi k plnění úkolů, že nebudou dělat zadarmo, je přirozeně hodí pro určité typy experimentů. V podstatě MTurk vytvořil infrastrukturu pro správu bazén účastníků-náboru a placení na lidi a výzkumníci využili této infrastruktury proniknout do bazénu vždy k dispozici účastníků.

Obrázek 4.2: Papers publikován pomocí dat z Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk a dalších online trhy práce nabídnout výzkumným pohodlný způsob, jak nábor účastníků pro experimenty.

Digitální pokusy vytvořit ještě více možností pro práci na poli podobné experimenty. experimenty Digitální polní může nabídnout přísnou kontrolu a zpracování dat pochopit možné mechanismy (jako laboratorních experimentů) a další různé účastníky dělají skutečná rozhodnutí v přirozeném prostředí (jako polních pokusů). Kromě této kombinaci dobrých vlastností dřívějších pokusů, pokusy DIGITÁLNÍ také nabízejí tři možnosti, které byly obtížné v analogových laboratorních a polních pokusů.

Za prvé, zatímco většina analogových laboratorní a terénní experimenty mají stovky účastníků, experimenty digitální pole může mít miliony účastníků. Tato změna v měřítku je, že některé digitální experimenty mohou produkovat dat při nulové variabilní náklady. To znamená, že jakmile výzkumníci vytvořili experimentální infrastrukturu, zvýšení počtu účastníků obvykle nezvyšuje náklady. Zvýšení počtu účastníků o faktor 100 nebo více není jen kvantitativní změna, je kvalitativní změna, protože umožňuje vědcům naučit se různé věci z experimentů (např heterogenita účinků léčby) a spusťte zcela odlišných experimentálních vzorů ( např velká skupina experimenty). Tento bod je tak důležité, budu vrátit se k němu ke konci kapitoly, když jsem se poradí o vytváření digitálních experimentů.

Za druhé, zatímco většina analogových laboratorní a polní pokusy zacházet s účastníky as nerozeznání widgety, experimenty digitální terénní často používají základní informace o účastnících v designu a analytických fázích výzkumu. Tato informace o pozadí, který se nazývá informace předčištění, je často k dispozici v digitální experimenty, protože probíhají v plně měřených prostředí. Například, výzkumný pracovník na Facebook má mnohem více informací předčištění než výzkumník navrhování standardní laboratorní experiment s vysokoškoláky. Tato informace předčištění umožňuje vědcům překonat léčení účastníkům jako nerozeznatelné widgety. Přesněji řečeno, informace o pre-léčba umožňuje účinnější experimentální designy-, jako je blokování (Higgins, Sävje, and Sekhon 2016) a cílený nábor účastníků (Eckles, Kizilcec, and Bakshy 2016) -A více zasvěcenou analýzu-, jako je odhad heterogenity účinků léčby (Athey and Imbens 2016a) a kovariací úpravou pro zlepšení přesnosti (Bloniarz et al. 2016) .

Za třetí, zatímco mnoho analogových laboratorní a polní pokusy dodávat procedur a výsledků opatření v relativně stlačeného množství času, některé experimenty digitální terénní zahrnovat ošetření, které mohou být dodány v průběhu času a efekty lze také měřit v průběhu času. Například Restivo a Van de Rijt experiment má výsledek naměřené denně po dobu 90 dnů, a jeden z experimentů Řeknu ti to asi později v kapitole (Ferraro, Miranda, and Price 2011) sleduje výsledky v průběhu 3 let v podstatě žádný náklady. Tyto tři možnosti velikosti, informační předčištění, a podélné léčby a výsledků datově jsou nejčastější jsou-li pokusy spustit na vrcholu vždy-na měření systémů (viz kapitola 2 pro více informací o trvalé připojení k měřicích systémů).

Zatímco pokusy digitální terénní nabízejí mnoho možností, ale také sdílet některé nedostatky jak s analogovým laboratoří a experimentů v terénu. Například pokusy nelze použít ke studiu minulosti, a mohou odhadnout pouze účinky léčby, které mohou být vykonávány. Také, ačkoli pokusy jsou nepochybně užitečné vodítko pro politiku, přesné navádění mohou nabídnout je poněkud omezen z důvodu komplikací, jako je závislost na životní prostředí, problémy s dodržením a rovnovážných efektů (Banerjee and Duflo 2009; Deaton 2010) . Konečně, experimenty digitální terénní zvětšit etické obavy vytvořené polních pokusů. Zastánci polních pokusů trubka jejich schopnost nenápadně a náhodně zasáhnout do následných rozhodnutích učiněných miliony lidí. Tyto funkce nabízejí určité výhody, vědecké, ale mohou také polní pokusy eticky komplex (přemýšlet o tom, jak vědci zacházení s lidmi jako "laboratorní krysy" v masovém měřítku). Dále, kromě případných škod účastníkům, pokusy digitální pole, z důvodu jejich rozsahu, může také zvýšit obavy z narušení pracovního sociálních systémů (např obavy z narušení systém odměňování Wikipedia pokud Restivo a van der Rijt dal příliš mnoho barnstars) ,