4.3 Dva rozmery experimentov: laboratórne polia a analógovo-digitálne

Laboratórne experimenty ponúkajú kontrolu, poľné pokusy ponúkajú realizmus a experimenty digitálne terénne kombinovať kontrolu a realizmus v požadovanom rozsahu.

Experimenty prichádzajú v mnohých rôznych tvaroch a veľkostiach. V minulosti výskumníci zistili, že je užitočné organizovať experimenty pozdĺž kontinuity medzi laboratórnymi experimentmi a terénnymi experimentmi . Teraz by však výskumníci mali tiež organizovať experimenty pozdĺž druhého kontinua medzi analógovými experimentmi a digitálnymi experimentmi . Tento dvojrozmerný dizajnový priestor vám pomôže pochopiť silné a slabé stránky rôznych prístupov a zvýrazniť oblasti s najväčšou príležitosťou (obrázok 4.1).

Obrázok 4.1: Schéma priestorov pre experimenty. Experimenty sa v minulosti líšili pozdĺž dimenzie laboratórneho poľa. Teraz sa tiež líšia v analógovo-digitálnej dimenzii. Tento dvojrozmerný dizajnový priestor je ilustrovaný štyrmi experimentami, ktoré popisujem v tejto kapitole. Podľa môjho názoru oblasťou s najväčšou príležitosťou sú experimenty s digitálnymi poľami.

Jedna dimenzia, podľa ktorej môžu byť experimenty organizované, je dimenzia laboratórneho poľa. Mnohé experimenty v spoločenských vedách sú laboratórne experimenty, kde vysokoškolskí študenti vykonávajú cudzie úlohy v laboratóriu pre zápočet. Tento typ experimentu dominuje výskumu v psychológii, pretože umožňuje výskumníkom vytvoriť vysoko kontrolované prostredie, aby presne izolovali a testovali špecifické teórie o sociálnom správaní. Pri niektorých problémoch sa však niečo cíti trochu zvláštne, keď sme robili silné závery o ľudskom správaní takýchto nezvyčajných ľudí, ktorí vykonávajú také nezvyčajné úlohy v takom neobvyklom prostredí. Tieto obavy viedli k pohybu smerom k terénnym pokusom . Terénne experimenty kombinujú silný návrh randomizovaných kontrolných experimentov s reprezentatívnejšími skupinami účastníkov, ktorí vykonávajú bežnejšie úlohy vo viac prirodzených prostrediach.

Hoci sa niektorí ľudia pokladajú za laboratórne a terénne experimenty ako s konkurenčnými metódami, najlepšie je zamyslieť sa nad nimi ako doplnkové, s rôznymi silnými a slabými stránkami. Napríklad Correll, Benard, and Paik (2007) používali laboratórny experiment a terénny experiment s cieľom nájsť zdroje "materinského trestu". V Spojených štátoch matky zarábajú menej peňazí než ženy bez detí, dokonca aj keď porovnanie žien s podobnými zručnosťami pracujúcimi na podobných pracovných miestach. Existuje mnoho možných vysvetlení tohto modelu, z ktorých jeden je, že zamestnávatelia sú zaujatí proti matkám. (Zaujímavé je, že opak je pravdou pre otcov: majú tendenciu zarábať viac ako porovnateľní bezdetní muži.) Aby sa posúdilo možné predsudky voči matkám, Correll a jeho kolegovia prebehli dva experimenty: jeden v laboratóriu a jeden v teréne.

Po prvé, v laboratórnom experimente povedali účastníkom, ktorí boli vysokoškolskými študentmi, že spoločnosť vykonávala hľadanie zamestnania pre osobu, ktorá má viesť svoje nové marketingové oddelenie východného pobrežia. Študentom bolo povedané, že spoločnosť chcela svoju pomoc v procese prijímania do zamestnania a boli požiadaní, aby preskúmali životopisy viacerých potenciálnych kandidátov a hodnotili kandidátov na mnohých dimenziách, ako je ich inteligencia, teplo a záväzok pracovať. Okrem toho sa študenti pýtali, či by odporúčali zamestnať žiadateľa a čo by odporučili ako počiatočný plat. Neznáme však študentom, životopisy boli špecificky konštruované tak, aby boli podobné až na jednu vec: niektoré z nich naznačovali materstvo (zaradením účasti v združení rodičov-učiteľov) a niektoré nie. Correll a kolegovia zistili, že študenti menej odporúčajú zamestnať matky a že im ponúkajú nižšiu počiatočnú mzdu. Prostredníctvom štatistickej analýzy hodnotenia a rozhodnutia o náboroch Correll a kolegovia zistili, že nevýhody matky boli do značnej miery vysvetlené skutočnosťou, že boli hodnotené nižšie z hľadiska spôsobilosti a záväzku. Takže tento laboratórny experiment umožnil spoločnosti Correll a kolegom zistiť príčinný účinok a poskytnúť možné vysvetlenie pre tento účinok.

Samozrejme, možno by sme boli skeptickí v tom, aby sme dospeli k záverom o celom americkom trhu práce založenom na rozhodnutiach niekoľkých stoviek vysokoškolákov, ktorí pravdepodobne nikdy nemali prácu na plný úväzok, nieto najímať niekoho. Preto Correll a kolegovia tiež vykonali komplementárny terénny experiment. Odpovedali na stovky inzerovaných pracovných miest s falošnými sprievodnými listami a životopismi. Podobne ako materiály uvádzané vysokoškolským študentom, niektoré opisy naznačujú materstvo a niektoré nie. Correll a jeho kolegovia zistili, že matky majú menej pravdepodobné, že sa dostanú späť na rozhovory, než rovnako kvalifikovaní deti bez dieťaťa. Inými slovami, skutoční zamestnávatelia, ktorí robia dôsledné rozhodnutia v prirodzenom prostredí, sa správali podobne ako vysokoškoláci. Podali podobné rozhodnutia z toho istého dôvodu? Bohužiaľ nevieme. Výskumní pracovníci neboli schopní požiadať zamestnávateľov, aby hodnotili kandidátov alebo vysvetlili svoje rozhodnutia.

Tento pár experimentov vo všeobecnosti odhaľuje veľa o laboratórnych a terénnych experimentoch. Laboratórne experimenty ponúkajú výskumníkom takmer úplnú kontrolu prostredia, v ktorom účastníci rozhodujú. Takže napríklad v laboratórnom experimente Correll a kolegovia dokázali zabezpečiť, aby boli všetky životopisy čitateľné v tichom prostredí; v experimente v teréne sa niektoré životopisy dokonca ani nečítali. Ďalej, pretože účastníci v laboratóriu vedia, že sú študované, vedci často dokážu zhromažďovať dodatočné údaje, ktoré môžu pomôcť vysvetliť, prečo účastníci prijímajú svoje rozhodnutia. Napríklad Correll a kolegovia požiadali účastníkov laboratórneho experimentu, aby hodnotili kandidátov v rôznych dimenziách. Tento druh procesných údajov by mohol pomôcť výskumníkom porozumieť mechanizmom, ktoré vedú k rozdielom v tom, ako sa s účastníkmi zaobchádza.

Na druhej strane tie isté charakteristiky, ktoré som práve opísal ako výhody, sú niekedy považované za nevýhody. Výskumníci, ktorí dávajú prednosť terénnym experimentom, tvrdia, že účastníci laboratórnych experimentov by mohli konať veľmi odlišne, pretože vedia, že sú študované. Napríklad v laboratórnom experimente mohli účastníci odhadnúť cieľ výskumu a zmenili svoje správanie tak, aby sa nezdávali zaujaté. Ďalej výskumníci, ktorí uprednostňujú terénne experimenty, môžu tvrdiť, že malé rozdiely v životopisoch môžu vyniknúť len vo veľmi čistom, sterilnom laboratórnom prostredí, a preto bude laboratórny experiment nadhodnocovať vplyv materstva na skutočné rozhodnutia pri prijímaní do zamestnania. Napokon mnohí podporovatelia terénnych experimentov kritizujú spoliehanie sa na laboratórne experimenty na účastníkov WEIRD: hlavne študentov zo západných, vzdelaných, industrializovaných, bohatých a demokratických krajín (Henrich, Heine, and Norenzayan 2010a) . Experimenty Corrella a kolegov (2007) ilustrujú dva extrémy na kontinuu laboratórneho poľa. Medzi týmito dvoma extrémami existuje aj celý rad hybridných návrhov vrátane prístupov, ako napríklad prinášanie ne-študentov do laboratória alebo vstup do poľa, ale stále majú účastníci vykonávať neobvyklú úlohu.

Okrem dimenzie laboratórií, ktorá existovala v minulosti, digitálny vek znamená, že výskumníci majú teraz druhú hlavnú dimenziu, pozdĺž ktorej sa experimenty môžu líšiť: analógovo-digitálne. Rovnako ako čisté experimenty v laboratóriu, čisté pokusy na poli a rôzne hybridy medzi sebou, existujú čisté analógové experimenty, čisté digitálne experimenty a rôzne hybridy. Je zložité ponúknuť formálnu definíciu tejto dimenzie, ale užitočná pracovná definícia je, že úplne digitálne experimenty sú experimenty, ktoré využívajú digitálnu infraštruktúru na nábor účastníkov, randomizáciu, poskytovanie liečby a meranie výsledkov. Napríklad Restivo a van de Rijt (2012) štúdie barnstars a Wikipedia boli plne digitálny experiment, pretože používal digitálne systémy pre všetky štyri tieto kroky. Rovnako plne analógové experimenty nepoužívajú digitálnu infraštruktúru pre žiadny z týchto štyroch krokov. Mnohé z klasických experimentov v psychológii sú úplne analógové experimenty. Medzi týmito dvoma extrémami sú čiastočne digitálne experimenty, ktoré využívajú kombináciu analógových a digitálnych systémov.

Keď niektorí ľudia myslia na digitálne experimenty, okamžite myslia na on-line experimenty. Je to nešťastné, pretože príležitosti na spustenie digitálnych experimentov nie sú len on-line. Výskumníci môžu vykonávať čiastočne digitálne experimenty s využitím digitálnych zariadení vo fyzickom svete s cieľom poskytnúť liečbu alebo meranie výsledkov. Výskumníci by napríklad mohli používať inteligentné telefóny na poskytovanie ošetrení alebo snímačov v zastavanom prostredí na meranie výsledkov. V skutočnosti, ako uvidíme neskôr v tejto kapitole, vedci už využili domáce elektromery na meranie výsledkov v experimentoch o spotrebe energie, ktoré zahŕňajú 8,5 milióna domácností (Allcott 2015) . Keďže digitálne zariadenia sa čoraz integrujú do života ľudí a senzory sa integrujú do zastavaného prostredia, tieto príležitosti na spustenie čiastočne digitálnych experimentov vo fyzickom svete výrazne vzrastie. Inými slovami, digitálne experimenty nie sú len on-line experimenty.

Digitálne systémy vytvárajú nové možnosti pre experimenty všade v kontinuu laboratória. V čistých laboratórnych experimentoch môžu napríklad vedci využívať digitálne systémy na jemnejšie meranie správania účastníkov; jedným príkladom tohto typu vylepšeného merania je zariadenie na sledovanie očí, ktoré poskytuje presné a nepretržité meranie polohy pohľadu. Digitálny vek vytvára aj možnosť spustiť experimenty podobné laboratóriu online. Napríklad výskumníci rýchlo prijali Amazon Mechanical Turk (MTurk), aby prijímali účastníkov online experimentov (obrázok 4.2). MTurk sa zhoduje s "zamestnávateľmi", ktorí majú úlohy, ktoré je potrebné doplniť o "pracovníkov", ktorí chcú tieto úlohy dokončiť za peniaze. Na rozdiel od tradičných trhov práce však úlohy zvyčajne vyžadujú len pár minút na dokončenie a celá interakcia medzi zamestnávateľom a pracovníkom je online. Pretože MTurk napodobňuje aspekty tradičných laboratórnych experimentov - platia ľudí, aby splnili úlohy, ktoré by nerobili zadarmo - je prirodzene vhodný pre určité typy experimentov. MTurk v podstate vytvoril infraštruktúru na správu skupiny účastníkov - nábor a platenie ľudí - a výskumníci využili túto infraštruktúru na to, aby sa dostali do stále dostupného súboru účastníkov.

Obrázok 4.2: Príspevky publikované pomocou údajov z Amazon Mechanical Turk (MTurk). MTurk a ďalšie on-line pracovné trhy ponúkajú výskumníkom pohodlný spôsob, ako získať účastníkov na pokusy. Úprava z Bohannon (2016) .

Digitálne systémy vytvárajú ešte viac možností pre pole-experimenty. Konkrétne umožňujú výskumným pracovníkom kombinovať prísne kontrolné a procesné údaje, ktoré sú spojené s laboratórnymi experimentmi, s rôznorodejšími účastníkmi a prirodzenejšími nastaveniami, ktoré sú spojené s laboratórnymi experimentmi. Okrem toho experimenty s digitálnymi poľami ponúkajú aj tri príležitosti, ktoré pri analógových experimentoch mali ťažkosti.

Po prvé, zatiaľ čo väčšina analógových laboratórnych a terénnych experimentov má stovky účastníkov, experimenty s digitálnymi poľami môžu mať milióny účastníkov. Táto zmena rozsahu je spôsobená tým, že niektoré digitálne experimenty môžu produkovať dáta s nulovými variabilnými nákladmi. To znamená, že akonáhle výskumníci vytvoria experimentálnu infraštruktúru, zvýšenie počtu účastníkov zvyčajne nezvyšuje náklady. Zvyšovanie počtu účastníkov o faktor 100 alebo viac nie je len kvantitatívna zmena; je to kvalitatívna zmena, pretože umožňuje výskumníkom naučiť sa odlišné veci od experimentov (napr. heterogénnosť účinkov liečby) a vykonávať úplne odlišné experimentálne návrhy (napr. experimenty veľkých skupín). Tento bod je taký dôležitý, vrátim sa k nemu ku koncu kapitoly, keď vám ponúknem poradenstvo pri vytváraní digitálnych experimentov.

Po druhé, zatiaľ čo väčšina analógových laboratórnych a terénnych experimentov považuje účastníkov za nerozlíšiteľné widgety, experimenty s digitálnymi poľami často využívajú základné informácie o účastníkoch vo fáze návrhu a analýzy výskumu. Tieto informácie o pozadí, ktoré sa nazývajú informácie o predbežnej liečbe , sú často dostupné v digitálnych experimentoch, pretože sú spustené na systémoch merania vždy (pozri kapitolu 2). Napríklad výskumník na Facebooku má oveľa viac informácií o predpracovaní informácií o ľuďoch vo svojom digitálnom experimentálnom experimente, než o tom, čo má univerzitný výskumník o ľuďoch vo svojom analógovom terénnom experimente. Táto predbežná liečba umožňuje efektívnejšie experimentálne návrhy - ako je blokovanie (Higgins, Sävje, and Sekhon 2016) a cielený nábor účastníkov (Eckles, Kizilcec, and Bakshy 2016) - a dôkladnejšia analýza - napríklad odhad heterogenity účinkov liečby (Athey and Imbens 2016a) a kovariátne nastavenie na zlepšenie presnosti (Bloniarz et al. 2016) .

Po tretie, zatiaľ čo mnohé analógové laboratórne a terénne experimenty prinášajú liečbu a merajú výsledky v relatívne komprimovanom množstve času, niektoré experimenty digitálneho poľa sa dejú na oveľa dlhších časových intervaloch. Napríklad experimenty Restivo a van de Rijta mali výsledok meraný denne počas 90 dní a jeden z experimentov, ktoré vám poviem neskôr v kapitole (Ferraro, Miranda, and Price 2011) sledoval výsledky počas troch rokov v podstate bez náklady. Tieto tri príležitosti - veľkosť, informácie o predbežnej liečbe a údaje o dlhodobej liečbe a výsledkoch - sa vyskytujú najčastejšie, keď sú experimenty vedené nad vždy nameranými systémami merania (viac informácií nájdete v kapitole 2 o systémoch merania vždy).

Zatiaľ čo experimenty s digitálnymi poľami ponúkajú veľa možností, zdieľajú aj niektoré slabé miesta s analógovými a analógovými experimentmi. Napríklad experimenty nemožno použiť na štúdium minulosti a môžu odhadnúť iba účinky liečby, ktoré možno manipulovať. Aj napriek tomu, že experimenty sú nepochybne užitočné na usmerňovanie politiky, presné usmernenie, ktoré môžu ponúknuť, je trochu obmedzené kvôli komplikáciám, ako je napríklad závislosť na životnom prostredí, problémy s dodržiavaním predpisov a rovnovážne účinky (Banerjee and Duflo 2009; Deaton 2010) . Experimenty v oblasti digitálnych polí tiež zväčšujú etické obavy vytvorené poľnými pokusmi - témou, ktorú budem riešiť neskôr v tejto kapitole av kapitole 6.