4.3 Dva rozmery experimentov: laboratórne polia a analógovo-digitálne

Laboratórne experimenty ponúkajú kontrolu, poľné pokusy ponúkajú realizmus a experimenty digitálne terénne kombinovať kontrolu a realizmus v požadovanom rozsahu.

Experimenty prísť v mnohých rôznych tvarov a veľkostí. Ale aj cez tieto rozdiely, vedci zistili, že je užitočné organizovať experimenty pozdĺž kontinua medzi laboratórnych pokusov a experimentov v teréne. Teraz však vedci by tiež mala organizovať experimenty pozdĺž kontinua medzi analógových a digitálnych experimentov experimentov. Tento dvojrozmerný vzor priestoru vám pomôže pochopiť silné a slabé stránky rôznych prístupov a navrhnúť oblasti najväčšiu príležitosť (Obrázok 4.1).

Obrázok 4.1: Schéma navrhovanie priestor pre experimenty. V minulosti pokusy meniť pozdĺž rozmeru laboratórne poľa. Teraz sa líšiť aj na analógovom digitálne rozmer. Podľa môjho názoru je plocha najväčšia príležitosť je experimenty digitálneho poľa.

V minulosti, hlavným spôsobom, že výskumní pracovníci organizovanej experimenty bol pozdĺž rozmeru laboratórne poľa. Väčšina pokusov v spoločenských vedách sú laboratórne experimenty, kedy vysokoškolskí študenti vykonávajú špecializované úlohy v laboratóriu na zápočet. Tento typ experimentu dominuje výskum v psychológii, pretože umožňuje vedcom vytvoriť veľmi špecifickej liečby určené na testovanie veľmi špecifické teórie o sociálnom správaní. U niektorých problémov, ale niečo cíti trochu divného čerpanie silné závery o ľudskom správaní z týchto nezvyčajných osôb vykonávajúcich také nezvyčajné úlohy v takom netradičnom prostredí. Tieto obavy viedli k pohybu smerom poľných pokusov. poľné pokusy kombinovať silné konštrukciu randomizovaných kontrolných experimentoch s viacerými reprezentatívnych skupín účastníkov, hrať viac spoločných úloh vo viacerých prirodzenom prostredí.

Aj keď niektorí ľudia si myslia, laboratórnych a poľných pokusov, ako konkurenčných spôsobov, to je najlepšie uvažovať o nich ako doplnkové metódy s rôznymi silné a slabé stránky. Napríklad Correll, Benard, and Paik (2007) používa ako laboratórne experiment a poľné pokus v snahe nájsť zdroje na "trest materstvo." V Spojených štátoch, matky zarábajú menej peňazí, než bezdetné ženy, aj keď porovnávajúca ženy s podobnými schopnosťami, ktorí pracujú v obdobných pracovných miest. Existuje veľa možných vysvetlení pre tento vzorku, a jeden je, že zamestnávatelia sú zaujatá proti matkám. (Je zaujímavé, že opak sa zdá byť pravda pre otca: majú tendenciu zarábať viac ako porovnateľné bezdetných mužov). Za účelom posúdenia možného zaujatosť voči matkám, Correll a jeho kolegovia bežal dva pokusy: jeden v laboratóriu a jeden v poli.

Po prvé, v laboratórnom experimente Correll a jeho kolegovia povedal účastníkom, ktorí boli vysokoškolskí vysokoškoláci, že so sídlom v Kalifornii rozbehové komunikačná spoločnosť riadil vyhľadávanie zamestnania pre osobu viesť svoju novú východného pobrežia marketingové oddelenie. Žiaci bolo povedané, že spoločnosť chcela ich pomoc v procese prijímania a boli požiadaní, aby prečítať životopisy niekoľkých možných kandidátov a hodnotiť kandidátov na rad rozmerov, ako je ich inteligencia, teplo, a záväzok k práci. Ďalej študenti boli vyzvaní, či by odporúčať prijatie žiadateľa a to, čo by v nej odporučilo ako predvolené plat. Unbeknownst študentom, však, pokračuje boli špeciálne konštruovaná tak, aby bol podobný až na jednu vec: niektoré z životopisov signalizuje materstva (výpočtom zapojenie do združenia rodičov a učiteľov) a niektoré nie. Correll zistila, že študenti boli menej pravdepodobné, že odporúčať prijatie matky a ponúkol im nižšie počiatočné plat. Ďalej, pomocou štatistickej analýzy oboch hodnotenia a rozhodnutia najímanie súvisiacich Correll zistené, že nevýhody matiek boli do značnej miery vysvetliť tým, že matky boli hodnotené horšie z hľadiska spôsobilosti a záväzku. Inými slovami, Correll tvrdí, že tieto vlastnosti sú mechanizmus, prostredníctvom ktorého matky sú znevýhodnené. Tak, toto laboratórium experiment dovolené Correll a kolegami na meranie kauzálny účinok a poskytovať možné vysvetlenie v tomto zmysle.

Samozrejme, jeden by mohol byť skeptický na vyvodenie záverov o celej amerického trhu práce na základe rozhodnutia niekoľkých stoviek študentov, ktorí pravdepodobne nikdy nemali prácu na plný úväzok, nieto najatých ľudí. Preto Correll a jeho kolegovia tiež vykonal doplňujúce terénne experiment. Výskumní pracovníci reagovali na stovky inzerovaných pracovných miest zaslaním falošných sprievodných listov a životopisov. Podobne ako u materiálov uvedených na vysokoškolákov, niektorí pokračuje naznačil materstva a niektoré nie. Correll a jeho kolegovia zistili, že matky boli menej pravdepodobné, že si zavolal na pohovor ako rovnako kvalifikovaný bezdetné ženy. Inými slovami, skutočné zamestnávatelia robiť následných rozhodnutí v prírodnom prostredí sa správal podobne ako vysokoškoláci. Urobili podobné rozhodnutie pre rovnakého dôvodu? Bohužiaľ nevieme. Výskumníci neboli schopní požiadať zamestnávateľa, aby hodnotiť kandidátov alebo vysvetliť svoje rozhodnutia.

Táto dvojica experimentov odhalí veľa o laboratórnych a poľných pokusov všeobecne. Laboratórne experimenty ponúkajú výskumným pracovníkom v blízkosti úplnú kontrolu nad prostredím, v ktorom sú účastníci rozhodovanie. Tak, napríklad, v laboratórnom pokuse, Correll bol schopný zabezpečiť, aby všetky obnoví boli čítané v pokojnom prostredí; v poľnom pokuse, niektoré z obnoví nemusia byť dokonca čítanie. Ďalej, pretože účastníci v laboratórnom nastavení vedia, že sú študované vedci sú často schopní zbierať ďalšie údaje, ktoré im môžu pomôcť pochopiť, prečo sú účastníci svojom rozhodovaní. Napríklad Correll požiadal účastníkov v laboratórnom pokuse hodnotiť kandidátov na rôznych rozmerov. Tento druh procesných dát by mohlo pomôcť výskumníci pochopiť mechanizmy, ktoré stoja za rozdiely v tom, ako účastníci liečbe pokračuje.

Na druhej strane, tieto presne rovnaké vlastnosti, ktoré som práve opísané ako výhody sú tiež niekedy považované za nevýhody. Výskumní pracovníci, ktorí dávajú prednosť poľné pokusy argumentujú tým, že účastníci laboratórnych experimentoch by mohol pôsobiť veľmi rozdielne, keď sú starostlivo sledovaní. Napríklad v laboratóriu účastníci experimentu si mohla myslieť cieľ výskumu a zmenil svoje správanie tak, aby sa javí ako skreslená. Ďalej výskumníci, ktorí dávajú prednosť poľné pokusy by mohol namietnuť, že malé rozdiely na životopisov môže stať len vo veľmi čistom a sterilnom laboratórnom prostredí, a tým aj laboratórne experiment sa preceňujú vplyv materstva na rozhodovanie v reálnom náboru. Napokon, mnoho zástancovia poľných pokusov kritizujú laboratórnych cvičení spoliehania sa na divné účastníkov: prevažne študentov zo západnej, vzdelaný, industrializovaných, bohatý, a demokratickými krajinami (Henrich, Heine, and Norenzayan 2010) . Experimenty podľa Correll a kolegovia (2007) ilustrujú dva extrémy na lab pole kontinua. Medzi týmito dvoma extrémami existuje rad hybridných konštrukcií, vrátane prístupov, ako je podanie neštudentov do laboratória, alebo ísť do terénu, ale stále majú účastníci vykonať neobvyklý úloha.

Okrem rozmeru laboratórne pole, ktorá existovala v minulosti, digitálny vek znamená, že výskumní pracovníci teraz majú druhý hlavný rozmer, po ktorej sa môže meniť experimenty: analógovo-digitálne. Rovnako ako existujú čisté laboratórne experimenty, pokusy čisté polia a rôzne hybridy medzi, tam sú čisto analógové experimenty, čisto digitálne experimenty a rôzne hybridy. To je zložité ponúknuť formálnu definíciu tohto rozmeru, ale užitočný pracovný definície je to, že plne digitálny experimenty sú experimenty, ktoré využívajú digitálne infraštruktúry do počtu účastníkov, náhodne, poskytovanie liečby, a merať výsledky. Napríklad Restivo a van de Rijt je (2012) štúdium barnstars a Wikipedia bol plne digitálny experiment, pretože používa digitálne systémy pre všetky štyri z týchto krokov. Rovnako tak plne analógové experimenty sú experimenty, ktoré nie sú využívajú digitálne infraštruktúry pre niektorý z týchto štyroch krokov. Mnoho z klasických experimentov v psychológii sú analógové experimenty. Medzi týmito dvoma extrémami sú čiastočne digitálne experimenty, ktoré používajú kombináciu analógových a digitálnych systémov pre štyroch krokov.

Kriticky, príležitosti na spustenie digitálnej experimenty sú nielen online. Výskumní pracovníci môžu bežať čiastočne digitálne experimenty pomocou digitálnych prístrojov vo fyzickom svete s cieľom dodávať ošetrenie alebo merať výsledky. Napríklad výskumníci mohli používať inteligentné telefóny dodať ošetrenie alebo senzory v zastavanom prostredí pre meranie výsledkov. V skutočnosti, ako uvidíme ďalej v tejto kapitole, vedci už používajú doma meračov výkonu pre meranie výsledkov Pri pokusoch o sociálnych noriem a spotreby energie zahŕňajúce 8,5 milióna domácností (Allcott 2015) . Ako digitálne zariadenia stále viac integrujú do životov ľudí a senzory integrovať sa do zastavaného prostredia, tieto príležitosti na spustenie čiastočne digitálne experimenty vo fyzickom svete dramaticky vzrastie. Inými slovami, digitálna experimenty nie sú len on experimenty.

Digitálne systémy vytvárajú nové možnosti pre experimenty všade pozdĺž lab poľa kontinua. V čistých laboratórnych experimentoch, napríklad, výskumníci môžu použiť digitálne systémy pre meranie jemnejšie správanie účastníkov; Jedným z príkladov tohto typu zlepšeného merania je oko-sledovacie zariadenie, ktoré zaisťuje presné a kontinuálne opatrenia mieste pohľadom. Digitálny vek tiež vytvára možnosť spustiť laboratórne podobné experimenty online. Napríklad výskumníci urýchlene prijať Amazonku mechanický Turek (MTurk) pre nábor účastníkov pre online experimentov (obr 4.2). MTurk zápasu "zamestnávateľa", ktorí majú úlohy, ktoré je potrebné doplniť "zamestnancov", ktorí chcú dokončiť tieto úlohy za peniaze. Na rozdiel od tradičných trhov práce, však, úlohy zapojené zvyčajne vyžadujú len niekoľko minút na dokončenie a celá interakcie medzi zamestnávateľom a pracovníkom je virtuálna. Vzhľadom k tomu, MTurk napodobňuje aspekty tradičných laboratórnych experimentov platiaci ľudí k plneniu úloh, že nebudú robiť zadarmo, je prirodzene hodí pre určité typy experimentov. V podstate MTurk vytvoril infraštruktúru pre správu bazén účastníkov-náboru a platenie na ľudí a výskumníci využili tejto infraštruktúry preniknúť do bazéna vždy k dispozícii účastníkov.

Obrázok 4.2: Papers publikovaný pomocou dát z Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk a ďalších online trhy práce ponúknuť výskumným pohodlný spôsob, ako nábor účastníkov pre experimenty.

Digitálne pokusy vytvoriť ešte viac možností pre prácu na poli podobné experimenty. experimenty Digitálne poľné môže ponúknuť prísnu kontrolu a spracovanie dát pochopiť možné mechanizmy (ako laboratórnych experimentov) a ďalšie rôzne účastníkmi robia skutočná rozhodnutie v prirodzenom prostredí (ako poľných pokusov). Okrem tejto kombinácii dobrých vlastností predchádzajúcich pokusov, pokusy DIGITÁLNE tiež ponúkajú tri možnosti, ktoré boli ťažké v analógových laboratórnych a poľných pokusov.

Po prvé, zatiaľ čo väčšina analógových laboratórne a terénne experimenty majú stovky účastníkov, experimenty digitálne pole môže mať milióny účastníkov. Táto zmena v mierke je, že niektoré digitálne experimenty môžu produkovať dát pri nulovej variabilné náklady. To znamená, že akonáhle výskumníci vytvorili experimentálne infraštruktúru, zvýšenie počtu účastníkov zvyčajne nezvyšuje náklady. Zvýšenie počtu účastníkov o faktor 100 alebo viac nie je len kvantitatívne zmena, je kvalitatívna zmena, pretože umožňuje vedcom naučiť sa rôzne veci z experimentov (napr heterogenita účinkov liečby) a spustite úplne odlišných experimentálnych vzorov ( napr veľká skupina experimenty). Tento bod je tak dôležité, budem vrátiť sa k nemu ku koncu kapitoly, keď som sa poradia o vytváranie digitálnych experimentov.

Po druhé, zatiaľ čo väčšina analógových laboratórne a poľné pokusy zaobchádzať s účastníkmi as nerozoznanie widgety, experimenty digitálne terénne často používajú základné informácie o účastníkoch v dizajne a analytických fázach výskumu. Táto informácia o pozadí, ktorý sa nazýva informácie predčistenia, je často k dispozícii v digitálnej experimenty, pretože prebiehajú v plne meraných prostredí. Napríklad, výskumný pracovník na Facebook má oveľa viac informácií predčistenia ako výskumník navrhovanie štandardné laboratórne experiment s vysokoškolákov. Táto informácia predčistenia umožňuje vedcom prekonať liečenie účastníkom ako nerozoznateľné widgety. Presnejšie povedané, informácie o pre-liečba umožňuje účinnejšie experimentálne designy-, ako je blokovanie (Higgins, Sävje, and Sekhon 2016) a cielený nábor účastníkov (Eckles, Kizilcec, and Bakshy 2016) -A viac zasvätenú analýzu-, ako je odhad heterogenity účinkov liečby (Athey and Imbens 2016a) a kovarianciou úpravou pre zlepšenie presnosti (Bloniarz et al. 2016) .

Po tretie, zatiaľ čo mnoho analógových laboratórne a poľné pokusy dodávať procedúr a výsledkov opatrení v relatívne stlačeného množstvo času, niektoré experimenty digitálne terénne zahŕňať ošetrenie, ktoré môžu byť dodané v priebehu času a efekty možno tiež merať v priebehu času. Napríklad Restivo a Van de Rijt experiment má výsledok namerané denne po dobu 90 dní, a jeden z experimentov Poviem ti to asi neskôr v kapitole (Ferraro, Miranda, and Price 2011) sleduje výsledky v priebehu 3 rokov v podstate žiadny náklady. Tieto tri možnosti veľkosti, informačné predčistenia, a pozdĺžne liečby a výsledkov dátovo sú najčastejšie ak sú pokusy spustiť na vrchole vždy-na meranie systémov (pozri kapitolu 2 pre viac informácií o trvalé pripojenie k meracích systémov).

Kým pokusy digitálne terénne ponúkajú veľa možností, ale tiež zdieľať niektoré nedostatky ako s analógovým laboratórií a experimentov v teréne. Napríklad pokusy nemožno použiť na štúdium minulosti, a môžu odhadnúť len účinky liečby, ktoré môžu byť vykonávané. Tiež, hoci pokusy sú nepochybne užitočné usmernenie pre politiku, presné navádzanie môžu ponúknuť je trochu obmedzený z dôvodu komplikácií, ako je závislosť na životné prostredie, problémy s dodržaním a rovnovážnych efektov (Banerjee and Duflo 2009; Deaton 2010) . Konečne, experimenty digitálne terénne zväčšiť etické obavy vytvorené poľných pokusov. Zástancovia poľných pokusov rúrka ich schopnosť nenápadne a náhodne zasiahnuť do následných rozhodnutiach prijatých milióny ľudí. Tieto funkcie ponúkajú určité výhody, vedecké, ale môžu tiež poľné pokusy eticky komplex (premýšľať o tom, ako vedci zaobchádzanie s ľuďmi ako "laboratórna krysy" v masovom meradle). Ďalej, okrem prípadných škôd účastníkom, pokusy digitálne polia, z dôvodu rozsahu, môže tiež zvýšiť obavy z narušenia pracovného sociálnych systémov (napr obavy z narušenia systém odmeňovania Wikipedia ak Restivo a van der Rijt dal príliš veľa barnstars) ,