4.3 tvær víddir tilraunir: Lab-akur og analog-stafrænn

Lab tilraunir bjóða stjórn, sviði tilraunir bjóða raunsæi, og stafrænar tilraunir sviði sameina stjórn og raunsæi á mælikvarða.

Tilraunir koma í mörgum mismunandi stærðum og gerðum. Í fortíðinni hafa vísindamenn fundið það gagnlegt að skipuleggja tilraunir meðfram samfellu milli rannsókna á rannsóknarstofum og sviðsforsendum . Nú, hins vegar, vísindamenn ættu einnig að skipuleggja tilraunir meðfram öðru samfellu milli hliðstæðu tilrauna og stafrænnar tilraunir . Þetta tveggja vídda hönnunarrými mun hjálpa þér að skilja styrkleika og veikleika mismunandi aðferða og leggja áherslu á stærsta tækifæri (mynd 4.1).

Mynd 4.1: Skýringarmynd á hönnunarsvæði fyrir tilraunir. Í fortíðinni voru tilraunir breytilegar eftir lab-field vídd. Nú eru þeir einnig breytilegir á hliðstæðum stafrænum víddum. Þetta tvívíða hönnunarsvæði er sýnt af fjórum tilraunum sem ég lýsi í þessum kafla. Að mínu mati er svæðið mestu tækifærið stafrænt sviðs tilraunir.

Ein vídd sem hægt er að skipuleggja tilraunir á er að labba-sviðið sé. Margir tilraunir í félagsvísindum eru rannsóknarverkefni þar sem grunnnámsmenn framkvæma undarleg verkefni í námskeiðinu í námskeiðinu. Þessi tegund af tilraun felur í sér rannsóknir í sálfræði vegna þess að það gerir vísindamenn kleift að búa til mjög stjórnandi stillingar til að einangra og prófa ákveðnar kenningar um félagslega hegðun. Fyrir ákveðin vandamál er eitthvað þó svolítið skrítið um að draga sterkar ályktanir um mannlegan hegðun frá slíkum óvenjulegum fólki sem framkvæmir slíka óvenjulega verkefni í slíkum óvenjulegum aðstæðum. Þessar áhyggjur hafa leitt til hreyfingar gagnvart sviðsforsendum . Field tilraunir sameina sterk hönnun slembiraðaðra tilrauna tilraunir með fleiri dæmigerðum hópum þátttakenda sem framkvæma fleiri algengar verkefni í náttúrulegum stillingum.

Þrátt fyrir að sumir hugsa um rannsóknir á sviði rannsókna og rannsókna sem samkeppnisaðferðir er best að hugsa um þau sem viðbót, með mismunandi styrkleika og veikleika. Til dæmis, Correll, Benard, and Paik (2007) notuðu bæði rannsóknarreynslu og reit tilraun í tilraun til að finna heimildir móðurkvöðuls refsingarinnar. Í Bandaríkjunum fá mömmur minna fé en barnlausir konur, jafnvel þegar að bera saman konur með svipaða hæfni sem starfa í svipuðum störfum. Það eru margar mögulegar skýringar fyrir þetta mynstur, þar af er að atvinnurekendur eru hlutdrægir gagnvart mæðrum. (Athyglisvert virðist hið gagnstæða vera satt fyrir feður. Þeir hafa tilhneigingu til að vinna sér inn meira en sambærileg börn án barna.) Til þess að meta hugsanlega hlutdrægni gegn mæður rann Correll og samstarfsmennirnir tvær tilraunir: einn í rannsóknarstofu og einn á sviði.

Í fyrsta lagi í rannsóknum á rannsóknum lýstu þeir þátttakendum, sem voru framhaldsskólar í háskóla, að fyrirtæki væri að leita að atvinnuleit að leita að manneskju til að leiða nýja markaðsstofuna í East Coast. Nemendur voru sagt frá því að félagið vildi hjálpa þeim í ráðningarferlinu og voru beðnir um að endurskoða endurtekin fjölda hugsanlegra frambjóðenda og að meta frambjóðendur á ýmsum málum, svo sem upplýsingaöflun, hlýju og vinnuafli. Nemendur voru einnig spurðir hvort þeir myndu mæla með að ráða umsækjanda og hvað þeir myndu mæla með sem upphafslið. Tilkynntu nemendum hins vegar að endurgerðin væri sérstaklega byggð til að vera svipuð nema einn hlutur: Sum þeirra bentu til móðurfélags (með þátttöku skráningar í foreldra-kennarasamtökum) og sumir gerðu það ekki. Correll og samstarfsmennirnir komust að því að nemendur væru ekki líklegri til að mæla með því að ráða móður sína og bjóða þeim lægri upphafslun. Ennfremur komst í ljós að tölfræðileg greining bæði á einkunnir og ráðningartengdar ákvarðanir leiddi til þess að Correll og samstarfsmenn komust að því að ókostir mæðra voru að miklu leyti skýrist af því að þeir voru metnir lægri hvað varðar hæfni og skuldbindingu. Þannig lék þetta rannsóknarverkefni Correll og samstarfsmenn til að mæla orsakatengsl og gefa mögulega skýringu á þeim áhrifum.

Auðvitað gæti maður verið efins um að teikna ályktanir um alla bandaríska vinnumarkaðinn á grundvelli ákvörðunar nokkurra hundruð grunnskólakennara sem hafa sennilega aldrei haft fullt starf, hvað þá að ráða einhvern. Þess vegna gerðu Correll og samstarfsmenn einnig viðbótarsvæði tilraunir. Þeir brugðust við hundruðum auglýst atvinnutækni með falsa kápa og aftur. Líkur á efni sem sýnt er að framhaldsskólakennarar, sumar endurteknar merki móðurfélags og sumir gerðu það ekki. Correll og samstarfsmennirnir komust að því að mæður væru ólíklegri til að fá kallað til baka fyrir viðtöl en jafn hæfir barnlausir konur. Með öðrum orðum héldu raunverulegir atvinnurekendur sem gerðu þar af leiðandi ákvarðanir í náttúrulegu umhverfi hátt eins og grunnnámsmenn. Gerðu þeir sömu ástæðu svipaðar ákvarðanir? Því miður vitum við ekki. Rannsakendur gátu ekki beðið atvinnurekendum að meta frambjóðendur eða útskýra ákvarðanir sínar.

Þetta par af tilraunum sýnir mikið um rannsóknir á rannsóknarstofu og sviðum almennt. Lab tilraunir bjóða vísindamenn nánast heildar stjórn á umhverfinu þar sem þátttakendur taka ákvarðanir. Svo, til dæmis, í rannsóknarrannsókninni, voru Correll og samstarfsmenn fær um að tryggja að allar endurgerðirnar voru lesnar í rólegu umhverfi; Í tilrauninni á sviði gæti verið að sumt af endurheimtunum hafi ekki einu sinni verið lesið. Ennfremur, vegna þess að þátttakendur í rannsóknarstofunni vita að þeir séu að læra, geta vísindamenn oft safnað saman viðbótarupplýsingum sem geta hjálpað til við að útskýra hvers vegna þátttakendur taka ákvarðanir sínar. Til dæmis spurði Correll og samstarfsmenn þátttakendur í rannsóknarstofu tilraun til að meta frambjóðendur á mismunandi stærðum. Þessi tegund af vinnslu gögnum gæti hjálpað vísindamönnum að skilja leiðirnar á bak við muninn á því hvernig þátttakendur meðhöndla aftur.

Á hinn bóginn eru þessar sömu einkenni sem ég hef bara lýst sem kostir einnig stundum talin gallar. Vísindamenn sem kjósa sviðsforsendur halda því fram að þátttakendur í rannsóknum á rannsóknum geti verið mjög ólíkir vegna þess að þeir vita að þeir eru að læra. Til dæmis, í rannsóknarstofu rannsóknarinnar gætu þátttakendur verið að giska á markmið rannsóknarinnar og breyta hegðun sinni þannig að hún sé ekki hlutdræg. Ennfremur geta vísindamenn sem krefjast reitarsýna halda því fram að lítill munur á endurheimtum geti aðeins komið fram í mjög hreinum, dauðhreinsuðum starfsumhverfi og þannig mun rannsóknarstofan meta áhrif móðurfélags á raunverulegar ráðningarákvarðanir. Að lokum gagnrýna margir forsendur sviðsforsenda gagnrýni á rannsóknir á rannsóknum á WEIRD þátttakendum: aðallega nemendur frá vestrænum, menntuð, iðnvæddum, (Henrich, Heine, and Norenzayan 2010a) og lýðræðislegum löndum (Henrich, Heine, and Norenzayan 2010a) . Tilraunirnar af Correll og samstarfsfólki (2007) lýsa tveimur öfgunum á vinnusvæðinu. Á milli þessara tveggja öfga eru einnig margs konar blönduð hönnun, þar með talin aðferðir eins og að færa ekki nemendur í rannsóknarstofu eða fara inn á völlinn en hafa samt þátttakendur óvenjulegt verkefni.

Til viðbótar við rannsóknarverkefnið sem hefur verið til í fortíðinni þýðir stafræn aldur að vísindamenn hafi nú annað stærsta vídd með hvaða tilraunir geta verið breytilegar: hliðstæða stafræna. Rétt eins og það eru hreinar rannsóknir á rannsóknarstofum, hreint sviðsforsendur og margs konar blendinga á milli, eru hreint hliðstæðar tilraunir, hreint stafrænar tilraunir og fjölbreyttar blendingar. Það er erfiður að bjóða upp á formlega skilgreiningu á þessari vídd, en gagnlegur vinnuskilningur er að fullkomlega stafræn tilraunir eru tilraunir sem nýta sér stafræna innviði til að ráða þátttakendur, slembiraða, afhenda meðferðir og mæla niðurstöður. Til dæmis, Restivo og van de Rijt (2012) rannsókn á barnstars og Wikipedia var fullkomlega stafræn tilraun vegna þess að það notaði stafræna kerfi fyrir allar fjórar þessara þrepa. Sömuleiðis, að fullu hliðstæðar tilraunir nýta ekki stafræna innviði fyrir eitthvað af þessum fjórum skrefum. Margir af klassískum tilraunum í sálfræði eru fullkomlega hliðstæðar tilraunir. Á milli þessara tveggja öfunda eru að hluta til stafrænar tilraunir sem nota samsetningu af hliðstæðum og stafrænum kerfum.

Þegar sumir hugsa um stafrænar tilraunir, hugsa þeir strax um tilraunir á netinu. Þetta er óheppilegt vegna þess að tækifærin til að keyra stafrænar tilraunir eru ekki bara á netinu. Vísindamenn geta keyrt að hluta til stafrænar tilraunir með því að nota stafræna tæki í líkamlegu heiminum til að skila meðferðum eða mæla niðurstöður. Til dæmis gætu vísindamenn notað smartphones til að afhenda meðferðir eða skynjara í innbyggðu umhverfi til að mæla árangur. Reyndar, eins og við munum sjá seinna í þessum kafla, hafa vísindamenn nú þegar notað (Allcott 2015) til að mæla árangur í tilraunum um orkunotkun sem felur í sér 8,5 milljónir heimila (Allcott 2015) . Þar sem stafræn tæki verða sífellt samþættir í líf fólks og skynjarar verða samþættir í byggð umhverfi mun þessi tækifæri til að hlaupa að hluta til stafrænar tilraunir í líkamlegu heiminum aukast verulega. Með öðrum orðum eru stafrænar tilraunir ekki bara á netinu tilraunir.

Stafræn kerfi skapa ný tækifæri fyrir tilraunir alls staðar meðfram lab-sviðinu. Í hreinum rannsóknarstofum, til dæmis, geta vísindamenn notað stafræna kerfi til að meta betur þátttakendur. eitt dæmi um þessa tegund af bættri mælingu er augnsporabúnaður sem veitir nákvæma og samfellda ráðstafanir um augnaráð. Stafrænn aldur skapar einnig möguleika á að keyra Lab-eins og tilraunir á netinu. Til dæmis hafa vísindamenn hratt samþykkt Amazon Mechanical Turk (MTurk) til að ráða þátttakendur í online tilraunir (mynd 4.2). MTurk passar við "vinnuveitendur" sem hafa verkefni sem þurfa að vera lokið við "starfsmenn" sem vilja ljúka þeim verkefnum fyrir peninga. Ólíkt hefðbundnum vinnumarkaði þarf hins vegar aðeins að fá nokkrar mínútur til að ljúka verkefnum og allt samspil vinnuveitanda og starfsmanns er á netinu. Vegna þess að MTurk líkar við þætti hefðbundinna rannsókna á rannsóknarstofum - borga fólki til að ljúka verkefni sem þeir myndu ekki gera fyrir frjáls-það er náttúrulega til þess fallin fyrir ákveðnar tegundir tilrauna. Í grundvallaratriðum hefur MTurk búið til grunnvirki til að stjórna hópi þátttakenda - ráðningu og greiða fólk - og vísindamenn hafa nýtt sér þessa innviði til að treysta á alltaf tiltækan hóp þátttakenda.

Mynd 4.2: Papers birtar með gögnum frá Amazon Mechanical Turk (MTurk). MTurk og aðrir vinnumarkaðir á netinu bjóða upp á vísindamenn auðveldan leið til að ráða þátttakendur í tilraunir. Breytt frá Bohannon (2016) .

Stafrænar kerfi skapa enn fleiri möguleika fyrir svæðislíkar tilraunir. Sérstaklega gerir þau vísindamenn kleift að sameina þétt stjórn og vinnslu gagna sem tengjast tengslum við rannsóknir á rannsóknum við fjölbreyttari þátttakendur og fleiri náttúrulegar stillingar sem tengjast rannsóknum á rannsóknum. Að auki bjóða upp á stafrænar akreinar einnig þrjú tækifæri sem hafa tilhneigingu til að vera erfitt í hliðstæðum tilraunum.

Í fyrsta lagi, en flestir hliðstæðar rannsóknir á rannsóknarstofu og sviðum hafa hundruð þátttakenda, geta tilraunir í stafrænum sviðum haft milljónir þátttakenda. Þessi breyting í mælikvarða er vegna þess að sumar stafrænar tilraunir geta búið til gögn á núllbreytilegum kostnaði. Það er þegar vísindamenn hafa búið til tilraunaverkefni, aukið fjöldi þátttakenda eykur venjulega ekki kostnaðinn. Að auka fjölda þátttakenda með stuðlinum 100 eða meira er ekki aðeins magnbreyting ; Það er eigindleg breyting því það gerir vísindamenn kleift að læra mismunandi hluti af tilraunum (td ólíkum meðferðaráhrifum) og að keyra algjörlega mismunandi tilraunaverkefni (td stór hópur tilraunir). Þetta atriði er svo mikilvægt, ég kem aftur til loka kaflans þegar ég býð ráð um að búa til stafrænar tilraunir.

Í öðru lagi, en flestar hliðstæðar rannsóknir á rannsóknarstofu og sviðum meðhöndla þátttakendur sem óaðskiljanlegur búnaður, nota stafrænar reitar tilraunir oft bakgrunnsupplýsingar um þátttakendur í hönnun og greiningartímum rannsóknarinnar. Þessar bakgrunnsupplýsingar, sem kallast upplýsingar um formeðferð , eru oft tiltækar í stafrænum tilraunum vegna þess að þær eru reknar ofan á alltaf mælikerfi (sjá kafla 2). Til dæmis hefur fræðimaður á Facebook miklu fleiri fyrirfram upplýsingar um fólk í stafrænu tilraunum sínum en háskólanema hefur um fólkið í hliðstæðum reitarsýnum sínum. Þessi formeðferð gerir skilvirkari tilraunaverkefni, svo sem blokkun (Higgins, Sävje, and Sekhon 2016) og markvissa nýliðun þátttakenda (Eckles, Kizilcec, and Bakshy 2016) og meiri innsæi greining - svo sem mat á ólíkum meðferðaráhrifum (Athey and Imbens 2016a) og covariate aðlögun til að bæta nákvæmni (Bloniarz et al. 2016) .

Í þriðja lagi, þar sem margir hliðstæðar rannsóknir á rannsóknarstofu og sviðum skila meðferðum og mæla niðurstöður á tiltölulega þjappaðan tíma, gerast nokkrar stafrænar akreinar tilraunir um mun lengri tímaáætlanir. Tilraunir Restivo og van de Rijt höfðu niðurstöðurnar mældar daglega í 90 daga og eitt af tilraunum sem ég segi þér um seinna í kaflanum (Ferraro, Miranda, and Price 2011) fylgst með niðurstöðum í þrjú ár á grundvallaratriðum nei kostnaður. Þessar þrjár tækifærslur, upplýsingar um formeðferð og langtímameðferð og niðurstöðutegundir koma oftast fram þegar tilraunir eru keyrðar ofan á ávallt mælikerfi (sjá kafla 2 fyrir meira um ávallt mælikerfi).

Þó að stafrænar akreinar tilraunir bjóða upp á marga möguleika, deila þeir einnig veikleika með bæði hliðstæðum rannsóknum og hliðstæðum reitarsýnum. Til dæmis er ekki hægt að nota tilraunir til að læra fortíðina og þeir geta aðeins metið áhrif meðferða sem hægt er að meðhöndla. Þó að tilraunir séu án efa gagnlegar til að leiðbeina stefnu er nákvæmlega leiðbeiningin sem þeir geta boðið nokkuð takmörkuð vegna fylgikvilla eins og umhverfisáhrif, (Banerjee and Duflo 2009; Deaton 2010) og jafnvægisáhrif (Banerjee and Duflo 2009; Deaton 2010) . Stafrænar tilraunir á sviði stækka einnig siðferðileg áhyggjuefni sem skapast af tilraunum á sviði svæðis - efni sem ég fjalla um seinna í þessum kafla og í kafla 6.