4.3 tvær víddir tilraunir: Lab-akur og analog-stafrænn

Lab tilraunir bjóða stjórn, sviði tilraunir bjóða raunsæi, og stafrænar tilraunir sviði sameina stjórn og raunsæi á mælikvarða.

Tilraunir koma í mörgum mismunandi stærðum og gerðum. En, þrátt fyrir þessum mismun, hafa vísindamenn fundið það gagnlegt að skipuleggja tilraunir með samfellu milli Lab tilraunir og sviði tilrauna. Nú, hins vegar, vísindamenn ættu einnig að skipuleggja tilraunir með samfellu milli analog tilraunum og stafrænum tilraunum. Þessi tvívíð hönnun pláss mun hjálpa þér að skilja styrkleika og veikleika mismunandi aðferða og legg sviðum mesta tækifæri (mynd 4.1).

Mynd 4.1: Yfirlit um hönnun pláss fyrir tilraunir. Í the fortíð, tilraunir fjölbreytt meðfram Lab-akur vídd. Nú, mismunandi þeir einnig á flaumi-stafrænn vídd. Að mínu mati, flatarmál mesta tækifæri er stafræn tilraunir sviði.

Í the fortíð, helsta leið sem vísindamenn skipulögð tilraunir var meðfram Lab-akur vídd. Meirihluti tilraunum í félagsvísindum eru tilraunir á rannsóknastofum þar sem nemendur framkvæma undarlegt verkefni í Lab fyrir lánsfé námskeið. Þessi tegund af tilraun drottnar rannsóknir í sálfræði því það gerir vísindamönnum að búa til mjög sérstakar meðferðir sem ætlað er að prófa mjög sérstakar kenningar um félagslega hegðun. Fyrir tiltekin vandamál, þó eitthvað finnst svolítið undarlegt um að teikna sterkar ályktanir um mannlega hegðun frá slíkum óvenjulegum fólks framkvæma slíka óvenjulegt verkefni í svo óvenjulegt stillingu. Þessar áhyggjur hafa leitt til hreyfingar að tilraunum sviði. Field tilraunir sameina sterka hönnun slembiröðuðum stjórna tilraunum með fleiri fulltrúa hópa þátttakenda, framkvæma meira sameiginleg verkefni, í meira náttúrulegum stillingar.

Enda þótt sumir fólk hugsa af Lab og sviði tilraunum sem keppa aðferðir, það er best að hugsa um þá eins óhefðbundnar aðferðir með mismunandi styrkleika og veikleika. Til dæmis, Correll, Benard, and Paik (2007) notaði bæði Lab tilraun og reit tilraun til að reyna að finna heimildir af the "móðurhlutverkið refsingu." Í Bandaríkjunum, mæður græða minna fé en barnlaus konur, jafnvel þegar samanburð konur með svipaða færni sem starfa á svipuðum störfum. There ert margir mögulegur skýringar þessu mynstri, og einn er að vinnuveitendur eru hlutdræg gagnvart mæðrum. (Athyglisvert er hið gagnstæða virðist vera satt fyrir feður, þeir hafa tilhneigingu til að vinna sér inn meira en sambærileg barnlaus karlar). Til að meta hugsanleg hlutdrægni gegn mæður, Correll og samstarfsmenn hljóp tvo tilraunir: einn í lab og einn á sviði.

First, í Lab tilraun Correll og samstarfsmenn sögðu þátttakendur, sem voru menntaskólanemar háskólastúdent, sem a California-undirstaða byrja upp fjarskipti fyrirtæki var að stunda atvinnu leit að einstaklingi til að leiða nýja East Coast markaðssetning deild sína. Nemendur var sagt að fyrirtækið vildi hjálp þeirra í ráðningarferli og þeir voru beðnir um að endurskoða ferilskrár nokkurra hugsanlegra frambjóðenda og að gefa frambjóðendur á fjölda stærðum, svo sem upplýsingaöflun þeirra, hlýju, og vilji til að vinna. Ennfremur nemendur voru spurðir hvort þeir myndu mæla með ráðningu umsækjanda og hvað þeir myndu mæla með sem hefst laun. Unbeknownst nemendur, hins vegar ferilskrár voru sérstaklega smíðuð til að vera svipuð nema eitt: sum byrja aftur nákvæmlega Mæðrum (eftir skráningu þátttöku í foreldra og kennara Association) og sumir gerðu það ekki. Correll fann að nemendur voru ólíklegri til að mæla ráða mæðrum og bauð þeim lægri upphafsskammt laun. Ennfremur, í gegnum tölfræðiúrvinnslu bæði einkunnir og ráðningu tengjast ákvörðunum, Correll fann að gallar mæðra voru að mestu leyti skýra með því að mæður voru metinn lægri hvað varðar hæfni og skuldbindingu. Með öðrum orðum, Correll heldur því fram að þessi eiginleiki eru kerfi þar sem mæður eru illa staddir. Svona, þetta Lab tilraun leyft Correll og samstarfsmenn að mæla orsakasamhengi áhrif og veita mögulega skýringu að lútandi.

Auðvitað, einn gæti verið efins um að álykta um allan Bandaríkjunum vinnumarkaði byggist á ákvörðunum nokkur hundruð háskólastúdent sem hafa líklega aldrei haft í fullu starfi, hvað þá ráðnir fólk. Því Correll og samstarfsmenn fram einnig óhefðbundnar sviði tilraun. Rannsakendur brugðist við hundruð auglýst laus störf með því að senda í falsa bréf kápa og aftur. Líkur á efni sést til háskólastúdent, sumir ferilskrár nákvæmlega Mæðrum og sumir gerðu það ekki. Correll og samstarfsmenn í ljós að mæður voru ólíklegri til að fá kallað aftur fyrir viðtöl en jafn hæfir barnlaus konum. Með öðrum orðum, alvöru atvinnurekendur gera ákvarðanirnar í náttúrulegu umhverfi haga líkt og háskólastúdent. Did þeir gera svipaðar ákvarðanir fyrir sömu ástæðu? Því miður vitum við ekki. Rannsakendur voru ekki fær um að spyrja vinnuveitendur til að gefa umsækjendum eða útskýra ákvarðanir sínar.

Þetta par af tilraunum ljós mikið um Lab og sviði tilraunir almennt. Lab tilraunir bjóða vísindamenn nálægt fulla stjórn á umhverfi þar sem þátttakendur eru að gera ákvarðanir. Svo, til dæmis, í Lab tilrauninni, Correll var fær til að tryggja að öll ferilskrár voru lesnar í rólegu umhverfi; á sviði tilrauninni, sum byrja aftur gæti ekki hafa jafnvel verið að lesa. Ennfremur vegna þátttakendur í Lab stilling vita að þeir eru að rannsakað, eru vísindamenn oft fær um að safna frekari gögnum sem geta hjálpað þeim að skilja hvers vegna þátttakendur eru ákvarðanir sínar. Til dæmis, Correll spurði þátttakendur í Lab tilraun til að gefa frambjóðendur á mismunandi stærðum. Þessi tegund af vinna úr gögnum gæti hjálpað vísindamenn skilja kerfi á bak munur á því hvernig þátttakendur meðhöndla ferilskrár.

Á hinn bóginn, þessir nákvæmlega sömu eiginleikar sem ég lýst bara eins hagstæða eiginleika líka stundum talin ókosti. Vísindamenn sem kjósa sviði tilraunir halda því fram að þátttakendur í Lab tilraunum gæti virkað mjög öðruvísi þegar þeir eru að náið. Til dæmis, í Lab tilraun þátttakendur might hafa giska að markmiði að rannsóknum og breytt hegðun þeirra svo sem ekki að birtast hlutdræg. Ennfremur vísindamenn sem vilja sviði tilraunir gætu haldið fram að lítill munur á ferilskrám geta aðeins standa út í mjög hreinum, dauðhreinsuðu Lab umhverfi, og því Lab tilraunin mun yfir-meta áhrif móðurhlutverkið um ákvarðanir alvöru ráðningu. Að lokum, margir talsmenn tilraunir sviði gagnrýna tilraunir á rannsóknastofum reiða sig á Weird þátttakendur: aðallega nemendur frá Vestur, menntun, iðnvæddum, ríkur, og lýðræðisríkjum (Henrich, Heine, and Norenzayan 2010) . Tilraunirnar með Correll og samstarfsmenn (2007) sýna tvær öfgar á Lab-akur samfellu. Á milli þessara tveggja öfga það eru margs konar blendingur hönnun þar aðferða ss uppeldi non-nemendur í rannsóknarstofu eða fara inn á sviði en enn hafa þátttakendur framkvæma óvenjulega verkefni.

Í viðbót við Lab-akur vídd sem hefur verið í fortíðinni, stafræna aldri þýðir að vísindamenn hafa nú annað stórt vídd ásamt sem tilraunir getur verið breytilegt: flaumi-stafrænn. Rétt eins og það eru hreinar tilraunir Lab, hreinar tilraunir sviði, og margs konar blendingar á milli, það eru hreinar hliðstæðum tilraunum, hreinar stafræn tilraunir, og margs konar blendingar. Það er erfitt að bjóða upp á formlega skilgreiningu á þessum þætti, en gagnlegt skilgreining er sú að fullu stafrænar tilraunir eru tilraunir sem nýta stafræna innviði til að ráða þátttakendur, af handahófi, skila meðferðir, og mæla árangur. Til dæmis, Restivo og van de Rijt er (2012) rannsókn á barnstars og Wikipedia var fullkomlega stafrænn tilraun vegna þess að það er notað stafrænu kerfi fyrir öllum fjórum þessum skrefum. Sömuleiðis fullu flaumi tilraunir eru tilraunir sem gera það ekki notkun á stafrænu innviði fyrir einhverjum af þessum fjórum skrefum. Margir af the klassískt tilraunir í sálfræði eru hliðstæðum tilraunum. Á milli þessara tveggja öfga eru að hluta stafrænar tilraunir sem nota blöndu af hliðstæðum og stafrænn kerfi fyrir fjórum skrefum.

Gagnrýnin, tækifæri til að keyra stafræn tilraunir eru ekki bara á netinu. Vísindamenn geta keyrt hluta stafræna tilraunir með því að nota stafræna tæki í líkamlega heimi í því skyni að afhenda meðferðir eða mæla árangur. Til dæmis, vísindamenn gátu notað sviði sími til að skila meðferðir eða skynjara í hinu byggða umhverfi til að mæla árangur. Í raun, eins og við munum sjá síðar í þessum kafla, vísindamenn hafa nú þegar notað heima máttur metra til að mæla árangur í tilraunum um félagslegum viðmiðum og orkunotkun felur 8,5 milljónir heimila (Allcott 2015) . Eins stafræn tæki verða sífellt samþætt inn í líf fólks og skynjara verða felldar inn manngerðs umhverfis, þessi tækifæri til að keyra hluta stafræna tilraunir í líkamlega heimi mun aukast verulega. Með öðrum orðum, eru stafrænar tilraunir ekki bara á netinu tilraunir.

Stafræn kerfi búa nýja möguleika fyrir tilraunir allstaðar meðfram Lab-akur samfellu. Í hreinu tilraunir Lab, til dæmis, vísindamenn geta notað stafrænu kerfi fyrir fínni mælingar á hegðun þátttakenda; Eitt dæmi um þessa tegund af betri mælingu er auga-mælingar búnað sem veitir nákvæmar og stöðugt ráðstafanir augnaráð stað. The stafrænn aldri skapar einnig möguleika á að hlaupa Lab-eins tilraunir netinu. Til dæmis hafa vísindamenn hratt samþykkt Amazon Mechanical Turk (MTurk) til að ráða þátttakendur fyrir online tilraunum (mynd 4.2). MTurk passar "vinnuveitendur" sem hafa verkefni sem þarf að vera lokið með "starfsmenn" sem vilja ljúka þeim verkefnum fyrir peninga. Ólíkt hefðbundnum vinnumarkaði, þó verkefnin þurfa yfirleitt aðeins nokkrar mínútur til að ljúka og allt samspil milli vinnuveitanda og starfsmanns er raunverulegur. Vegna MTurk líkir þættir hefðbundinna tilraunir-borga fólki Lab til að ljúka verkefni sem þeir myndu ekki gera fyrir frjáls-það er náttúrulega fallin fyrir ákveðnar tegundir af tilraunum. Í meginatriðum, MTurk hefur skapað innviði til að stjórna hóp þátttakenda-ráða og borga fólki-og vísindamenn hafa tekið sér að uppbygging til að tappa inn í alltaf fyrirliggjandi laug þátttakenda.

Mynd 4.2: Papers birt með gögnum frá Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk og annar online vinnumörkuðum bjóða vísindamönnum þægileg leið til að ráða þátttakendur tilraunir.

Digital tilraunir búa jafnvel fleiri möguleika fyrir field-eins tilraunir. Stafræn sviði tilraunir geta boðið ströngu eftirliti og ferli gögn til að skilja mögulegar leiðir (eins Lab tilraunir) og fjölbreyttari þátttakendur gera alvöru ákvarðanir í náttúrulegu umhverfi (eins og tilraunum sviði). Í viðbót við þessa samsetningu af góðum eiginleikum fyrri tilraunum, stafræn tilraunir sviði bjóðum einnig þrjú tækifæri sem voru erfið í flaumi Lab og sviði tilrauna.

First, en flestir hliðstæðum Lab og sviði tilraunir hafa hundruð þátttakenda, stafræn tilraunir sviði getur með milljónir þátttakenda. Þessi breyting á kvarðanum er vegna þess að sumir stafrænn tilraunir hægt að framleiða gögn á núll breytilegum kostnaði. Það er, þegar vísindamenn hafa búið í tilraunaskyni innviði, auka fjölda þátttakenda yfirleitt ekki auka kostnað. Auka fjölda þátttakenda með stuðlinum 100 eða fleiri er ekki bara breyting á magni, er það eigindleg breyting, vegna þess að það gerir vísindamönnum kleift að læra mismunandi hluti af tilraunum (td misleitni áhrif meðferð) og hlaupa algjörlega mismunandi tilrauna hönnun ( td stór tilraunir hópur). Þetta lið er svo mikilvægt, ég aftur á henni undir lok kaflans þegar ég bjóða upp á ráðgjöf um að búa til stafræna tilraunir.

Í öðru lagi, en flestir hliðstæðum Lab og sviði tilraunir meðhöndla þátttakendur sem óaðgreinanlegur búnaður, stafrænar tilraunir sviði nota oft bakgrunnur upplýsingar um þátttakendur í hönnun og greiningu stigum rannsókna. Þessi bakgrunnur upplýsingar, sem heitir pre-meðferð upplýsinga, er oft í boði í ​​stafrænum tilraunum vegna þess að þeir eiga sér stað í fullu mældum umhverfi. Til dæmis, rannsóknir á Facebook hefur miklu meiri fyrir meðferð upplýsingar en rannsóknir hanna staðlað Lab tilraun með háskólastúdent. Þessi pre-meðferð upplýsinga gerir vísindamönnum kleift að fara út að meðhöndla þátttakendum sem óaðgreinanlegur græjur. Nánar tiltekið, upplýsingar formeðferð gerir skilvirkari tilrauna hönnun-ss blokka (Higgins, Sävje, and Sekhon 2016) og markvissa ráðningu þátttakenda (Eckles, Kizilcec, and Bakshy 2016) -Og meira innsæi greiningu-ss mati á fjölbreytileika um meðferð áhrif (Athey and Imbens 2016a) og breytan aðlögunar að bættri nákvæmni (Bloniarz et al. 2016) .

Í þriðja lagi, en margir hliðstæðum Lab og sviði tilraunir skila meðferðir og mæla árangur í tiltölulega þjappað tíma, sumir stafrænn tilraunir sviði falið meðferðir sem hægt er að afhent með tímanum og áhrif einnig hægt að mæla með tímanum. Til dæmis, tilraun Restivo og Van de Rijt hefur útkomuna mældur daglega í 90 daga, og einn af þeim tilraunum sem ég segi þér um síðar í kaflanum (Ferraro, Miranda, and Price 2011) fylgist niðurstöður á 3 ár á grundvallaratriðum ekkert kostnaður. Þessar þrjár tækifæri stærð, upplýsingar formeðferð, og langsum meðferð og niðurstöðu gögn-eru algengust þegar tilraunir eru keyrðar ofan á alltaf-á mælingum kerfi (sjá kafla 2 fyrir fleiri á alltaf-á mælikerfum).

En stafræn tilraunir sviði bjóða marga möguleika, deila þeir líka veikleika með bæði analog Lab og sviði tilrauna. Til dæmis, tilraunir ekki hægt að nota til að rannsaka fortíð, og þeir geta aðeins meta áhrif meðferða sem hægt er að handleika. Einnig, þó tilraunir eru án efa gagnlegt að leiða stefnu, nákvæm leiðsögn sem þeir geta boðið er nokkuð takmörkuð vegna fylgikvilla svo sem umhverfisvernd ósjálfstæði, farið vandamál, og jafnvægi áhrif (Banerjee and Duflo 2009; Deaton 2010) . Að lokum, stafræn tilraunir sviði stækka siðferðislegar áhyggjur búin til af tilraunum sviði. Talsmenn tilraunum sviði trompet getu þeirra til að lítið beri á og af handahófi að grípa inn í óbeinni ákvörðunum af milljónum manna. Þessar aðgerðir eru ákveðnar vísindalegar kosti, en þeir geta einnig gera vettvangsrannsóknir tilraunir siðferðilega flókin (hugsa um það sem vísindamenn meðhöndla fólk eins og "Lab rotta" í miklum mæli). Frekari, í viðbót við mögulegum skaða fyrir þátttakendur, stafræn tilraunir sviði, vegna umfangs, getur einnig hækkað áhyggjur röskun á vinna félagsleg kerfi (td áhyggjur trufla verðlaun kerfi Wikipedia ef Restivo og van der Rijt gaf of mörg barnstars) .