4.3 Twa ôfmjittings fan eksperiminten: lab-fjild en Analog-digitale
Lab eksperiminten biede kontrôle, fjild eksperiminten biede realisme, en digitale fjild eksperiminten kombinearje kontrôle en realisme op skaal.
Eksperiminten komme yn in protte ferskillende foarmen en groepen. Yn it ferline hawwe ûndersikers fûn dy it helpt om eksperiminten te organisearjen lâns in kontinuïte tusken labear eksperiminten en fjild eksperiminten . No moatte lykwols ûndersikers lykwols ek eksperiminten organisearje op in twadde kontinuânsje tusken analogen eksperiminten en digitale eksperiminten . Dizze twa-dimensionale ûntwerpromte sil jo helpe te fersterkjen de sterkte en swakkens fan ferskate oanwêzigen en markearje de gebieten fan grutste kâns (figuer 4.1).
Figure 4.1: Skema fan ûntwerpromte foar eksperiminten. Yn it ferline varearen eksperiminten lâns de laboratoarma dimensje. No binne se ek fereare op 'e analog-digitale dimensje. Dizze twa-dimensionale ûntwerpromte wurdt yllustrearre troch fjouwer eksperiminten dy't ik yn dit haadstik beskriuwe. Yn myn miening is it gebiet fan 'e grutste gelegenheid digitale fjilden eksperiminten.
Ien diminsje wêrby't eksperiminten organisearre wurde kinne is de laboratoarma dimensje. In protte eksperiminten yn 'e maatskiplike wittenskippen binne labear eksperiminten dêr't ûnderwiiskursus fereare opjeften útfiere yn in laboratoarium foar kursusskredyt. Dit soarte eksperimint behearsket ûndersyk nei psychology, om't it ûndersikers in heule kontrolearjende ynstellings soargje kinne om genôch teoryen op sosjale gedrach krekt isolearje en te hifkjen. Foar bepaalde problemen fynt lykwols wat wat frjemd oan it tekenjen fan sterke konklúzjes oer minsklik gedrach fan sokke ûngewoane minsken dy't sokke ûngewoane wurken útfiere yn sa'n ûngewoan. Dizze soargen hawwe liede ta in beweging nei fjilden eksperiminten . Field experiments combine the strong design of randomized control experiments with more representative groups of participants performing more common tasks in more natural settings.
Hoewol in pear minsken tinke oan laboratoarium en fjildekseksjes as konkurrearjende metoaden, it is it bêste om har as komplementêr te tinken, mei ferskillende sterkte en swakkens. Correll, Benard, and Paik (2007) brûkten lykwols sawol in laboreksekseksje en in fjild eksperimint yn 'e besykjen om de boarnen fan' e "memensstreaming" te finen. Yn 'e Feriene Steaten fertsjinne mammen minder jild as bernleaze froulju, sels as fergelykje froulju mei fergelykbere feardichheden dy't wurkje oan fergelykbere banen Der binne in protte mooglike ferklearrings foar dit patroan, ien fan dy is dat wurkjouwers tsjin 'e memmen ferjitten wurde. (Wierskynlik is it tsjinoerstelde foar âlden te wierskynlik te wêzen: se meie mear as fergelykbere bernleaze mannen te fertsjinjen.) Om mooglike ferdielen tsjin memmen te beoardielje, korrelje en kollega's twa eksperiminten: ien yn it laboratoarium en ien op it fjild.
Earst, yn in laborekseksperreur, fertelden hja dielnimmers, dy't kolleezje-ûnderwizers wiene, dat in bedriuw in wurkûndersyk hat foar in persoan om de nije ôfdieling marketingôfdieling fan East Coast te fieren. De learlingen waarden ferteld dat it bedriuw har help yn 'e hulpproses woe, en se waarden frege om resumens fan ferskate potensjele kandidaten te oersjen en de kandidaten te fertsjinjen op in tal ôfmjittingen, lykas harren yntelliginsje, waarmte, en ynset om te wurkjen. Fierder waarden de learlingen frege as se it oanfreegjen fan 'e oanfreger oanwize en wat se as oanfreegjen fan salaris oanbean wiene. Unbekend oan 'e learlingen, lykwols, waarden de resumens spesifyk konstruearre om te fergelykjen, útsein ien foar ien: guon fan harren hawwe mienheid beoardielden (troch lokaasjebedriuwen yn' e leararesferiening) en guon net. Correll en kollega's fûnen dat de learlingen minder wierskynlik it riede fan 'e memmen oan te wizen en dat se se in legere begjin salaris oanbiede. Fierders, troch in statistyske analyze fan sawol de Ratings en de ynhierjende besluten, Correll en kollega's fûnen dat de neidielen fan 'e memmen foar it grutste part ferklearre waarden troch it feit dat se yn betingsten fan kompetinsje en ynset wurden waarden. Sa hat dit laborêre eksperimint Correll en kollega 's kocht om in kausale effekt te mjitten en in maklik te ferklearjen foar dat effekt.
Fansels kin men miskien skeau wêze om konklúzjes te tekenjen oer de hiele arbeidsmerk fan 'e Amerikaanske basearre op' e besluten fan in pear hûndert ûnderwinneraars dy't wierskynlik noait in folsleine wurksumens hawwe, allinnich ien ynhierd hawwe. Dêrom hat Correll en kollega's ek in komplemintêre fjildeksperimint fûn. Se antwurden op hûnderten advertinsjele wurkwizingen mei fake dekkenbrieven en resumearje. Krekt as de materialen dy't oan 'e ûndergrûnen oanwêzich wiene, sjogge guon seldsume mominten en guon die net. Correll en kollega's fûnen dat memmen minder wierskynlik werom krije foar ynterviews as ientalige kwalifisearre froulju. Mei oare wurden, wurklike wurkjouwers meitsje konsekwinsjele besluten yn in natuerlike omjouwing folle folle as de ûnderwizers. Hawwe se deselde reden ferlykbere besluten? Spitigernôch witte wy net. De ûndersikers koene de wurkjouwers net freegje om de kandidaten te fertsjinjen of harren besluten te ferklearjen.
Dit pear fan eksperiminten ferskynt in protte oer laboratoarium en fjild eksperiminten yn 't algemien. Lab eksperiminten biede ûndersikers fan 'e totale kontrôle fan' e omjouwing dêr't dielnimmers in besluten meitsje. Sa, bygelyks, yn 'e laboratorium eksperiment, Correll en kollega's kinne soargje dat der alle resuminten yn in rêstige ynstelling lêzen wurde; Op it fjild eksperimint kinne guon fan 'e resumens net sels lêzen wurde. Fierders, om't dielnimmers yn 'e laboratoarming witte dat se studearre wurde, kinne ûndersikers faak ynkoart gegevens sammelje dy't helpe kinne útlizze wêrom't dielnimmers harren besluten meitsje. Bygelyks, Correll en kollega 's fregen oan dielnimmers op it labyresperium om de kandidaten te fertsjinjen op ferskillende dimensjes. Dizze soarte fan proseduere kinne helpferlieners helpe mei de meganismen foar ferskillen yn hoe't dielnimmers de resumens behannelje.
Oan 'e oare kant binne dizze krekte selde skaaimerken dy't ik just as foardielen beskreaun wurde, ek soms neidielen beskôge. Undersikers dy't it foarkommen fan eksperiminten fan it fjild befetsje dat dielnimmers op laboreksekspesjes hiel oars kinne hannelje, om't se witte dat se studearre wurde. Bygelyks, yn 'e labyrensperimint kinne dielnimmers it doel fan it ûndersyk besparre hawwe en har gedrach feroarsaat soene net te ferdielen komme. Fierder kinne ûndersikers dy't foarkomme fan eksperiminten kinne lykje dat lytse ferskillen yn resumintsjes allinich yn in tige skjinne, sterile laboratoarum stean kinne, en dus it laborekseksperimint sil it effekt fan 'e memmetaal oer echte ynstellings beslute. Uteinlik kritisearje in soad proponinten fan fiskerseksamen de eksperiminten fan 'e labyrintigens oan' e WEIRD-dielnimmers: benammen studinten út Westlike, Educated, Industriële, Rich en Demokratyske lannen (Henrich, Heine, and Norenzayan 2010a) . De eksperiminten fan Correll en kollega's (2007) yllustrearje de twa ekstremen op it laboratele-kontinuïteum. Tusken dizze twa ekstreems binne der ek in ferskaat oan hybride ûntwerpen, ynklusyf oanwêzingen lykas bringen fan learlingen yn in laboratoarium of yn 't fjild te gean, mar dochs hawwe dielnimmers in ungewoane taak útfierd.
Neist de laboratoarma-dimensje dy't yn it ferline bestien hat, betsjut it digitale tiid dat ûndersikers no in twadde grutte diminsje hawwe, dêr't ûndersoarten ferskille kinne: analog-digitaal. Krekt as der binne reinen labear eksperiminten, reinen fjildekseksjes, en in ferskaat oan hybriden yn tusken, binne der reine analogen eksperiminten, pure digitale eksperiminten en in ferskaat oan hybriden. It is spitich om in formele definysje fan dizze diminsje oan te bieden, mar in brûkbere wurkdefinaasje is dat folsleine digitale eksperiminten eksperiminten binne dy't digitale ynfrastruktuer brûke om oan te nimmen oan dielnimmers, randomisearje, behannelingen, en resultaten mjitte. Bygelyks, Restivo en van de Rijt's (2012) stúdzje fan barnstars en Wikipedia wie in folslein digitale eksperimint omdat it digitale systeem brûkt foar alle fjouwer fan dizze stappen. Likegoed meitsje folslein analoge eksperiminten gjin gebrûk fan digitale ynfrastruktuer foar ien fan dizze fjouwer stappen. In protte fan 'e klassike eksperiminten yn' e psychology binne folslein analoge eksperiminten. Tusken dizze twa eksten binne der diels digitale eksperiminten dy't in kombinaasje fan analogen en digitale systemen brûke.
As guon minsken tinke oan digitale eksperiminten, tinke se fuortendaliks op online eksperiminten. Dit is ûngelokkich omdat de mooglikheden om digitale eksperiminten te rinnen binne net gewoan online. Undersikers kinne diels digitale eksperiminten útfiere troch digitale apparaten yn 'e fysike wrâld te brûken om behannelingen of mjittingen te ferfangen. Foarbylden kinne ûndersikers ek smartphones brûke om behannelingen of sensor yn it boud omheech te leverjen om resultaten te mjitten. Yn 't feit, as wy letter yn dit haadstik sjen sjogge, hawwe ûndersikers al brûkt (Allcott 2015) brûkt om resultaten te mjitten yn eksperiminten oer enerzjyferbrûk mei 8,5 miljoen húshâldingen (Allcott 2015) . As digitale apparaten wurde hieltyd ynteressearre yn it libben fan minsken en sensoren wurde yntegrearre yn 'e boude omjouwing, wurde dizze mooglikheden om dielsige digitale eksperiminten yn' e fysike wrâld te rinnen. Mei oare wurden, digitale eksperiminten binne net allinich eksperiminten online.
Digitale systemen meitsje nije mooglikheden foar eksperiminten oeral lâns it laboratele-kontinuïte. By pure labear eksperiminten kinne bygelyks ûndersikers digitalisearrings brûke foar fereare mjitting fan gedrach fan dielnimmers; In foarbyld fan dizze soarte ferbettere mjitting is in e-post-apparatuer dy't soarzjen en trochgeande maatregels fan lizzende lokaasje jout. De digitale leeftyd skept ek de mooglikheid om rinnende labyrogine eksperiminten online te rinnen. Bygelyks, ûndersikers hawwe hast Amazoniske Turkske Turk (MTurk) rapper makke om dielnimmers op te roppen foar online eksperiminten (figuer 4.2). MTKK komt oerien mei "wurkjouwers" dy't taken hawwe dy't foltôge moatte moatte mei "arbeiders" dy't dizze taken foar jild ferfolje wolle. Oars as de tradisjonele arbeidsmerken lykwols binne de taken dy't belutsen wurde meikomme mar in pear minuten om te foltôgjen, en de folsleine ynteraksje tusken wurkjouwer en arbeider is online. Om't MTurk aspekten fan tradysjonele lab eksperiminten nimt - it beteljen fan minsken om folsleine taken te meitsjen dat se net fergees dwaan - it is natuerlik foar bepaalde soarten eksperiminten. Yn essinsje hat MTurk de ynfrastruktuer makke foar it behearen fan in pûn fan dielnimmers - wervingen en it beteljen fan minsken, en ûndersikers hawwe foarkommen fan dy ynfrastruktuer te brûken om in altyd beskikbere pûn fan dielnimmers te tappen.
Figure 4.2: Papieren publisearre gebrûk fan gegevens fan Amazon Mechanical Turk (MTurk). MTurk en oare online arbeidsmerken biede ûndersikers in handige manier om de dielnimmers oan te dwaan foar eksperiminten. Oanpaste fan Bohannon (2016) .
Digitale systemen meitsje noch mear mooglikheden foar fjildmjittige eksperiminten. Benammen bydrage kinne sy ûndersikers de hege kontrôle en ferwurkingsgegevens kombinearje dy't kombineare wurde mei labear eksperiminten mei de ferskillende dielnimmers en mear natuerlike ynstellings dy't ferbûn binne mei labear eksperiminten. Dêrnjonken biede digitale fjilden eksperiminten ek trije kânsen dy't tenei binne te hurd yn analoge eksperiminten.
Earst, wylst it measte analogyske laboratoarium en eksperiminten hûnderten dielnimmers hawwe, kinne digitale fjilden eksperiminten miljoenen dielnimmers hawwe. Dizze feroaring yn skaal is om't guon digitale eksperiminten gegevens meitsje kinne op nul variable kosten. Dat is, as ienris ûndersikers in eksperimintele ynfrastruktuer opnommen hawwe, wêrtroch't it oantal dielnimmers fergruttet, typysk net de kosten te ferheegjen. It ferheegjen fan it tal dielnimmers troch in faktor fan 100 of mear is net allinich in kwantitative wiziging; It is in kwalitative wiziging, om't it ûndersikers ûnderskate dingen út eksperiminten leare kinne (bgl. heterogeneiteit fan behannelingseffekten) en folslein ferskate eksperimintele ûntwerpen (lykas groep-groep eksperiminten) útfiere. Dit punt is sa wichtich, ik werklik nei it ein fan it haadstik werom as ik advizen oer meitsje digitale eksperiminten.
Twadder, wylst it measte analogyske laboratoarium en eksperiminten fan behanneling behannelje as dielnimmers as ûnbegryplike widgets, brûke digitale fjilden eksperiminten faak eftergrûnynformaasje oer dielnimmers yn 'e ûntwerp- en analyzestappen fan it ûndersyk. Dizze eftergrûnsynformaasje, dy't foarôf behannelingsynje neamd wurdt, is faak beskikber yn digitale eksperiminten, om't se op 'e hichte fan altyd-mjitsysteem binne (sjoch haadstik 2). Bygelyks, in ûndersiker op Facebook hat in protte mear foarbehandling ynformaasje oer minsken yn har digitale fjildekseksje as in universitêre ûndersiker hat oer de minsken yn har analog fjild eksperimint. Dizze foarôfhanneling makket mear effisjint eksperiminteel ûntwerpen - lykas it blokkearjen (Higgins, Sävje, and Sekhon 2016) en doelstellings fan wjerskanten fan 'e dielnimmers (Eckles, Kizilcec, and Bakshy 2016) - en mear ynteressante analyze - lykas skatting fan heterogeniteit fan behannelingseffekten (Athey and Imbens 2016a) en kovariate oanpassing foar ferbettere prestaasjes (Bloniarz et al. 2016) .
Tredde, wylst in soad analogyske laboratoarium en ferders eksperiminten behannele wurde en mjittings resultaat yn in relatyf komprimearre tiid fan tiid, sille guon digitale ferders eksperiminten oer folle langere tydskalen komme. Bygelyks, Restivo en van de Rijt's eksperimint hiene de útkomsten tydlik per 90 dagen gemocht, en ien fan 'e eksperiminten dy't ik sprekke oer letter yn' e haadstik (Ferraro, Miranda, and Price 2011) oer trije jier resultaten folgen kosten. Dizze trije mooglikheden foar kânsen, foarôfhanneling, en longitudinale behanneling en resultaten binne meast foarkommen as eksperiminten op 'e hichte fan altyd op messensystemen rinne (sjoch haadstik 2 foar mear op mjitsystemen).
Hoewol't digitale fjilden eksperiminten in protte mooglikheden biede, hawwe se ek wat swakkens te dielen mei sawol analog labels en analogen fjild eksperiminten. Bygelyks kin eksperiminten net brûkt wurde om it ferline te studearjen, en se kinne allinich de effekten fan behannelingen bepale kinne. Ek hoewol eksperiminten binne sûnder mis nuttich om it belied te behertigjen, de krekte begelieding dy't se oanbiede kinne, is wat beheind fanwege kompleksjes lykas omjouwingsôfspraken, (Banerjee and Duflo 2009; Deaton 2010) en lykwichtigens (Banerjee and Duflo 2009; Deaton 2010) . Digitale fjilden eksperiminten fergrutele ek de etyske dingen dy't makke binne troch fjild eksperiminten - in ûnderwerp dat ik letter sprekt yn dit haadstik en yn haadstik 6.
