4.3 Twa ôfmjittings fan eksperiminten: lab-fjild en Analog-digitale
Lab eksperiminten biede kontrôle, fjild eksperiminten biede realisme, en digitale fjild eksperiminten kombinearje kontrôle en realisme op skaal.
Eksperiminten komme yn in soad ferskillende foarmen en maten. Mar, nettsjinsteande dizze ferskillen, ûndersikers hawwe fûn it helpful te organisearjen eksperiminten lâns in kontinuümhypoteze tusken lab eksperiminten en fjild eksperiminten. No, lykwols, ûndersikers moatte ek organisearjen eksperiminten lâns in kontinuümhypoteze tusken analoge eksperiminten en digitale eksperiminten. Dit twadiminsjonale design romte sil helpe jo begripe de sterke en swakke punten fan ferskillende oanpak en suggest gebieten fan grutste kâns (Figure 4.1).
Figuer 4.1: Skematyske fan design romte foar eksperiminten. Yn it ferline, eksperiminten fariearre lâns it lab-fjild diminsje. No, se ek fariearje op de analoge-digitale diminsje. Yn myn miening, it gebiet fan grutste kâns is digitale fjild eksperiminten.
Yn it ferline, de wichtichste wize dat ûndersikers organisearre eksperiminten wie lâns de lab-fjild diminsje. De mearderheid fan de eksperiminten yn 'e sosjale wittenskippen binne lab eksperiminten dêr't bachelor studinten útfiere frjemde taken yn in lab foar fansels kredyt. Dit soarte fan eksperimint oerhearsket ûndersyk yn psychology omdat it stelt ûndersikers te meitsjen hiel spesifike behannelings ûntwurpen om te testen hiel spesifike teoryen oer sosjale gedrach. Foar beskate problemen, lykwols, wat fielt in bytsje frjemd oer tekening sterke konklúzjes oer minsklik hâlden en dragen fan sokke bysûndere minsken performing sokke ûngewoane taken yn sa'n ûngewoane ynstelling. Dy soargen hawwe laat ta in beweging nei fjild eksperiminten. Field eksperiminten kombinearje de sterke ûntwerp fan willekeurich kontrôle eksperiminten mei mear represintative groepen fan dielnimmers, performing mear mienskiplike taken, in mear natuerlike ynstellings.
Hoewol't guon minsken tinke fan lab en fjild eksperiminten as konkurrearjende metoaden, is it bêste te tinken fan harren as komplemintêre metoaden mei ferskillende sterke en swakke punten. Bygelyks, Correll, Benard, and Paik (2007) brûkt sawol in lab eksperimint en in fjild eksperimint yn in besykjen om de boarnen fan 'e "motherhood straf." Yn' e Feriene Steaten, memmen fertsjinje minder jild as sûnder bern froulju, sels as fergelykjen froulju mei ferlykbere feardichheden wurkjen yn fergelykbere banen. Der binne in soad mooglik ferklearrings foar dit patroan, en men is dat wurkjouwers wurde bias tsjin memmen. (Opfallend, it tsjinoerstelde liket te wêzen wier foar heiten: se freegje om mear fertsjinje as ferlykbere sûnder bern manlju). Om te beoardielje mooglik foaroardielen tsjin memmen, Correll en kollega rûn twa eksperiminten: ien yn it lab en ien yn it fjild.
Earst, yn in lab eksperimint Correll en kollega fertelde dielnimmers, dy't kolleezje bachelor-, dat in California-basearre start-up kommunikaasje bedriuw wie it fieren fan in wurkgelegenheid sykje foar in persoan te liede syn nije East Coast marketing ôfdieling. Studinten waarden ferteld dat it bedriuw woe harren help yn de ynhier proses en se waarden frege om der wer fan ferskate potinsjele kandidaten en te rate de kandidaten op in tal ôfmjittings lykas harren yntelliginsje, waarmte, en ynset oan it wurk. Fierder, de studinten waarden frege oft se soe riede it ynhieren fan de fersiker en wat se soe riede as begjinnende salaris. Unbeknownst foar de studinten, lykwols, de wer waarden spesiaal te wêzen ek útsein ien ding: guon fan 'e wer fluite motherhood (troch listing belutsenens yn in âlder-learaar feriening) en wat net. Correll fûn dat studinten wiene minder kâns te riede it ynhieren fan de memmen en bea harren legere begjinpunt salaris. Fierder, troch in statistyske analyze fan sawol it wurdearrings en de ynhier-relatearre besluten, Correll fûn dat memmen 'neidielen waarden foar it grutste part ferklearre troch it feit dat memmen waarden rated legere kwa foech en ynset. Yn oare wurden, Correll stelt dat dizze trekken binne it meganisme troch hokker memmen binne efterstân. Sa, dit lab eksperimint tastien Correll en kollega te mjitten in kausale effekt en soargje foar in mooglike ferklearring foar dat effekt.
Fansels, men kin wêze skeptysk oer drawing konklúzjes oer de hiele Amerikaanske arbeidsmerk basearre op de besluten fan in pear hûndert bachelor- dy't hawwe nei alle gedachten nea hie in folsleine tiid baan, lit stean hierd minsken. Dêrom, Correll en kollega ek útfierd in komplemintêre fjild eksperimint. De ûndersikers antwurde nei hûnderten geadverteerde baan iepeningen troch stjoeren yn fake cover letters en der wer. Similar nei de materialen toand oan de bachelor-, guon wer fluite motherhood en wat net. Correll en kollega fûn dat memmen wiene minder kâns om de namme werom foar ynterviews as like kwalifisearre sûnder bern froulju. Yn oare wurden, echte wurkjouwers meitsjen gefolchskea besluten yn in natuerlike ynstelling gedrage him folle as de bachelor-. Ha se meitsje ek besluten foar it deselde reden? Helaas, wy net witte. De ûndersikers wienen net by steat om te freegjen de wurkjouwers te beöardielje de kandidaten of lizzen harren besluten.
Dit pear fan eksperiminten ferriedt in soad oer lab en fjild eksperiminten yn it algemien. Lab eksperiminten biede ûndersikers near totale kontrôle fan de omjouwing dêr't dielnimmers binne meitsjen besluten. Sa, bygelyks, yn it lab eksperimint, Correll koe om te soargjen dat al it wer waarden lêzen yn in rêstige omjouwing; yn it fjild eksperimint, guon fan 'e wer miskien net hawwe sels al lêzen. Fierder, omdat de dielnimmers yn it lab ynstelling witte dat se wurde bestudearre, ûndersikers binne faak by steat te sammeljen oanfoljende gegevens dy't jo helpe se begripe wêrom't dielnimmers wurde meitsjen harren besluten. Bygelyks, Correll frege dielnimmers yn it lab eksperimint om beöardielje de kandidaten op ferskillende ôfmjittings. Dit soarte fan proses gegevens koenen helpe ûndersikers begripe de meganismen efter ferskillen yn hoe't dielnimmers behannelje it der wer.
Oan de oare kant, dy krekte deselde skaaimerken dy't ik krekt omskreaun as foardielen binne ek soms beskôge neidielen. Ûndersikers dy't leaver fjild eksperiminten stelle dat dielnimmers oan lab eksperiminten koene hannelje hiel oars as se wurde nau waarnommen. Bygelyks, yn it lab eksperimint dielnimmers miskien hawwe ret it doel fan it ûndersyk en altered harren gedrach sa as net ferskine bias. Fierder, ûndersikers dy't leaver fjild eksperiminten soe pleitsje dat lytse ferskillen op wer kin allinnich stean út yn in hiel skjin, sterile lab omjouwing, en dêrmei it lab eksperimint sil oer-rûze it effekt fan motherhood op echte ynhier beslissingen. Ta beslút, in protte foarstanners fan fjild eksperiminten kritisearje lab eksperiminten berop op Weird dielnimmers: benammen studinten út Western, oplieding, yndustrialisearre, Rich, en Demokratyske lannen (Henrich, Heine, and Norenzayan 2010) . De eksperiminten by Correll en kollega (2007) yllustrearje de twa utersten op it lab-fjild Continuum. Yn tusken dizze beide utersten binne der in ferskaat oan hybride ûntwerpen ynklusyf oanpak lykas bringen fan net-studinten yn in lab of hy yn it fjild, mar noch mei dielnimmers útfiere in ûngewoane taak.
Neist it lab-fjild diminsje dat hat bestien yn it ferline, de digitale leeftyd betsjut dat ûndersikers no hawwe in twadde grutte diminsje lâns dêr't eksperiminten kin ferskille: analoge-digitaal. Krekt as binne der suver lab eksperiminten, suver fjild eksperiminten, en in ferskaat oan hybride yn tusken, binne der suver analoge eksperiminten, suver digitale eksperiminten, en in ferskaat oan hybride. It is lestich om te bieden in formele definysje fan dizze diminsje, mar in handich wurkjende definysje is dat folslein digitaal eksperiminten binne eksperiminten dy't gebrûk meitsje fan de digitale ynfrastruktuer te winnen dielnimmers, randomize, leverje behannelings, en mjitten útkomsten. Bygelyks, Restivo en Van de Rijt s (2012) stúdzje fan barnstars en Wikipedia wie in folslein digitaal eksperimint omdat it brûkt digitale systemen foar alle fjouwer fan dy stappen. Allyksa folslein analoge eksperiminten binne eksperiminten dy't net gebrûk meitsje fan de digitale ynfrastruktuer foar ien fan dizze fjouwer stappen. In soad fan de klassike eksperiminten yn psychology binne analoge eksperiminten. Yn tusken dizze beide utersten binne der in part digitale eksperiminten dy't brûke in kombinaasje fan analoge en digitale systemen foar de fjouwer stappen.
Kritysk, de mooglikheden om rinne digitale eksperiminten binne net allinnich online. Ûndersikers kinne rinne part digitale eksperiminten troch mei help fan digitale apparaten yn de fysike wrâld yn te leverjen behannelings of mjitten útkomsten. Bygelyks, ûndersikers koenen brûke smartphones te leverjen behannelings of sensoren yn de boude omjouwing te mjitten útkomsten. Yndie, as wy sille sjen letter yn dit haadstik, ûndersikers hawwe al brûkt thús macht meter te mjitten resultaten yn eksperiminten oer maatskiplike noarmen en enerzjyferbrûk wêrby't 8,5 miljoen fan húshâldens (Allcott 2015) . As digitale apparaten wurden hieltyd mear yntegrearre yn it libben fan minsken en sensoren wurde yntegrearre yn de boude omjouwing, dizze mooglikheden om rinne part digitale eksperiminten yn de fysike wrâld sil tanimme dramatysk. Yn oare wurden, digitale eksperiminten binne net allinnich online eksperiminten.
Digitale systemen meitsje nije mooglikheden foar eksperiminten oeral lâns it lab-fjild Continuum. Yn suvere lab eksperiminten, bygelyks, ûndersikers kinne gebrûk meitsje fan digitale systemen foar finere mjitting fan dielnimmers 'gedrach; ien foarbyld fan dit soarte fan ferbettere mjitting is each-tracking apparatuer dy't jout sekuere en trochgeande maatregels fan blik lokaasje. De digitale leeftyd ek ûntstiet de mooglikheid om rinne lab-like eksperiminten online. Bygelyks, ûndersikers hawwe hurd oannommen Amazon Mechanical Turk (MTurk) te winnen dielnimmers foar online eksperiminten (Figure 4.2). MTurk matches "wurkjouwers" dy't taken dy't moatte wurde ôfsletten mei "arbeiders", dy't wolle foltôgjen dy taken foar jild. Oars as de tradisjonele arbeidsmerken, lykwols, de taken belutsen meastentiids allinnich nedich in pear minuten om te foltôgjen en de hiele ynteraksje tusken wurkjouwer en arbeider is firtuele. Omdat MTurk mimics aspekten fan tradisjonele Lab eksperiminten-beteljen minsken te foltôgjen taken dy't se soe net dwaan fergees-it is fansels geskikt foar bepaalde typen fan eksperiminten. Yn wêzen, MTurk hat makke de ynfrastruktuer foar it behearen fan in fiver fan dielnimmers-recruiting en beteljen minsken-en ûndersikers hawwe nommen foardiel fan dy ynfrastruktuer te tap yn in altyd beskikber fiver fan dielnimmers.
Figuer 4.2: Papers publisearre mei help fan gegevens fan Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk en oare online arbeidsmerken biede ûndersikers in handige manier om te winnen dielnimmers foar eksperiminten.
Digitale eksperiminten meitsje noch mear mooglikheden foar fjild-like eksperiminten. Digitale fjild eksperiminten kinne biede strakke kontrôle en proses gegevens te begripen mooglik meganismen (lykas lab eksperiminten) en mear ferskate dielnimmers meitsje echte besluten yn in natuerlike omjouwing (lykas fjild eksperiminten). Neist dizze kombinaasje fan goede skaaimerken fan eardere eksperiminten, digitale fjild eksperiminten ek biede trije kânsen dy't dreech yn analoge lab en fjild eksperiminten.
Earste, wylst de measte analoge lab en fjild eksperiminten hawwe hûnderten dielnimmers, digitale fjild eksperiminten kinne hawwe miljoenen fan dielnimmers. Dy feroaring yn skaalfergrutting is omdat guon digitale eksperiminten kinne produsearje gegevens op nul fariabele kosten. Dat is, ien kear ûndersikers hawwe makke in eksperimintele ynfrastruktuer, it fergrutsjen fan it tal dielnimmers meastal net ferheegje de kosten. It fergrutsjen fan it tal dielnimmers troch in faktor fan 100 of mear is net allinne in kwantitative feroaring, it is in kwalitative feroaring, omdat it stelt ûndersikers te learen ferskate dingen fan eksperiminten (bygelyks, heterogeneity fan behanneling effekten) en rinne folslein ferskillende eksperimintele ûntwerpen ( bygelyks, grutte groep eksperiminten). Dit punt is sa wichtich, ik werom nei it nei de ein fan it haadstik doe't ik biede advys oer it meitsjen fan digitale eksperiminten.
Twadde, wylst de measte analoge lab en fjild eksperiminten behannelje dielnimmers as indistinguishable widgets, digitale fjild eksperiminten faak brûke eftergrûn ynformaasje oer de dielnimmers yn it ûntwerp en analyze fazen fan it ûndersyk. Dizze eftergrûn ynformaasje, dy't neamd wurdt pre-behanneling ynformaasje, is faak beskikber yn it digitale eksperiminten om't se nimme plak yn folslein mjitten fermiddens. Bygelyks, in ûndersiker op Facebook hat folle mear pre-behanneling ynformaasje as in ûndersiker it ûntwerpen fan in standert lab eksperimint mei bachelor-. Dit pre-behanneling ynformaasje stelt ûndersikers om boppe de behanneling dielnimmers as indistinguishable widgets. Mear spesifyk, pre-behanneling ynformaasje kinne effisjinter eksperimintele ûntwerpen-lykas blokkearjende (Higgins, Sävje, and Sekhon 2016) en rjochte werving fan dielnimmers (Eckles, Kizilcec, and Bakshy 2016) en mear ferhelderjend analyze-lykas schatting fan heterogeneity fan behanneling effekten (Athey and Imbens 2016a) en covariate oanpassing foar bettere Präzision (Bloniarz et al. 2016) .
Tredde, wylst in protte analoge lab en fjild eksperiminten leverje behannelings en maatregel resultaten yn in relatyf komprimearre bedrach fan tiid, in pear digitale fjild eksperiminten belûke behannelings dy't kin levere oer tiid en de effekten kinne ek wurde metten oer tiid. Bygelyks, Restivo en Van de Rijt syn eksperimint hat de útkomst mjitten alle dagen foar 90 dagen, en ien fan 'e eksperiminten ik fertel jimme oer letter yn it haadstik (Ferraro, Miranda, and Price 2011) tracks resultaten mear as 3 jier by yn prinsipe gjin kosten. Dy trije kânsen-grutte, pre-behanneling ynformaasje, en longitudinaal behanneling en resultaat data-binne meast foarkommende as eksperiminten wurde rinne op boppe fan altyd-op mjittingen systemen (sjoch haadstik 2 foar mear op altyd-op mjitting systemen).
Wylst digitale fjild eksperiminten biede in protte mooglikheden, se ek diele wat swakke punten mei sawol analoge lab en fjild eksperiminten. Bygelyks, eksperiminten kinne net brûkt wurde foar stúdzje fan it ferline, en se kinne allinnich skatte de effekten behannelingen dy't kin wurde manipulearre. Ek, alhoewol't eksperiminten binne sûnder mis nuttich te lieden belied, de krekte begelieding se kinne biede is wat beheind fanwege komplikaasjes lykas miljeu ôfhinklikheid, neilibjen problemen, en lykwicht effekten (Banerjee and Duflo 2009; Deaton 2010) . Ta beslút, digitale fjild eksperiminten magnify de etyske soargen makke troch fjild eksperiminten. Foarstanners fan fjild eksperiminten trompet harren feardigens om onopvallend en willekeurich yngripe yn gefolchskea besluten makke troch miljoenen minsken. Dy funksjes biede bepaalde wittenskiplike foardielen, mar se kinne ek meitsje fjild eksperiminten ethically kompleks (tink oer it as ûndersikers behanneljende minsken lykas "lab rotten" op in massale skaal). Fierder, neist mooglike Harms om dielnimmers, digitale fjild eksperiminten, want fan harren skaal, kin ek raise soargen oer de fersteuring fan wurkjen sosjale systemen (bygelyks, soargen oer disrupting Wikipedy syn lean systeem as Restivo en van der Rijt joech tefolle barnstars) .
