4.3 Dva dimenzije eksperimentov: laboratorij na terenu in analogno-digitalni

Laboratorijski poskusi ponuditi nadzor na terenu poskusi ponujajo realizem in digitalne terenu poskusi združiti nadzor in realizem v večjem obsegu.

Poskusi prihajajo v različnih oblik in velikosti. Toda kljub tem razlikam, so raziskovalci ugotovili, da je koristno, da eksperimente po kontinuumu med laboratorijskih poskusov in poljskih poskusih. Zdaj pa naj bi raziskovalci organiziramo tudi poskusi po kontinuumu med analognimi poskusov in digitalnih eksperimentov. Ta dvodimenzionalni videz prostora vam bo pomagal razumeti prednosti in slabosti različnih pristopov in predlagati področja za največjo priložnost (Slika 4.1).

Slika 4.1: Shematski prikaz oblikovanja prostora za eksperimente. V preteklosti so poskusi spreminjati po dimenziji lab polja. Zdaj pa se razlikujejo tudi na analogni, digitalni razsežnosti. Menim, da je območje največje možnosti je digitalni terenu poskusi.

V preteklosti je bil glavni način, da so raziskovalci organizirani poskusi po dimenziji lab polja. Večina poskusov v družboslovju so laboratorijske poskuse, kjer dodiplomski študentje opravljajo nenavadne naloge v laboratoriju za kredit seveda. Ta vrsta poskusa dominira raziskave v psihologiji, saj omogoča raziskovalcem ustvariti zelo specifične terapije, namenjene za testiranje zelo specifičnih teorij o socialnem vedenju. Za nekatere težave, vendar, kaj meni malo čudno o oblikovanju močne sklepe o vedenju ljudi iz teh nenavadnih ljudi, ki opravljajo take nenavadne naloge v tako nenavadnem okolju. Te skrbi so privedli do gibanja proti poljskih poskusih. Terenski poskusi združiti močno oblikovanje naključnih kontrolnih poskusih z več reprezentativnih skupin udeležencev, ki opravljajo več skupnih nalog, v bolj naravnem okolju.

Čeprav so nekateri ljudje mislijo, laboratorijskih in terenskih poskusov kot konkurenčni metode, je najbolje, da razmišljajo o njih, kot komplementarnih metod z različnimi prednosti in slabosti. Na primer, Correll, Benard, and Paik (2007) se uporablja tako za laboratorij eksperiment in polja eksperiment v poskusu, da bi našli vire za "materinstvo kazen.« V Združenih državah Amerike, matere zaslužijo manj denarja kot žensk brez otrok, tudi ko primerjave ženske s podobnimi spretnosti, ki delujejo na podobnih delovnih mestih. Obstaja več možnih razlag za ta vzorec, in ena je, da so delodajalci naslonjena matere. (Zanimivo je, da se zdi, nasprotno, da je res za očete: se nagibajo, da zaslužite več od primerljivih brez otrok, moških). Da bi lahko ocenili morebitno pristranskost do matere, Correll in kolegi tekel dveh poskusov: eno v laboratoriju in eno na terenu.

Prvič, v laboratorijskem poskusu Correll in kolegi povedali udeleženci, ki so bili kolegij študenti, ki temelji California start-up komunikacijsko podjetje, ki je vodil tudi iskanje zaposlitve za osebe, ki vodi nov oddelek za promet East Coast. Študenti so povedali, da je družba želela svojo pomoč v procesu oddajanja in so bile pozvane, da pregledajo nadaljuje z več potencialnimi kandidati in oceniti kandidate na več dimenzij, kot so njihove inteligence, topline, in zavezo za delo. Poleg tega so bili študenti vprašal, ali bi priporočili najem vlagatelja in kaj bi priporočal kot začetne plače. Nevede študentov, vendar pa nadaljuje so posebej izdelani tako, da je podobna, razen za eno stvar: nekateri nadaljuje signalizira materinstvo (z navedbo vključevanja v roditeljskih združenja), nekateri pa ne. Correll je pokazala, da so učenci manj verjetno, da priporočajo najem matere in jim ponudil nižjo izhodiščno plačo. Poleg tega s pomočjo statistične analize obeh ocen in odločitev, ki so povezane z najem, Correll je ugotovila, da so bile pomanjkljivosti mater v veliki meri pojasniti z dejstvom, da so bile matere nazivno nižja v smislu pristojnosti in obveznosti. Z drugimi besedami, Correll trdi, da so ti znaki mehanizem, prek katerega so matere v slabšem položaju. Tako je ta laboratorij eksperiment dovoljeno Correll in sodelavcem za merjenje vzročni učinek in zagotoviti možno razlago za ta namen.

Seveda pa lahko skeptičen glede ugotovitve o celotnem trgu dela v ZDA, ki temelji na odločitvah nekaj sto študentov, ki so se verjetno nikoli imeli polni delovni čas, kaj šele najetih ljudi. Zato Correll in kolegi izvedli tudi dopolnilno polje eksperiment. Raziskovalci so se odzvali na stotine oglaševane novih delovnih mest s pošiljanjem lažnih zajemajo pisem in življenjepise. Podobno materialov, prikazane na študentov, nekateri nadaljuje nakazala materinstva, nekateri pa ne. Correll s sodelavci ugotovil, da so bile matere manj verjetno, da se pokliče na razgovor, kot tudi kvalificiranih žensk brez otrok. Z drugimi besedami, pravi delodajalci zaradi česar posledično odločitve v naravnem okolju obnaša podobno kot študentov. Ali so se podobne odločitve za istega razloga? Na žalost ne vemo. Raziskovalci niso mogli vprašati delodajalce oceno kandidatov ali pojasni svoje odločitve.

Ta par poskusov razkriva veliko o laboratorijskih in terenskih poskusov na splošno. Laboratorijski poskusi ponuditi raziskovalcem blizu popoln nadzor nad okoljem, v katerem so udeleženci odločanju. Tako, na primer, v laboratorijskem poskusu je Correll lahko zagotovi, da so bili vsi nadaljuje berejo na mirni okolju; v polje poskusu, nekateri nadaljuje morda ne bi niti prebrali. Nadalje, ker udeleženci v okolju lab vedeli, da so jih raziskali, raziskovalci so pogosto lahko zbirajo dodatne podatke, ki jim lahko pomagajo razumeti, zakaj so udeleženci odločanju. Na primer, Correll vprašal udeležence v laboratoriju poskusu oceno kandidatov na različnih dimenzij. Ta vrsta podatkov procesa lahko pomagalo raziskovalcem razumevanje mehanizmov skrivajo razlike v tem, kako udeleženci zdravljenje nadaljuje.

Po drugi strani pa te natančne iste lastnosti, ki sem opisali kot prednosti so tudi včasih veljalo slabosti. Raziskovalci, ki imajo raje poljske poskuse trdijo, da bi udeleženci v laboratorijskih poskusih deluje zelo drugače, ko se pozorno opazovati. Na primer, v laboratoriju morda udeleženci poskusa uganili cilj raziskav in spremeniti svoje vedenje, da se ne zdi pristransko. Poleg tega lahko raziskovalci, ki imajo raje poljske poskuse bi lahko trdili, da so majhne razlike glede nadaljuje le izstopa v zelo čisto, sterilno laboratorijskem okolju, in s tem laboratorij poskus bo precenjujejo vpliv materinstva na odločitve v realnem kadrovskimi strokovnjaki. Končno, mnogi zagovorniki poljskih poskusih kritizirajo lab preizkušanje zanašanje na čudno udeležencev: predvsem študentov iz zahodne, izobraženih, industrializirana, Rich in demokratične države (Henrich, Heine, and Norenzayan 2010) . Poskusi po Correll in sodelavci (2007) prikazujeta dve skrajnosti na lab polja kontinuuma je. Med tema dvema skrajnostma obstaja različnih hibridnih modelov, vključno s pristopi, kot je vložitev non-študentov v laboratoriju ali gredo v polje, vendar še vedno ob udeleženci opraviti nenavadno nalogo.

Poleg razsežnosti lab polja, ki je obstajal v preteklosti, digitalna doba pomeni, da imajo raziskovalci zdaj drugo pomembno dimenzijo, po kateri se lahko poskusi spreminja: analogno-digitalni. Tako kot obstajajo čiste laboratorijske poskuse, čiste poljske poskuse, in različnih hibridov, vmes pa so čisti analogni eksperimenti, čisti digitalni eksperimenti, in različnih hibridov. To je zapleteno ponuditi formalno opredelitev te razsežnosti, ampak koristno delovna definicija je, da so v celoti digitalni poskusi poskusi, ki uporabljajo digitalne infrastrukture za prijavo udeležencev, naključen, ponujanje zdravljenja, in merjenje rezultatov. Na primer, Restivo in van de Rijt je (2012) študija barnstars in Wikipedia je popolnoma digitalno eksperiment, saj uporablja digitalne sisteme za vse štiri od teh korakov. Prav tako popolnoma analogni poskusi so poskusi, da ne izkoristijo digitalne infrastrukture za vsako od teh štirih korakih. Mnogi od klasičnih poskusov v psihologiji so analogni eksperimenti. Med tema dvema skrajnostma obstaja delno digitalne poskusi, ki uporabljajo kombinacijo analognih in digitalnih sistemov v štirih korakih.

Kritično, možnosti za izvajanje digitalne poskusi, ne samo na spletu. Raziskovalci lahko teče delno digitalne poskusi z uporabo digitalnih naprav v fizičnem svetu, da bi ponudili zdravljenje ali merjenje rezultatov. Na primer, lahko raziskovalci uporabljajo pametne telefone za zagotavljanje zdravljenja ali senzorjev v grajenem okolju za merjenje rezultatov. Dejstvo je, kot bomo videli pozneje v tem poglavju, so raziskovalci že uporablja metrov domov moči za merjenje rezultatov pri poskusih o socialnih norm in porabe energije, ki vključuje 8,5 milijona gospodinjstev (Allcott 2015) . Kot postanejo digitalne naprave bolj vključeni v življenje ljudi in senzorji biti vključeno v grajenem okolju, te priložnosti, da delujejo delno digitalne poskuse v fizičnem svetu, se bodo povečale. Z drugimi besedami, digitalni poskusi niso samo spletne poskusi.

Digitalni sistemi ustvarjajo nove možnosti za poskuse povsod vzdolž lab polja kontinuuma je. V čistih laboratorijskih poskusih, na primer, lahko raziskovalci uporabljajo digitalnih sistemov za merjenje natančnejši vedenja udeležencev; en primer te vrste izboljšanega merjenja je oko-sledenje opremo, ki zagotavlja natančne in kontinuirane ukrepe pogleda mesto. Digitalni dobi ustvarja tudi možnost za zagon lab podobnih poskusov na spletu. Na primer, so raziskovalci hitro sprejela Amazon Mechanical Turk (MTurk) zaposliti udeležence za spletne poskusov (Slika 4.2). MTurk ujema "delodajalci", ki imajo naloge, ki jih je treba dopolniti z "delavcev", ki želijo dokončati tiste naloge, za denar. Za razliko od tradicionalnih trgov dela, vendar pa so naloge, ki sodelujejo ponavadi zahteva le nekaj minut in celotna interakcija med delodajalcem in delavcem, je virtualna. Ker MTurk posnema vidike tradicionalnih laboratorijskih eksperimentov-plačuje ljudi za izvedbo nalog, da ne bi naredil zastonj, je seveda primerna za nekatere vrste poskusov. V bistvu je MTurk ustvaril infrastrukturo za upravljanje bazen udeležencev-zaposlovanju in plačilu ljudem in raziskovalci so izkoristili te infrastrukture, da se izkoristi za vedno na voljo bazen udeležencev.

Slika 4.2: dokumenti objavljeni na podlagi podatkov iz Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk in drugih spletnih trgi dela ponuditi raziskovalcem priročen način za prijavo udeležencev za poskuse.

Digitalni poskusi ustvariti še več možnosti za terenske podobnih poskusov. Digitalni poskusi na terenu lahko ponudimo tesen podatke kontrole in procesne razumeti možne mehanizme (kot so laboratorijski poskusi) in za različne udeležence, zaradi česar prave odločitve v naravnem okolju (kot poljskih poskusih). Poleg tega kombinacija dobrih lastnosti prejšnjih poskusov, digitalni terenu poskusi ponujajo tri možnosti, ki so bile v analognih laboratorijskih in terenskih poskusov težko.

Prvič, ker je večina analognih laboratorijske in terenske poskusi sto udeležencev, digitalni terenu poskusi lahko milijone udeležencev. Ta sprememba v obsegu, da nekatere digitalne poskusi pripraviti podatke na nič spremenljivih stroškov. Da je, ko so raziskovalci ustvarili eksperimentalne infrastrukture, povečanje števila udeležencev običajno ne poveča stroške. Povečanje števila udeležencev za faktor 100 ali več ni le količinske spremembe, je kakovostna sprememba, saj omogoča raziskovalcem, da se naučijo različnih stvari iz poskusov (npr heterogenost učinkov zdravljenja) in teče popolnoma različnih eksperimentalnih modelov ( na primer, velika skupina poskusi). Ta točka je tako pomembno, se bom vrnil k njej proti koncu poglavja, ko sem svetujejo o ustvarjanju digitalnih poskusov.

Drugič, ker se večina analognih laboratorijske in terenske poskusi zdravljenje udeležence kot neprepoznavno pripomočki, digitalni terenu poskusi pogosto uporabljajo osnovne informacije o udeležencev v načrtovanje in analize faze raziskav. Ta osnovne informacije, ki se imenuje informacije predobdelava, je pogosto na voljo v digitalni poskusih, ker se to izvaja v celoti izmerjenih okoljih. Na primer, raziskovalec na Facebooku je veliko več informacij predobdelavo kot raziskovalec oblikovanje standardni laboratorijski eksperiment z študentov. Te informacije predobdelava omogoča raziskovalcem, da se preseže zdravljenje udeležencem kot nerazločljive pripomočke. Natančneje, informacije predobdelava omogoča učinkovitejše eksperimentalnih modelov-, kot so blokiranje (Higgins, Sävje, and Sekhon 2016) in ciljno zaposlovanje udeležencev (Eckles, Kizilcec, and Bakshy 2016) In bolj pronicljivo analizo-, kot so ocenjevanje heterogenosti učinkov zdravljenja (Athey and Imbens 2016a) in kovariablo prilagoditev za izboljšano natančnost (Bloniarz et al. 2016) .

Tretjič, ker veliko analogni laboratorijske in terenske poskusi zagotavljanje zdravljenja in meriti rezultate v relativno stisnjenega časa, nekateri digitalni terenu poskusi vključujejo zdravljenja, ki jih je mogoče izpeljati v času in učinki se lahko merijo tudi v daljšem časovnem obdobju. Na primer, Restivo in Van de Rijt je poskus je bil izid izmerjeno na dan za 90 dni, in eden od poskusov, ti bom povedal kasneje v poglavju (Ferraro, Miranda, and Price 2011) spremlja rezultate v 3 letih v bistvu ni strošek. Te tri možnosti velikosti, informacije predobdelava, in vzdolžna obdelava in izidov podatki-so najbolj pogosti, ko se poskusi izvajajo na vrhu vedno o merilnih sistemov (glej poglavje 2 za več informacij o vedno o merilnih sistemov).

Medtem ko digitalni terenski poskusi ponujajo številne možnosti, ki jih tudi deliti nekaj slabosti z analognega laboratoriju in poljskih poskusih. Na primer, poskusi ni mogoče uporabiti za preučevanje preteklosti, in jih lahko ocenimo le učinke zdravljenja, ki jih je mogoče manipulirati. Poleg tega, čeprav so poskusi nedvomno koristno za vodenje politike, natančna navodila, kar lahko ponudijo je nekoliko omejena zaradi zapletov, kot so okoljske odvisnosti, težav s sprejemanjem in učinkov ravnotežnih (Banerjee and Duflo 2009; Deaton 2010) . Končno, digitalni terenu poskusi povečale etične pomisleke, ki jih poljskih poskusih ustvarili. Zagovorniki poljskih poskusih trobenta njihovo sposobnost, da nevsiljivo in naključno intervencija v posledične odločitve, ki jih je na milijone ljudi. Te funkcije nudijo določene znanstvene prednosti, vendar so lahko tudi poljske poskuse etično kompleks (pomislite kot raziskovalci zdravljenje ljudi kot "laboratorijskih podgan" v zelo velikem obsegu). Nadalje, poleg morebitne škode, za udeležence, digitalni terenu poskusi, zaradi njihovega obsega, se lahko dvigne tudi zaskrbljenost glede prekinitve delovnega socialne sisteme (npr zaskrbljenost zaradi motenj sistem nagrajevanja Wikipediji če Restivo in van der Rijt je preveč barnstars) .