4.3 dviejų matmenų eksperimentus: Lab lauko ir analoginių-skaitmeninių

Lab eksperimentai pasiūlyti kontrolę, lauko bandymai pasiūlyti realizmo ir skaitmeniniai lauko bandymai sujungti kontrolę ir realizmo mastelio.

Eksperimentai būna įvairių formų ir dydžių. Tačiau, nepaisant šių skirtumų, mokslininkai nustatė, kad naudinga organizuoti eksperimentus išilgai kontinuumas tarp laboratorinių eksperimentų ir lauko eksperimentų. Tačiau dabar mokslininkai taip pat turėtų organizuoti eksperimentus išilgai kontinuumas tarp analoginių eksperimentų ir skaitmeninių eksperimentų. Tai dvimatis dizainas erdvė padės jums suprasti stipriąsias ir silpnąsias puses skirtingų požiūrių ir pasiūlyti sritis didžiausią galimybę (4.1 pav).

4.1 pav schema dizaino erdvę eksperimentams. Anksčiau eksperimentai svyravo palei Lab lauko aspektą. Dabar, jie taip pat skiriasi nuo analoginio-skaitmeninio matmens. Mano nuomone, didžiausia galimybių plotas yra skaitmeniniai lauko bandymai.

Anksčiau pagrindinis būdas, kad mokslininkai organizavo eksperimentus buvo palei Lab lauko aspektą. Iš eksperimentų socialinių mokslų dauguma laboratorinių eksperimentų, kai studijų studentai atlieka keistus užduotis laboratorijoje už kursinį kredito. Šis eksperimentas tipas dominuoja tyrimus psichologijos, nes ji leidžia mokslininkams kurti labai konkrečius gydymo, skirtas išbandyti labai konkrečius teorijas apie socialinį elgesį. Dėl tam tikrų problemų, tačiau, kažkas jaučiasi šiek tiek keista, apie piešimo tvirtas išvadas apie žmogaus elgesį iš tokių neįprastų žmonių, atliekančių tokias neįprastas užduotis tokioje neįprastoje aplinkoje. Šios problemos paskatino judėjimą link lauko eksperimentams. Lauko bandymai sujungti tvirtą dizainą randomizuotų kontrolės eksperimentų su daugiau reprezentacinės grupės dalyvių, atlikti daugiau bendrąsias užduotis, daugiau natūralioje aplinkoje.

Nors kai kurie žmonės galvoja apie laboratorinių ir lauko bandymų, kaip konkuruoti metodus, tai geriausia galvoti apie juos kaip papildoma metodų skirtingas stipriąsias ir silpnąsias puses. Pavyzdžiui, Correll, Benard, and Paik (2007) naudojamas tiek laboratorijos eksperimentą ir lauko eksperimentą, bandant Raskite šaltiniai "motinystės bausmės". Jungtinėse Amerikos Valstijose, mamos uždirba mažiau pinigų nei bevaikių moterų, net tada, kai lyginant moterys su panašių įgūdžių darbo panašiose darbo vietų. Yra daug galimų paaiškinimų dėl šio modelio, ir vienas, kad darbdaviai nukreipta prieš motinoms. (Įdomu tai, kad priešais atrodo, kad būti tiesa tėvų: jie linkę uždirbti daugiau nei palyginamų bevaikių vyrų). Siekiant įvertinti galimą šališkumą nuo motinų, Correll ir kolegos bėgo du eksperimentus: vieną į laboratoriją ir vienas lauke.

Pirma, laboratorijoje eksperimento Correll ir kolegos papasakojo dalyviams, kurie buvo kolegijų studentai, kad Kalifornijoje įsikūrusi pradžios viršų ryšių bendrovė vykdė užimtumo paiešką asmeniui vadovauti savo naują East Coast marketingo skyrius. Studentai buvo pasakyta, kad bendrovė norėjo jų pagalbos į įdarbinimo procesą ir jie klausė peržiūrėti vėl iš keleto potencialių kandidatų ir įvertinti kandidatus apie įvairiais aspektais, pavyzdžiui, jų žvalgybos, šilumos, ir įsipareigojimą dirbti. Be to, studentai buvo klausiama, ar jie būtų rekomenduoti įdarbinti pareiškėją ir ką jie rekomenduotų kaip pradinė alga. Nežinant studentams, tačiau vėl buvo specialiai sukonstruota taip, kad būtų panašus, išskyrus vieną dalyką: kai vėl signalizuoja motinystę (pagal sąrašą dalyvavimą tėvų ir mokytojų asociacijos) ir kai ne. Correll nustatė, kad studentai buvo mažiau linkę rekomenduoti įdarbinti motinas ir pasiūlė jiems mažesnę pradinę atlyginimą. Be to, per statistinę analizę tiek atsiliepimų ir nuomos susijusių sprendimų, Correll nustatė, kad motinų trūkumai buvo daugiausia galima paaiškinti tuo, kad motinoms buvo įvertinta mažesnis, kalbant apie kompetenciją ir atsidavimą. Kitaip tariant, Correll teigia, kad šie bruožai yra mechanizmas, per kurį motinos yra nepalankioje padėtyje. Taigi, ši laboratorija eksperimentas leido Correll ir kolegas įvertinti priežastinį poveikį ir galimą paaiškinimą dėl šiuo tikslu.

Žinoma, gali būti skeptiškai išvadas apie visą JAV darbo rinka, grindžiama kelių šimtų studentams, kurie tikriausiai niekada turėjo visą darbą, jau nekalbant apie samdomų žmonių sprendimus. Todėl Correll ir jo kolegos taip pat atliko papildomą lauko eksperimentą. Mokslininkai atsakė į šimtus reklamuojamų darbo vietų siunčiant padirbtų motyvacinius laiškus ir CV. Panašus į medžiagų rodomas studentams, kai vėl signalizuoja motinystę ir kai ne. Correll ir jo kolegos nustatė, kad motinos buvo mažiau tikėtina gauti vadinamas atgal interviu nei vienodai kvalifikuotų bevaikių moterų. Kitaip tariant, nekilnojamojo darbdaviai priėmimo tolesnes sprendimus natūralioje aplinkoje elgėsi panašiai kaip studentams. Ar jie priimti panašius sprendimus dėl tos pačios priežasties? Deja, mes nežinome. Mokslininkai negalėjo paklausti darbdavius ​​įvertinti kandidatus arba paaiškinti savo sprendimus.

Šis eksperimentų pora atskleidžia daug apie laboratorinių ir lauko bandymų apskritai. Lab eksperimentai pasiūlyti mokslininkams šalia visos kontrolės aplinką, kurioje dalyviai priimant sprendimus. Taigi, pavyzdžiui, laboratorijos eksperimento Correll galėjo užtikrinti, kad visi vėl buvo skaitomos ramioje aplinkoje; į lauko eksperimento, kai vėl gali nebūti netgi buvo skaityti. Be to, kadangi dalyviai laboratorijoje nustatymo žino, kad jie yra tiriamas, mokslininkai dažnai gali rinkti papildomus duomenis, kurie gali padėti jiems suprasti, kodėl dalyviai priimdami sprendimus. Pavyzdžiui, Correll paprašė dalyvius laboratorijos eksperimento įvertinti kandidatus apie įvairių matmenų. Šis proceso duomenų natūra gali padėti mokslininkams suprasti už skirtumus mechanizmus, kaip dalyviai gydyti vėl.

Kita vertus, šie lygiai toks pats charakteristikos, kad aš tiesiog aprašyti kaip privalumų yra taip pat kartais laikomas trūkumų. Mokslininkai, kurie nori lauko eksperimentus teigia, kad dalyviai lab eksperimentų galima veikti labai skirtingai, kai jie yra atidžiai stebimi. Pavyzdžiui, laboratorijoje eksperimentuoja dalyviai galėjo atspėti, kad tyrimo tikslą ir pakeisti savo elgesį taip, kad nebūtų rodomi šališkas. Be to, tyrėjai, kurie nori lauko eksperimentus gali teigti, kad mažos skirtumus vėl galima tik išsiskirti labai švarus, sterilus laboratorijos aplinkoje, todėl lab eksperimentas pervertina motinystės poveikį nekilnojamojo nuomos sprendimus. Galiausiai, daugelis šalininkai lauko eksperimentų kritikuoti lab eksperimentų priklausomybę nuo keistai dalyvių: daugiausia studentų iš Vakarų, išsilavinę, pramoninėse, turtingas, ir demokratinių šalių (Henrich, Heine, and Norenzayan 2010) . Jo, Correll ir kolegų eksperimentai (2007) iliustruoja dviejų kraštutinumų dėl laboratorijos lauko kontinuumas. Tarp šių dviejų kraštutinumų yra daugybė hibridinių modelių, įskaitant metodus, pavyzdžiui, pareikšti ne-studentus į laboratoriją arba vyksta į lauką, bet vis dar dalyviai atlikti neįprastą užduotį įvairovė.

Be to į laboratoriją lauko aspektą, kuris egzistavo ir anksčiau, skaitmeninis amžius reiškia, kad mokslininkai dabar turi antrą svarbų aspektą, išilgai kurio eksperimentai gali skirtis: analoginis-skaitmeninis. Lygiai taip pat yra grynas lab eksperimentai, grynas lauko bandymai, ir daug hibridų tarp įvairių, yra grynas analoginiai eksperimentai, grynas skaitmeniniai eksperimentai, bei hibridų įvairovė. Tai sudėtinga pasiūlyti oficialų apibrėžimą šio aspekto, bet naudinga darbo apibrėžimas yra tai, kad visiškai skaitmeniniai eksperimentai eksperimentai, kurios naudojasi skaitmeninės infrastruktūros įdarbinti dalyvius, lošimai, pristatyti gydymo, ir įvertinti rezultatus. Pavyzdžiui, Restivo ir van de Rijt s (2012) tyrimo barnstars ir Vikipedija buvo visiškai skaitmeninis eksperimentas, nes jis naudojamas skaitmeninių sistemų Visi šie žingsniai keturių. Taip pat visiškai analoginiai eksperimentai eksperimentai, nesinaudoja skaitmeninės infrastruktūros nors iš šių keturių žingsnių. Daugelis klasikinių eksperimentų psichologijos analoginiai eksperimentai. Tarp šių dviejų kraštutinumų yra dalinai skaitmeniniai eksperimentai, naudoja keletą analoginių ir skaitmeninių sistemų keturių žingsnių derinys.

Kritiškai, galimybės paleisti skaitmeniniai eksperimentai yra ne tik internete. Mokslininkai gali paleisti iš dalies skaitmeninių eksperimentų, naudojant skaitmeninius prietaisus fiziniame pasaulyje, kad būtų pasiekti gydymo ar išmatuoti rezultatus. Pavyzdžiui, tyrėjai gali naudoti smart phones pristatyti gydymo ar jutiklius užstatytos aplinkos matuoti rezultatus. Iš tiesų, kaip matysime vėliau šiame skyriuje, mokslininkai jau naudojamas namų elektros skaitikliai matuoti rezultatams eksperimentus apie socialines normas ir energijos suvartojimo dalyvavo 8,5 milijono namų ūkių (Allcott 2015) . Kaip skaitmeniniai prietaisai tampa vis labiau integruota į žmonių gyvenimą ir davikliai integruotis į užstatytą aplinką, šios galimybės paleisti iš dalies skaitmeninių eksperimentų fiziniame pasaulyje dramatiškai didėja. Kitaip tariant, skaitmeniniai eksperimentai yra ne tik lankosi eksperimentai.

Skaitmeninės sistemos, sukurti naujas galimybes eksperimentų visur palei Lab lauko kontinuumas. Pure lab eksperimentų, pavyzdžiui, tyrėjai gali naudotis skaitmeninės sistemos prabangiau matavimo dalyvių elgesį; vienas pavyzdys šio geresnio matavimo tipas yra akių sekimo įrangą, kuri suteikia tikslią ir nuolat priemones žiūros vietą. Skaitmeninis amžius taip pat sukuria galimybę paleisti fotolaboratorijos kaip eksperimentus internete. Pavyzdžiui, mokslininkai greitai priimti Amazon Mechanical Turk (MTurk) įdarbinti dalyvius internetinių eksperimentų (4.2 pav). MTurk rungtynes ​​"darbdaviai", kurie turi darbus, kurie turi būti baigtas "darbuotojų", kurie nori baigti šias užduotis už pinigus. Skirtingai nuo tradicinių darbo rinkos, tačiau, dalyvaujantys paprastai užduotys reikalauja tik keletą minučių užpildyti ir visą sąveika tarp darbdavio ir darbuotojo yra virtualus. Kadangi MTurk imituoja aspektai tradicinės laboratorijos eksperimentais apmokamas žmones atlikti užduotis, kad jie negali padaryti nemokamai-tai natūraliai tinka tam tikrų rūšių eksperimentus. Iš esmės, MTurk sukūrė vadovauti tokio dalyvių-įdarbinti baseinas ir mokėjimo žmones ir mokslininkai pasinaudojo ta infrastruktūra bakstelėkite į visuomet prieinama baseinas dalyvių infrastruktūrą.

4.2 pav dokumentai skelbiami naudojant duomenis iš Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk ir kitų internetinių darbo rinkos pasiūlyti mokslininkams patogus būdas įdarbinti dalyvius eksperimentams.

Skaitmeniniai eksperimentai sukurti dar daugiau galimybių lauko-kaip eksperimentams. Skaitmeniniai lauko bandymai gali pasiūlyti griežtą kontrolę ir proceso duomenis suprasti galimus mechanizmus (pavyzdžiui, laboratorinių eksperimentų) ir įvairesnė dalyvius, realiai sprendimus natūralioje aplinkoje (pavyzdžiui, lauko eksperimentų). Be šio gerų savybių ankstesnių eksperimentų kartu, skaitmeniniai lauko bandymai taip pat siūlo tris galimybes, kad buvo sunku analoginiai laboratorijos ir lauko eksperimentų.

Pirma, kadangi dauguma analoginių laboratorijos ir lauko bandymai turi šimtus dalyvių, skaitmeniniai lauko bandymai gali turėti milijonus dalyvių. Tai masto pokytis, nes kai skaitmeniniai eksperimentai gali sukelti duomenis, esant nulinei kintamosios išlaidos. Tai yra, kai mokslininkai sukūrė eksperimentinį infrastruktūrą, didinti dalyvių skaičių paprastai nedidina sąnaudų. Didinti dalyvių skaičių 100 ar daugiau faktorių yra ne tik kiekybinis pasikeitimas, tai yra kokybinis pokytis, nes ji leidžia mokslininkams sužinoti įvairių dalykų, iš eksperimentų (pvz, heterogeniškumas gydymo poveikių) ir paleisti visiškai skirtingas eksperimentinius projektus ( pvz, didelė grupė eksperimentai). Šis punktas yra labai svarbus, aš į ją grįžti į skyriaus pabaigoje, kai aš patarti apie kuriant skaitmenines eksperimentus.

Antra, kadangi dauguma analoginių laboratorijos ir lauko bandymai gydyti dalyvius kaip gyja raštai, skaitmeniniai lauko bandymai dažnai naudoja pagrindinę informaciją apie dalyvių projektavimo ir analizės etapuose tyrimus. Ši papildoma informacija, kuri yra vadinama iš anksto apdoroti informacija, yra dažnai prieinamas skaitmeniniu eksperimentų, nes jie vyktų visiškai išmatuotų aplinkoje. Pavyzdžiui, ne "Facebook" tyrėjas turi daug daugiau iš anksto valymo informacijos nei mokslininkas projektavimo standartinį laboratorijos eksperimentą su studentams. Tai paruošiamasis apdorojimas, informacija leidžia mokslininkams peržengti gydyti dalyviams nepastebimai raštai. Tiksliau, iš anksto apdoroti informacija leidžia efektyviau eksperimentinius projektus-pavyzdžiui, blokuoja (Higgins, Sävje, and Sekhon 2016) ir tikslingai įdarbinimą dalyvių (Eckles, Kizilcec, and Bakshy 2016) -ir daugiau įžvalgus analizę, pavyzdžiui, įvertinus heterogeniškumo gydymo poveikis (Athey and Imbens 2016a) ir kovariantą koregavimo geresnio tikslumo (Bloniarz et al. 2016) .

Trečia, kadangi daugelis analoginių laboratorijos ir lauko bandymai pristatyti gydymo ir įvertinti rezultatus santykinai suspausto laiko, kai kurie skaitmeniniai lauko bandymai įtraukti gydymo, kuris gali būti pristatytas per tam tikrą laiką ir poveikis taip pat gali būti išmatuoti laike. Pavyzdžiui, Restivo ir van de Rijt eksperimentas turi rezultatus matuoti kasdien 90 dienų, ir vienas iš eksperimentų aš jums papasakoti apie vėliau skyriuje (Ferraro, Miranda, and Price 2011) stebi rezultatus per 3 metus iš esmės nėra kaina. Šie trys galimybės dydžio, iš anksto apdoroti informaciją, o išilginis apdorojimas ir rezultato duomenų yra labiausiai paplitusi, kai eksperimentai paleisti ant visada matavimais sistemas (žr 2 skyriuje daugiau visada ant matavimo sistemų).

Nors skaitmeniniai lauko bandymai siūlome daug galimybių, jie taip pat pasidalinti kai trūkumai, tiek analoginio laboratorijoje ir lauko eksperimentų. Pavyzdžiui, eksperimentai negali būti naudojami tyrimo ir anksčiau, ir jie gali įvertinti tik gydymo, kad gali būti manipuliuojama poveikį. Be to, nors eksperimentai yra neabejotinai naudinga politikos gaires, tikslus nurodymai jie gali pasiūlyti šiek tiek ribota, nes komplikacijų, tokių kaip aplinkos priklausomybės, reikalavimų laikymosi problemas ir pusiausvyros poveikį (Banerjee and Duflo 2009; Deaton 2010) . Galiausiai, skaitmeniniai lauko bandymai perdėti etikos problemas sukurtų lauko eksperimentams. Šalininkai lauko eksperimentų trimitas jų gebėjimą nepastebimai ir atsitiktinai kištis į pasekminius priimtus sprendimus milijonams žmonių. Šios savybės suteikia tam tikras mokslo privalumus, tačiau jie taip pat gali padaryti lauko bandymai etiškai kompleksas (galvoti apie tai, kaip mokslininkai gydant žmones, pavyzdžiui, "lab žiurkių" masiškai). Be to, be galimų žalos dalyviams, skaitmeniniai lauko bandymai, nes jų masto, taip pat gali kelti susirūpinimą dėl darbo socialines sistemas sutrikimų (pvz susirūpinimas sutrikdyti Vikipedijos "atlygio sistemą, jei Restivo ir van der Rijt davė per daug barnstars) ,