4.3 dviejų matmenų eksperimentus: Lab lauko ir analoginių-skaitmeninių

Lab eksperimentai pasiūlyti kontrolę, lauko bandymai pasiūlyti realizmo ir skaitmeniniai lauko bandymai sujungti kontrolę ir realizmo mastelio.

Eksperimentai būna įvairių formų ir dydžių. Anksčiau mokslininkai nusprendė, kad yra naudinga organizuoti eksperimentus iš patalpų tarp laboratorinių eksperimentų ir lauko eksperimentų . Tačiau mokslininkai taip pat turėtų organizuoti bandymus antrojo kontinuumo metu tarp analoginių eksperimentų ir skaitmeninių eksperimentų . Ši dvimačio dizaino erdvė padės suprasti skirtingų požiūrių stipriąsias ir silpnąsias puses ir išryškinti didžiausių galimybių sritis (4.1 pav.).

4.1 pav. Eksperimento dizaino erdvės schema. Praeityje eksperimentai skyrėsi laboratorijos srityje. Dabar jie skiriasi ir analoginiu skaitmeniniu aspektu. Ši dvimačio dizaino erdvė iliustruoja keturis eksperimentus, kuriuos aš apibūdinau šiame skyriuje. Mano nuomone, didžiausių galimybių sritis yra skaitmeniniai eksperimentai.

Vienas aspektas, kurio metu eksperimentai gali būti organizuoti, yra laboratorinės srities matmuo. Daug eksperimentų socialiniuose moksluose yra laboratoriniai eksperimentai, kai studentai studentams atlieka keistą užduotį laboratorijos kursuose. Šio tipo eksperimentas dominuoja psichologijos moksliniams tyrimams, nes jis leidžia mokslininkams sukurti itin kontroliuojamus nustatymus, siekiant tiksliai izoliuoti ir išbandyti konkrečias teorijas apie socialinį elgesį. Tačiau tam tikroms problemoms kažkas jaučiasi šiek tiek keistai, kad parengtų tvirtas išvadas apie žmonių elgesį iš tokių neįprastų žmonių, kurie tokiomis neįprastomis užduotimis atlieka tokią neįprastą aplinką. Šios problemos paskatino lauko eksperimentus . Lauko eksperimentai sujungia stiprią atsitiktinių imčių kontrolinių eksperimentų dizainą su labiau reprezentatyviomis dalyvių grupėmis, atliekančiomis daugiau įprastų užduočių natūralesnėse aplinkose.

Nors kai kurie žmonės mano, kad laboratoriniai ir laukiniai eksperimentai yra konkuruojantys metodai, geriausia juos suprasti kaip papildančius, turinčius skirtingas stipriąsias ir silpnąsias puses. Pavyzdžiui, Correll, Benard, and Paik (2007) naudojo laboratorinį eksperimentą ir lauko eksperimentą bandydami rasti "motinystės bausmės" šaltinius. Jungtinėse Amerikos Valstijose motinos uždirba mažiau pinigų negu bevaikės moterys, net jei lyginti moteris su panašiais įgūdžiais, dirbančiais panašiose darbo vietose. Yra keletas galimų šio pobūdžio paaiškinimų, iš kurių vienas yra tas, kad darbdaviai yra linkę prieš motinas. (Įdomu tai, kad tėvai atrodo tvirtai priešingai: jie uždirba daugiau nei panašūs bevaikiai vyrai.) Norint įvertinti galimą motyvų šališkumą, Correll ir jo kolegos atliko du eksperimentus: vieną laboratorijoje ir vieną lauke.

Pirma, laboratorijos eksperimente jie dalyviams, kurie buvo koledžo studentai, pasakojo, kad bendrovė atlieka darbo paiešką asmeniui, kuris vadovaus savo naujam East Coast rinkodaros skyriui. Mokiniams buvo pasakyta, kad bendrovė pageidavo, kad jie gautų pagalbą įdarbinimo procese, ir jiems buvo prašoma persvarstyti keleto potencialių kandidatų rezultatus ir vertinti kandidatus įvairiomis dimensijomis, tokiomis kaip žvalgyba, šiluma ir įsipareigojimas dirbti. Be to, studentai buvo paklausti, ar jie rekomenduotų samdyti pareiškėją ir ką jie rekomenduotų kaip pradinį atlyginimą. Nepaisant to, kad studentai, tačiau specialieji darbai buvo panašūs, išskyrus vieną dalyką: kai kurie iš jų nurodė motinystę (įtrauktą į tėvų ir mokytojų asociaciją), o kai kurios - ne. Correll ir jo kolegos nustatė, kad studentai mažiau rekomenduoja samdyti motinas ir siūlo jiems mažesnį pradinį atlyginimą. Be to, atlikdama statistinę analizę, susijusius su reitingais ir su įdarbinimu susijusiais sprendimais, Correll ir jo kolegos nustatė, kad motinų nepatogumų daugiausia paaiškina tai, kad jie buvo vertinami žemiau, kalbant apie kompetenciją ir įsipareigojimus. Taigi šis laboratorinis eksperimentas leido Correlliui ir jo kolegoms įvertinti priežastinį poveikį ir pateikti galimą tokio poveikio paaiškinimą.

Žinoma, gali būti skeptiškai vertinama, kaip padaryti išvadas apie visą JAV darbo rinką, remiantis kelių šimtų studentų, kurie tikriausiai niekada nebuvo dirbę visą darbo dieną, sprendimus, o ne ką nors samdyti. Todėl Correll ir jo kolegos taip pat atliko papildomą lauko eksperimentą. Jie reagavo į šimtus reklamuojamų darbo vietų su padirbtais motyvaciniais laiškais ir atnaujinamos. Panašus į medžiagą, pateiktą bakalauro laipsniui, kai kurie atnaujina motinystę, o kai kurios - ne. Correll ir jo kolegos konstatavo, kad motinoms mažiau tikėtina, kad jie bus pakviesti dalyvauti pokalbiuose nei vienodai kvalifikuotos bevaikės moterys. Kitais žodžiais tariant, realūs darbdaviai, priimantys atitinkamus sprendimus natūralioje aplinkoje, elgėsi taip pat, kaip ir bakalauro studijas. Ar jie priėmė panašius sprendimus dėl tos pačios priežasties? Deja, mes nežinome. Tyrėjai negalėjo paprašyti darbdavių vertinti kandidatų ar paaiškinti savo sprendimus.

Ši eksperimentų pora parodo daug apie laboratorijos ir lauko eksperimentus apskritai. Lab eksperimentai suteikia mokslininkams beveik visos kontrolės aplinką, kurioje dalyviai priima sprendimus. Pavyzdžiui, laboratorijos eksperimente Correll ir jo kolegos sugebėjo užtikrinti, kad visi rezultatai būtų skaitomi ramioje aplinkoje; lauko eksperimente kai kurie atnaujinimai netgi nebuvo skaitomi. Be to, kadangi laboratorijos dalyviai žino, kad jie yra mokomi, mokslininkai dažnai gali rinkti papildomus duomenis, kurie gali padėti paaiškinti, kodėl dalyviai priima sprendimus. Pavyzdžiui, Correll ir jo kolegos paprašė laboratorijos eksperimento dalyvių vertinti kandidatus įvairiais aspektais. Tokie proceso duomenys gali padėti mokslininkams suvokti skirtumus tarp būdų, kaip dalyviai laiko atnaujinimus.

Kita vertus, tokios pačios savybės, kurias ką tik apibūdino kaip pranašumus, kartais laikomos ir trūkumais. Tyrėjai, kurie nori atlikti lauko eksperimentus, teigia, kad laboratorijos eksperimentų dalyviai gali veikti labai skirtingai, nes žino, kad jie yra mokomi. Pavyzdžiui, laboratorijos eksperimento metu dalyviai galėjo atspėti tyrimo tikslą ir pakeisti elgesį, kad nebūtų šališki. Be to, mokslininkai, kurie nori atlikti lauko eksperimentus, gali teigti, kad nedideli atsinaujinimo skirtumai gali išsiskirti tik labai švarioje, sterilioje laboratorinėje aplinkoje, todėl laboratorijos eksperimentas pervertins motinystės poveikį realiems sprendimams dėl samdos. Galiausiai daugelis lauko eksperimentų šalininkų kritikuoja laboratorinių eksperimentų priklausomybę nuo WEIRD dalyvių: daugiausia studentų iš Vakarų, išsilavinusių, industrializuotų, turtingų ir demokratinių šalių (Henrich, Heine, and Norenzayan 2010a) . Correllio ir jo kolegų eksperimentai (2007) Iliustruoja abiejų kraštutinumus laboratorijos srityje. Tarp šių dviejų kraštutinumų yra ir hibridinių dizainų įvairovė, įskaitant tokius metodus, kaip atnešti ne studentus į laboratoriją ar vykti į lauką, bet vis tiek dalyviai atlieka neįprastą užduotį.

Be praeityje egzistuojančios laboratorijos srities dimensijos, skaitmeninis amžius reiškia, kad mokslininkai dabar turi antrą svarbiausią aspektą, kurio metu eksperimentai gali būti skirtingi: analoginiai-skaitmeniniai. Taip pat, kaip yra gryni laboratoriniai eksperimentai, gryni lauko eksperimentai ir įvairūs hibridai, yra gryni analoginiai eksperimentai, grynieji skaitmeniniai eksperimentai ir įvairūs hibridai. Sunku pasiūlyti formalų šio aspekto apibrėžimą, tačiau naudinga darbo apibrėžtis yra tai, kad visiškai skaitmeniniai eksperimentai yra eksperimentai, kuriais naudojama skaitmeninė infrastruktūra, siekiant įdarbinti dalyvius, atsitiktinai suskirstyti, pristatyti gydymo būdus ir išmatuoti rezultatus. Pavyzdžiui, "Barnstars" ir "Wikipedia" tyrimas "Restivo" ir "van de Rijt" (2012) Buvo visiškai skaitmeninis eksperimentas, nes jis naudojo skaitmenines sistemas visoms keturioms iš šių etapų. Be to, visiškai analoginiai eksperimentai nenaudoja skaitmeninės infrastruktūros nė vienam iš šių keturių etapų. Daugelis klasikinių psichologijos eksperimentų yra visiškai analoginiai eksperimentai. Tarp šių dviejų kraštutinumų yra iš dalies skaitmeninių eksperimentų, kurie naudoja analoginių ir skaitmeninių sistemų derinį.

Kai kai kurie žmonės galvoja apie skaitmeninius eksperimentus, jie iš karto galvojo apie internetinius eksperimentus. Tai gaila, nes galimybės paleisti skaitmeninius eksperimentus yra ne tik internete. Tyrėjai gali atlikti iš dalies skaitmeninius eksperimentus, naudodamiesi skaitmeniniais prietaisais fiziniame pasaulyje, kad pateiktų gydymo būdus arba išmatuotų rezultatus. Pavyzdžiui, mokslininkai galėtų naudoti išmaniuosius telefonus, kad gautų apdorojimo būdus ar jutiklius į pastatytą aplinką rezultatų matavimui. Iš tikrųjų, kaip pamatysime vėliau šiame skyriuje, mokslininkai jau naudojosi namų energijos skaitikliais, kad (Allcott 2015) bandymų rezultatus apie energijos suvartojimą, kuriame dalyvauja 8,5 milijonai namų ūkių (Allcott 2015) . Kadangi skaitmeniniai įrenginiai vis labiau integruojami į žmonių gyvenimą, o jutikliai integruojami į sukurtą aplinką, šios galimybės paleisti iš dalies skaitmeninius eksperimentus fiziniame pasaulyje labai padidės. Kitaip tariant, skaitmeniniai eksperimentai yra ne tik internetiniai eksperimentai.

Skaitmeninės sistemos sukuria naujas galimybes eksperimentams visoje laboratorijos srityje. Pavyzdžiui, grynaisiais laboratoriniais eksperimentais mokslininkai gali naudoti skaitmenines sistemas, kad būtų galima tiksliau įvertinti dalyvių elgesį; Vienas iš patobulintų matavimų pavyzdžių yra akių stebėjimo įranga, teikianti tikslias ir nuolatines žvilgsnio vietos matavimo priemones. Skaitmeninis amžius taip pat sukuria galimybę atlikti internetinius laboratorinius eksperimentus. Pavyzdžiui, mokslininkai greitai priėmė "Amazon Mechanical Turk" (MTurk), kad įdarbintų dalyvius internetiniams eksperimentams (4.2 pav.). "MTurk" atitinka "darbdavius", kurių užduotis reikia užpildyti "darbuotojais", kurie nori atlikti šias užduotis už pinigus. Tačiau, skirtingai nuo tradicinių darbo rinkų, užduotys paprastai užtruks tik keletą minučių, o visa darbdavių ir darbuotojų tarpusavio sąveika yra internete. Kadangi MTurk imituoja tradicinių laboratorinių eksperimentų aspektus, mokantiems žmones atlikti užduotis, kurias jie nemokamai atliks, tai, žinoma, tinka tam tikrų tipų eksperimentams. Iš esmės, "MTurk" sukūrė infrastruktūrą, skirtą valdyti dalyvių grupę - įdarbinti ir mokėti žmones, o mokslininkai pasinaudojo šia infrastruktūra, siekdami pasinaudoti visuomet turimomis dalyvių grupėmis.

4.2 paveikslas. Dokumentai, paskelbti naudojant "Amazon Mechanical Turk" (MTurk) duomenis. MTurk ir kitos internetinės darbo rinkos suteikia mokslininkams patogų būdą įdarbinti dalyvius eksperimentams. Pritaikytas iš Bohannon (2016) .

Skaitmeninės sistemos sukuria dar daugiau galimybių laukiniams eksperimentams. Visų pirma, jie leidžia mokslininkams sujungti griežtus kontrolės ir apdorojimo duomenis, susijusius su laboratorinių eksperimentų su įvairiais dalyviais ir labiau gamtiniais parametrais, susijusiais su laboratorinių eksperimentų. Be to, skaitmeniniai lauko eksperimentai taip pat siūlo tris galimybes, kurių analinis eksperimentas buvo sunkus.

Pirma, kadangi daugelyje analoginių laboratorijų ir lauko eksperimentų yra šimtai dalyvių, skaitmeninio lauko eksperimentai gali turėti milijonus dalyvių. Šis masto pokytis yra tas, kad kai kurie skaitmeniniai eksperimentai gali sukurti duomenis nulinės kintamosiomis sąnaudomis. Tai reiškia, kad kai mokslininkai sukūrė eksperimentinę infrastruktūrą, dalyvių skaičiaus didinimas paprastai nedidina išlaidų. Dalyvių skaičiaus padidinimas 100 ar daugiau kartų yra ne tik kiekybinis pokytis; tai yra kokybinis pokytis, nes jis leidžia tyrėjams išmokti skirtingų dalykų iš eksperimentų (pvz., gydymo poveikių heterogeniškumo) ir visiškai skirtingų eksperimentų (pvz., didelių grupių eksperimentų). Šis klausimas yra toks svarbus, aš grįšiu prie šio skyriaus pabaigos, kai pateiksiu patarimą kurti skaitmeninius eksperimentus.

Antra, kadangi dauguma analoginių laboratorijų ir lauko eksperimentų traktuoja dalyvius kaip neatsiejamus valdiklius, skaitmeninio lauko eksperimentai dažnai naudoja pagrindinę informaciją apie dalyvius tyrimo projektavimo ir analizės stadijose. Ši fono informacija, vadinama išankstinio apdorojimo informacija , dažnai yra prieinama skaitmeniniuose eksperimentuose, nes jie naudojami visada matavimo sistemose (žr. 2 skyrių). Pavyzdžiui, "Facebook" tyrėjas turi daug daugiau informacijos apie žmones, kurie naudojasi savo skaitmeninio lauko eksperimentu, prieš gydymą, nei universiteto tyrinėtojas apie žmones savo analoginiame lauko eksperimente. Šis išankstinis apdorojimas leidžia atlikti veiksmingesnius eksperimentinius projektus, tokius kaip blokavimas (Higgins, Sävje, and Sekhon 2016) ir tikslinis dalyvių įdarbinimas (Eckles, Kizilcec, and Bakshy 2016) analizė, pvz., Gydymo efektų heterogeniškumo įvertinimas (Athey and Imbens 2016a) ir kovariacinis koregavimas siekiant pagerinti tikslumą (Bloniarz et al. 2016) .

Trečia, kadangi daugelyje analoginių laboratorijų ir lauko eksperimentų atliekami gydymo būdai ir vertinami rezultatai gana glaudžiai suspaudus laiką, kai kurie skaitmeniniai lauko eksperimentai vyksta daug ilgiau. Pavyzdžiui, "Restivo" ir "van de Rijt" eksperimento rezultatai buvo išmatuojami kasdien 90 dienų, o viename iš eksperimentų, apie kuriuos vėliau pasakysiu (Ferraro, Miranda, and Price 2011) skyriuje " (Ferraro, Miranda, and Price 2011) trejus metus iš tiesų nebuvo kaina. Šie trys galimybių dydžiai, informacija apie išankstinį gydymą ir išilginio gydymo bei rezultatų duomenys dažniausiai kyla, kai eksperimentai atliekami virš visada naudojamų matavimo sistemų (daugiau informacijos apie matavimo sistemas visada rasite 2 skyriuje).

Nors skaitmeninių laukų eksperimentai suteikia daugybę galimybių, jie taip pat turi keletą silpnybių, taikant analoginius laboratorinius ir analoginius lauko eksperimentus. Pavyzdžiui, eksperimentai negali būti naudojami praeities tyrimui, ir jie gali tik įvertinti gydymo, kurį galima manipuliuoti, poveikį. Be to, nors eksperimentai neabejotinai naudingi politikai vadovauti, tikslūs nurodymai, kuriuos jie gali pasiūlyti, yra šiek tiek riboti dėl tokių komplikacijų kaip aplinkos priklausomybė, atitikties problemos ir pusiausvyros poveikis (Banerjee and Duflo 2009; Deaton 2010) . Skaitmeniniai lauko eksperimentai taip pat didina etikos problemas, sukurtas lauko eksperimentais - temą, kurią toliau aptarsiu šiame skyriuje ir 6 skyriuje.