4.3 Dy dimensionet e eksperimenteve: laborator-terren dhe analog-dixhital

Eksperimentet laboratorike të ofrojë kontroll, eksperimentet në terren ofrojnë realizëm, dhe eksperimentet në terren digjitale kombinuar kontrollin dhe realizëm në shkallë.

Eksperimentet vijnë në forma të ndryshme dhe madhësive. Por, pavarësisht nga këto dallime, hulumtuesit kanë gjetur të dobishme për të organizuar eksperimente bëhet e vazhdueshme në mes të eksperimenteve laboratorike dhe eksperimentet në terren. Tani, megjithatë, studiuesit duhet të organizojë eksperimente përgjatë një vazhdimësie mes eksperimente analoge dhe dixhitale eksperimente. Kjo dy-dimensionale të projektimit do t'ju ndihmojë të kuptoni pikat e forta dhe të dobëta të qasjeve të ndryshme dhe të sugjerojnë fushat e mundësive më të mëdha (Figura 4.1).

Figura 4.1: skematike e hapësirës projektimit për eksperimente. Në të kaluarën, eksperimente të ndryshme përgjatë dimensionit laborator-fushë. Tani, ata gjithashtu ndryshojnë në analog-dixhital dimension. Sipas mendimit tim, zona e mundësi më të mëdha është eksperimente dixhitale në terren.

Në të kaluarën, rruga kryesore që studiuesit e organizuar eksperimente ishte përgjatë dimensionit laborator-fushë. Shumica e eksperimenteve në shkencat shoqërore janë eksperimente laboratorike, ku studentë kryejnë detyra të çuditshme në një laborator për kredi kursit. Ky lloj eksperimenti dominon kërkimore në psikologji, sepse ajo mundëson studiuesit për të krijuar trajtime shumë specifike të dizajnuara për të provuar teoritë shumë specifike në lidhje me sjelljen sociale. Për probleme të caktuara, megjithatë, diçka që ndihet pak e çuditshme në lidhje me hartimin e konkluzioneve të forta në lidhje me sjelljen e njeriut nga njerëz të tillë të pazakontë që kryejnë detyra të tilla të pazakontë në një mjedis të tillë të pazakontë. Këto shqetësime kanë çuar në një lëvizje drejt eksperimentet në terren. eksperimente në terren kombinuar dizajn të fortë të eksperimenteve të kontrollit randomized me grupet më përfaqësuese të pjesëmarrësve, kryerjen e detyrave më të zakonshme, në mjediset më të natyrshme.

Edhe pse disa njerëz mendojnë laboratorike dhe në terren eksperimente si metoda konkurruese, ajo është e mirë për të menduar për to si metoda plotësuese me pikat e forta dhe dobësitë e ndryshme. Për shembull, Correll, Benard, and Paik (2007) përdoret si një eksperiment laborator dhe një eksperiment në terren në përpjekje për të gjetur burimet e "dënimit amësisë". Në Shtetet e Bashkuara, nënat e të fitojnë më pak para se sa gratë pa fëmijë, madje edhe kur krahasuar gratë me aftësi të ngjashme pune në punë të ngjashme. Ka shumë shpjegime të mundshme për këtë model, dhe një është se punëdhënësit janë të njëanshëm ndaj nënave. (Interesant, e kundërta duket të jetë e vërtetë për etërit e tyre; ata kanë tendencë të fitojnë më shumë se burrat të krahasueshme pa fëmijë). Për të vlerësuar paragjykimet e mundshme kundër nënat, Correll dhe kolegët u zhvillua dy eksperimente: një në laborator dhe një në terren.

Së pari, në një eksperiment laboratorik Correll dhe kolegët u tha pjesëmarrësve, të cilët ishin studentë të universitetit, që me bazë në Kaliforni kompani start-up komunikimet po kryente një kërkim të punësimit për një person për të udhëhequr të re të marketingut departamentin e saj East Coast. Studentët u tha se kompania dëshironte ndihmën e tyre në procesin e punësimit dhe ata u pyetën për të shqyrtuar rinis e disa kandidatëve të mundshëm dhe për ta vlersuar kandidatët në një numër dimensionesh të tilla si zbulimit të tyre, ngrohtësi, dhe angazhimin për të punuar. Për më tepër, nxënësit u pyetën nëse ata do të rekomandojë punësimin aplikantin dhe çfarë ata do të rekomandojë si një pagë fillestare. Pa dijeninë për studentët, megjithatë, rinis janë ndërtuar posaçërisht për të jenë të ngjashme me përjashtim të një gjë: disa nga rinis sinjalizuar amësinë (duke renditur përfshirjen në një shoqatë prind-mësues) dhe disa jo. Correll gjetur se studentët ishin më pak gjasa të rekomandojë punësimin nënat dhe ofroi atyre pagën më të ulët duke filluar. Më tej, nëpërmjet një analize statistikore e të dy vlerësimet dhe vendimet e punësimit të lidhura, Correll gjetur se disavantazhet nënave u shpjegohet kryesisht me faktin që nënat ishin vlerësuarat më të ulët përsa i përket kompetencave dhe angazhim. Me fjalë të tjera, Correll argumenton se këto tipare janë mekanizmi përmes të cilit nënat janë në disavantazh. Kështu, ky eksperiment laboratori lejohet Correll dhe kolegët për të matur një efekt shkakore dhe të sigurojë një shpjegim të mundshëm për këtë qëllim.

Natyrisht, dikush mund të jetë skeptik në lidhje me nxjerrjen e përfundimeve për të gjithë tregun e punës amerikane në bazë të vendimeve të disa qindra studentë të cilët ndoshta kurrë nuk kanë pasur një punë me kohë të plotë, le të vetëm të punësuar njerëz. Prandaj, Correll dhe kolegët të kryer një eksperiment plotësuese në terren. Hulumtuesit përgjigjur qindra hapje të reklamuara të punës duke dërguar në letra të rreme mbuluar dhe rinis. Ngjashëm me materialet e treguar me studentë, disa rinis sinjalizoi amësinë dhe disa jo. Correll dhe kolegët gjetur se nënat ishin më pak gjasa për të marrë të quhet përsëri për intervista se sa gratë pa fëmijë me kualifikime të barabarta. Me fjalë të tjera, punëdhënësit të vërtetë duke e bërë vendime pasuese në një mjedis natyror sillen shumë si studentë. A ata të marrin vendime të ngjashme për të njëjtën arsye? Për fat të keq, ne nuk e dimë. Hulumtuesit nuk ishin në gjendje të kërkojë punëdhënësit për ta vlersuar kandidatët ose të shpjegojnë vendimet e tyre.

Kjo palë eksperimente zbulon shumë për laborator dhe në terren eksperimente në përgjithësi. Eksperimentet laboratorike ofrojnë studiuesit pranë kontrollin total të mjedisit në të cilin pjesëmarrësit janë duke bërë vendime. Kështu, për shembull, në eksperiment laboratorik, Correll ishte në gjendje për të siguruar që të gjitha rinis janë lexuar në një mjedis të qetë; në eksperiment në terren, disa rinis nuk mund të ketë qenë edhe lexuar. Për më tepër, për shkak se pjesëmarrësit në mjedis laborator di se ata janë duke u studiuar, studiuesit janë shpesh në gjendje për të mbledhur të dhëna të tjera që mund të ndihmojnë ata të kuptojnë pse pjesëmarrësit marrjen e vendimeve të tyre. Për shembull, Correll pyetur pjesëmarrësit në eksperiment laborator për ta vlersuar kandidatët në dimensione të ndryshme. Ky lloj i të dhënave të procesit mund të ndihmojnë studiuesit të kuptojnë mekanizmat prapa dallimet në mënyrën se si pjesëmarrësit trajtojnë rinis.

Nga ana tjetër, këto karakteristika saktë të njëjta që unë vetëm të përshkruara si përparësi janë edhe nganjëherë konsiderohen disavantazhet. Hulumtuesit të cilët preferojnë eksperimentet në terren thonë se pjesëmarrësit në eksperimentet laboratorike mund të veprojnë në mënyra të ndryshme, kur ata janë duke u vëzhguar nga afër. Për shembull, në laborator pjesëmarrësit eksperiment mund të ketë mendoi qëllimin e hulumtimit dhe të ndryshuar sjelljen e tyre në mënyrë që të mos duket i njëanshëm. Për më tepër, studiuesit që preferojnë eksperimentet në terren mund të thotë se ndryshime të vogla në rinis vetëm mund të qëndrojë në një mjedis shumë të pastër, sterile laborator, dhe kështu eksperimenti laboratori do të mbi-të vlerësojnë efektin e amësisë mbi vendimet e vërtetë punësimin. Së fundi, shumë ithtarët e eksperimenteve fushore kritikojnë eksperimente laboratorike varësinë nga pjesëmarrësit e pazakontë: kryesisht studentë nga perëndimore, të arsimuar, të industrializuara, të pasur dhe vende Demokratike (Henrich, Heine, and Norenzayan 2010) . Eksperimentet nga Correll dhe kolegët (2007) të ilustruar dy ekstreme në vazhdimësi laborator-fushë. Në mes të këtyre dy ekstremeve ka një shumëllojshmëri të harton hibride, duke përfshirë qasje të tilla si duke sjellë jo-studentë në një laborator ose duke shkuar në fushë, por ende ka pjesëmarrës të kryer një detyrë të pazakontë.

Përveç dimensionit laborator-fushë që ka ekzistuar në të kaluarën, në moshën dixhitale do të thotë se studiuesit tashmë kanë një dimension të dytë të madh së bashku të cilat eksperimente mund të ndryshojnë: analog-digjital. Ashtu si ka eksperimente të pastër laborator, eksperimente pastër në terren, dhe një shumëllojshmëri të hibrideve ndërmjet tyre, janë eksperimente të pastër analoge, eksperimente pastër digjitale, dhe një shumëllojshmëri të hibride. Ajo është e ndërlikuar për të ofruar një përkufizim formal të këtij dimensioni, por një përkufizim i dobishëm praktik është se eksperimentet plotësisht digjitale janë eksperimente që e bëjnë përdorimin e infrastrukturës dixhitale për të rekrutuar pjesëmarrësit, randomize, të ofruar trajtime, dhe të matur rezultatet. Për shembull, Restivo dhe van de Rijt-së (2012) Studimi i barnstars dhe Wikipedia ishte një eksperiment të plotë dixhital për shkak se ajo e përdorur sistemet dixhitale për të gjitha katër prej këtyre hapave. Po kështu plotësisht eksperimentet analoge janë eksperimente që nuk e bëjnë përdorimin e infrastrukturës dixhitale për ndonjë nga këto katër hapa. Shumë nga eksperimentet klasike në psikologji janë eksperimente analoge. Në mes të këtyre dy ekstremeve ka pjesërisht eksperimentet dixhitale që përdorin një kombinim të sistemeve analoge dhe dixhitale për katër hapa.

Kritike, mundësitë për të drejtuar eksperimentet dixhitale nuk janë vetëm online. Hulumtuesit mund të kandidojë eksperimente pjesërisht dixhitale duke përdorur pajisje dixhitale në botën fizike, me qëllim për të ofruar trajtime apo të matur rezultatet. Për shembull, studiuesit mund të përdorin telefonat e mençur për të ofruar trajtime apo sensorë në mjedisin e ndërtuar për të matur rezultatet. Në fakt, siç do ta shohim më vonë në këtë kapitull, hulumtuesit kanë përdorur tashmë metra të energjisë në shtëpi për të matur rezultatet në eksperimentet në lidhje me normat sociale dhe konsumit të energjisë që përfshin 8.5 milion të familjeve (Allcott 2015) . Si pajisje dixhitale të bëhet gjithnjë e më të integruar në jetën e njerëzve dhe sensorë të bëhet i integruar në mjedisin e ndërtuar, këto mundësi për të drejtuar eksperimente pjesërisht dixhitale në botën fizike do të rritet në mënyrë dramatike. Me fjalë të tjera, eksperimentet dixhitale nuk janë vetëm eksperimente ne linje.

sistemet dixhitale të krijojë mundësi të reja për eksperimente kudo përgjatë vazhduar laborator-fushë. Në eksperimentet laboratorike të pastër, për shembull, studiuesit mund të përdorin sisteme digjitale për matjen finer e sjelljes së pjesëmarrësve; një shembull i këtij lloji të përmirësuar matjes është sy-ndjekja e pajisje e cila parashikon masa konkrete dhe të vazhdueshme të vendndodhjes shikimin. Mosha dixhitale gjithashtu krijon mundësinë për të drejtuar eksperimente laboratorike-like online. Për shembull, studiuesit kanë përshtatur me shpejtësi në Amazon Mekanike Turk (MTurk) për të rekrutuar pjesëmarrësit për eksperimente në linjë (Figura 4.2). MTurk ndeshjet "punëdhënësit" të cilët kanë detyra të cilat duhet të kompletohet me "punëtorëve" të cilët dëshirojnë për të përfunduar ato detyra për para. Ndryshe nga tregjet tradicionale të punës, megjithatë, detyrat e përfshira zakonisht kërkojnë vetëm disa minuta për të përfunduar dhe të gjithë ndërveprimi ndërmjet punëdhënësit dhe punëtorit është virtuale. Sepse imiton MTurk aspektet e eksperimenteve-paguar tradicionale laboratorike njerëzit për të kompletuar detyrat që ata nuk do të bëjnë për të lira-it është e përshtatshme të natyrshme për lloje të caktuara të eksperimenteve. Në thelb, MTurk ka krijuar infrastrukturën për menaxhimin e një pishinë të pjesëmarrësve-rekrutimin dhe paguar njerëz të dhe hulumtuesit kanë përfituar nga atë infrastrukturë të trokitje e lehtë në një pishinë gjithmonë në dispozicion të pjesëmarrësve.

Figura 4.2: Papers publikuar përdorur të dhëna nga Amazon Turk mekanike (MTurk) (Bohannon 2016) . MTurk dhe tregjet e tjera në internet të punës ofrojnë shkencëtarëve një mënyrë të përshtatshme për të rekrutuar pjesëmarrësit për eksperimente.

Eksperimentet Digital krijojë edhe më shumë mundësi për eksperimente në terren-si. eksperimente digjitale në terren mund të ofrojë kontrollit dhe procesit të dhëna të shtrënguar për të kuptuar mekanizmat e mundshëm (si eksperimentet laboratorike) dhe pjesëmarrësit më të ndryshme duke bërë vendime reale në një mjedis natyror (si eksperimentet në terren). Përveç këtij kombinimi i karakteristikave të mira të eksperimenteve të mëparshme, eksperimente digjitale në terren të ofrojë tre mundësi që ishin të vështira në analog laborator dhe në terren eksperimente.

Së pari, ndërsa shumica analoge laboratorike dhe fushore eksperimente kanë qindra pjesëmarrësve, eksperimente digjitale në terren mund të ketë miliona pjesëmarrës. Ky ndryshim në shkallë është për shkak se disa eksperimente digjitale mund të prodhojë të dhëna në zero kosto variabël. Kjo është, pasi shkencëtarët kanë krijuar një infrastrukturë eksperimentale, duke rritur numrin e pjesëmarrësve zakonisht nuk e rrisin koston. Rritja e numrit të pjesëmarrësve nga një faktor i 100 apo më shumë nuk është vetëm një ndryshim sasior, kjo është një ndryshim cilësor, për shkak se ajo mundëson studiuesit për të mësuar gjëra të ndryshme nga eksperimentet (p.sh., heterogjeniteti i efekteve të trajtimit) dhe të drejtuar dizajne krejtësisht të ndryshme eksperimentale ( p.sh., eksperimente të mëdha grup). Kjo pikë është aq e rëndësishme, unë do të kthehet në atë në fund të kapitullit, kur unë të ofrojë këshilla për krijimin e eksperimente dixhitale.

Së dyti, ndërsa shumica analoge laborator dhe në terren eksperimentet trajtojnë si pjesëmarrës widgets padallueshëm, eksperimente dixhitale terren shpesh përdorin informata në lidhje me pjesëmarrësit në fazat e projektimit dhe analizat e hulumtimit. Ky informacion sfond, e cila quhet informacion para-trajtimit, është shpesh në dispozicion në eksperimente dixhitale për shkak se ata të zhvillohen në mjediset e matur plotësisht. Për shembull, një studiues në Facebook ka më shumë informacion para-trajtimit sesa një studiues dizajnimin e një eksperiment standarde laborator me studentë. Ky informacion para-trajtimi i mundëson studiuesit për të lëvizur përtej trajtimin e pjesëmarrësve Widgets si i padallueshëm. Më konkretisht, informacion para-trajtimi mundëson eksperimentale dizajne-të tilla si më efikase bllokimin (Higgins, Sävje, and Sekhon 2016) dhe rekrutimin në shënjestër të pjesëmarrësve (Eckles, Kizilcec, and Bakshy 2016) -dhe analizë-të tilla më shumë Insightful si vlerësimin e heterogjenitetit e efekteve të trajtimit (Athey and Imbens 2016a) dhe rregullim covariate për përmirësimin e saktësisë (Bloniarz et al. 2016) .

Së treti, ndërsa shumë laborator analog dhe në terren eksperimente të japë trajtime dhe rezultatet matjen në një sasi relativisht të ngjeshur të kohës, disa eksperimente digjitale në terren përfshijnë trajtime që mund të dorëzohen me kalimin e kohës dhe efektet mund të matet me kalimin e kohës. Për shembull, Restivo dhe Van de Rijt për eksperiment ka rezultatin matur çdo ditë për 90 ditë, dhe një nga eksperimentet e unë do të tregoj për më vonë në kapitullin (Ferraro, Miranda, and Price 2011) gjurmët rezultate mbi 3 vjet në thelb nuk kosto. Këto tre mundësi size, informacionit para-trajtimit, dhe të trajtimit gjatësore dhe rezultatit të dhënave-janë më të zakonshme kur eksperimente janë drejtuar në krye të gjithmonë-në sistemet e matjeve (shih Kapitullin 2 për më shumë për gjithmonë-në sistemet e matjes).

Ndërsa eksperimente digjitale në terren ofrojnë mundësi të shumta, ata gjithashtu ndajnë disa dobësi si me analog laborator dhe eksperimentet në terren. Për shembull, eksperimentet nuk mund të përdoret për të studiuar të kaluarën, dhe ata mund të llogarisin vetëm efektet e trajtimeve që mund të manipulohen. Gjithashtu, edhe pse eksperimentet janë padyshim të dobishme për të udhëhequr politikën, udhëzim e saktë që ata mund të ofrojnë është disi i kufizuar për shkak të komplikimeve të tilla si varësia e mjedisit, probleme të pajtueshmërisë, dhe efektet e ekuilibrit (Banerjee and Duflo 2009; Deaton 2010) . Së fundi, eksperimente digjitale në terren të lartësuar shqetësimet etike të krijuara nga eksperimentet në terren. Përkrahësit e eksperimenteve fushore fryhet aftësinë e tyre për të unobtrusively dhe rastësisht të ndërhyrë në vendimet pasuese të bëra nga miliona njerëz. Këto karakteristika ofrojnë përparësi të caktuara shkencore, por ato gjithashtu mund të bëjë eksperimente në terren etike komplekse (të mendoni për atë si studiues trajtimin e njerëzve si "minjtë laboratorike" në një shkallë masive). Për më tepër, përveç dëmeve të mundshme për pjesëmarrësit, eksperimente digjitale në terren, për shkak të shkallës së tyre, mund të ngrejë shqetësime në lidhje me ndërprerjen e punës të sistemeve sociale (p.sh., shqetësimet në lidhje ndërprerë sistem shpërblimi Wikipedias në qoftë Restivo dhe van der Rijt dha shumë barnstars) .