4.3 Divi izmēri eksperimentu: lab-lauka un analogciparu

Lab eksperimenti piedāvā kontroli, lauka eksperimenti piedāvā reālismu, un digitālās lauka eksperimenti apvienot kontroli un reālismu pie mērogā.

Eksperimenti nāk dažādās formas un izmēriem. Bet, neskatoties uz šīm atšķirībām, zinātnieki ir atklājuši, ka ir lietderīgi organizēt eksperimentus pa nepārtrauktību starp laboratorijas eksperimentus un lauka eksperimentiem. Tagad, tomēr, zinātnieki arī organizēt eksperimentus pa nepārtrauktību starp analogo eksperimentiem un digitālo eksperimentiem. Šajā divdimensiju dizains telpa palīdzēs jums saprast stiprās un vājās puses dažādām pieejām un ieteikt jomas vislielāko iespēju (4.1 attēls).

4.1 attēls: shēma dizaina telpas eksperimentiem. Agrāk eksperimenti atšķīrās pa lab lauka dimensiju. Tagad viņi arī atšķiras no analogā-digitālā dimensiju. Manuprāt, platība vislielākā iespēja ir ciparu lauka eksperimenti.

Agrāk galvenais veids, ka pētnieki organizē eksperimentus bija pa lab lauka dimensiju. Par eksperimentu sociālajās zinātnēs vairākums ir lab eksperimenti kur bakalaura studenti veic dīvainus uzdevumus lab par kursa kredītu. Šī eksperimenta veids dominē pētījumu psiholoģijā, jo tas ļauj pētniekiem, lai radītu ļoti specifiskas ārstēšanas kas paredzēti, lai pārbaudītu ļoti specifiskas teorijas par sociālo uzvedību. Attiecībā uz dažām problēmām, tomēr, kaut jūtas mazliet dīvaini par zīmēšanas spēcīgas secinājumus par cilvēka uzvedību no tādiem neparastiem cilvēkiem, kas veic šādus neparastus uzdevumus šādā neparastā vidē. Šīs bažas ir izraisījušas kustība pret lauka eksperimentiem. Lauka eksperimenti apvieno spēcīgu dizainu randomizētos kontroles eksperimentu ar vairākiem raksturīgiem dalībnieku grupām, veicot vairāk kopīgus uzdevumus, jo vairāk dabas uzstādījumus.

Lai gan daži cilvēki domā par laboratorijas un lauka izmēģinājumos, kā konkurējošo metodes, tas ir labākais, lai domāt par to kā papildu metodes ar dažādiem stiprās un vājās puses. Piemēram, Correll, Benard, and Paik (2007) izmanto gan lab eksperimentu un lauka eksperimentu, mēģinot atrast avotus "mātes sodu." Amerikas Savienotajās Valstīs, mātes pelna mazāk naudas nekā bezbērnu sievietes, pat tad, ja salīdzinot sievietes ar līdzīgām prasmēm, kas strādā līdzīgos darba vietas. Ir daudzi iespējamie skaidrojumi šo modeli, un viens ir tas, ka darba devēji ir neobjektīvi pret mātēm. (Interesanti, pretējā šķiet, ir taisnība tēviem: tie mēdz nopelnīt vairāk nekā salīdzināmi bezbērnu vīrieši). Lai novērtētu iespējamo neobjektivitāti pret mātēm, Correll un kolēģi skrēja divi eksperimenti: viens lab un viens šajā jomā.

Pirmkārt, lab eksperimentu Correll un kolēģi stāstīja dalībniekus, kuri bija koledžas kursu studentiem, ka California balstīta start-up komunikāciju kompānija tika veicot darba meklēšanu personai vadīt savu jauno East Coast mārketinga nodaļa. Skolēni teica, ka uzņēmums vēlējās viņu palīdzību nomas procesā un viņi uzdeva pārskatīt atsāk no vairākiem potenciālajiem kandidātiem un novērtēt kandidātus par vairākiem izmēriem, piemēram, to izlūkošanas, siltumu, un apņemšanos strādāt. Tālāk, studentiem tika jautāts, vai viņi ieteiktu iznomājot iesniedzēju un to, ko viņi ieteiktu kā sākuma algu. Unbeknownst studentiem, tomēr atsāk tika īpaši konstruēta, lai būtu līdzīgi, izņemot vienu lietu: daži atsāk deva mātes (uzskaitot iesaistīšanos vecāku un skolotāju asociācijas) un dažas nav. Correll konstatēts, ka studenti bija mazāka iespēja ieteikt pieņemt darbā par mātes un piedāvāja viņiem zemāku sākuma algu. Turklāt, izmantojot statistisko analīzi gan vērtējumiem un nomas saistītos lēmumus, Correll konstatēja, ka māšu trūkumi lielā mērā izskaidrojams ar to, ka mātēm tika nominālā zemāks ziņā kompetenci un apņemšanos. Citiem vārdiem sakot, Correll apgalvo, ka šie rādītāji ir mehānisms, ar kuru mātes ir nelabvēlīgā stāvoklī. Tādējādi šis lab eksperiments ļāva Correll un kolēģiem, lai noteiktu cēloņsakarību efektu un nodrošināt iespējamo izskaidrojumu šajā sakarā.

Protams, varētu būt skeptiski izdarīt secinājumus par visu ASV darba tirgu, pamatojoties uz lēmumiem par dažiem simtiem bakalaura, kas, iespējams, nekad nav bijusi pilna laika darbu, nemaz nerunājot nolīga cilvēkus. Tāpēc, Correll un kolēģi veica arī papildu lauka eksperimentu. Pētnieki atbildēja uz simtiem reklamēto vakanču nosūtot viltus attiekties burtiem un atsākts. Līdzīgi materiāliem pierādīts, ka bakalaura, daži atsāk signalizēja mātes un dažas nav. Correll un kolēģi konstatēja, ka mātes ir mazāk iespējams iegūt aicināja atpakaļ uz intervijām nekā vienlīdz kvalificēti bezbērnu sievietēm. Citiem vārdiem sakot, reālā darba devēji padarot izrietošiem lēmumus dabiskā vidē izturējās daudz, piemēram, bakalaura. Vai viņi pieņemt līdzīgus lēmumus par tā paša iemesla dēļ? Diemžēl, mēs nezinām. Pētnieki nespēja lūgt darba devējiem novērtēt kandidātus vai izskaidrot savus lēmumus.

Šo eksperimentu pāris atklāj daudz par laboratorijas un lauka eksperimentiem vispār. Lab eksperimenti piedāvāt pētniekiem netālu pilnīgu kontroli par vidi, kurā dalībnieki ir pieņemt lēmumus. Tātad, piemēram, laboratorijas eksperimentā, Correll varēja nodrošināt, ka visi atsāk bija lasāms klusā vidē; laukā eksperimentā, daži atsāk, iespējams, nav pat lasīt. Turklāt, jo dalībnieki lab iestatījumu zina, ka viņi tiek pētīta, pētnieki bieži vien ir iespēja vākt papildu datus, kas var palīdzēt viņiem saprast, kāpēc dalībnieki ir padarīt savus lēmumus. Piemēram, Correll lūdza dalībniekus lab eksperimentu novērtēt kandidātus uz dažādiem izmēriem. Šī procesa datu veida varētu palīdzēt zinātniekiem izprast mehānismus aiz atšķirības kā dalībnieki ārstētu atsākts.

No otras puses, tieši šīs pašas īpašības, ka es vienkārši raksturot kā priekšrocības ir arī dažkārt uzskatīti trūkumi. Pētnieki, kuri dod priekšroku lauka izmēģinājumus apgalvo, ka dalībnieki laboratorijas eksperimentos varētu darboties ļoti atšķirīgi, ja tie tiek rūpīgi novērota. Piemēram, lab eksperiments dalībnieki varētu būt guessed mērķi pētniecības un mainīt savu uzvedību tā, lai parādās neobjektīvs. Turklāt pētnieki, kuri dod priekšroku lauka izmēģinājumus varētu apgalvot, ka nelielas atšķirības atsāk var tikai izceļas ar ļoti tīru, sterilu lab vidē, un līdz ar to lab eksperiments būs pārāk novērtēt ietekmi mātes par nekustamā pieņemšanu darbā lēmumiem. Visbeidzot, daudzi piekritēji lauka eksperimentu kritizēt lab eksperimenti paļaušanos uz dīvaini dalībniekiem: galvenokārt studentiem no Rietumeiropas, Izglītoti, rūpnieciski, bagāts, un demokrātiskas valstis (Henrich, Heine, and Norenzayan 2010) . Eksperimenti ar Correll un kolēģu (2007) ilustrē divas galējības uz lab-lauka kontinuums. Starp šīm divām galējībām ir dažādas hibrīda dizainu, tostarp pieejas, piemēram, apvienojot nesmēķētājus studentus lab vai iet laukā, bet joprojām dalībnieki veic neparastu uzdevumu.

Papildus lab lauka dimensijas, kas pastāvēja agrāk, digitālais laikmets nozīmē, ka pētnieki tagad ir otrais lielākais dimensija pa kuru eksperimenti var mainīties: analogais-digitālais. Tāpat kā ir tīri lab eksperimenti, tīra lauka eksperimenti, un dažādas hibrīdu starp, ir tīri analogie eksperimenti, tīra digitālās eksperimenti, un dažādi hibrīdi. Tas ir grūts, lai piedāvāt oficiālu definīciju šo aspektu, bet noderīgs darba definīcija ir tā, ka pilnīgi ciparu eksperimenti ir eksperimenti, kas izmanto digitālās infrastruktūras pieņemt darbā dalībniekus, randomize, sniegt ārstēšanu, un izmērīt rezultātus. Piemēram, Restivo un van de Rijt s (2012) pētījums par barnstars un Wikipedia bija pilnīgi digitālā eksperiments, jo to izmanto ciparu sistēmas visiem četriem no šiem soļiem. Tāpat pilnībā analogās eksperimenti ir eksperimenti, kas neizmanto digitālās infrastruktūras kādu no šiem četriem soļiem. Daudzi no klasiskās eksperimentu psiholoģijā ir analogais eksperimenti. Starp šīm divām galējībām ir daļēji ciparu eksperimenti, kas izmanto kombināciju analogo un digitālo sistēmu četriem soļiem.

Kritiski, iespējas darboties ciparu eksperimenti ir ne tikai tiešsaistē. Pētnieki var darboties daļēji digitālos eksperimentus, izmantojot digitālās ierīces fiziskajā pasaulē, lai nodrošinātu ārstēšanu vai pasākumu rezultātus. Piemēram, zinātnieki varētu izmantot smart phones, lai nodrošinātu ārstēšanu vai sensori apbūvētās vides izmērīt rezultātus. Patiesībā, kā mēs redzēsim vēlāk šajā nodaļā, pētnieki jau lieto mājās jaudas mērītāji izmērīt rezultātus eksperimentos par sociālajām normām un enerģijas patēriņu, kas ietver 8,5 miljoni mājsaimniecību (Allcott 2015) . Kā digitālās ierīces kļūst arvien vairāk integrēta cilvēku dzīvi un sensori kļūst integrēti radīto vidi, šīs iespējas palaist daļēji digitālo eksperimentus fiziskajā pasaulē palielinās dramatiski. Citiem vārdiem sakot, digitālie eksperimenti ir ne tikai tiešsaistes eksperimenti.

Digitālās sistēmas rada jaunas iespējas eksperimentiem visur gar lab lauka kontinuums. Tīrā lab eksperimentus, piemēram, pētnieki var izmantot ciparu sistēmas smalkāku mērīšanai dalībnieku uzvedību; viens piemērs šāda veida uzlabota mērījuma acu sekošanas iekārtas, kas nodrošina precīzu un nepārtrauktu pasākumus skatiens vietu. Digitālais laikmets arī rada iespēju palaist lab līdzīgu eksperimentus tiešsaistē. Piemēram, zinātnieki ir strauji jāpieņem Amazon Mechanical Turk (MTurk) pieņemt darbā dalībniekus tiešsaistes eksperimentiem (attēls 4.2). MTurk sērkociņi "darba devējiem", kam ir uzdevumi, kas jāpabeidz ar "darbinieki", kuri vēlas, lai pabeigtu šo uzdevumu par naudu. Atšķirībā no tradicionālajām darba tirgu, taču iesaistītās parasti uzdevumi tikai prasa dažas minūtes, lai pabeigtu un visa mijiedarbību starp darba devēju un darbinieku ir virtuāla. Jo MTurk atdarina aspekti tradicionālo laboratorijas eksperimentu apmaksātajās cilvēki, lai izpildītu uzdevumus, kas viņi nevarētu darīt bez maksas, tas ir dabiski piemērota noteikta veida eksperimentiem. Būtībā MTurk ir izveidojusi infrastruktūru pārvalda baseins Dalībnieku-darbā un maksāt cilvēkiem un pētnieki ir izmantojuši šīs infrastruktūras iekļūt par vienmēr pieejamu baseins dalībnieku.

4.2 attēls: Papers publicēti, izmantojot datus no Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk un citiem tiešsaistes darba tirgos piedāvāt pētniekiem ērtu veidu, lai pieņemtu darbā dalībniekus eksperimentiem.

Digitālās eksperimenti radītu vēl vairāk iespējām lauka līdzīgu eksperimentu. Digitālās lauka eksperimenti var piedāvāt stingru kontroli un apstrādāt datus, lai izprastu iespējamos mehānismus (piemēram, laboratorijas eksperimentiem) un vairāk dažādi dalībnieki padarīt reālu lēmumus dabiskā vidē (piemēram, lauka eksperimentiem). Papildus šim kombināciju labu īpašību iepriekšējiem eksperimentiem, digitālie lauka eksperimenti arī piedāvā trīs iespējas, kas bija grūti analogo lab un lauka eksperimentiem.

Pirmkārt, tā kā lielākā daļa analogās lab un lauka eksperimenti ir simtiem dalībnieku, digitālie lauka eksperimenti var būt miljoniem dalībnieku. Tas mēroga izmaiņas ir tāpēc, ka daži digitālās eksperimenti var radīt datu nulles mainīgajām izmaksām. Tas ir, pēc tam, kad zinātnieki ir radījuši eksperimentālu infrastruktūru, palielinot dalībnieku skaitu parasti nepalielina izmaksas. Dalībnieku skaitu palielināšana ar koeficientu 100 vai vairāk, ne tikai kvantitatīvā maiņa, tas ir kvalitatīvas pārmaiņas, jo tas ļauj pētniekiem mācīties dažādas lietas no eksperimentiem (piemēram, neviendabīgums ārstēšanas efektu) un palaist pilnīgi dažādas eksperimentālās dizainu ( piemēram, liela grupa eksperimenti). Šis punkts ir tik svarīgi, es ņemšu atgriezties pie tā beigās nodaļas kad es piedāvāt konsultācijas par radot digitālās eksperimentus.

Otrkārt, tā kā lielākā daļa analogās lab un lauka eksperimenti ārstēt dalībniekus kā neatšķiras widgets, digitālās lauka eksperimenti bieži izmanto pamatinformāciju par dalībniekiem projektēšanas un analīzes pētījuma posmos. Šī papildu informācija, ko sauc pirmapstrādi informācija, bieži ir pieejama digitālā eksperimentos, jo tie notiek pilnīgi mēra vidēs. Piemēram, pētniece Facebook ir daudz vairāk pirms ārstēšanas informācijas nekā pētnieks projektēšana standarta laboratorijas eksperimentu ar maģistrantu. Šī pirmapstrāde informācija ļauj zinātniekiem, lai pārvietotos tālāk apstrādājot dalībniekiem kā neatšķiras logrīkus. Precīzāk, pirmapstrāde informācija ļauj efektīvākas eksperimentālās dizainu-piemēram, bloķējot (Higgins, Sävje, and Sekhon 2016) un mērķtiecīgu darbā dalībnieku (Eckles, Kizilcec, and Bakshy 2016) -Un vairāk insightful analīze, piemēram, novērtēšanai neviendabīgums ārstēšanas efektu (Athey and Imbens 2016a) un mainīgais korekciju uzlabotu precizitāti (Bloniarz et al. 2016) .

Treškārt, tā kā daudzi analogie lab un lauka eksperimenti piegādāt ārstēšanu un izmērīt rezultātus salīdzinoši saspiestā laika sprīdī, daži digitālās lauka eksperimenti ietver ārstēšanu, kas var tikt piegādāti laikā un sekas var arī novērtēt laika gaitā. Piemēram, Restivo un van de Rijt eksperiments ir iznākums, ko mēra katru dienu 90 dienas, un ir viens no eksperimentu es jums pastāstīt par vēlāk nodaļā (Ferraro, Miranda, and Price 2011) dziesmas rezultātus 3 gadu laikā būtībā nav izmaksas. Šie trīs iespējas izmēra, pirmapstrādi informāciju, un garenvirziena apstrāde un rezultātu dati-ir visbiežāk, kad eksperimenti tiek palaist uz augšu vienmēr-on mērījumu sistēmām (skatīt 2. nodaļu, lai uzzinātu vairāk par vienmēr-on mērīšanas sistēmu).

Lai gan digitālās lauka eksperimenti piedāvā daudzas iespējas, bet arī dalīties dažas nepilnības gan ar analogo laboratorijā un lauka eksperimentiem. Piemēram, eksperimenti nevar izmantot, lai pētītu pagātni, un viņi var novērtēt tikai sekas, ārstēšanu, kas var manipulēt. Tāpat, lai gan eksperimenti ir neapšaubāmi noderīga, lai politika, precīzu norādījumi viņi var piedāvāt, ir diezgan ierobežota, jo komplikācijas, piemēram, vides atkarību, atbilstības problēmām, un līdzsvara ietekmi (Banerjee and Duflo 2009; Deaton 2010) . Visbeidzot, digitālās lauka eksperimenti pārspīlēt ētiskajiem apsvērumiem, ko rada lauka eksperimentiem. Aizstāvji lauka eksperimentu trompete spēju neuzkrītoši un nejauši iejaukties par izrietošiem lēmumiem miljoniem cilvēku. Šīs funkcijas piedāvā noteiktas zinātniskas priekšrocības, bet tās var arī veikt lauka eksperimenti ētiski komplekss (domāt par to, kā zinātnieki ārstē cilvēkus, piemēram, "lab žurkām" masveidā). Turklāt papildus iespējamos kaitējumus dalībniekiem, digitālās lauka eksperimenti, jo to mērogu, var arī rada bažas par traucējumiem darba sociālās sistēmas (piemēram, bažas par izjaucot Vikipēdijas atalgojuma sistēmu, ja Restivo un van der Rijt deva pārāk daudz barnstars) .