4.3 Divi izmēri eksperimentu: lab-lauka un analogciparu

Lab eksperimenti piedāvā kontroli, lauka eksperimenti piedāvā reālismu, un digitālās lauka eksperimenti apvienot kontroli un reālismu pie mērogā.

Eksperimenti ir dažādās formās un izmēros. Agrāk pētnieki uzskatīja, ka ir lietderīgi organizēt eksperimentus nepārtrauktā laikā starp laboratorijas eksperimentiem un eksperimentu laukos . Tomēr pētniekiem arī jāorganizē eksperimenti otrajā kontinuumā starp analogajiem eksperimentiem un digitālajiem eksperimentiem . Šī divdimensiju dizaina telpa palīdzēs jums izprast dažādu pieeju stiprās un vājās puses un izcelt iespējas ar vislielākajām iespējām (4.1. Attēls).

4.1. Zīmējums: eksperimentu dizaina telpas shēma. Agrāk eksperimenti mainījās laboratorijas lauka dimensijā. Tagad tie atšķiras arī analogo digitālo dimensiju. Šo divdimensiju dizaina telpu ilustrē četri eksperimenti, kurus es raksturoju šajā nodaļā. Manuprāt, vislielākās iespējas ir digitālo eksperimentu lauki.

Viena dimensija, kurā eksperimentus var organizēt, ir laboratorijas lauka dimensija. Daudzi eksperimenti sociālajās zinātnēs ir laboratorijas eksperimenti, kuros bakalaura studenti laboratorijās veic dīvainus uzdevumus kursa kredītpunktos. Šis eksperimenta veids dominē psiholoģijas pētījumos, jo tas ļauj pētniekiem izveidot augsti kontrolētus iestatījumus, lai precīzi izolētu un pārbaudītu konkrētas teorijas par sociālo uzvedību. Tomēr dažām problēmām šķiet kaut kas dīvains, lai izdarītu stingrus secinājumus par cilvēka uzvedību no tādiem neparastajiem cilvēkiem, kas šādos neparastajos uzdevumos veic tik neparastu iestatījumu. Šīs bažas ir novedušas pie virzības uz lauka eksperimentiem . Lauka eksperimenti apvieno nejaušinātu kontroļu eksperimentu spēcīgu dizainu ar reprezentatīvākām dalībnieku grupām, kas veic vairāk parastos uzdevumus dabiskos iestatījumos.

Lai gan daži cilvēki domā par laboratorijas un lauka eksperimentiem kā konkurējošām metodēm, vislabāk ir domāt par tiem kā papildinošiem, ar dažādām stiprām un vājām pusēm. Piemēram, Correll, Benard, and Paik (2007) izmantoja gan laboratorijas eksperimentu, gan lauka eksperimentu, mēģinot atrast "mātes soda" avotus. Amerikas Savienotajās Valstīs mātes nopelna mazāk naudas nekā bez bērniem, pat tad, ja salīdzinot sievietes ar līdzīgām iemaņām, kas strādā līdzīgās darba vietās. Šim modelim ir daudzi iespējamie paskaidrojumi, no kuriem viens ir tas, ka darba devēji ir neobjektīvi pret mātēm. (Interesanti, ka pretēji šķiet taisnība tēviem: viņi mēdz pelnīt vairāk nekā salīdzināmi bezbērnu vīrieši.) Lai novērtētu iespējamo neobjektivitāti pret mātēm, Correll un viņa kolēģi veica divus eksperimentus: vienu laboratorijā un vienu laukā.

Pirmkārt, laboratorijas eksperimentā viņi informēja dalībniekus, kuri bija koledžu studenti, ka uzņēmums veic personāla meklēšanu, lai vadītu savu jauno East Coast mārketinga nodaļu. Skolēniem tika teikts, ka uzņēmums vēlas saņemt palīdzību darbā, un viņiem lūdza pārskatīt vairāku potenciālo kandidātu atsākumus un novērtēt kandidātus vairākos aspektos, piemēram, viņu izlūkdatus, siltumu un apņemšanos strādāt. Turklāt studentiem tika uzdots jautājums, vai viņi ieteiktu pieņemt darbā kandidātu un ko viņi iesaka kā sākuma algu. Tomēr studentiem nezināma, ka atsākumi tika īpaši konstruēti kā līdzīgi, izņemot vienu lietu: daži no tiem norādīja uz mātes stāvokli (iekļaujot iesaistīšanos vecāku un skolotāju asociācijā), bet daži to nav. Correll un kolēģi atrada, ka studenti mazāk domāja ieteikt algot mātes un piedāvāja viņiem zemāku sākuma algu. Turklāt, veicot statistikas analīzi gan attiecībā uz vērtējumiem, gan lēmumiem par pieņemšanu darbā, Correll un viņa kolēģi konstatēja, ka mātes nelabvēlīgo situāciju lielā mērā izskaidro fakts, ka viņu kvalifikācija un saistības ir zemākas. Tādējādi šis laboratorijas eksperiments ļāva Correll un kolēģiem izmērīt cēloņsakarību un sniegt iespējamu paskaidrojumu par šo efektu.

Protams, varētu būt skeptiski noskaidrot, kā izdarīt secinājumus par visu ASV darba tirgu, balstoties uz dažu simtu studentu lēmumiem, kuri, iespējams, nekad nav strādājuši pilnu darba laiku, nemaz nerunājot par algotu darbu. Tāpēc Correll un kolēģi arī veica papildu eksperimentus laukā. Viņi reaģēja uz simtiem reklamēto vakanču ar viltotām burtiem un atsākšanu. Līdzīgi materiāliem, kas parādīti bakalaura studijām, daži atsāk simbolizē mātes stāvokli, un daži to nedarīja. Korrells un kolēģi atrada, ka mātēm ir mazāka iespēja saĦemt uzaicinājumu uz intervijām nekā vienlīdzīgi kvalificētas bezbērnas sievietes. Citiem vārdiem sakot, reālie darba devēji, kas dabiski izvēlējās attiecīgus lēmumus, izturējās tāpat kā bakalaura studenti. Vai viņi pieņēmuši līdzīgus lēmumus tāda paša iemesla dēļ? Diemžēl mēs nezinām. Pētnieki nespēja prasīt darba devējiem novērtēt kandidātus vai paskaidrot viņu lēmumus.

Šis eksperimentu pāris daudz parāda laboratorijas un lauka eksperimentus kopumā. Laboratorijas eksperimenti piedāvā pētniekiem gandrīz pilnīgu vides kontroli, kurā dalībnieki pieņem lēmumus. Tā, piemēram, laboratorijas eksperimentā Correll un kolēģi varēja nodrošināt, ka visi atsākumi tiek lasīti klusā vietā; lauka eksperimentā daži no atsākumiem, iespējams, pat nav lasīti. Turklāt, tā kā laboratorijas dalībnieki zina, ka viņi tiek pētīti, pētnieki bieži vien var iegūt papildu datus, kas var palīdzēt izskaidrot, kāpēc dalībnieki pieņem lēmumus. Piemēram, Correll un kolēģi laboratorijas eksperimenta dalībniekiem lūdza novērtēt kandidātus dažādās dimensijās. Šāda veida procesa dati var palīdzēt pētniekiem saprast atšķirību mehānismus, kā dalībnieki izturas pret atsākšanu.

No otras puses, šīs tieši tādas pašas īpašības, kuras es tikko aprakstīju kā priekšrocības, dažkārt tiek uzskatītas par trūkumiem. Pētnieki, kas izvēlas lauka eksperimentus, apgalvo, ka laboratorijas eksperimentu dalībnieki varētu rīkoties ļoti savādāk, jo viņi zina, ka viņi tiek pētīti. Piemēram, laboratorijas eksperimentā dalībnieki varēja uzminēt pētījuma mērķi un izmainīt viņu uzvedību, lai tie netiktu novirzīti neobjektīvi. Turklāt pētnieki, kas izvēlas lauka eksperimentus, var apgalvot, ka nelielas atkārtošanas atšķirības var izcelties tikai ļoti tīrā sterilā laboratorijas vidē, un līdz ar to laboratorijas eksperiments pārmērīgi novērtēs mātītes ietekmi uz reāliem pieņemtajiem lēmumiem par pieņemšanu darbā. Visbeidzot, daudzi lauku eksperimentu atbalstītāji kritizē laboratorisko eksperimentu uzticamību WEIRD dalībniekiem: galvenokārt no Rietumeiropas, Izglītības, industrializētās, bagātās un demokrātiskās valstis (Henrich, Heine, and Norenzayan 2010a) . Korrella un kolēģu eksperimenti (2007) ilustrē abus galējumus laboratorijas lauka kontinuumā. Starp šīm divām galējībām pastāv arī dažādi hibrīda modeļi, tostarp tādas pieejas kā, piemēram, studentu nonākšana laboratorijā vai nonākšana laukā, bet dalībnieki tomēr veic neparastu uzdevumu.

Digitālais laikmets, kas papildina agrāk pastāvošo laboratorijas lauka dimensiju, nozīmē, ka pētniekiem tagad ir otra nozīmīga dimensija, pēc kuras eksperimenti var atšķirties: analogo digitālo. Tāpat kā ir tīri laboratorijas eksperimenti, tīri lauka eksperimenti un dažādi hibrīdi, starp tiem ir tīri analogie eksperimenti, tīri digitālie eksperimenti un dažādi hibrīdi. Ir grūti piedāvāt formālu šīs dimensijas definīciju, taču noderīga darba definīcija ir tā, ka pilnīgi digitālie eksperimenti ir eksperimenti, kas izmanto digitālo infrastruktūru, lai pieņemtu darbā dalībniekus, randomizētu, sniegtu ārstēšanu un novērtētu rezultātus. Piemēram, Restivo un van de Rijta (2012) pētījums par barnstars un Wikipedia bija pilnīgi digitāls eksperiments, jo tā izmantoja digitālās sistēmas visiem četriem no šiem soļiem. Tāpat pilnībā analogie eksperimenti nelieto digitālo infrastruktūru nevienā no šīm četrām pakāpēm. Daudzi no klasiskajiem psiholoģijas eksperimentiem ir pilnīgi analogie eksperimenti. Starp šiem diviem galējībām ir daļēji digitāli eksperimenti, kas izmanto analogo un ciparu sistēmu kombināciju.

Kad daži cilvēki domā par digitālajiem eksperimentiem, viņi tūlīt domā par tiešsaistes eksperimentiem. Tas ir nožēlojami, jo digitālās eksperimentēšanas iespējas nav tikai tiešsaistē. Pētnieki var sākt daļēji digitālos eksperimentus, izmantojot fiziskās pasaules digitālās ierīces, lai sniegtu ārstēšanu vai novērtētu rezultātus. Piemēram, pētnieki varētu izmantot viedtālruņus, lai veiktu ārstēšanu vai sensorus iebūvētajā vidē, lai novērtētu rezultātus. Faktiski, kā redzēsim vēlāk šajā nodaļā, pētnieki jau ir izmantojuši mājas jaudas skaitītājus, lai izmērītu rezultātus eksperimentos par enerģijas patēriņu, iesaistot 8,5 miljonus mājsaimniecību (Allcott 2015) . Tā kā digitālās ierīces arvien vairāk tiek integrētas cilvēku dzīvē, un sensori tiek integrēti iebūvētajā vidē, šīs iespējas daļēji digitālo eksperimentu veikšanai fiziskajā pasaulē ievērojami palielināsies. Citiem vārdiem sakot, digitālie eksperimenti ir ne tikai tiešsaistes eksperimenti.

Digitālās sistēmas rada jaunas iespējas eksperimentiem visā laboratorijas lauka kontinuumā. Piemēram, tīrajos laboratorijas eksperimentos, pētnieki var izmantot digitālās sistēmas, lai precīzi noteiktu dalībnieku uzvedību; Viens šāda veida uzlabotu mērījumu piemērs ir acu izsekošanas iekārta, kas nodrošina precīzus un nepārtrauktus redzes vietas mērījumus. Digitālais laikmets arī rada iespēju tiešsaistē veikt laboratorijas eksperimentus. Piemēram, pētnieki ir ātri pieņēmuši Amazon Mechanical Turk (MTurk), lai pieņemtu darbā dalībniekus tiešsaistes eksperimentos (4.2. Attēls). MTurk atbilst "darba devējiem", kuriem ir uzdevumi, kas jāaizpilda kopā ar "darba ņēmējiem", kuri vēlas pabeigt šos uzdevumus naudā. Tomēr atšķirībā no tradicionālajiem darba tirgiem, uzdevumi parasti ir vajadzīgi tikai dažas minūtes, un visa mijiedarbība starp darba devēju un darba ņēmēju notiek tiešsaistē. Tā kā MTurk atdarina tradicionālo laboratorijas eksperimentu aspektus, kas liek cilvēkiem veikt uzdevumus, kurus viņi nedarītu bez maksas, tas, protams, ir piemērots noteiktiem eksperimentu veidiem. Būtībā MTurk ir izveidojusi infrastruktūru, lai pārvaldītu dalībnieku kopu, piesaistot un samaksājot cilvēkiem, un pētnieki ir izmantojuši šo infrastruktūru, lai piesaistītu vienmēr pieejamo dalībnieku kopu.

4.2. Attēls: dokumenti, kas publicēti, izmantojot datus no Amazon Mechanical Turk (MTurk). MTurk un citi tiešsaistes darba tirgi piedāvā pētniekiem ērtu veidu, kā piesaistīt dalībniekus eksperimentu veikšanai. Pielāgots no Bohannon (2016) .

Digitālās sistēmas rada vēl lielākas iespējas lauka eksperimentos. Jo īpaši tie ļauj pētniekiem apvienot stingrus kontroles un apstrādes datus, kas saistīti ar laboratorijas eksperimentiem ar daudzveidīgākiem dalībniekiem un vairāk dabiskiem iestatījumiem, kas saistīti ar laboratorijas eksperimentiem. Turklāt digitālo lauku eksperimentos ir piedāvātas arī trīs iespējas, kas analoga eksperimentos parasti bija grūti.

Pirmkārt, tā kā lielākajai daļai analogu laboratorijas un lauka eksperimentu ir simtiem dalībnieku, digitālajos eksperimentos var būt miljoniem dalībnieku. Šīs mēroga izmaiņas ir tādēļ, ka daži digitālie eksperimenti var radīt datus ar nulles mainīgajām izmaksām. Tas ir, kad pētnieki ir izveidojuši eksperimentālu infrastruktūru, dalībnieku skaita palielināšana parasti nepalielina izmaksas. Dalībnieku skaita palielināšana par 100 vai vairāk reizes ir ne tikai kvantitatīvas izmaiņas; tā ir kvalitatīva izmaiņa, jo tā ļauj pētniekiem mācīties dažādas lietas no eksperimentiem (piemēram, ārstēšanas efektu neviendabīgums) un izmantot pilnīgi dažādus eksperimentālos modeļus (piemēram, liela izmēra eksperimenti). Šis jautājums ir tik svarīgs, es atgriezīšos pie tā nodaļas beigās, kad sniegšu padomu par digitālo eksperimentu izveidi.

Otrkārt, tā kā lielākā daļa analogu laboratorijas un lauka eksperimentu dalībniekus uzskata par neatšķirīgiem widgetiem, digitālā lauka eksperimenti bieži izmanto pamatinformāciju par dalībniekiem pētījuma izstrādes un analīzes posmos. Šī fona informācija, ko sauc par informācijas sagatavošanu pirms ārstēšanas , bieži ir pieejama digitālajos eksperimentos, jo tie tiek izmantoti papildus mērīšanas sistēmām (sk. 2. nodaļu). Piemēram, pētniekam Facebook ir daudz informācijas par ārstēšanu no pirmapstrādes par cilvēkiem savā digitālā eksperimenta jomā, nekā universitātes pētnieks ir par cilvēkiem savā analogajā lauka eksperimentā. Šī pirmapstrāde ļauj veikt efektīvākus eksperimentālos projektus, piemēram, bloķēšanu (Higgins, Sävje, and Sekhon 2016) un mērķtiecīgu dalībnieku pieņemšanu darbā (Eckles, Kizilcec, and Bakshy 2016) vairāk ieskatu analīzē, piemēram, ārstēšanas efektu neviendabīguma novērtēšanā (Athey and Imbens 2016a) un (Athey and Imbens 2016a) korekcija, lai uzlabotu precizitāti (Bloniarz et al. 2016) .

Treškārt, tā kā daudzi analogie laboratorijas un lauka eksperimenti sniedz ārstēšanu un novērtē rezultātus relatīvi saspiestā laika periodā, daži digitālo lauku eksperimenti notiek daudz ilgāk. Piemēram, Restivo un van de Rijta eksperimenta rezultāts tika novērtēts katru dienu 90 dienas, un vienā no eksperimentiem, par ko es vēlāk pastāstīšu nodaļā (Ferraro, Miranda, and Price 2011) sekošanas rezultāti trīs gadu laikā nebija pamatā izmaksas. Šīs trīs iespējas izmēra, pirms ārstēšanas informācijas un gareniskās ārstēšanas un rezultātu dati visbiežāk rodas, kad eksperimenti tiek veikti papildus vienmēr uz mērījumu sistēmām (skatiet 2. nodaļu, lai uzzinātu vairāk par mērīšanas sistēmām, kas vienmēr ir pieejamas).

Lai gan digitālo lauku eksperimentos ir daudz iespēju, tām ir arī dažas vājās puses gan analogās laboratorijas, gan analogo lauku eksperimentos. Piemēram, eksperimentus nevar izmantot, lai izpētītu pagātni, un viņi var novērtēt tikai ārstēšanas rezultātus, kurus var manipulēt. Kaut arī eksperimenti neapšaubāmi ir noderīgi, lai vadītu politiku, precīzas norādes, ko tās var piedāvāt, ir nedaudz ierobežotas tādu komplikāciju dēļ kā atkarība no vides, atbilstības problēmas un līdzsvara ietekme (Banerjee and Duflo 2009; Deaton 2010) . Digitālie lauka eksperimenti arī palielina ētikas problēmas, kas radītas ar lauka eksperimentiem - tēmu, kuru es citēšu šajā nodaļā un 6. nodaļā.