4.3 Dalawang mga sukat ng mga eksperimento: lab-field at analog-digital

Lab eksperimento ay nag-aalok control, ang patlang na mga eksperimento ay nag-aalok ng pagiging makatotohanan, at digital field eksperimento pagsamahin control at pagiging totoo sa scale.

Ang mga eksperimento ay nagmumula sa maraming iba't ibang mga hugis at sukat. Sa nakaraan, natuklasan ng mga mananaliksik na makatutulong upang maisaayos ang mga eksperimento sa isang continuum sa pagitan ng mga eksperimentong lab at mga eksperimentong field . Gayunpaman, ngayon, ang mga mananaliksik ay dapat ding mag-ayos ng mga eksperimento sa isang pangalawang continuum sa pagitan ng mga analog na eksperimento at mga digital na eksperimento . Ang dalawang-dimensional na puwang ng disenyo ay makakatulong sa iyo na maunawaan ang mga kalakasan at kahinaan ng iba't ibang mga diskarte at i-highlight ang mga lugar ng pinakamalaking pagkakataon (tayahin 4.1).

Figure 4.1: Schematic ng space ng disenyo para sa mga eksperimento. Sa nakaraan, iba-iba ang mga eksperimento sa dimensyon ng lab-field. Ngayon, iba din sila sa analog-digital na dimensyon. Ang dalawang-dimensional na puwang ng disenyo ay inilarawan sa pamamagitan ng apat na eksperimento na inilalarawan ko sa kabanatang ito. Sa palagay ko, ang lugar ng pinakadakilang oportunidad ay mga eksperimentong digital na patlang.

Ang isang sukat sa kung saan maaaring isagawa ang mga eksperimento ay ang sukat ng lab-field. Maraming mga eksperimento sa mga agham panlipunan ang mga eksperimento ng lab kung saan ang mga estudyanteng undergraduate ay gumanap ng mga kakaibang gawain sa isang lab para sa credit ng kurso. Ang uri ng eksperimento na ito ay dominado sa pananaliksik sa sikolohiya dahil pinapayagan nito ang mga mananaliksik na lumikha ng mga kontrol sa mataas na kontrol upang tumpak na ihiwalay at subukan ang mga tukoy na teorya tungkol sa panlipunang pag-uugali. Gayunman, para sa ilang mga problema, isang bagay ang nararamdaman ng isang kakaiba tungkol sa pagguhit ng matibay na konklusyon tungkol sa pag-uugali ng tao mula sa mga hindi pangkaraniwang tao na gumaganap ng mga di-pangkaraniwang gawain sa naturang di pangkaraniwang kalagayan. Ang mga alalahanin na ito ay humantong sa isang kilusan patungo sa mga eksperimento sa larangan . Pinagsama ng mga eksperimento sa mga patlang ang malakas na disenyo ng mga random na mga eksperimentong kontrol na may higit pang mga kinatawan na grupo ng mga kalahok na gumaganap ng mas karaniwang mga gawain sa mas natural na mga setting.

Bagaman ang ilang mga tao ay nag-iisip ng mga eksperimento sa lab at field bilang mga nakikipagkumpitensiyang pamamaraan, pinakamahusay na isipin ang mga ito bilang mga kakontra, na may iba't ibang lakas at kahinaan. Halimbawa, ginamit ni Correll, Benard, and Paik (2007) ang isang lab eksperimento at isang eksperimento sa field sa pagtatangkang hanapin ang mga pinagkukunan ng "parusa ng pagiging ina." Sa Estados Unidos, ang mga ina ay kumikita ng mas kaunting pera kaysa sa mga batang walang anak, kahit na paghahambing ng kababaihan na may katulad na mga kasanayan na nagtatrabaho sa mga katulad na trabaho. Maraming mga posibleng paliwanag para sa pattern na ito, isa na kung saan ay ang mga employer ay kampi laban sa mga ina. (Kawili-wili, ang kabaligtaran ay parang totoo para sa mga ama: sila ay may posibilidad na kumita nang higit pa kaysa sa maihahambing na mga batang walang anak.) Upang masuri ang posibleng mga bias laban sa mga ina, si Correll at mga kasamahan ay nagpatakbo ng dalawang eksperimento: isa sa lab at isa sa larangan.

Una, sa isang lab eksperimento sinabi nila ang mga kalahok, na mga undergraduate ng kolehiyo, na ang isang kumpanya ay nagsasagawa ng isang paghahanap sa trabaho para sa isang tao na humantong sa kanyang bagong East Coast marketing department. Sinabi sa mga estudyante na nais ng kumpanya ang kanilang tulong sa proseso ng pag-hire, at hiniling na suriin ang mga resume ng ilang mga potensyal na kandidato at i-rate ang mga kandidato sa maraming dimensyon, tulad ng kanilang katalinuhan, init, at pangako na magtrabaho. Dagdag dito, tinanong ang mga mag-aaral kung nais nilang magrekomenda ng pagkuha ng aplikante at kung ano ang kanilang inirerekomenda bilang panimulang suweldo. Gayunman, hindi alam ng mga mag-aaral ang mga resume na partikular na itinayo upang maging katulad maliban sa isang bagay: ang ilan sa mga ito ay nagpahiwatig ng pagiging ina (sa pamamagitan ng pag-uugnay sa paglahok sa isang asosasyon ng magulang-guro) at ang ilan ay hindi. Natuklasan ni Correll at mga kasamahan na ang mga mag-aaral ay mas malamang na inirerekomenda ang pag-hire ng mga ina at inalok nila sila ng mas mababang panimulang suweldo. Dagdag pa, sa pamamagitan ng isang statistical analysis ng parehong mga rating at ang mga desisyon na may kaugnayan sa pag-hire, natagpuan ng Correll at mga kasamahan na ang mga disadvantages ng mga ina ay higit na ipinaliwanag sa pamamagitan ng katotohanang sila ay mas mababa sa mga tuntunin ng kakayahan at pangako. Sa gayon, pinahintulutan ng eksperimentong lab na ito si Correll at mga kasamahan upang sukatin ang isang salungat na epekto at magbigay ng isang posibleng paliwanag para sa epekto na iyon.

Siyempre, ang isa ay maaaring may pag-aalinlangan tungkol sa pagguhit ng mga konklusyon tungkol sa buong merkado ng labor sa US batay sa mga desisyon ng ilang daang mga undergraduates na malamang na hindi kailanman nagkaroon ng full-time na trabaho, pabayaan mag-isa ang isang tao. Samakatuwid, ang Correll at mga kasamahan ay nagsagawa rin ng isang komplementaryong eksperimentong field. Tumugon sila sa daan-daang mga na-advertise na mga bakanteng trabaho na may pekeng mga titik ng pabalat at resume. Katulad ng mga materyales na ipinakita sa mga undergraduates, ang ilang mga resumes signaled pagiging ina at ang ilan ay hindi. Natuklasan ni Correll at mga kasamahan na ang mga ina ay mas malamang na tumawag muli para sa mga interbyu kaysa sa mga kwalipikadong kababaihan na walang anak. Sa ibang salita, ang mga tunay na tagapag-empleyo na gumagawa ng mga kapasyahang desisyon sa isang likas na setting ay tulad ng mga undergraduates. Gumawa ba sila ng katulad na mga desisyon para sa parehong dahilan? Sa kasamaang palad, hindi namin alam. Ang mga mananaliksik ay hindi maaaring humiling sa mga tagapag-empleyo na i-rate ang mga kandidato o ipaliwanag ang kanilang mga desisyon.

Ang pares ng mga eksperimento ay nagpapakita ng maraming tungkol sa mga eksperimento sa lab at field sa pangkalahatan. Ang mga eksperimento ng lab ay nag-aalok ng mga mananaliksik na malapit sa kabuuang kontrol ng kapaligiran kung saan ang mga kalahok ay gumagawa ng mga desisyon. Halimbawa, sa eksperimento ng lab, napatunayan ng Correll at mga kasamahan na ang lahat ng resume ay nabasa sa tahimik na setting; sa eksperimentong field, ang ilan sa mga resume ay maaaring hindi pa nabasa. Dagdag pa, dahil alam ng mga kalahok sa setting ng lab na pinag-aaralan ang mga ito, ang mga mananaliksik ay madalas na makakolekta ng karagdagang data na makakatulong sa ipaliwanag kung bakit ang mga kalahok ay gumagawa ng kanilang mga desisyon. Halimbawa, tinanong ni Correll at mga kasamahan ang mga kalahok sa eksperimentong lab upang i-rate ang mga kandidato sa iba't ibang sukat. Ang ganitong uri ng data ng proseso ay maaaring makatulong sa mga mananaliksik na maunawaan ang mga mekanismo sa likod ng mga pagkakaiba kung paano tinutugunan ng mga kalahok ang mga resume.

Sa kabilang banda, ang mga eksaktong parehong mga katangian na inilarawan ko lamang bilang mga bentahe ay kung minsan ay itinuturing na mga disadvantages. Ang mga mananaliksik na mas gusto ang mga eksperimento sa field ay nagpapahayag na ang mga kalahok sa mga eksperimento sa lab ay maaaring kumilos nang di naiiba dahil alam nila na pinag-aaralan sila. Halimbawa, sa lab eksperimento, maaaring nahulaan ng mga kalahok ang layunin ng pananaliksik at binago ang kanilang pag-uugali upang hindi lumitaw ang pinapanigla. Karagdagan pa, ang mga mananaliksik na mas gusto ang mga eksperimento sa field ay maaaring magtaltalan na ang mga maliliit na pagkakaiba sa mga resume ay maaaring tumayo lamang sa isang malinis at malinis na kapaligiran sa lab, at sa gayon ang eksperimento ng lab ay magpapalaki ng epekto ng pagiging ina sa mga tunay na desisyon sa pag-hire. Sa wakas, maraming mga tagapagtaguyod ng mga eksperimento ng field ang pumuna sa pagsisikap ng mga eksperimento sa lab sa mga kalahok sa WEIRD: ang mga mag-aaral mula sa Western, Educated, Industrialized, Rich, at Democratic countries (Henrich, Heine, and Norenzayan 2010a) . Ang mga eksperimento ng Correll at mga kasamahan (2007) naglalarawan ng dalawang labis na labis sa lab-field continuum. Sa pagitan ng dalawang labis na labis na ito ay mayroon ding iba't ibang mga hybrid na disenyo, kabilang ang mga diskarte tulad ng pagdadala ng mga di-mag-aaral sa isang lab o pagpunta sa field ngunit nagkakaroon pa rin ng mga kalahok ang isang hindi pangkaraniwang gawain.

Bilang karagdagan sa dimensyon ng patlang ng lab na umiiral sa nakaraan, ang digital age ay nangangahulugan na ang mga mananaliksik ay mayroon na ngayong pangalawang pangunahing dimensyon kung saan maaaring mag-iba ang mga eksperimento: analog-digital. Tulad ng mga purong mga eksperimentong lab, mga eksperimento ng dalisay na patlang, at iba't ibang mga hybrid sa pagitan, mayroong mga dalisay na eksperimento ng analog, purong mga digital na eksperimento, at iba't ibang mga hybrids. Ito ay nakakalito upang mag-alok ng isang pormal na kahulugan ng dimensyong ito, ngunit isang kapaki-pakinabang na kahulugan sa pagtatrabaho ay ang mga ganap na digital na eksperimento ay mga eksperimento na gumagamit ng digital na imprastraktura upang mag-recruit ng mga kalahok, mag-randomize, maghatid ng mga paggagamot, at sukatin ang mga resulta. Halimbawa, ang pag-aaral ng Restnwo at van de Rijt (2012) ng mga barnstar at Wikipedia ay isang ganap na digital na eksperimento dahil ginamit nito ang mga digital na sistema para sa lahat ng apat na hakbang na ito. Gayundin, ang mga ganap na analogong eksperimento ay hindi gumagamit ng digital na imprastraktura para sa alinman sa apat na hakbang na ito. Marami sa mga klasikong eksperimento sa sikolohiya ay ganap na analog na eksperimento. Sa pagitan ng dalawang extremes na ito, may mga bahagyang digital na mga eksperimento na gumagamit ng isang kumbinasyon ng analog at digital na mga system.

Kapag iniisip ng ilang tao ang mga digital na eksperimento, agad nilang iniisip ang mga eksperimento sa online. Ito ay kapus-palad dahil ang mga pagkakataon na magpatakbo ng mga digital na eksperimento ay hindi lamang online. Ang mga mananaliksik ay maaaring magpatakbo ng ilang mga digital na eksperimento sa pamamagitan ng paggamit ng mga digital na aparato sa pisikal na mundo upang makapaghatid ng paggamot o sukatin ang mga kinalabasan. Halimbawa, maaaring gamitin ng mga mananaliksik ang mga smartphone upang maghatid ng mga paggamot o sensor sa nakapaloob na kapaligiran upang sukatin ang mga kinalabasan. Sa katunayan, tulad ng makikita natin mamaya sa kabanatang ito, ginamit na ng mga mananaliksik ang mga metro ng kapangyarihan ng bahay upang sukatin ang mga resulta sa mga eksperimento tungkol sa paggamit ng enerhiya na kinasasangkutan ng 8.5 milyong kabahayan (Allcott 2015) . Tulad ng mga digital na aparato ay nagiging mas integrated sa mga tao ng buhay at sensors maging isinama sa binuo na kapaligiran, ang mga pagkakataon na tumakbo bahagyang digital na mga eksperimento sa pisikal na mundo ay dagdagan ang kapansin-pansing. Sa ibang salita, ang mga digital na eksperimento ay hindi lamang mga eksperimento sa online.

Ang mga digital na sistema ay lumikha ng mga bagong posibilidad para sa mga eksperimento sa lahat ng dako kasama ang lab-field continuum. Sa mga dalisay na eksperimentong lab, halimbawa, ang mga mananaliksik ay maaaring gumamit ng mga digital na sistema para sa mas mahusay na pagsukat ng pag-uugali ng mga kalahok; isang halimbawa ng ganitong uri ng pinabuting pagsukat ay ang mga kagamitan sa pagsubaybay sa mata na nagbibigay ng tumpak at patuloy na mga panukat ng pagtingin sa lokasyon. Ang digital age ay lumilikha din ng posibilidad na magpatakbo ng mga eksperimento tulad ng lab sa online. Halimbawa, mabilis na pinagtibay ng mga mananaliksik ang Amazon Mechanical Turk (MTurk) upang kumalap ng mga kalahok para sa mga online na eksperimento (figure 4.2). Ang mga MTURk ay tumutugma sa "mga tagapag-empleyo" na may mga gawain na kailangang makumpleto sa "manggagawa" na gustong makumpleto ang mga gawaing iyon para sa pera. Hindi tulad ng tradisyunal na mga merkado ng paggawa, gayunpaman, ang mga gawain na kasangkot ay karaniwang nangangailangan lamang ng ilang minuto upang makumpleto, at ang buong pakikipag-ugnayan sa pagitan ng employer at manggagawa ay online. Dahil ang MTurk ay nagsasaad ng mga aspeto ng mga tradisyunal na mga eksperimento ng lab-nagbabayad ng mga tao upang makumpleto ang mga gawain na hindi nila gagawin nang libre-natural na angkop ito sa ilang mga uri ng mga eksperimento. Mahalaga, nilikha ng MTurk ang imprastraktura para sa pamamahala ng isang grupo ng mga kalahok-recruiting at pagbabayad ng mga tao-at ang mga mananaliksik ay nakuha ang bentahe ng imprastraktura upang mag-tap sa isang palaging magagamit pool ng mga kalahok.

Figure 4.2: Mga papel na inilathala gamit ang data mula sa Amazon Mechanical Turk (MTurk). Ang MTurk at iba pang mga online na labor market ay nag-aalok ng mga mananaliksik ng maginhawang paraan upang kumalap ng mga kalahok para sa mga eksperimento. Inangkop mula sa Bohannon (2016) .

Ang mga digital na sistema ay lumikha ng higit pang mga posibilidad para sa mga eksperimento tulad ng field. Sa partikular, pinagana nila ang mga mananaliksik upang pagsamahin ang masikip na kontrol at proseso ng data na nauugnay sa mga eksperimento sa lab na may mas magkakaibang kalahok at mas natural na mga setting na nauugnay sa mga eksperimento sa lab. Bilang karagdagan, ang mga digital na eksperimento sa field ay nag-aalok din ng tatlong pagkakataon na tended mahirap sa mga analog na eksperimento.

Una, samantalang ang karamihan sa mga analog na eksperimentong lab at field ay may daan-daang kalahok, ang mga eksperimento sa digital na patlang ay maaaring magkaroon ng milyun-milyong kalahok. Ang pagbabago sa scale ay dahil ang ilang mga digital na mga eksperimento ay maaaring gumawa ng data sa zero variable na gastos. Iyon ay, sa sandaling ang mga mananaliksik ay gumawa ng isang pang-eksperimentong imprastraktura, ang pagtaas ng bilang ng mga kalahok ay kadalasang hindi nagtataas ng gastos. Ang pagtaas ng bilang ng mga kalahok sa pamamagitan ng isang kadahilanan ng 100 o higit pa ay hindi lamang isang pagbabagong dami ; ito ay isang kwalitibong pagbabago, dahil nagbibigay-daan ito sa mga mananaliksik upang matuto ng iba't ibang mga bagay mula sa mga eksperimento (halimbawa, heterogeneity ng mga epekto sa paggamot) at upang magpatakbo ng lahat ng iba't ibang mga pang-eksperimentong disenyo (halimbawa, mga eksperimentong malalaking grupo). Ang puntong ito ay napakahalaga, babalik ako dito sa katapusan ng kabanata kapag nag-aalok ako ng payo tungkol sa paglikha ng mga digital na eksperimento.

Pangalawa, samantalang tinuturing ng mga eksperimentong lab na eksperimentong analog at field ang mga kalahok bilang hindi makikilala na mga widget, madalas na ginagamit ng mga eksperimento sa digital na patlang ang impormasyon sa background tungkol sa mga kalahok sa mga yugto ng disenyo at pagtatasa ng pananaliksik. Ang impormasyon sa background na ito, na tinatawag na pre-treatment na impormasyon , ay madalas na magagamit sa mga digital na eksperimento dahil ang mga ito ay tumatakbo sa ibabaw ng mga sistema ng pagsukat ng laging (tingnan ang kabanata 2). Halimbawa, ang isang mananaliksik sa Facebook ay may higit pang pre-treatment na impormasyon tungkol sa mga tao sa kanyang eksperimentong digital field kaysa sa isang mananaliksik sa unibersidad ay tungkol sa mga tao sa kanyang eksperimento sa larangan ng analog. Ang pre-paggamot na ito ay nagbibigay-daan sa mas mahusay na mga eksperimentong disenyo-tulad ng pag-block (Higgins, Sävje, and Sekhon 2016) at naka-target na pangangalap ng mga kalahok (Eckles, Kizilcec, and Bakshy 2016) -at higit na (Eckles, Kizilcec, and Bakshy 2016) pagsusuri-tulad ng pagpapalagay ng heterogeneity ng mga epekto sa paggamot (Athey and Imbens 2016a) at pagsasaayos ng (Bloniarz et al. 2016) para sa pinabuting katumpakan (Bloniarz et al. 2016) .

Ikatlo, samantalang maraming mga analog na eksperimento sa lab at field ang naghahatid ng mga paggamot at sinusukat ang mga kinalabasan sa isang medyo naka-compress na dami ng oras, ang ilang mga eksperimento sa field ng digital ay nangyayari sa maraming mas maraming beses. Halimbawa, ang eksperimento ng Restivo at van de Rijt ay may pang-araw-araw na resulta sa loob ng 90 araw, at isa sa mga eksperimentong sasabihin ko sa iyo tungkol sa ibang pagkakataon sa kabanata (Ferraro, Miranda, and Price 2011) sinusubaybayan ang mga resulta sa loob ng tatlong taon sa karaniwang hindi gastos. Ang tatlong mga pagkakataon na sukat sa oportunidad, pre-paggamot, at pang-agwat na paggamot at data ng kinalabasan-ay lumilitaw na karaniwang kapag ang mga eksperimento ay tumatakbo sa ibabaw ng mga sistema ng pagsukat ng laging (tingnan ang kabanata 2 para sa higit pa sa mga sistema ng pagsukat ng laging).

Habang nag-aalok ang mga digital na eksperimento sa field ng maraming posibilidad, nagbabahagi din sila ng ilang mga kahinaan na may parehong mga analog na lab at analog na mga eksperimentong field. Halimbawa, hindi maaaring gamitin ang mga eksperimento upang pag-aralan ang nakalipas, at maaari lamang nilang tantyahin ang mga epekto ng paggamot na maaaring manipulahin. Gayundin, kahit na ang mga eksperimento ay walang alinlangan na kapaki-pakinabang sa gabay na patakaran, ang eksaktong patnubay na maaari nilang alok ay medyo limitado dahil sa mga komplikasyon tulad ng pag-asa sa kapaligiran, mga problema sa pagsunod, at mga epekto sa ekwilibrium (Banerjee and Duflo 2009; Deaton 2010) . Ang mga digital na eksperimento sa field ay nagpapalaki rin sa mga alalahanin sa etika na nilikha ng mga eksperimento sa larangan-isang paksa na gagawin ko sa hinaharap sa kabanatang ito at sa kabanata 6.