4.3 Dalawang mga sukat ng mga eksperimento: lab-field at analog-digital

Lab eksperimento ay nag-aalok control, ang patlang na mga eksperimento ay nag-aalok ng pagiging makatotohanan, at digital field eksperimento pagsamahin control at pagiging totoo sa scale.

Eksperimento dumating sa maraming iba't-ibang hugis at sukat. Ngunit, sa kabila ng mga pagkakaibang ito, ang mga mananaliksik ay may natagpuan ito kapaki-pakinabang upang ayusin ang mga eksperimento sa kahabaan ng isang continuum sa pagitan eksperimento lab at ang patlang na mga eksperimento. Ngayon, gayunpaman, ang mga mananaliksik ay dapat din ayusin eksperimento sa kahabaan ng isang continuum sa pagitan ng analog eksperimento at digital na mga eksperimento. Ang dalawang-dimensional disenyo space ay makakatulong sa iyo na maunawaan ang mga lakas at kahinaan ng iba't-ibang pamamaraang at magmungkahi lugar ng pinakadakilang pagkakataon (Figure 4.1).

Figure 4.1: Eskematiko ng disenyo space para sa mga eksperimento. Sa nakaraan, ang mga eksperimento iba-iba sa kahabaan ng lab-field sukat. Ngayon, sila din mag-iba sa analog-digital na dimensyon. Sa aking opinyon, ang lugar ng pinakadakilang pagkakataon ay digital field eksperimento.

Sa nakaraan, ang pangunahing paraan na ang mga mananaliksik na inorganisa eksperimento ay kasama ang lab-field sukat. Ang karamihan ng mga eksperimento sa agham panlipunan ay lab eksperimento kung saan undergraduate mga mag-aaral gumanap kakaibang gawain sa isang lab para sa mga kurso credit. Ang ganitong uri ng eksperimento dominates pananaliksik sa sikolohiya sapagkat ito ay nagbibigay-daan sa mga mananaliksik upang lumikha ng napaka-tukoy na treatment na dinisenyo upang subukan napaka-tukoy na theories tungkol sa social na pag-uugali. Para sa ilang mga problema, gayunpaman, isang bagay nararamdaman ng isang bit kakaiba tungkol sa pagguhit malakas konklusyon tungkol sa tao na pag-uugali mula sa naturang pangkaraniwang tao na magsagawa ng tulad ng hindi pangkaraniwang mga gawain sa tulad ng isang hindi pangkaraniwang setting. Ang mga alalahanin na humantong sa isang kilusan papunta field eksperimento. Field eksperimento pagsamahin ang malakas na disenyo ng randomized control eksperimento na may higit pang mga pangkat na kinatawan ng mga kalahok, gumaganap ng mas maraming mga karaniwang gawain, sa mas natural na setting.

Bagaman ang ilang mga tao sa tingin ng lab at ang patlang na mga eksperimento bilang pakikipagkumpitensya mga pamamaraan, ito ay pinakamahusay na mag-isip ng mga ito bilang mga pantulong na pamamaraan na may iba't ibang mga lakas at kahinaan. Halimbawa, Correll, Benard, and Paik (2007) ginamit ang parehong isang lab eksperimento at isang patlang na eksperimento sa isang pagtatangka upang mahanap ang pinagmulan ng mga "pagiging ina parusa." Sa Estados Unidos, mga ina kumita ng mas mababa pera kaysa walang anak kababaihan, kahit na paghahambing ng mga kababaihan na may katulad na mga kasanayan nagtatrabaho sa mga katulad na mga trabaho. Mayroong maraming posibleng mga paliwanag para sa pattern na ito, ang isa'y narito na ang mga nagpapatrabaho ay kampi laban ina. (Nang kawili-wili, ang kabaligtaran ay anyong tunay na para sa mga magulang: malamang sila upang kumita ng higit kaysa sa maihahambing na walang anak lalaki). Upang masuri posibleng bias laban ina, Correll at kasamahan ran dalawang mga eksperimento: ang isa sa lab at isa sa patlang.

Una, sa isang eksperimento lab Correll at kasamahan sinabi sa mga kalahok, na mga college undergraduates, na ang isang California-based na start-up ng komunikasyon kumpanya ay pagsasagawa ng isang paghahanap ng trabaho para sa isang tao na humantong sa kanyang bagong East Coast marketing department. Mga mag-aaral ay sinabi na ang kumpanya pinaghahanap ng kanilang tulong sa hiring proseso at sila ay hilingin sa iyo na suriin resumes ng ilang mga potensyal na mga kandidato at upang i-rate ang mga kandidato sa isang bilang ng mga sukat tulad ng kanilang katalinuhan, init, at pangako sa trabaho. Dagdag dito, ang mga mag-aaral ay tinatanong kung sila ay pinapayo hiring ang aplikante at kung ano ang mga ito ay inirerekomenda bilang isang panimulang suweldo. Walang anumang kaalaman sa mga mag-aaral, gayunpaman, ang resumes ay partikular na binuo upang maging katulad maliban sa isang bagay: ang ilan sa mga resumes signaled pagiging ina (sa pamamagitan ng paglilista paglahok sa isang asosasyon ng magulang-guro) at ang ilan ay hindi. Correll natagpuan na mag-aaral ay mas malamang na pinapayo hiring ang mga ina at inaalok ang mga ito mas mababa ang sweldong. Dagdag dito, sa pamamagitan ng isang statistical analysis ng parehong mga rating at ang pag-hire na may kinalaman sa mga desisyon, Correll natagpuan na ina 'disadvantages ay higit sa lahat ng ipinaliwanag sa pamamagitan ng ang katunayan na ang mga ina ay rated lower sa mga tuntunin ng kakayahan at commitment. Sa ibang salita, Correll argues na ang mga katangiang ito ay ang mekanismo sa pamamagitan ng na mga ina ay disadvantaged. Kaya, ang lab eksperimento pinapayagan Correll at kasamahan upang sukatin ang isang pananahilan epekto at magbigay ng isang posibleng paliwanag para sa gayong paraan.

Of course, maaaring isa ay nag-aalinlangan tungkol sa bumubuo ng mga palagay tungkol sa buong merkado US labor batay sa desisyon ng ilang daang undergraduates taong marahil hindi kailanman ay nagkaroon ng isang buong oras ng trabaho, pabayaan mag-isa upahan tao. Samakatuwid, Correll at kasamahan din na isinasagawa ng isang pantulong na field eksperimento. Ang mga mananaliksik ay tumugon sa daan-daang mga advertised bakanteng trabaho sa pamamagitan ng pagpapadala sa mga pekeng mga titik na takip at Resume. Katulad sa mga materyales na ipinakita sa undergraduates, ang ilang resumes signaled pagiging ina at ang ilan ay hindi. Correll at kasamahan natagpuan na ang mga ina ay mas malamang na makakuha ng tinatawag na bumalik para sa mga panayam sa pantay qualified walang anak kababaihan. Sa ibang salita, real employer paggawa kinahihinatnan pagpapasya sa isang natural na setting behaved na halos tulad ng undergraduates. Ba sila gumawa ng katulad na mga desisyon para sa parehong dahilan? Sa kasamaang palad, hindi namin alam. Ang mga mananaliksik ay hindi magagawang upang hilingin sa mga employer upang i-rate ang mga kandidato o ipaliwanag ang kanilang mga desisyon.

Ang pares ng mga eksperimento ay nagpapakita ng maraming tungkol sa lab at ang patlang na mga eksperimento sa pangkalahatan. Lab eksperimento ay nag-aalok mananaliksik malapit magkokontrol sa lahat ng kapaligiran kung saan ang mga kalahok ay paggawa ng mga desisyon. Kaya, halimbawa, sa eksperimento lab, Correll ay able sa matiyak na ang lahat ng mga resumes ay basahin sa isang tahimik na setting; sa eksperimento field, ang ilan sa mga resumes maaaring hindi na kahit na basahin. Bukod dito, sapagka't kalahok sa setting lab malaman na sila ay pinag-aaralan, mga mananaliksik ay madalas magagawang upang mangolekta ng karagdagang data na maaaring makatulong sa kanila na maunawaan kung bakit ang mga kalahok ay paggawa ng kanilang mga desisyon. Halimbawa, Correll nagtanong kalahok sa eksperimento lab upang i-rate ang mga kandidato sa iba't ibang mga sukat. Ang ganitong uri ng data na proseso ay maaaring makatulong sa mga mananaliksik na maunawaan ang mga mekanismo sa likod pagkakaiba sa kung paano kalahok gamutin ang Resume.

Sa kabilang dako, ang mga eksaktong parehong mga katangian na ako lang inilarawan bilang pakinabang ay din minsan itinuturing disadvantages. Mananaliksik may gusto field eksperimento magtaltalan na ang mga kalahok sa mga eksperimento lab maaaring kumilos napaka naiiba kapag sila ay malapit na-obserbahan. Halimbawa, sa lab eksperimento kalahok ay maaaring magkaroon ng guessed ang layunin ng pananaliksik at binago ang kanilang pag-uugali sa gayon ay hindi lilitaw makiling. Dagdag dito, mga mananaliksik na mas gugustuhing field eksperimento maaaring magtaltalan na maliit na mga pagkakaiba sa resumes ay maaari lamang lumantad sa isang napaka-malinis, payat na kapaligiran lab, at sa gayon ay ang lab eksperimento ay over-tantyahin ang epekto ng pagiging ina sa mga desisyon real-hire. Panghuli, maraming mga proponents ng field eksperimento pumuna lab eksperimento pag-uumasa sa WEIRD kalahok: higit sa lahat mag-aaral mula sa Western, Tinuturuan, Industrialized, Rich, at Democratic bansa (Henrich, Heine, and Norenzayan 2010) . Ang mga eksperimento sa pamamagitan Correll at kasamahan (2007) ilarawan ang dalawang extremes sa lab-field continuum. Sa pagitan ng dalawang extremes may mga isang iba't ibang mga hybrid disenyo kabilang ang mga pamamaraang tulad ng nagdadala non-mag-aaral sa lab o pagpunta sa field ngunit nagkakaroon pa rin ng mga kalahok makaganap ng isang di-pangkaraniwang gawain.

Bilang karagdagan sa mga lab-field sukat na umiral sa nakaraan, mga digital na edad ay nangangahulugan na ang mga mananaliksik na ngayon ng isang ikalawang pangunahing dimensyon kasama na mga eksperimento ay maaaring nagkakaiba: analog-digital. Tulad ng may mga purong mga eksperimento lab, dalisay field eksperimento, at isang iba't ibang mga hybrids sa pagitan, may mga purong analog eksperimento, dalisay digital mga eksperimento, at isang iba't ibang mga hybrids. Ito ay mapandaya upang mag-alok ng isang pormal na kahulugan ng sukat na ito, ngunit isang kapaki-pakinabang na nagtatrabaho kahulugan ay ang ganap na digital eksperimento ay eksperimento na gumawa ng paggamit ng mga digital na imprastraktura upang kumalap mga kalahok, sunod, maghatid treatment, at sukatin kinalabasan. Halimbawa, Restivo at van de Rijt ni (2012) pag-aaral ng barnstars at Wikipedia ay isang ganap na digital eksperimento dahil ito ginagamit digital na mga sistema para sa lahat ng apat na ng mga hakbang. Gayundin ganap analog eksperimento ay mga eksperimento na hindi gumawa ng paggamit ng mga digital na imprastraktura para sa anuman sa mga apat na hakbang. Marami sa mga klasikong mga eksperimento sa sikolohiya ay analog eksperimento. Sa pagitan ng dalawang extremes may mga bahagyang digital eksperimento na gumamit ng isang kumbinasyon ng mga analog at digital na mga sistema para sa apat na mga hakbang.

Critically, ang mga pagkakataon na tumakbo digital eksperimento ay hindi lamang online. Mananaliksik ay maaaring tumakbo bahagyang digital eksperimento sa pamamagitan ng paggamit ng mga digital na aparato sa ang pisikal na mundo upang iligtas paggamot o masukat kinalabasan. Halimbawa, ang mga mananaliksik ay maaaring gumamit ng smart phone upang makapaghatid ng paggamot o sensors sa built kapaligiran upang masukat kinalabasan. Sa katunayan, gaya ng makikita natin sa ibang pagkakataon sa kabanatang ito, mga mananaliksik ay may ginagamit na bahay kapangyarihan metro upang masukat kinalabasan sa mga eksperimento tungkol sa social norms at enerhiya consumption kinasasangkutan 8.5 milyong ng mga kabahayan (Allcott 2015) . Bilang mga digital na aparato maging increasingly isinama sa buhay ng mga tao at mga sensor maging isinama sa mga nakapaloob sa kapaligiran, ang mga pagkakataong ito upang magpatakbo ng bahagyang digital eksperimento sa pisikal na mundo ay dagdagan dramatically. Sa ibang salita, mga digital na mga eksperimento ay hindi lamang online na mga eksperimento.

Digital systems lumikha ng mga bagong posibilidad para sa mga eksperimento sa lahat ng dako sa kahabaan ng lab-field continuum. Sa purong mga eksperimento lab, halimbawa, ang mga mananaliksik ay maaaring gumamit ng digital na mga sistema para sa mas pinong pagsukat ng mga kalahok 'pag-uugali; isang halimbawa ng ganitong uri ng pinabuting pagsukat ay mata-pagsubaybay kagamitan na nagbibigay ng tumpak at tuloy-tuloy na mga panukala ng titig na lokasyon. Ang mga digital na edad rin ay lumilikha ang posibilidad na tumakbo lab-tulad ng mga eksperimento online. Halimbawa, mga mananaliksik ay may mabilis na pinagtibay Amazon Mechanical Turk (MTurk) upang kumalap mga kalahok para sa online na mga eksperimento (Figure 4.2). MTurk tumutugma "employer" na may mga gawain na kailangan upang makumpleto na may "manggagawa" na nais upang makumpleto ang mga gawain para sa pera. Hindi tulad ng tradisyonal na mga merkado paggawa, gayunpaman, ang mga gawain na kasangkot ay karaniwang nangangailangan lamang ng ilang minuto upang makumpleto at ang buong ugnayan sa pagitan ng employer at manggagawa ay virtual. Dahil MTurk mimics aspeto ng tradisyonal na lab eksperimento na magbayad na mga tao upang makumpleto ang mga gawain na hindi nila gawin para sa free-ito natural ay angkop para sa ilang uri ng mga eksperimento. Mahalaga, MTurk ay lumikha ng mga imprastraktura para sa pamamahala ng isang pool ng mga kalahok-recruiting at nagbabayad ng mga tao-at mga mananaliksik ay may kinuha bentahe ng infrastructure na mag-tap sa isang laging magagamit pool ng mga kalahok.

Figure 4.2: Papers publish gamit ang data mula sa Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk at iba pang mga online labor market ay nag-aalok mga mananaliksik ng isang maginhawang paraan upang kumalap mga kalahok para sa mga eksperimento.

Digital eksperimento lumikha ng mas maraming mga posibilidad para sa field-like na mga eksperimento. Digital field eksperimento maaaring mag-alok mahigpit na kontrol at proseso ng data upang maunawaan posibleng mekanismo (tulad ng mga eksperimento lab) at mas magkakaibang mga kalahok paggawa ng tunay na desisyon sa isang natural na kapaligiran (tulad ng field eksperimento). Bilang karagdagan sa ang kumbinasyon ng mga mahusay na mga katangian ng mga naunang eksperimento, digital field eksperimento ay nag-aalok din ng tatlong mga pagkakataon na mahirap sa analog lab at ang patlang na mga eksperimento.

Una, samantalang ang karamihan sa analog lab at ang patlang na mga eksperimento ay may daan-daang ng mga kalahok, mga digital na field eksperimento ay maaaring magkaroon ng milyon-milyong ng mga kalahok. Ang pagbabagong ito sa scale ay dahil ang ilang mga digital na mga eksperimento ay maaaring gumawa ng data sa zero variable gastos. Iyon ay, sa sandaling mga mananaliksik ay may nilikha ang isang ineksperimentuhang infrastructure, ang pagtaas ng bilang ng mga kalahok ay karaniwang ay hindi taasan ang gastos. Ang pagtaas ng bilang ng mga kalahok sa pamamagitan ng isang kadahilanan ng 100 o higit pa ay hindi lamang isang nabibilang na pagbabago, ito ay isang ng husay pagbabago, dahil ito ay nagbibigay-daan sa mga mananaliksik upang matutunan ang iba't ibang mga bagay-bagay mula sa mga eksperimento (eg, heterogeneity ng mga epekto paggamot) at patakbuhin ganap na magkaibang mga pang-eksperimentong disenyo ( eg, malaking grupo ng mga eksperimento). Ang puntong ito ay kaya mahalaga, kukunin ko na bumalik sa ito patungo sa dulo ng kabanata kapag ako ay nag-aalok ng payo tungkol sa paglikha ng mga digital na mga eksperimento.

Pangalawa, samantalang ang karamihan sa analog lab at ang patlang na eksperimento gamutin kalahok bilang maulinigan widgets, digital field eksperimento ay madalas na gamitin ang background na impormasyon tungkol sa mga kalahok sa disenyo at pagtatasa yugto ng pananaliksik. Ito background na impormasyon, na kung saan ay tinatawag na impormasyon pre-paggamot, ay madalas na magagamit sa mga digital na mga eksperimento dahil sila ay kumuha ng lugar sa ganap na sinusukat kapaligiran. Halimbawa, ang isang researcher sa Facebook ay may mas higit pang impormasyon pre-paggamot sa isang researcher pagdisenyo ng isang karaniwang eksperimento lab sa undergraduates. Ang impormasyon na ito pre-treatment ay nagbibigay-daan sa mga mananaliksik upang ilipat sa kabila ng pagpapagamot kalahok bilang maulinigan widgets. Higit pang mga partikular, pre-paggamot impormasyon ay nagbibigay-daan sa mas mahusay na pang-eksperimentong disenyo-tulad ng pag-block (Higgins, Sävje, and Sekhon 2016) at naka-target recruitment ng mga kalahok (Eckles, Kizilcec, and Bakshy 2016) -At higit pa insightful analysis-gaya ng pagpapahalaga ng heterogeneity ng mga epekto ng paggamot (Athey and Imbens 2016a) at covariate adjustment para sa pinabuting katumpakan (Bloniarz et al. 2016) .

Third, samantalang maraming analog lab at ang patlang na eksperimento maghatid treatments at masukat kinalabasan sa isang relatibong compress na halaga ng oras, ang ilang mga digital na field eksperimento kasangkot paggamot na maaaring maihatid sa paglipas ng panahon at ang mga epekto ay maaari ding maging pantay-pantay sa paglipas ng panahon. Halimbawa, Restivo at van de Rijt ni eksperimento ay ang kinalabasan sinusukat araw-araw para sa 90 araw, at isa sa mga eksperimento Kukunin ko sabihin sa iyo ang tungkol sa huling bahagi ng kabanata (Ferraro, Miranda, and Price 2011) sumusubaybay kinalabasan sa paglipas ng 3 taon sa talaga walang gastos. Ang mga tatlong mga pagkakataon-size, pre-paggamot impormasyon, at paayon paggamot at kinalabasan data-ay pinaka-karaniwan kapag eksperimento ay tumakbo sa tuktok ng laging-on systems measurements (tingnan ang Kabanata 2 para sa higit pa sa palaging-on mga sistema ng pagsukat).

Habang digital field eksperimento ay nag-aalok ng maraming mga posibilidad, sila din ibahagi ang ilang mga kahinaan sa parehong analog lab at ang patlang na mga eksperimento. Halimbawa, ang mga eksperimento ay hindi maaaring gamitin sa pag-aaral sa nakaraan, at maaari lamang silang tantiyahin ang mga epekto ng paggamot na maaaring manipulahin. Gayundin, kahit na eksperimento ay walang pagsala kapaki-pakinabang upang gabayan patakaran, ang eksaktong guidance maaari silang mag-alok ay medyo limitado dahil sa mga komplikasyon tulad ng kapaligiran pagpapakandili, problema pagsunod, at punto ng balanse effects (Banerjee and Duflo 2009; Deaton 2010) . Sa wakas, mga digital na field eksperimento palakihin ang etikal alalahanin nilikha sa pamamagitan ng field eksperimento. Proponents ng field eksperimento trumpeta kanilang kakayahan upang unobtrusively at random mamagitan sa kinahihinatnan desisyon na ginawa ng milyun-milyong tao. Ang mga tampok na nag-aalok ng ilang mga pang-agham na mga pakinabang, ngunit maaari din sila gumawa ng field eksperimento ethically complex (isipin ang tungkol dito tulad ng mga mananaliksik pagpapagamot ng mga tao tulad ng "lab rats" sa isang napakalaking sukat). Dagdag dito, bilang karagdagan sa mga posibleng harms sa mga kalahok, mga digital na field eksperimento, dahil sa kanilang sukat, maaari ring taasan ang mga alalahanin tungkol sa pagkaputol ng mga nagtatrabaho mga social system (eg, mga alalahanin tungkol sa disrupting gantimpala sistema ng Wikipedia kung Restivo at van der Rijt nagbigay too many barnstars) .