4.6.2 Bumuo ng etika sa iyong disenyo: palitan, pinuhin, at bawasan

Gawin ang iyong mga eksperimento mas makatao sa pamamagitan ng pagpapalit ng mga eksperimento sa mga di-pang-eksperimentong pag-aaral, pag-pino ang paggamot, at ang pagbabawas ng bilang ng mga kalahok.

Ang ikalawang piraso ng payo na gusto kong mag-alok tungkol sa pagdisenyo ng mga digital na eksperimento ay may kinalaman sa etika. Tulad ng eksperimento ng Restivo at van de Rijt sa mga barnstar sa mga palabas sa Wikipedia, ang nabawasan na gastos ay nangangahulugan na ang etika ay magiging isang lalong mahalagang bahagi ng disenyo ng pananaliksik. Bilang karagdagan sa mga etikal na balangkas na gumagabay sa pananaliksik ng mga paksa ng tao na ilalarawan ko sa kabanata 6, ang mga mananaliksik na nagdidisenyo ng mga digital na eksperimento ay maaari ring gumuhit ng mga etikal na ideya mula sa ibang pinagmulan: ang mga prinsipyo ng etika na binuo upang gabayan ang mga eksperimento na kinasasangkutan ng mga hayop. Sa partikular, sa kanilang landmark na Mga Prinsipyo ng Humane Experimental Technique , si Russell and Burch (1959) nagpanukala ng tatlong alituntunin na dapat gumabay ng pananaliksik sa hayop: palitan, pinuhin, at bawasan. Gusto kong imungkahi na ang tatlong R na ito ay maaari ding gamitin-sa isang bahagyang binagong anyo-upang gabayan ang disenyo ng mga eksperimento ng tao. Sa partikular,

• Palitan: Palitan ang mga eksperimento na may mga hindi gaanong nagsasalakay na pamamaraan kung maaari.
• Pinuhin: Pinuhin ang paggamot upang gawin itong hindi makasasama hangga't maaari.
• Bawasan: Bawasan ang bilang ng mga kalahok sa iyong eksperimento hangga't maaari.

Upang makagawa ng kongkreto ng tatlong R at ipakita kung paano sila maaaring makapagdulot ng mas mahusay at mas makataong pang-eksperimentong disenyo, ilalarawan ko ang isang online na eksperimento sa patlang na nakabuo ng etika na debate. Pagkatapos, ilalarawan ko kung papaano ang tatlong R ay nagpapahiwatig ng kongkreto at praktikal na mga pagbabago sa disenyo ng eksperimento.

Ang isa sa mga pinaka-etikal na debated digital field experiments ay isinasagawa sa pamamagitan ng Adam Kramer, Jamie Guillroy, at Jeffrey Hancock (2014) at tinawag na "Emosyonal na Pagkalipol." Ang eksperimento ay naganap sa Facebook at na-motivated ng isang mix ng siyentipiko at mga praktikal na katanungan. Sa panahong iyon, ang nangingibabaw na paraan na nakipag-ugnayan ang mga user sa Facebook ay ang News Feed, isang algorithmically curated na hanay ng mga update sa status ng Facebook mula sa mga kaibigan sa Facebook ng gumagamit. Ang ilang mga kritiko ng Facebook ay iminungkahi na dahil ang News Feed ay halos positibong mga post-kaibigan na nagpapakita ng kanilang pinakabagong party-maaari itong maging sanhi ng mga gumagamit na malungkot dahil ang kanilang buhay ay tila mas kapana-panabik sa paghahambing. Sa kabilang banda, marahil ang epekto ay eksaktong kabaligtaran: marahil nakikita ang iyong kaibigan na may isang mahusay na oras ay magiging masaya sa iyo. Upang matugunan ang mga nakikipagkumpitensyang mga teorya na ito-at upang isulong ang aming pagkaunawa kung paano naapektuhan ng damdamin ng isang tao ang damdamin ng kanyang mga kaibigan-Ang Kramer at mga kasamahan ay nagpatakbo ng isang eksperimento. Naglagay sila ng mga 700,000 na gumagamit sa apat na grupo sa loob ng isang linggo: isang "negatibo na nabawasan" na grupo, kung kanino ang mga post na may mga negatibong salita (hal., "Malungkot") ay random na naharang mula sa paglitaw sa News Feed; isang "positibo-nabawasan" na grupo kung kanino ang mga post na may positibong mga salita (hal., "masaya") ay random na hinarangan; at dalawang grupo ng kontrol. Sa grupong kontrol para sa grupong "negatibo na nabawasan", ang mga post ay random na hinarangan sa parehong rate ng grupo na "negatibo-nabawasan" ngunit hindi isinasaalang-alang ang emosyonal na nilalaman. Ang grupong kontrol para sa grupong "positibo-nabawasan" ay itinayo sa magkakatulad na paraan. Ang disenyo ng eksperimentong ito ay naglalarawan na ang naaangkop na grupo ng control ay hindi palaging isang walang mga pagbabago. Sa halip, paminsan-minsan, ang control group ay tumatanggap ng isang paggamot upang lumikha ng tumpak na paghahambing na nangangailangan ng pananaliksik na tanong. Sa lahat ng kaso, ang mga post na na-block mula sa News Feed ay magagamit pa rin sa mga gumagamit sa pamamagitan ng ibang mga bahagi ng website ng Facebook.

Nalaman ng Kramer at mga kasamahan na para sa mga kalahok sa kondisyon na nabawasan ang positibo, ang porsyento ng mga positibong salita sa kanilang mga update sa katayuan ay nabawasan at ang porsyento ng mga negatibong salita ay tumaas. Sa kabilang banda, para sa mga kalahok sa negatibiti-nabawasan na kondisyon, ang porsyento ng mga positibong salita ay nadagdagan at ang mga negatibong salita ay bumaba (tala 4.24). Gayunpaman, ang mga epekto ay medyo maliit: ang pagkakaiba sa positibo at negatibong mga salita sa pagitan ng mga paggamot at kontrol ay humigit-kumulang 1 sa 1,000 salita.

Figure 4.24: Katibayan ng pagkalat ng emosyonal (Kramer, Guillory, and Hancock 2014) . Ang mga kalahok sa negatibiti-pinababang kondisyon ay gumagamit ng mas kaunting mga negatibong salita at mas positibong salita, at ang mga kalahok sa positibo-pinababang kondisyon ay gumagamit ng mas maraming mga negatibong salita at mas kaunting mga positibong salita. Ang mga bar ay kumakatawan sa tinatayang karaniwang mga error. Inangkop mula sa Kramer, Guillory, and Hancock (2014) , tayahin 1.

Bago pag-usapan ang mga isyu sa etika na itinaas ng eksperimentong ito, nais kong ilarawan ang tatlong isyu sa agham na gumagamit ng ilang mga ideya mula sa mas maaga sa kabanata. Una, hindi malinaw kung paano kumokonekta ang mga aktwal na detalye ng eksperimento sa mga claim sa teorya; sa ibang salita, mayroong mga katanungan tungkol sa pagtatayo ng bisa. Hindi malinaw na ang positibo at negatibong mga bilang ng salita ay talagang isang magandang tagapagpahiwatig ng emosyonal na estado ng mga kalahok dahil (1) hindi malinaw na ang mga salita na nai-post ng mga tao ay isang magandang tagapagpahiwatig ng kanilang mga damdamin at (2) hindi ito malinaw na ang partikular na diskarte sa pag-aaral ng kuru-kuro na ginamit ng mga mananaliksik ay mapagkakatiwalaan ng mga emosyon (Beasley and Mason 2015; Panger 2016) . Sa ibang salita, maaaring may masamang sukatan ng isang pinapanigang signal. Ikalawa, ang disenyo at pagtatasa ng eksperimento ay walang sinasabi tungkol sa kung sino ang pinaka-naapektuhan (ibig sabihin, walang pagtatasa ng heterogeneity ng mga epekto sa paggamot) at kung ano ang mekanismo. Sa kasong ito, ang mga mananaliksik ay may maraming impormasyon tungkol sa mga kalahok, ngunit ang mga ito ay mahalagang itinuturing bilang mga widgets sa pagtatasa. Ikatlo, ang laki ng epekto sa eksperimentong ito ay napakaliit; ang pagkakaiba sa pagitan ng mga kondisyon sa paggamot at kontrol ay humigit-kumulang sa 1 sa 1,000 salita. Sa kanilang papel, ginagawang Kramer at kasamahan ang kaso na ang epekto ng laki na ito ay mahalaga dahil daan-daang milyong mga tao ang nag-access sa kanilang News Feed araw-araw. Sa ibang salita, pinagtatalunan nila na kahit na ang mga epekto ay maliit para sa bawat tao, sila ay malaki sa kabuuan. Kahit na tanggapin mo ang argumentong ito, hindi pa rin malinaw kung ang isang epekto ng laki na ito ay mahalaga tungkol sa mas pangkalahatang pang-agham na tanong tungkol sa pagkalat ng damdamin (Prentice and Miller 1992) .

Bilang karagdagan sa mga pang-agham na tanong, ilang araw lamang matapos ang papel na ito ay na-publish sa Mga Pamamaraan ng National Academy of Sciences , nagkaroon ng napakalaking pagtawid mula sa parehong mga mananaliksik at pindutin ang (ilalarawan ko ang mga argumento sa debate na ito nang mas detalyado sa kabanata 6 ). Ang mga isyu na idinulot sa debate na ito ay nagdulot ng journal na mag-publish ng isang bihirang "editorial expression ng pag-aalala" tungkol sa etika at proseso ng etikal na pagsusuri para sa pananaliksik (Verma 2014) .

Dahil sa background na iyon tungkol sa Emosyonal na Pagkakasakit, nais kong ipakita na ang tatlong R ay maaaring magmungkahi ng kongkreto, praktikal na mga pagpapabuti para sa mga tunay na pag-aaral (anumang maaaring personal mong pag-isipan ang etika ng partikular na eksperimento na ito). Ang unang R ay palitan : ang mga mananaliksik ay dapat na humingi upang palitan ang mga eksperimento na may mas nakakahawa at mapanganib na mga diskarte, kung maaari. Halimbawa, sa halip na magpatakbo ng isang randomized na kinokontrol na eksperimento, maaaring mapagsamantala ng mga mananaliksik ang isang natural na eksperimento . Tulad ng inilarawan sa kabanata 2, ang mga natural na eksperimento ay mga sitwasyon kung saan ang isang bagay ay nangyayari sa mundo na tinatayang ang random na pagtatalaga ng paggamot (halimbawa, isang loterya upang magpasiya kung sino ang gagawin sa militar). Ang etikal na bentahe ng isang likas na eksperimento ay ang tagapagpananaliksik ay hindi kailangang maghatid ng mga paggamot: ang kapaligiran ay para sa iyo. Halimbawa, halos sabay-sabay sa eksperimentong Emosyonal na Lorenzo Coviello et al. (2014) , si Lorenzo Coviello et al. (2014) ay nagsasamantala kung ano ang maaaring tawagin ng isang natural na eksperimento sa Pamamagitan ng Emosyonal. Natuklasan ni Coviello at mga kasamahan na ang mga tao ay nagpaskil ng higit pang mga negatibong salita at mas kaunting mga positibong salita sa mga araw kung saan umulan. Samakatuwid, sa pamamagitan ng paggamit ng random na pagkakaiba-iba sa panahon, natutunan nila ang pag-aaral ng epekto ng mga pagbabago sa News Feed nang hindi nangangailangan na mamagitan sa lahat. Ito ay parang ang panahon ay nagpapatakbo ng kanilang eksperimento para sa kanila. Ang mga detalye ng kanilang pamamaraan ay medyo kumplikado, ngunit ang pinakamahalagang punto para sa aming mga layunin dito ay sa pamamagitan ng paggamit ng natural na eksperimento, nalaman ni Coviello at mga kasamahan ang tungkol sa pagkalat ng mga emosyon nang hindi nangangailangan na magpatakbo ng kanilang sariling eksperimento.

Ang ikalawa ng tatlong Rs ay pinipino : ang mga mananaliksik ay dapat humingi upang pinuhin ang kanilang mga paggamot upang gawin itong hindi makasasama hangga't maaari. Halimbawa, sa halip na pagharang ng nilalaman na positibo o negatibo, maaaring mapalakas ng mga mananaliksik ang nilalaman na positibo o negatibo. Ang pagpapalakas ng disenyo ay nagbago sa emosyonal na nilalaman ng Mga Feed ng Balita ng mga kalahok, ngunit nais sana itong matugunan ang isa sa mga alalahanin na ipinahayag ng mga kritiko: na maaaring ang mga eksperimento ay makapagdulot ng mga kalahok sa mahahalagang impormasyon sa kanilang News Feed. Gamit ang disenyo na ginamit ng Kramer at mga kasamahan, isang mensahe na mahalaga ay malamang na ma-block bilang isang hindi. Gayunpaman, sa pamamagitan ng pagpapalakas ng disenyo, ang mga mensahe na maaalis ay ang mga hindi gaanong mahalaga.

Sa wakas, ang ikatlong R ay mababawasan : ang mga mananaliksik ay dapat humingi upang mabawasan ang bilang ng mga kalahok sa kanilang eksperimento sa minimum na kailangan upang makamit ang kanilang pang-agham na layunin. Sa mga analog na eksperimento, ito ay nangyari nang natural dahil sa mataas na mga variable na gastos ng mga kalahok. Ngunit sa mga digital na eksperimento, lalo na ang mga may zero cost variable, ang mga mananaliksik ay hindi nakakaharap ng isang gastos sa pagpilit sa laki ng kanilang eksperimento, at ito ay may potensyal na humantong sa mga hindi kailangang malalaking eksperimento.

Halimbawa, maaaring magamit ng Kramer at mga kasamahan ang impormasyong pre-treatment tungkol sa kanilang mga kalahok-tulad ng pag-post ng pag-post ng pre-treatment-upang gawing mas mahusay ang kanilang pagtatasa. Higit na partikular, sa halip na paghahambing ng proporsyon ng mga positibong salita sa mga kondisyon sa paggamot at kontrol, maaaring ihambing ng Kramer at mga kasamahan ang pagbabago sa proporsiyon ng positibong mga salita sa pagitan ng mga kondisyon; isang diskarte na kung minsan ay tinatawag na isang halo-halong disenyo (tayahin 4.5) at kung minsan ay tinatawag na isang pagkakaiba sa pagkakaiba-sa-pagkakaiba. Iyon ay, para sa bawat kalahok, ang mga mananaliksik ay maaaring gumawa ng isang pagbabago na iskor (post-treatment na pag-uugali \(-\) -uugali ng pre-paggamot) at pagkatapos ay inihambing ang mga marka ng pagbabago ng mga kalahok sa mga kondisyon sa paggamot at kontrol. Ang pagkakaiba sa pagkakaiba-sa-pagkakaiba ay mas mahusay na istatistika, na nangangahulugan na ang mga mananaliksik ay maaaring makamit ang parehong statistical confidence na gumagamit ng mas maliliit na sample.

Kung wala ang raw na data, ito ay mahirap na malaman kung gaano ka mas mahusay ang isang pagkakaiba-sa-pagkakaiba ng estimator sa kaso na ito. Ngunit maaari naming tingnan ang iba pang mga kaugnay na mga eksperimento para sa isang magaspang na ideya. Deng et al. (2013) ulat na sa pamamagitan ng paggamit ng isang form ng pagkakaiba-sa-pagkakaiba estimator, sila ay maaaring mabawasan ang pagkakaiba ng kanilang mga pagtatantya sa pamamagitan ng tungkol sa 50% sa tatlong magkakaibang mga online na eksperimento; Ang mga katulad na resulta ay iniulat ng Xie and Aurisset (2016) . Ang pagbabawas ng 50% na ito ay nangangahulugan na ang mga mananaliksik ng Contemporary Contagion ay maaaring ma-cut ang kanilang sample sa kalahati kung gumamit sila ng isang bahagyang iba't ibang paraan ng pagtatasa. Sa madaling salita, na may isang maliit na pagbabago sa pag-aaral, ang 350,000 katao ay maaaring naiwasan sa pakikilahok sa eksperimento.

Sa puntong ito, maaaring ikaw ay nagtataka kung bakit dapat pag-aalaga ng mga mananaliksik kung 350,000 katao ang hindi kinakailangan sa Emosyonal na Pagkakasakit. Mayroong dalawang partikular na katangian ng Emosyonal na Pagkakasakit na nag-aalala sa sobrang sukat na angkop, at ang mga tampok na ito ay ibinabahagi ng maraming mga eksperimento sa digital na patlang: (1) walang katiyakan kung ang eksperimento ay magdudulot ng pinsala sa hindi bababa sa ilang mga kalahok at (2) paglahok ay hindi kusang-loob. Tila makatwirang upang subukang panatilihin ang mga eksperimento na may mga tampok na ito hangga't maaari.

Upang maging malinaw, ang pagnanais na bawasan ang sukat ng iyong eksperimento ay hindi nangangahulugan na hindi ka dapat magpatakbo ng mga malalaking, zero variable cost experiments. Nangangahulugan lamang ito na ang iyong mga eksperimento ay hindi dapat mas malaki kaysa sa kailangan mo upang makamit ang iyong pang-agham na layunin. Isang mahalagang paraan upang tiyakin na angkop ang laki ng eksperimento ay upang magsagawa ng isang pagtatasa ng kapangyarihan (Cohen 1988) . Sa analogong edad, ang mga mananaliksik ay karaniwang gumawa ng pagtatasa ng kapangyarihan upang tiyakin na ang kanilang pag-aaral ay hindi masyadong maliit (ibig sabihin, sa ilalim ng lakas). Ngayon, gayunman, ang mga mananaliksik ay dapat gumawa ng pagtatasa ng kapangyarihan upang tiyakin na ang kanilang pag-aaral ay hindi masyadong malaki (ibig sabihin, sobrang pinagagana).

Sa pagtatapos, ang tatlong R-ay palitan, pinuhin, at bawasan-nagbibigay ng mga prinsipyo na makatutulong sa mga mananaliksik na bumuo ng etika sa kanilang mga pang-eksperimentong disenyo. Siyempre, ang bawat isa sa mga posibleng pagbabago sa Emosyonal na Pagkalusaw ay nagpapakilala sa mga trade-off. Halimbawa, ang katibayan mula sa mga likas na eksperimento ay hindi palaging malinis na tulad ng mula sa mga random na eksperimento, at ang pagpapalakas ng nilalaman ay maaaring mas logistically mas mahirap ipatupad kaysa sa pagharang ng nilalaman. Kaya, ang layunin ng pagmumungkahi ng mga pagbabagong ito ay hindi ikalawang hulaan ang mga desisyon ng iba pang mga mananaliksik. Sa halip, ito ay upang ilarawan kung paano ang tatlong R ay maaaring ilapat sa isang makatotohanang sitwasyon. Sa katunayan, ang isyu ng mga trade-off ay lumalabas sa lahat ng oras sa disenyo ng pananaliksik, at sa digital-age, ang mga ganitong mga trade-off ay lalong nagsasangkot ng mga etikal na pagsasaalang-alang. Sa bandang huli, sa kabanata 6, magbibigay ako ng ilang mga prinsipyo at etikal na balangkas na makatutulong sa mga mananaliksik na maunawaan at talakayin ang mga pangangalakal na ito.