4.6.2 Byggja siðfræði inn í hönnunina þína: skipta um, hreinsa og draga úr

Gerðu tilraun þín mannúðlegri með því að skipta tilraunir með non-tilrauna rannsóknum, fínpússa meðferðir, og draga úr fjölda þátttakenda.

Annað ráð sem ég vil bjóða upp á um að hanna stafrænar tilraunir snertir siðfræði. Eins og Restivo og van de Rijt tilraunin á barnstars í Wikipedia sýnir, lækkað kostnaður þýðir að siðfræði mun verða sífellt mikilvægari hluti rannsóknarhönnunar. Til viðbótar við siðferðilegar ramma sem leiðbeina rannsóknum á mannlegum greinum sem ég lýsi í kafla 6, geta vísindamenn að hanna stafrænar tilraunir einnig dregið af siðferðilegum hugmyndum frá annarri uppsprettu: siðferðisreglur þróaðar til að leiðbeina tilraunum sem tengjast dýrum. Sérstaklega lagði Russell and Burch (1959) í meginmerkjabók Principles of Human Experimental Technique þrjú meginreglur sem ætti að leiða til rannsókna á dýrum: skipta um, hreinsa og draga úr. Mig langar að leggja til að þessi þrír R séu einnig hægt að nota-í örlítið breyttu formi - til að leiðbeina hönnun manna tilrauna. Einkum,

• Skipta um: Skiptu um tilraunir með minna innrásaraðferðum ef mögulegt er.
• Tilgreindu: Ljúka meðferðinni til að gera hana eins skaðlaus og mögulegt er.
• Minnka: Minnkaðu fjölda þátttakenda í tilrauninni eins mikið og mögulegt er.

Til þess að gera þessar þrír R steypu og sýna hvernig þeir geta hugsanlega leitt til betri og mannúðlegri tilraunahönnun, lýsi ég á netinu áreynslu á netinu sem skapaði siðferðilega umræðu. Þá mun ég lýsa því hvernig þremur R eru að stinga upp á steypu og hagnýtar breytingar á hönnun tilraunarinnar.

Eitt af siðferðilegu umræðuðum stafrænum sviðum tilraunum var framkvæmt af Adam Kramer, Jamie Guillroy og Jeffrey Hancock (2014) og hefur orðið kallaður "Emotional Contagion." Tilraunin fór fram á Facebook og var hvatt af blöndu af vísindalegum og hagnýtar spurningar. Á þeim tíma var ríkjandi leiðin sem notendur höfðu samskipti við Facebook var News Feed, algrímfræðilega stýrt sett af Facebook stöðuuppfærslum frá Facebook vini notandans. Sumir gagnrýnendur Facebook höfðu gefið til kynna að vegna þess að fréttastofan hafi aðallega jákvæð innlegg - vinir sýna nýjustu aðila þeirra - það gæti valdið því að notendur líði sorglegt vegna þess að líf þeirra virtist minna spennandi í samanburði. Á hinn bóginn, kannski er áhrifin einmitt hið gagnstæða: kannski að sjá að vinur þinn hafi góðan tíma myndi gera þér líða vel. Í því skyni að takast á við þessar samsetta tilgátur og til að auka skilning okkar á tilfinningum einstaklingsins er áhrif á tilfinningar vina sinna - Kramer og samstarfsmenn héldu tilraun. Þeir settu um 700.000 notendur í fjóra hópa í eina viku: "neikvæðni-minni" hópur, þar sem innlegg með neikvæðum orðum (td "dapur") voru af handahófi lokað frá að birtast í fréttamiðlinum; "jákvætt" hópur fyrir hvern póst með jákvæðum orðum (td "hamingjusamur") var handahófi læst; og tveir stjórnhópar. Í eftirlitshópnum fyrir "neikvæðni-minni" hópinn voru innlegg af handahófi lokað í sama takt og "neikvæðni-minni" hópurinn en án tillits til tilfinningalegs innihalds. Eftirlitshópurinn fyrir "jákvæðra" hópinn var smíðaður á samhliða hátt. Hönnun þessa tilraunar sýnir að viðeigandi stjórnhópur er ekki alltaf einn án breytinga. Frekar, stundum fær stjórnhópurinn meðferð til þess að búa til nákvæma samanburð sem rannsóknarspurning krefst. Í öllum tilvikum voru innleggin sem voru lokuð frá fréttavefnum ennþá tiltækar fyrir notendur í gegnum aðra hluta Facebook vefsíðu.

Kramer og samstarfsmenn komu í ljós að fyrir þátttakendur í jákvæðri ástandi minnkaði hlutfall jákvæðra orða í stöðuuppfærslum sínum og hlutfall neikvæðra orðanna jókst. Á hinn bóginn, fyrir þátttakendur í neikvæðni, minnkaði hlutfall jákvæða orða og neikvæðra orðanna minnkaði (mynd 4.24). Hins vegar voru þessi áhrif alveg lítil: munurinn á jákvæðum og neikvæðum orðum milli meðferða og eftirlits var um 1 í 1.000 orðum.

Mynd 4.24: Vísbendingar um tilfinningalegt smit (Kramer, Guillory, and Hancock 2014) . Þátttakendur í neikvæðni-minnkaðri ástand notuðu færri neikvæð orð og jákvæðari orð, og þátttakendur í jákvæðri niðurstöðu notuðu meira neikvæð orð og færri jákvæð orð. Barir tákna áætlaðar staðalskekkjur. Aðlagað frá Kramer, Guillory, and Hancock (2014) , mynd 1.

Áður en ég fjallaði um siðferðileg vandamál sem þessi tilraun lúta, vil ég lýsa þremur vísindalegum málum með því að nota nokkrar hugmyndir frá fyrr í kaflanum. Í fyrsta lagi er ekki ljóst hvernig raunveruleg smáatriði í tilrauninni tengjast þeim fræðilegum kröfum; með öðrum orðum, það eru spurningar um byggingu gildi. Ekki er ljóst að jákvæð og neikvæð orðatölu eru í raun góð vísbending um tilfinningalegt ástand þátttakenda vegna þess að (1) ekki er ljóst að orðin sem fólk leggur fram er góð vísbending um tilfinningar sínar og (2) það er ekki ljóst að tiltekin viðhorf greining tækni sem vísindamenn nota er fær um að áreiðanlega álykta tilfinningar (Beasley and Mason 2015; Panger 2016) . Með öðrum orðum gæti verið slæmt mælikvarði á hlutdræg merki. Í öðru lagi segir hönnun og greining á tilrauninni okkur ekkert um hver var mest áhrif (þ.e. engin grein er fyrir ólíkum meðferðaráhrifum) og hvað kerfið gæti verið. Í þessu tilfelli höfðu vísindamenn mikla upplýsingar um þátttakendur, en þeir voru í rauninni meðhöndlaðar sem búnaður í greiningunni. Í þriðja lagi var áhrifastærðin í þessari tilraun mjög lítil; Munurinn á meðferð og eftirlitsskilyrðum er um 1 í 1.000 orðum. Kramer og samstarfsmenn gera grein fyrir því að áhrif þessarar stærðar séu mikilvægar vegna þess að hundruð milljóna manna fá aðgang að fréttum sínum á hverjum degi. Með öðrum orðum halda þeir því fram að jafnvel þótt áhrif séu lítil fyrir hvern einstakling, þá eru þau stór í samanburði. Jafnvel ef þú ættir að samþykkja þetta rök er enn ekki ljóst hvort áhrif þessarar stærð eru mikilvægar varðandi almennari vísindaleg spurning um útbreiðslu tilfinningar (Prentice and Miller 1992) .

Í viðbót við þessar vísindalegar spurningar, aðeins nokkrum dögum eftir að þessi grein var gefin út í málefnum þjóðháskóla vísindanna , var gífurlegt áskorun bæði frá vísindamönnum og fjölmiðlum (ég lýsi rökunum í þessari umræðu nánar í kafla 6 ). Málefnin sem komu fram í þessari umræðu ollu dagblaðinu að birta sjaldgæft "ritstjórnargreinar áhyggjuefna" um siðfræði og siðferðilega endurskoðunarferli rannsóknarinnar (Verma 2014) .

Í ljósi þessarar bakgrunni um tilfinningalegan smitun, vil ég nú sýna að þremur R geta lagt til steypu, hagnýtar umbætur fyrir raunverulegan nám (hvað sem þú hugsar persónulega um siðfræði þessa tiltekinnar tilraunar). Fyrsta R er í staðinn : Rannsakendur ættu að reyna að skipta um tilraunir með minna óbeinum og áhættusömum aðferðum, ef mögulegt er. Til dæmis, frekar en að keyra slembiraðaðri stjórnaðri tilraun, gætu vísindamenn nýtt sér náttúruleg tilraun . Eins og lýst er í kafla 2 eru náttúrulegar tilraunir aðstæður þar sem eitthvað gerist í heimi sem nær til handahófi úthlutunar meðferða (td happdrætti til að ákveða hverjir verða teknar í herinn). Siðferðileg kostur við náttúruleg tilraun er að rannsóknirinn þarf ekki að skila meðferðum: umhverfið gerir það fyrir þig. Til dæmis, næstum samhliða tilrauninni með tilfinningalega smitun, Lorenzo Coviello et al. (2014) voru að nýta það sem hægt væri að kalla til náttúrulegra tilrauna með tilfinningalegum smitandi áhrifum. Coviello og samstarfsmenn komust að því að fólk birti fleiri neikvæðar orð og færri jákvæð orð á dögum þar sem það er að rigna. Því með því að nota handahófi afbrigði í veðri, gátu þeir kannað áhrif breytinga á fréttastofunni án þess að þurfa að grípa til alls. Það var eins og veðrið var að keyra tilraun sína fyrir þá. Upplýsingar um málsmeðferð þeirra eru svolítið flókin en mikilvægasti hluturinn í okkar tilgangi er að með því að nota náttúruleg tilraun, Coviello og samstarfsmenn voru fær um að læra um útbreiðslu tilfinninga án þess að þurfa að keyra eigin tilraun sína.

Annað af þremur Rs er hreinsað : vísindamenn ættu að leitast við að hreinsa meðferðir sínar til að gera þær eins skaðlausar og mögulegt er. Til dæmis, frekar en að hindra efni sem var annaðhvort jákvætt eða neikvætt, gætu vísindamenn eflt efni sem var jákvætt eða neikvætt. Þessi uppörvunarsýning hefði breytt tilfinningalegum innihald fréttaveitenda þátttakenda en það hefði beint til einum áhyggjum sem gagnrýnendur lýstu: að tilraunirnar gætu valdið þátttakendum að missa mikilvægar upplýsingar í fréttastofunni. Með hönnuninni sem Kramer og samstarfsmenn notuðu, er skilaboð sem er mikilvægt eins og líklegt er að vera læst sem einn sem er ekki. Hins vegar, með uppörvun hönnun, skilaboðin sem myndi vera fluttur væri þeim sem eru minna mikilvæg.

Að lokum er þriðja R minnkað : Rannsakendur ættu að leitast við að draga úr fjölda þátttakenda í tilraun sinni að lágmarki sem þarf til að ná fram vísindalegum markmiðum sínum. Í hliðstæðum tilraunum gerðist þetta náttúrulega vegna mikilla breytinga á kostnaði þátttakenda. En í stafrænum tilraunum, sérstaklega þeim sem eru með núllbreytilegan kostnað, standa vísindamenn ekki frammi fyrir kostnaðarþvingun á stærð tilraunarinnar og það getur leitt til óþarfa stórra tilrauna.

Kramer og samstarfsmenn gætu til dæmis notið fyrirfram meðferðarupplýsinga um þátttakendur þeirra - eins og fyrirfram meðferðarskýrsluhegðun - til að gera greiningarnar skilvirkari. Nánar tiltekið, frekar en að bera saman hlutfall jákvæða orða við meðferð og eftirlit, Kramer og samstarfsmenn gætu hafa borið saman breytingu á hlutfalli jákvæðra orða milli skilyrða; nálgun sem stundum kallast blönduð hönnun (mynd 4.5) og stundum kallað munur á mismunarmat. Það er fyrir hvern þátttakanda að vísindamenn gætu búið til breytingaskorni (eftirhöndlun hegðun \(-\) fyrir hegðun við meðferð) og síðan borið saman samanburðarniðurstöður þátttakenda í meðferð og eftirlitsskilyrðum. Þessi munur á mismunur er hagkvæmari tölfræðilega, sem þýðir að vísindamenn geta náð sömu tölfræðilegu trausti með því að nota mun minni sýni.

Án þess að hafa hrár gögn er erfitt að vita nákvæmlega hversu mikið skilvirkari munur á mismun muni hafa átt sér stað í þessu tilfelli. En við getum litið á aðrar tengdar tilraunir fyrir gróft hugmynd. Deng et al. (2013) greint frá því að með því að nota form mismunamismunaráætlunarinnar voru þeir fær um að draga úr afbrigði þeirra áætlana um 50% í þremur mismunandi tilraunum á netinu; Svipaðar niðurstöður hafa verið tilkynntar af Xie and Aurisset (2016) . Þessi 50% afbrigði minnkun þýðir að vísindamenn með tilfinningalega smitun gætu hafa getað skorið sýnið í tvennt ef þeir höfðu notað örlítið mismunandi greiningaraðferð. Með öðrum orðum, með örlítið breyting á greiningunni, gætu 350.000 manns verið bjargað þátttöku í tilrauninni.

Á þessum tímapunkti gætirðu verið að velta því fyrir um að vísindamenn ættu að sjá um að 350.000 manns hafi verið í tilfinningalegum smitandi óþörfu. Það eru tveir sérstakir eiginleikar tilfinningalegrar smitunar sem hafa áhyggjur af of miklum stærð sem er viðeigandi og þessi eiginleikar eru hluti af mörgum stafrænum sviðum tilraunum: (1) Það er óvissa um hvort tilraunin muni skaða að minnsta kosti sumum þátttakendum og (2) þátttöku var ekki valfrjálst. Það virðist sanngjarnt að reyna að halda tilraunum sem hafa þessar aðgerðir eins lítil og mögulegt er.

Til að vera ljóst er löngunin við að draga úr stærð tilraunarinnar ekki að þýða að þú ættir ekki að keyra stórar, núllar breytilegar kostnaðar tilraunir. Það þýðir bara að tilraunir þínar ættu ekki að vera stærri en þú þarft til að ná fram vísindalegum markmiðum þínum. Ein mikilvæg leið til að ganga úr skugga um að tilraun sé á réttan hátt er að framkvæma orkugreiningu (Cohen 1988) . Á hliðstæðu aldri gerðu vísindamenn yfirleitt valdgreiningu til að ganga úr skugga um að rannsóknin væri ekki of lítil (þ.e. undir máttur). Nú, þó, vísindamenn ættu að gera orku greiningu til að tryggja að rannsókn þeirra sé ekki of stór (þ.e. of-máttur).

Niðurstaðan er sú að þrír R-skipta út, endurbæta og draga úr grundvallarreglum sem geta hjálpað vísindamönnum að byggja siðfræði í tilraunaverkefni þeirra. Auðvitað, hver þessara hugsanlegra breytinga á Emotional Contagion kynnir afstöðu. Til dæmis eru vísbendingar frá náttúrulegum tilraunum ekki alltaf eins hreinar og þær frá slembiraðaðri tilraunum, og eflingu innihaldsins kann að hafa verið skipulagslega erfiðara að innleiða en hindra efni. Þess vegna var tilgangur þess að benda til þessara breytinga ekki til að giska á ákvarðanir annarra vísindamanna. Frekar, það var að sýna hvernig hægt væri að nota þrjár Rs í raunhæfum aðstæðum. Raunverulegt er að málin af viðskiptabönkum koma upp allan tímann í rannsóknarhönnun, og á stafrænu aldri munu þessi afleiðingar í auknum mæli fela í sér siðferðileg atriði. Seinna, í kafla 6, mun ég bjóða upp á nokkrar meginreglur og siðferðilegar ramma sem geta hjálpað vísindamönnum að skilja og fjalla um þessi málamiðlun.