4.6.2 Sukurkite etiką į savo dizainą: pakeiskite, patobulinkite ir sumažinkite
Padaryti jūsų eksperimentas labiau humanišką pakeičiant eksperimentus su ne eksperimentinius tyrimus, tobulinant gydymo ir sumažinti dalyvių skaičių.
Antrasis patarimas, kurį norėčiau pasiūlyti rengiant skaitmeninius eksperimentus, yra etika. Kaip parodė "Restivo" ir "van de Rijt" eksperimentas "Barnstars" Wikipedijoje, sumažėjusios išlaidos reiškia, kad etika taps vis svarbesne mokslinių tyrimų projekto dalimi. Be etikos schemų, kuriomis vadovaujamasi žmogiškųjų dalykų tyrimams, kuriuos aprašysiu 6 skyriuje, mokslininkai, kurdami skaitmeninius eksperimentus, taip pat gali remtis etiškomis idėjomis iš kitokio šaltinio: etikos principai, sukurti eksperimentams su gyvūnais vadovauti. Visų pirma savo žymioje knygoje "Humanizuotos eksperimentinės technikos principai" Russell and Burch (1959) pasiūlė tris principus, kurie turėtų būti skirti gyvūnų tyrimams: pakeisti, tobulinti ir mažinti. Norėčiau pasiūlyti, kad šie trys "R" taip pat galėtų būti naudojami šiek tiek pakeistoje formoje, kad būtų galima vadovautis žmonių eksperimentų projektu. Visų pirma
- Pakeisti: jei įmanoma, pakeiskite eksperimentus mažiau invesiškais metodais.
- Patikslinkite: patobulinkite gydymą, kad jis būtų kuo mažiau nekenksmingas.
- Sumažinti: kiek įmanoma sumažinkite eksperimento dalyvių skaičių.
Norint, kad šie trys R būtų konkreti ir parodyti, kaip jie gali būti geresnio ir humaniškesnio eksperimentinio dizaino pavyzdys, aprašysiu internetinį lauko eksperimentą, kuris sukėlė etikos diskusijas. Tada aš aprašysiu, kaip trys R siūlo konkrečius ir praktinius eksperimento projekto pakeitimus.
Vienas iš labiausiai etiško pobūdžio diskutuotų skaitmeninių laukų eksperimentų atliko Adomas Krameras, Jamie Guillroy ir Jeffrey Hancock (2014) Ir tapo vadinamas "emocine infekcija". Eksperimentas vyko "Facebook" ir buvo motyvuotas mokslinės ir praktiniai klausimai. Tuo metu dominuojantis būdas, kaip vartotojai bendrauja su "Facebook", buvo "News Feed" - algoritminiu būdu saugomas "Facebook" būsenos atnaujinimų rinkinys iš "Facebook" draugų. Kai kurie "Facebook" kritikai teigė, kad "News Feed" daugiausia yra teigiamų pranešimų, kurie parodo savo naujausią partiją - tai gali paskatinti vartotojus jaustis liūdni, nes jų gyvenimai atrodė mažiau įdomūs. Kita vertus, gali būti, kad poveikis yra visiškai priešingas: galbūt matydamas, kad jūsų draugas turi gerą laiką, jus domina laiminga. Siekiant spręsti šias konkuruojančias hipotezes ir tobulinti supratimą apie tai, kaip jos emocijų emocijas įtakoja žmogaus veikla, Kramer ir jo kolegos atliko eksperimentą. Vieną savaitę jie išdėstė apie 700 000 naudotojų į keturias grupes: "sumažintos neigiamos reikšmės" grupė, dėl kurios pranešimai su neigiamais žodžiais (pvz., "Liūdna") buvo atsitiktinai užblokuoti, kad jie nebūtų rodomi "News Feed"; "pozityviai sumažintą" grupę, kurioms atsitiktinai užblokuoti įrašai su teigiamais žodžiais (pvz., "laimingi"); ir dvi kontrolinės grupės. Kontrolinėje grupėje "sumažintos neigiamos reakcijos" grupės pranešimai buvo atsitiktinai užblokuoti tokiu pat greičiu, kaip ir "sumažintos neigiamos reakcijos" grupės, tačiau neatsižvelgiant į emocinį turinį. Kontrolinė grupė, skirta "sumažintam teigiamumui", buvo sukurta lygiagrečiai. Šio eksperimento projektas iliustruoja, kad tinkama kontrolinė grupė ne visada yra viena be pakeitimų. Atvirkščiai, kartais kontrolė gauna gydymą, kad būtų galima tiksliai palyginti reikalaujamą tyrimo klausimą. Visais atvejais pranešimai, kurie buvo užblokuoti iš naujienų kanalo, vis tiek buvo prieinami vartotojams per kitas "Facebook" svetainės dalis.
Kramer ir jo kolegos nustatė, kad dalyviams, kurių padėtis yra sumažėjusi dėl pozityvumo, teigiamų žodžių procentas jų statuso atnaujinimu sumažėjo ir neigiamų žodžių procentas padidėjo. Kita vertus, mažesnio neigiamumo sąlygomis dalyviams padidėjo teigiamų žodžių ir neigiamų žodžių procentas (4.24 pav.). Tačiau šis poveikis buvo gana mažas: teigiamų ir neigiamų žodžių skirtumas tarp gydymo ir kontrolės buvo maždaug 1 iš 1000 žodžių.
4.24 pav.: Emocinės infekcijos įrodymai (Kramer, Guillory, and Hancock 2014) . Neigiamumo sumažintoje būsenoje dalyviai vartojo mažiau neigiamų žodžių ir teigiamų žodžių, o dalyviai, kuriems buvo sumažėjusi teigiama reikšmė, naudojo daugiau neigiamų žodžių ir mažiau teigiamų žodžių. Bars yra numatytos standartinės klaidos. Pritaikytas iš Kramer, Guillory, and Hancock (2014) , 1 pav.
Prieš diskutuojame dėl šio eksperimento keliančių etinių klausimų, norėčiau apibūdinti tris mokslines problemas, naudodamasi kai kuriomis anksčiau minėtų skyrių idėjomis. Pirma, neaišku, kaip faktinė eksperimento informacija susijusi su teoriniais teiginiais; Kitaip tariant, yra klausimų apie konstrukcijos galiojimą. Neaišku, ar teigiamas ir neigiamas žodžių skaičius iš tikrųjų yra geras dalyvių emocinės būklės rodiklis, nes (1) neaišku, ar žodžiai, kuriuos žmonės skelbia, yra geras jų emocijų indikatorius ir (2) nėra aišku, kad konkretus jausmų analizės metodas, kurį (Beasley and Mason 2015; Panger 2016) mokslininkai gali patikimai nustatyti emocijas (Beasley and Mason 2015; Panger 2016) . Kitaip tariant, gali būti blogai išmatuotas šališkas signalas. Antra, eksperimento projektavimas ir analizė mums nieko neinformuoja apie tai, kam labiausiai paveikė (ty nėra gydymo efektų nevienalytiškumo analizės) ir koks mechanizmas gali būti. Tokiu atveju tyrėjai turėjo daug informacijos apie dalyvius, tačiau iš esmės jie buvo vertinami kaip analizės elementai. Trečia, šio eksperimento poveikis buvo labai mažas; skirtumas tarp gydymo ir kontrolės sąlygų yra maždaug 1 iš 1000 žodžių. Savo darbe Kramer ir jo kolegos teigia, kad tokio dydžio poveikis yra svarbus, nes šimtai milijonų žmonių kasdien pasiekia savo naujienų kanalą. Kitaip tariant, jie tvirtina, kad net jei poveikis kiekvienam asmeniui yra mažas, jie yra dideli kartu. Net jei jūs priimtumėte šį argumentą, vis dar neaišku, ar tokio dydžio poveikis yra svarbus bendram moksliniam klausimui apie emocijų sklaidą (Prentice and Miller 1992) .
Be šių mokslinių klausimų, praėjus vos kelioms dienoms po to, kai šis pranešimas buvo paskelbtas Nacionalinės mokslų akademijos leidžiamojoje knygoje, buvo daug kaltinimų tiek mokslininkams, tiek spaudai (išsamiau aptarsiu argumentus šiuose debatuose 6 skyriuje ) Šiuose debatuose iškeltos problemos leido žurnalui skelbti retus "redakcines susirūpinimą keliančias išraiškas" apie etikos ir etinio vertinimo procesą (Verma 2014) .
Atsižvelgdamas į tai, kad yra informacijos apie emocinę infekciją, dabar norėčiau parodyti, kad trys R gali pasiūlyti konkrečių ir praktinių patobulinimų realioms studijoms (nesvarbu, kuo galėtumėte asmeniškai galvoti apie šio konkretaus eksperimento etiką). Pirmasis R pakeičiamas : jei įmanoma, mokslininkai turėtų stengtis pakeisti eksperimentus mažiau invesiškais ir rizikingais metodais. Pavyzdžiui, mokslininkai galėjo išnaudoti natūralų eksperimentą , o ne vykdyti atsitiktine tvarka kontroliuojamą eksperimentą . Kaip aprašyta 2 skyriuje, natūralūs eksperimentai yra situacijos, kai pasaulyje atsiranda kažkas, kas apytikriai prilygsta atsitiktiniam gydymo priskyrimui (pvz., Loterija, skirta nuspręsti, kas bus skiriamas kariuomenei). Natūralaus eksperimento etinis pranašumas yra tas, kad tyrėjas neturi pateikti gydymo: aplinkai tai tau. Pavyzdžiui, beveik vienu metu su Emocinio kontūzijos eksperimentu Lorenzo Coviello et al. (2014) Išnaudojo tai, kas galėtų būti vadinama Emocinio kont rolės natūraliu eksperimentu. Coviello ir jo kolegos atrado, kad žmonės įrašo daugiau neigiamų žodžių ir mažiau teigiamų žodžių tose dienose, kur lietus. Todėl, naudodamiesi atsitiktiniais oro sąlygų variantais, jie galėjo ištirti "News Feed" pokyčių poveikį be jokio įsikišimo. Tai buvo tarsi oras savo eksperimentą atliko jiems. Išsami jų procedūra yra šiek tiek sudėtinga, tačiau svarbiausias mūsų tikslas yra tai, kad naudojant natūralųjį eksperimentą Coviello ir jo kolegos galėjo sužinoti apie emocijų sklaidą be būtinybės paleisti savo eksperimentą.
Antroji iš trijų R yra patikslinta : mokslininkai turėtų stengtis patobulinti savo gydymą, kad jie taptų kuo mažiau nekalti. Pavyzdžiui, mokslininkai galėjo padidinti turinį, kuris buvo teigiamas ar neigiamas, o ne užblokuoti teigiamą ar neigiamą turinį. Šis skatinamasis dizainas pakeistų emocinį turinį dalyvių naujienų kanaluose, tačiau jis būtų išspręs vieną iš kritikų išreikštų rūpesčių: eksperimentai galėjo sukelti dalyviams praleistą svarbią informaciją savo naujienų kanale. Naudojant Kramer ir jo kolegų sukurtą dizainą svarbus pranešimas greičiausiai bus užblokuotas, nes toks nėra. Tačiau, skatinant projektą, pranešimai, kurie būtų perkelti, būtų tokie, kurie yra mažiau svarbūs.
Galiausiai trečiasis R sumažėja : mokslininkai turėtų siekti sumažinti savo eksperimento dalyvių skaičių iki minimumo, kurio reikia moksliniam tikslui pasiekti. Analoginiais bandymais tai įvyko natūraliai dėl didelių dalyvių kintamų sąnaudų. Tačiau skaitmeniniuose eksperimentuose, ypač tuose, kurių kintamoji kaina yra nulinė, mokslininkai nepatiria išlaidų, susijusių su jų eksperimento dydžiu, todėl jie gali sukelti nereikalingų didelių eksperimentų.
Pavyzdžiui, Kramer ir jo kolegos galėjo panaudoti informaciją apie jų dalyvius prieš gydymą, pavyzdžiui, apie elgesį prieš gydymą, kad jų analizė būtų efektyvesnė. Tiksliau, lyginant teigiamų žodžių santykį gydymo ir kontrolės sąlygomis, Kramer ir jo kolegos galėjo palyginti teigiamų žodžių santykio pokyčius tarp sąlygų; kuris kartais vadinamas mišraus dizaino (4.5 pav.) ir kartais vadinamas skirtumu tarp skirtumų įvertinimu. Tai reiškia, kad kiekvienam dalyviui tyrėjai galėjo sukurti pakeitimo balą (po gydymo elgesio \(-\) prieš gydymą elgesys), o paskui palygino gydymo ir kontrolės sąlygų dalyvių pokyčių balus. Šis skirtingų skirtumų metodas yra statistiškai veiksmingesnis, o tai reiškia, kad mokslininkai gali pasiekti tą patį statistinį pasitikėjimą naudojant daug mažesnius mėginius.
Nepateikus neapdorotų duomenų, sunku tiksliai sužinoti, kiek efektyviau būtų apskaičiuotojo skirtumų skirtumas. Tačiau mes galime pažvelgti į kitus susijusius eksperimentus dėl neapdorotos idėjos. Deng et al. (2013) Pranešė, kad naudojant skirtingų skirtumų įvertinimo metodą, jie galėjo tris skirtingus internetinius eksperimentus sumažinti jų įvertinimų skirtumus apie 50%; Panašius rezultatus pranešė Xie and Aurisset (2016) . Šis 50% dispersijos sumažėjimas reiškia, kad emocinės užkrečiamosios ligos tyrėjai galėjo sugebėti perpus sumažinti jų imtį, jei jie naudojo šiek tiek kitokį analizės metodą. Kitaip tariant, atlikus nedidelę analizės pasikeitimą, 350 000 žmonių galėjo išgelbėti dalyvavimą eksperimente.
Šiuo metu jums gali būti įdomu, kodėl mokslininkai turėtų rūpintis, kad 350 000 žmonių nebūtų be reikalo emocinės infekcijos. Yra dvi ypatingos emocinės infekcijos ypatybės, kurios kelia susirūpinimą dėl pernelyg didelio dydžio, ir šias savybes dalijasi daugelis skaitmeninio lauko eksperimentų: (1) yra neaiškumų, ar eksperimentas pakenks bent jau kai kuriems dalyviams ir (2) dalyvaus nebuvo savanoriškas. Atrodo pagrįsta bandyti išlaikyti eksperimentus, kuriuose šios galimybės yra kuo mažesnės.
Kad būtų aišku, noras sumažinti eksperimento dydį nereiškia, kad neturėtumėte paleisti didelių nulinių kintamųjų sąnaudų eksperimentų. Tai tiesiog reiškia, kad jūsų eksperimentai neturėtų būti didesni, nei jūs turite pasiekti savo mokslinį tikslą. Vienas svarbus būdas įsitikinti, kad eksperimentas yra tinkamo dydžio, yra atlikti galios analizę (Cohen 1988) . Analoginiame amžiuje tyrėjai paprastai atliko energijos analizę, siekdami įsitikinti, kad jų tyrimas nebuvo per mažas (ty nepakankamas). Tačiau dabar mokslininkai turėtų atlikti galios analizę, kad įsitikintų, jog jų tyrimas nėra per didelis (ty per didelis).
Apibendrinant galima pasakyti, kad trys "R" pakeičia, tobulina ir mažina principus, kurie gali padėti mokslo darbuotojams kurti etiką į jų eksperimentinius projektus. Žinoma, kiekvienas iš šių galimų emocinės užkrečiamosios pasikeitimų sukelia kompromisus. Pavyzdžiui, natūralių eksperimentų įrodymai ne visada yra tokie pat švarūs, kaip ir atsitiktinių imčių eksperimentai, o turinio sustiprinimas logistiškai gali būti sunkiau įgyvendinamas nei turinio blokavimas. Taigi, šių pokyčių pasiūlymo tikslas buvo neatsižvelgti į kitų tyrėjų sprendimus. Atvirkščiai, jis turėjo parodyti, kaip trys R galėtų būti pritaikytos tikroviškoje situacijoje. Tiesą sakant, kompromisų klausimas nuolat kyla mokslinių tyrimų projekte, o skaitmeniniame amžiuje šie kompromisai vis labiau įtraukia etines aplinkybes. Vėliau, 6 skyriuje, aš pasiūlysiu tam tikrus principus ir etines sistemas, kurios gali padėti mokslininkams suprasti ir aptarti šiuos kompromisus.
