4.6.2 Adeiladu moeseg yn eich dyluniad: ailosod, mireinio a lleihau

Gwnewch eich arbrawf yn fwy trugarog trwy amnewid arbrofion ag astudiaethau heb fod yn arbrofol, mireinio'r triniaethau, a lleihau nifer y cyfranogwyr.

Mae'r ail ddarn o gyngor yr hoffwn ei gynnig ynghylch dylunio arbrofion digidol yn ymwneud â moeseg. Fel yr arbrawf Restivo a van de Rijt ar ysguboriau mewn sioeau Wikipedia, mae gost gostwng yn golygu y bydd moeseg yn dod yn rhan gynyddol bwysig o ddylunio ymchwil. Yn ogystal â'r fframweithiau moesegol sy'n arwain ymchwil pynciau dynol y disgrifiaf ym mhennod 6, mae ymchwilwyr sy'n dylunio arbrofion digidol hefyd yn gallu defnyddio syniadau moesegol o ffynhonnell wahanol: yr egwyddorion moesegol a ddatblygwyd i arwain arbrofion sy'n cynnwys anifeiliaid. Yn benodol, yn eu llyfr nodedig, roedd Egwyddorion Technoleg Arbrofol Hynafol , Russell and Burch (1959) cynnig tair egwyddor a ddylai arwain ymchwil anifeiliaid: ailosod, mireinio a lleihau. Hoffwn gynnig y gellir defnyddio'r tri R hyn hefyd mewn ffurf a addaswyd ychydig-i arwain dyluniad arbrofion dynol. Yn benodol,

• Amnewid: Amnewid arbrofion gyda dulliau llai ymwthiol os yn bosibl.
• Mireinio: Mireinio'r driniaeth i'w wneud mor ddiniwed â phosibl.
• Lleihau: Lleihau nifer y cyfranogwyr yn eich arbrawf gymaint ag y bo modd.

Er mwyn sicrhau bod y tri R hyn yn goncrid ac yn dangos sut y gallant arwain at ddylunio arbrofol gwell a mwy da, byddaf yn disgrifio arbrawf maes ar-lein a luniodd ddadl foesegol. Yna, disgrifiaf sut mae'r tri R yn awgrymu newidiadau concrid ac ymarferol i ddyluniad yr arbrawf.

Cynhaliodd Adam Kramer, Jamie Guillroy, a Jeffrey Hancock, un o'r arbrofion maes digidol mwyaf dadleuol, a Jeffrey Hancock (2014) a daeth yn cael ei alw'n "Erthyglau Emosiynol". Cynhaliwyd yr arbrawf ar Facebook ac fe'i cymhellwyd gan gymysgedd o wyddoniaeth a gwyddoniaeth. cwestiynau ymarferol. Ar y pryd, y ffordd flaenllaw y bu defnyddwyr yn rhyngweithio â Facebook oedd News Feed, set wedi'i diweddaru ar algorithmig o ddiweddariadau statws Facebook gan ffrindiau Facebook defnyddiwr. Roedd rhai beirniaid o Facebook wedi awgrymu bod gan y Newyddion Feed swyddi-ffrindiau positif yn bennaf yn dangos eu parti diweddaraf-gallai achosi i ddefnyddwyr deimlo'n drist oherwydd bod eu bywydau yn ymddangos yn llai cyffrous o'i gymharu. Ar y llaw arall, efallai bod yr effaith yn union i'r gwrthwyneb: efallai y byddai gweld eich ffrind yn cael amser da yn gwneud i chi deimlo'n hapus. Er mwyn mynd i'r afael â'r rhagdybiaethau hyn sy'n cystadlu - ac i ddatblygu ein dealltwriaeth o sut mae emosiynau rhywun yn effeithio ar emosiynau ei ffrindiau - fe wnaeth Kramer a chydweithwyr gynnal arbrawf. Gosodasant tua 700,000 o ddefnyddwyr i bedwar grŵp am un wythnos: grŵp "negatif-lleihau", y cafodd swyddi â geiriau negyddol (ee, "trist") eu blocio ar hap rhag ymddangos yn y News Feed; grŵp "positif-llai" y cafodd swyddi â geiriau cadarnhaol (ee, "hapus") eu blocio ar hap; a dau grŵp rheoli. Yn y grŵp rheoli ar gyfer y grŵp "negativity-reduced", cafodd swyddi eu blocio ar hap ar yr un gyfradd â'r grŵp "negativity-reduced" ond heb ystyried y cynnwys emosiynol. Adeiladwyd y grŵp rheoli ar gyfer y grŵp "llai positif" mewn modd cyfochrog. Mae dyluniad yr arbrawf hwn yn dangos nad yw'r grŵp rheoli priodol bob amser yn un heb unrhyw newidiadau. Yn hytrach, weithiau, mae'r grŵp rheoli yn cael triniaeth er mwyn creu cymhariaeth union y mae gofyn cwestiwn ymchwil. Ym mhob achos, roedd y swyddi a gafodd eu blocio o'r News Feed yn dal i fod ar gael i ddefnyddwyr trwy rannau eraill o wefan Facebook.

Canfu Kramer a chydweithwyr fod y ganran o eiriau cadarnhaol yn eu diweddariadau statws wedi gostwng a bod canran y geiriau negyddol yn cynyddu. Ar y llaw arall, ar gyfer cyfranogwyr yn y cyflwr llai negyddol, cynyddu canran y geiriau cadarnhaol a gostwng geiriau negyddol (ffigur 4.24). Fodd bynnag, roedd yr effeithiau hyn yn eithaf bach: roedd y gwahaniaeth mewn geiriau cadarnhaol a negyddol rhwng triniaethau a rheolaethau tua 1 mewn 1,000 o eiriau.

Ffigwr 4.24: Tystiolaeth o ymyrraeth emosiynol (Kramer, Guillory, and Hancock 2014) . Roedd cyfranogwyr yn y cyflwr llai negyddol wedi defnyddio llai o eiriau negyddol a geiriau mwy cadarnhaol, ac roedd cyfranogwyr yn y cyflwr llai positif yn defnyddio geiriau mwy negyddol a llai o eiriau cadarnhaol. Mae'r bariau'n cynrychioli amcangyfrifon gwallau safonol. Addaswyd o Kramer, Guillory, and Hancock (2014) , ffigur 1.

Cyn trafod y materion moesegol a godwyd gan yr arbrawf hwn, hoffwn ddisgrifio tri mater gwyddonol gan ddefnyddio rhai o'r syniadau o'r blaen yn y bennod. Yn gyntaf, nid yw'n glir sut mae gwir fanylion yr arbrawf yn cysylltu â'r honiadau damcaniaethol; Mewn geiriau eraill, mae yna gwestiynau ynghylch dilysrwydd adeiladu. Nid yw'n glir bod y cyfrif geiriau cadarnhaol a negyddol mewn gwirionedd yn ddangosydd da o gyflwr emosiynol y cyfranogwyr oherwydd (1) nid yw'n glir bod y geiriau y mae pobl yn eu postio'n ddangosydd da o'u hemosiynau ac (2) nid yw'n yn glir bod y dechneg dadansoddi teimladau arbennig y mae'r ymchwilwyr a ddefnyddir yn gallu ei roi yn ddibynadwy i emosiynau (Beasley and Mason 2015; Panger 2016) . Mewn geiriau eraill, efallai y bydd mesur gwael o arwydd rhagfarn. Yn ail, nid yw dyluniad a dadansoddiad yr arbrawf yn dweud wrthym ni am bwy y cafwyd effaith fwyaf arno (hy, nid oes dadansoddiad o heterogeneity effeithiau triniaeth) a beth fyddai'r mecanwaith. Yn yr achos hwn, roedd gan yr ymchwilwyr lawer o wybodaeth am y cyfranogwyr, ond cawsant eu trin yn wreiddiol fel dyfeisiau yn y dadansoddiad. Yn drydydd, roedd maint yr effaith yn yr arbrawf hwn yn fach iawn; mae'r gwahaniaeth rhwng yr amodau triniaeth a rheolaeth tua 1 mewn 1,000 o eiriau. Yn eu papur, mae Kramer a chydweithwyr yn gwneud yn siŵr bod effaith y maint hwn yn bwysig oherwydd bod cannoedd o filiynau o bobl yn cael mynediad i'w News Feed bob dydd. Mewn geiriau eraill, maent yn dadlau, hyd yn oed os yw effeithiau'n fach i bob person, maent yn gyfan gwbl fawr. Hyd yn oed pe baech yn derbyn y ddadl hon, nid yw'n glir o hyd os yw effaith y maint hwn yn bwysig o ran y cwestiwn gwyddonol mwy cyffredinol am ledaeniad emosiwn (Prentice and Miller 1992) .

Yn ogystal â'r cwestiynau gwyddonol hyn, dim ond diwrnodau ar ôl i'r papur hwn gael ei gyhoeddi yn Nhrafodion Academi y Gwyddorau Cenedlaethol , cafwyd cryn dipyn o wybod gan y ddau ymchwilydd a'r wasg (byddaf yn disgrifio'r dadleuon yn y ddadl hon yn fanylach ym mhennod 6 ). Roedd y materion a godwyd yn y ddadl hon yn peri i'r cylchgrawn gyhoeddi "mynegiant pryder golygyddol" prin ynglŷn â'r moeseg a'r broses adolygu moesol ar gyfer yr ymchwil (Verma 2014) .

O ystyried y cefndir ynglŷn â Thriniaeth Emosiynol, hoffwn bellach ddangos y gall y tri R yn awgrymu gwelliannau concrid, ymarferol ar gyfer astudiaethau go iawn (beth bynnag y gallech chi feddwl yn bersonol am moeseg yr arbrawf arbennig hwn). Mae'r R cyntaf yn cael ei ddisodli : dylai ymchwilwyr geisio cymryd lle arbrofion â thechnegau llai ymledol a risgiol, os yn bosibl. Er enghraifft, yn hytrach na rhedeg arbrawf a reolir ar hap, gallai'r ymchwilwyr fod wedi manteisio ar arbrawf naturiol . Fel y disgrifir ym mhennod 2, mae arbrofion naturiol yn sefyllfaoedd lle mae rhywbeth yn digwydd yn y byd sy'n amcangyfrif aseiniad triniaethau ar hap (ee loteri i benderfynu pwy fydd yn cael ei ddrafftio i'r milwrol). Mantais foesegol arbrawf naturiol yw nad oes rhaid i'r ymchwilydd ddarparu triniaethau: mae'r amgylchedd yn gwneud hynny ar eich cyfer chi. Er enghraifft, bron yn gydamserol â'r arbrawf Emosiynol Ymwybyddiaeth, Lorenzo Coviello et al. (2014) yn manteisio ar yr hyn y gellid ei alw'n arbrawf naturiol Ymwybyddiaeth Emosiynol. Darganfu Coviello a chydweithwyr fod pobl yn postio geiriau mwy negyddol a llai o eiriau cadarnhaol ar ddiwrnodau lle mae'n bwrw glaw. Felly, trwy ddefnyddio amrywiad ar hap yn y tywydd, roedden nhw'n gallu astudio effaith newidiadau yn y News Feed heb yr angen i ymyrryd o gwbl. Roedd fel petai'r tywydd yn rhedeg eu harbrofi ar eu cyfer. Mae manylion eu gweithdrefn ychydig yn gymhleth, ond y pwynt pwysicaf ar gyfer ein dibenion yma yw, trwy ddefnyddio arbrawf naturiol, bod Coviello a chydweithwyr yn gallu dysgu am ledaenu emosiynau heb yr angen i redeg eu harbrofi eu hunain.

Mae ail yr un o'r tair Rheswm yn mireinio : dylai ymchwilwyr geisio mireinio eu triniaethau i'w gwneud mor ddiniwed â phosibl. Er enghraifft, yn hytrach na rhwystro cynnwys a oedd naill ai'n bositif neu'n negyddol, gallai'r ymchwilwyr fod wedi rhoi hwb i gynnwys a oedd yn bositif neu'n negyddol. Byddai'r dyluniad hwb hwn wedi newid cynnwys emosiynol porthwyr newyddion y cyfranogwyr, ond byddai wedi mynd i'r afael ag un o'r pryderon a fynegodd beirniaid: y gallai'r arbrofion fod wedi achosi'r cyfranogwyr i golli gwybodaeth bwysig yn eu News Feed. Gyda'r dyluniad a ddefnyddiwyd gan Kramer a chydweithwyr, mae neges sy'n bwysig yn debygol o gael ei rwystro fel un nad yw. Fodd bynnag, gyda dyluniad hwb, y negeseuon a fyddai'n cael eu dadleoli fyddai'r rhai sy'n llai pwysig.

Yn olaf, mae'r trydydd R yn lleihau : dylai ymchwilwyr geisio lleihau nifer y cyfranogwyr yn eu harbrofi i'r lleiafswm sydd ei angen i gyflawni eu hamcan wyddonol. Mewn arbrofion analog, digwyddodd hyn yn naturiol oherwydd costau amrywiol uchel y cyfranogwyr. Ond mewn arbrofion digidol, yn enwedig y rheini sydd â chost ddi-newid, nid yw ymchwilwyr yn wynebu cyfyngiad cost ar faint eu harbrofi, ac mae hyn yn gallu arwain at arbrofion mawr dianghenraid.

Er enghraifft, gallai Kramer a chydweithwyr fod wedi defnyddio gwybodaeth cyn-drin am eu cyfranogwyr - megis ymddygiad ar ôl triniaeth - i wneud eu dadansoddiad yn fwy effeithlon. Yn fwy penodol, yn hytrach na chymharu cyfran y geiriau cadarnhaol yn yr amodau trin a rheoli, gallai Kramer a chydweithwyr fod wedi cymharu'r newid yng nghyfran y geiriau cadarnhaol rhwng yr amodau; dull a elwir weithiau'n ddyluniad cymysg (ffigwr 4.5) ac weithiau'n cael ei alw'n amcangyfrif gwahaniaeth mewn gwahaniaethau. Hynny yw, ar gyfer pob cyfranogwr, gallai'r ymchwilwyr fod wedi creu sgōr newid (ymddygiad cyn-driniaeth ar ôl triniaeth \(-\) ) ac yna cymharu sgoriau newid cyfranogwyr yn yr amodau triniaeth a rheolaeth. Mae'r ymagwedd gwahaniaeth-mewn-gwahaniaethau hwn yn fwy effeithlon yn ystadegol, sy'n golygu y gall ymchwilwyr gyflawni'r un hyder ystadegol gan ddefnyddio samplau llawer llai.

Heb gael y data amrwd, mae'n anodd gwybod yn union faint yn fwy effeithlon fyddai amcangyfrif gwahaniaeth mewn gwahaniaethau yn yr achos hwn. Ond gallwn edrych ar arbrofion cysylltiedig eraill am syniad bras. Deng et al. (2013) , trwy ddefnyddio ffurflen o'r amcangyfrifydd gwahaniaeth-mewn-gwahaniaethau, eu bod yn gallu lleihau amrywiant eu hamcangyfrifon gan tua 50% mewn tri arbrofi ar-lein gwahanol; Cafwyd adroddiadau tebyg gan Xie and Aurisset (2016) . Mae'r gostyngiad hwn yn amrywio o 50% yn golygu y gallai ymchwilwyr Ymosodiad Emosiynol fod wedi gallu torri eu sampl yn hanner pe baent wedi defnyddio dull dadansoddi ychydig yn wahanol. Mewn geiriau eraill, gyda newid bach yn y dadansoddiad, efallai na fyddai 350,000 o bobl wedi bod yn rhan o'r arbrawf.

Ar y pwynt hwn, efallai y byddwch yn meddwl pam y dylai ymchwilwyr ofalu os oedd 350,000 o bobl yn dioddef o Drawf Emosiynol yn ddiangen. Mae dau nodwedd arbennig o Ymhéliad Emosiynol sy'n peri pryder gyda gormod o faint yn briodol, ac mae llawer o arbrofion maes digidol yn cael eu rhannu ar y nodweddion hyn: (1) mae ansicrwydd ynghylch a fydd yr arbrawf yn achosi niwed i rai cyfranogwyr o leiaf a (2) cyfranogiad nid oedd yn wirfoddol. Mae'n ymddangos yn rhesymol ceisio cynnal arbrofion sydd â'r nodweddion hyn mor fach â phosib.

Er mwyn bod yn glir, nid yw'r awydd i leihau maint eich arbrawf yn golygu na ddylech redeg arbrofion cost mawr, dim newidiol. Mae'n golygu na ddylai eich arbrofion fod yn fwy na'r hyn sydd ei angen arnoch i gyflawni'ch amcan gwyddonol. Un ffordd bwysig i sicrhau bod arbrawf yn ddigon priodol yw cynnal dadansoddiad pŵer (Cohen 1988) . Yn yr oedran analog, roedd ymchwilwyr yn gyffredinol yn dadansoddi pŵer i wneud yn siŵr nad oedd eu hastudiaeth yn rhy fach (hy, o dan bwer). Erbyn hyn, fodd bynnag, dylai ymchwilwyr wneud dadansoddiad pŵer i wneud yn siŵr nad yw eu hastudiaeth yn rhy fawr (hy, dros-bwer).

I gloi, mae'r tair R yn cymryd lle, yn mireinio, ac yn lleihau-darparu egwyddorion a all helpu ymchwilwyr i adeiladu moeseg yn eu cynlluniau arbrofol. Wrth gwrs, mae pob un o'r newidiadau posib hyn i Dioddefwyr Emosiynol yn cyflwyno masnachiadau. Er enghraifft, nid yw tystiolaeth o arbrofion naturiol bob amser mor lân â hynny o arbrofion ar hap, ac efallai y buasai'r cynnwys yn fwy anodd i'w weithredu na rhwystro cynnwys. Felly, nid pwrpas awgrymu'r newidiadau hyn oedd ail-ddyfalu penderfyniadau ymchwilwyr eraill. Yn hytrach, roedd yn dangos sut y gellid cymhwyso'r tri R mewn sefyllfa realistig. Mewn gwirionedd, mae'r mater o fasnachu yn dod i ben drwy'r amser mewn dylunio ymchwil, ac yn yr oes ddigidol, bydd y rhain yn golygu bod ystyriaethau moesegol yn gynyddol. Yn ddiweddarach, ym mhennod 6, byddaf yn cynnig rhai egwyddorion a fframweithiau moesegol a all helpu ymchwilwyr i ddeall a thrafod y masnachiadau hyn.