4.6.2 Amnewid, Mireinio, a Lleihau

Gwnewch eich arbrawf yn fwy trugarog trwy amnewid arbrofion ag astudiaethau heb fod yn arbrofol, mireinio'r triniaethau, a lleihau nifer y cyfranogwyr.

Mae'r ail ddarn o gyngor y byddwn i'n hoffi cynnig am ddylunio arbrofion digidol yn ymwneud moeseg. Gan fod yr arbrawf Restivo a van de Rijt ar barnstars mewn sioeau Wikipedia, gostwng costau yn golygu y bydd moeseg yn dod yn rhan fwyfwy pwysig o ddylunio ymchwil. Yn ychwanegol at y fframweithiau moesegol tywys ymchwil pynciau dynol y byddaf yn disgrifio ym Mhennod 6, gall ymchwilwyr dylunio arbrofion digidol hefyd yn tynnu ar syniadau moesegol o ffynhonnell wahanol: yr egwyddorion moesegol a ddatblygwyd i arwain arbrofion sy'n cynnwys anifeiliaid. Yn benodol, yn eu Egwyddorion llyfr nodedig o Techneg Arbrofol Humane, Russell and Burch (1959) a gynigir tair egwyddor a ddylai arwain gwaith ymchwil anifeiliaid: Amnewid, Mireinio, a Lleihau. Hoffwn gynnig y gall y tri R hefyd yn cael ei ddefnyddio-mewn addasu ychydig ffurflen-i lywio dyluniad o arbrofion dynol. Yn benodol,

• Amnewid: Replace arbrofion gyda dulliau llai ymwthiol os yn bosibl
• Mireinio: Mireinio y driniaeth i'w wneud mor ddiniwed ag y bo modd
• Lleihau: Lleihau nifer y cyfranogwyr yn eich arbrawf cymaint â phosibl

Er mwyn gwneud concrid y tair R ac yn dangos sut y gallant o bosibl arwain at ddylunio arbrofol well ac yn fwy trugarog, 'n annhymerus' yn disgrifio arbrawf maes ar-lein sy'n cynhyrchu trafodaeth foesegol. Yna byddaf yn disgrifio sut mae'r tri R awgrymu newidiadau concrid ac ymarferol i ddyluniad yr arbrawf.

Un o'r arbrofion maes digidol drafod fwyaf foesegol yw "Contagion Emosiynol," a gynhaliwyd gan Adam Kramer, Jamie Gillroy, a Jeffrey Hancock (2014) . Cynhaliwyd yr arbrawf ar Facebook a ei ysgogi gan gymysgedd o gwestiynau gwyddonol ac ymarferol. Ar y pryd, y ffordd dominyddol bod defnyddwyr yn rhyngweithio gyda Facebook oedd y Feed Newyddion, set curadu algorithmically statws Facebook ddiweddariadau gan ffrindiau Facebook defnyddiwr. Mae rhai beirniaid o Facebook wedi awgrymu, oherwydd bod y Feed Newyddion wedi bennaf gadarnhaol swyddi-ffrindiau yn dangos oddi ar eu diweddaraf parti-mae'n achosi defnyddwyr i deimlo'n drist oherwydd bod eu bywydau yn ymddangos yn llai cyffrous mewn cymhariaeth. Ar y llaw arall, efallai yr effaith yn union i'r gwrthwyneb; efallai yn gweld eich ffrind yn cael amser da yn gwneud i chi deimlo'n hapus? Er mwyn ymdrin â'r rhain yn cystadlu rhagdybiaeth-ac i ddatblygu ein dealltwriaeth o sut emosiynau person yn cael eu heffeithio gan ei ffrindiau 'emosiynau-Kramer a chydweithwyr yn rhedeg arbrawf. Mae'r ymchwilwyr yn gosod tua 700,000 o ddefnyddwyr yn bedwar grŵp am un wythnos: grŵp "negyddiaeth llai", y mae swyddi gyda geiriau negyddol (ee, trist) eu blocio ar hap rhag ymddangos Bwyd Anifeiliaid Newyddion; yn "gadarnhaol llai" grŵp swyddi gyda geiriau positif (ee, hapus) eu blocio hap pwy i; a dau grŵp rheoli. Yn y grŵp rheoli ar gyfer y "negyddiaeth llai" grŵp, pyst wedi eu blocio ar hap ar yr un raddfa fel y "negyddiaeth llai" grŵp ond heb ystyried y cynnwys emosiynol. Mae'r grŵp rheoli ar gyfer y "gadarnhaol llai" grŵp adeiladwyd mewn dull cyfochrog. Mae dyluniad yr arbrawf hwn yn dangos nad oedd y grŵp rheoli priodol bob amser un heb unrhyw newidiadau. Yn hytrach, weithiau y grŵp rheoli yn derbyn triniaeth er mwyn creu'r union gymhariaeth fod cwestiwn ymchwil yn gofyn. Ym mhob achos, mae'r swyddi a gafodd eu blocio o'r Feed Newyddion yn dal ar gael i ddefnyddwyr drwy rannau eraill o'r wefan Facebook.

Canfu Kramer a chydweithwyr, ar gyfer cyfranogwyr yn y gadarnhaol llai cyflwr, mae canran y geiriau cadarnhaol yn eu diweddariadau statws gostwng a chanran y geiriau negyddol cynyddu. Ar y llaw arall, ar gyfer cyfranogwyr yn y cyflwr negyddiaeth lleihau, mae canran y geiriau cadarnhaol gynyddu a chanran y geiriau negyddol gostwng (Ffigur 4.23). Fodd bynnag, mae effeithiau hyn yn eithaf bach: y gwahaniaeth mewn geiriau cadarnhaol a negyddol rhwng triniaethau a rheolaethau oedd tua 1 o bob 1,000 o eiriau.

Ffigur 4.23: Tystiolaeth o contagion emosiynol (Kramer, Guillory, and Hancock 2014) . Canran o eiriau cadarnhaol a geiriau negyddol yn ôl cyflwr arbrofol. Bariau cynrychioli amcangyfrif gwallau safonol.

Rydw i wedi rhoi trafodaeth ar agweddau gwyddonol yr arbrawf hwn yn yr adran darllen pellach ar ddiwedd y bennod, ond yn anffodus, yr arbrawf hwn yn fwyaf adnabyddus am gynhyrchu trafodaeth foesegol. Ychydig ddyddiau ar ôl y papur hwn gael ei gyhoeddi yn Achosion yr Academi Genedlaethol y Gwyddorau, roedd protest anferth gan y ddau ymchwilwyr a'r wasg. Dicter o gwmpas y papur yn canolbwyntio ar ddau brif bwynt: 1) Nid oedd y cyfranogwyr yn darparu unrhyw gydsyniad y tu hwnt i'r Facebook termau-of-wasanaeth safonol ar gyfer triniaeth y gallai rhai feddwl achosi niwed i gyfranogwyr a 2) nad yw'r astudiaeth wedi cael trydydd-parti moesegol adolygiad (Grimmelmann 2015) . Mae'r cwestiynau moesegol a godir yn y ddadl hon achosodd y cylchgrawn i gyflym cyhoeddi "mynegiant golygyddol o bryder" brin am y moeseg a'r broses adolygu moesegol ar gyfer yr ymchwil (Verma 2014) . Yn y blynyddoedd dilynol, yr arbrawf wedi parhau i fod yn ffynhonnell o trafodaeth ac anghytundeb ddwys, ac efallai anghytundeb hwn wedi cael yr effaith anfwriadol o yrru i mewn i'r cysgodion llawer o arbrofion eraill sy'n cael eu perfformio gan gwmnďau (Meyer 2014) .

O ystyried bod gefndir am Contagion Emosiynol, byddwn yn awr yn hoffi i ddangos y gall y 3R awgrymu concrit, gwelliannau ymarferol ar gyfer astudiaethau go iawn (beth bynnag efallai y byddwch yn meddwl yn bersonol am foeseg hon arbrawf penodol). Y cyntaf R yw Amnewid: Dylai ymchwilwyr geisio i gymryd lle arbrofion gyda thechnegau llai ymwthiol a pheryglus, os yn bosibl. Er enghraifft, yn hytrach na rhedeg arbrawf, mae'r ymchwilwyr fod wedi manteisio arbrawf naturiol. Fel y disgrifir ym Mhennod 2, arbrofion naturiol sefyllfaoedd lle mae rhywbeth yn digwydd yn y byd sy'n brasamcanu yr aseiniad ar hap o driniaethau (ee, loteri i benderfynu pwy fydd yn cael ei ddrafftio i mewn i'r milwrol). Y fantais o arbrawf naturiol yw nad oes yn rhaid i'r ymchwilydd i ddarparu triniaethau; yr amgylchedd yn gwneud hynny ar eich rhan. Mewn geiriau eraill, gyda arbrawf naturiol, ymchwilwyr ni fyddai wedi bod angen i drin trwy arbrawf Newyddion Feeds pobl.

Yn wir, mae bron yr un pryd â'r arbrawf Contagion Emosiynol, Coviello et al. (2014) yn manteisio ar yr hyn y gellid ei alw yn Contagion arbrawf naturiol Emosiynol. Mae eu dull o weithredu, sy'n defnyddio techneg o'r enw newidynnau offerynnol, yn dipyn gymhleth os nad ydych erioed wedi ei weld o'r blaen. Felly, er mwyn esbonio pam y cafodd ei hangen, gadewch i gronni iddo. Byddai'r syniad cyntaf a allai gael rhai ymchwilwyr i astudio contagion emosiynol fod i gymharu eich swyddi ar ddiwrnodau lle mae eich Feed Newyddion yn gadarnhaol iawn at eich swyddi ar ddiwrnodau lle mae eich Feed Newyddion yn negyddol iawn. Byddai'r dull hwn yn iawn os yw'r nod yn unig oedd i ragfynegi cynnwys emosiynol eich swyddi, ond mae ymagwedd hon yn broblem os yw'r nod yw i astudio effaith achosol eich Feed Newyddion ar eich swyddi. I weld y broblem gyda dyluniad hwn, yn ystyried Diolchgarwch. Yn yr Unol Daleithiau, swyddi cadarnhaol spike a swyddi negyddol blymen ar Diolchgarwch. Felly, ar Diolchgarwch, gallai ymchwilwyr yn gweld bod eich Feed Newyddion yn gadarnhaol iawn a'ch bod bostio pethau cadarnhaol yn ogystal. Ond, gallai eich swyddi cadarnhaol wedi'u hachosi gan Diolchgarwch nid gan y cynnwys eich Feed News. Yn lle hynny, er mwyn amcangyfrif y achosol angen rhywbeth sy'n newid y cynnwys eich Feed Newyddion heb newid eich emosiynau yn uniongyrchol ymchwilwyr effaith. Yn ffodus, mae yna rywbeth fel 'na yn digwydd drwy'r amser: y tywydd.

Canfu Coviello a chydweithwyr y bydd diwrnod glawog mewn dinas rhywun, ar gyfartaledd, yn lleihau cyfran y swyddi sy'n gadarnhaol gan tua 1 y cant a chynyddu cyfran y swyddi sy'n negyddol gan tua 1 pwynt canran. Yna, Coviello a chydweithwyr hecsbloetio ffaith hon i astudio contagion emosiynol heb yr angen i drin unrhyw un Feed Newyddion yn arbrofol. Yn ei hanfod yr hyn a wnaethant yn fesur sut mae eich swyddi yn cael eu heffeithio gan y tywydd yn y dinasoedd lle mae eich ffrindiau yn byw. I weld pam fod hyn yn gwneud synnwyr, dychmygwch eich bod yn byw yn Ninas Efrog Newydd ac mae gennych ffrind sy'n byw yn Seattle. Nawr, dychmygwch bod un diwrnod yn dechrau bwrw glaw yn Seattle. Ni fydd y glaw yn Seattle yn uniongyrchol yn effeithio ar eich hwyliau, ond bydd yn achosi eich Feed Newyddion i fod yn llai cadarnhaol ac yn fwy negyddol oherwydd swyddi eich ffrind. Felly, y glaw yn Seattle ar hap yn trin eich Feed News. Troi greddf hon i mewn gweithdrefn ystadegol dibynadwy yn gymhleth (ac yr union ddull a ddefnyddir gan Coviello a chydweithwyr yn ansafonol bit) felly dwi wedi rhoi trafodaeth fwy manwl yn yr adran darllen pellach. Y peth pwysicaf i'w gofio am Coviello ac ymagwedd cydweithiwr yw ei fod yn eu galluogi i astudio contagion emosiynol heb yr angen i gynnal arbrawf a allai niweidio cyfranogwyr, a gall fod yn wir bod mewn llawer o leoliadau eraill y gallwch gymryd lle arbrofion gyda eraill technegau.

Ail yn y 3 Rs yw Mireinio: Dylai ymchwilwyr geisio i fireinio eu triniaethau er mwyn achosi'r niwed lleiaf posibl. Er enghraifft, yn hytrach na rhwystro chynnwys a oedd naill ai'n gadarnhaol neu'n negyddol, mae'r ymchwilwyr fod wedi rhoi hwb chynnwys a oedd yn gadarnhaol neu'n negyddol. Byddai hyn yn rhoi hwb cynllun wedi newid y cynnwys emosiynol y cyfranogwyr Feeds News, ond byddai wedi mynd i'r afael yn un o'r pryder y beirniaid a fynegwyd: y gallai'r arbrofion wedi achosi cyfranogwyr i golli gwybodaeth bwysig yn eu Feed News. Gyda'r cynllun a ddefnyddir gan Kramer a chydweithwyr, neges sy'n bwysig yw mor debygol o gael eu blocio fel un nad yw'n. Fodd bynnag, gyda dyluniad hwb, byddai'r negeseuon a fyddai'n cael eu dadleoli fydd y rhai sydd yn llai pwysig.

Yn olaf, y trydydd R yw Lleihau: Dylai ymchwilwyr geisio lleihau nifer y cyfranogwyr yn eu harbrawf, os yn bosibl. Yn y gorffennol, digwyddodd y gostyngiad hwn yn naturiol oherwydd bod y gost amrywiol o arbrofion analog yn uchel, a oedd yn annog gwaith ymchwil i optimeiddio eu dyluniad a dadansoddi. Fodd bynnag, pan fo data cost newidiol sero, ymchwilwyr nad ydynt yn wynebu cyfyngiad cost ar faint eu harbrawf, ac mae gan hwn y potensial i arwain at arbrofion mawr yn ddiangen.

Er enghraifft, gallai Kramer a chydweithwyr wedi defnyddio gwybodaeth cyn-driniaeth am eu cyfranogwyr-megis postio cyn-driniaeth ymddygiad-i wneud eu dadansoddi yn fwy effeithlon. Yn fwy penodol, yn hytrach na chymharu cyfran y geiriau cadarnhaol yn y driniaeth a rheoli cyflyrau, Kramer a chydweithwyr fod wedi cymharu y newid yng nghyfran y geiriau positif rhwng amodau; dull a elwir yn aml gwahaniaeth-yng-gwahaniaethau ac sydd yn perthyn yn agos i'r dyluniad cymysg a ddisgrifiais yn gynharach yn y bennod (Ffigur 4.5). Hynny yw, ar gyfer pob cyfranogwr, mae'r ymchwilwyr fod wedi creu sgôr newid (ymddygiad ôl-driniaeth - ymddygiad cyn-driniaeth) ac yna cymharu sgoriau newid y cyfranogwyr yn y driniaeth a rheoli amodau. Mae'r dull hwn o wahaniaeth-yng-gwahaniaethau yn fwy effeithlon yn ystadegol, sy'n golygu y gall ymchwilwyr gyflawni'r un hyder ystadegol gan ddefnyddio samplau llawer llai. Mewn geiriau eraill, trwy beidio trin cyfranogwyr fel "widgets", ymchwilwyr yn aml yn cael amcangyfrifon mwy manwl gywir.

Heb gael y data crai, mae'n anodd gwybod yn union faint yn fwy effeithlon byddai dull gwahaniaeth-yng-gwahaniaethau wedi bod yn yr achos hwn. Ond, Deng et al. (2013) fod mewn tri arbrofion ar-lein ar y peiriant chwilio Bing eu bod yn gallu lleihau amrywiant eu hamcangyfrifon gan tua 50%, ac mae'r canlyniadau tebyg wedi cael eu hadrodd ar gyfer rhai arbrofion ar-lein yn Netflix (Xie and Aurisset 2016) . Mae hyn yn ostyngiad amrywiant o 50% yn golygu y gallai'r ymchwilwyr Contagion Emosiynol wedi gallu i dorri eu sampl yn ei hanner os oeddent wedi defnyddio ychydig yn wahanol ddulliau dadansoddi. Mewn geiriau eraill, gyda newid bach yn y dadansoddiad, 350,000 o bobl a allai fod wedi cael eu spared gymryd rhan yn y arbrawf.

Ar y pwynt hwn efallai y byddwch yn meddwl pam y dylai ymchwilwyr gofal os 350,000 o bobl mewn Contagion Emosiynol yn ddiangen. Mae dwy nodwedd arbennig o Contagion Emosiynol sy'n gwneud pryder gyda maint gormodol priodol, a nodweddion hyn yn cael eu rhannu gan lawer o arbrofion maes digidol: 1) mae ansicrwydd ynghylch a fydd yr arbrawf yn achosi niwed i o leiaf rhai cyfranogwyr a 2) Nid yw cyfranogiad yn gwirfoddol. Mewn arbrofion gyda'r rhain ddwy nodwedd mae'n ymddangos yn ddoeth cadw arbrofion mor fach â phosibl.

I gloi, mae'r tri R's-Amnewid, Mireinio a Lleihau-Darparu egwyddorion a all helpu ymchwilwyr adeiladu moeseg yn eu dyluniadau arbrofol. Wrth gwrs, mae pob un newidiadau posibl hyn i Contagion Emosiynol yn cyflwyno cyfaddawdau. Er enghraifft, nid yw tystiolaeth o arbrofion naturiol bob amser mor lân â thystiolaeth o arbrofion ar hap a rhoi hwb gallai fod wedi bod yn fwy anodd yn logistaidd i weithredu na bloc. Felly, nid diben awgrymu newidiadau hyn oedd ail-dyfalu penderfyniadau'r ymchwilwyr eraill. Yn hytrach, roedd yn i ddangos sut y gallai'r tair A yn cael eu cymhwyso mewn sefyllfa realistig.