4.6.2 Izveidojiet ētiku savā dizainā: nomainiet, uzlabojiet un samaziniet

Padariet savu eksperimentu humānākas aizstājot eksperimentus ar ne-eksperimentāliem pētījumiem, uzlabojot ārstēšanu, un samazinot dalībnieku skaitu.

Otrais padoms, ko es gribētu piedāvāt par digitālo eksperimentu izstrādi, attiecas uz ētiku. Kā demonstrē Restivo un van de Rijt eksperiments par barnstars Vikipēdijā, samazinātas izmaksas nozīmē, ka ētika kļūs par arvien svarīgāko pētniecības izstrādes daļu. Papildus ētikas sistēmām, kurās tiek vadīti pētījumi par cilvēkiem, kas aprakstīti 6. nodaļā, pētnieki, kas izstrādā digitālos eksperimentus, var izmantot arī ētikas idejas no cita avota: ētikas principi, kas izstrādāti, lai virzītu eksperimentus, kuros iesaistīti dzīvnieki. Jo īpaši savā ievērojamajā grāmatā " Principles of Human Experimental Technique " Russell and Burch (1959) ierosināja trīs principus, kam vajadzētu virzīties uz pētniecību ar dzīvniekiem: aizstāt, uzlabot un samazināt. Es gribētu ierosināt, ka šos trīs R var izmantot arī nedaudz modificētā veidā, lai virzītu cilvēka eksperimentu plānu. It īpaši,

• Aizstāt: ja iespējams, nomainiet eksperimentus ar mazāk invazīvām metodēm.
• Uzlabot: precizējiet apstrādi, lai to padarītu nekaitīgu.
• Samazināt: pēc iespējas vairāk samaziniet eksperimenta dalībnieku skaitu.

Lai padarītu šos trīs R konkrētus un parādītu, kā tie potenciāli var radīt labāku un humānāku eksperimentālo dizainu, es raksturošu tiešsaistes eksperimentu, kas radīja ētiskas debates. Tad es aprakstīšu, kā trīs R ierosina konkrētas un praktiskas izmaiņas eksperimenta dizainā.

Viens no visvairāk ētiski apspriestajiem digitālās jomas eksperimentiem veica Adam Kramer, Jamie Guillroy un Jeffrey Hancock (2014) un to sauc par "emocionālo saslimšanu". Eksperiments notika Facebook un tika motivēts ar zinātnisko un praktiskie jautājumi. Tolaik dominējošais veids, kā lietotāji mijiedarbojās ar Facebook, bija ziņu plūsma - algoritmiski sakārtots Facebook statusa atjauninājumu kopums no lietotāja Facebook draugiem. Daži no Facebook kritiķiem bija norādījuši, ka, jo ziņu plūsmai galvenokārt ir pozitīvas ziņas - draugi, kas demonstrē savu jaunāko pusi - tas var izraisīt lietotāju skaudību, jo viņu dzīvi salīdzinājumā šķita mazāk aizraujoši. No otras puses, varbūt efekts ir tieši pretējs: varbūt redzēt, ka tavs draugs, kam labs laiks, liks justies laimīgam. Lai risinātu šīs konkurējošās hipotēzes un veicinātu mūsu izpratni par to, kā viņas emocijas ietekmē cilvēka emocijas, Kramers un kolēģi vadīja eksperimentu. Viņi izvietoja aptuveni 700 000 lietotāju četrās grupās uz vienu nedēļu: "negatīvi samazināta" grupa, kurai ziņu plūsmā nejauši tika bloķēti ziņojumi ar negatīviem vārdiem (piemēram, "bēdīgi"); "pozitīvi samazināta" grupa, kurai nejauši tika bloķēti ziņojumi ar pozitīviem vārdiem (piemēram, "laimīgi"); un divas kontroles grupas. Kontroles grupā grupai "samazināta negatīvība" ziņas nejauši tika bloķētas tādā pašā ātrumā kā "negatīvi samazinātā" grupa, bet neņemot vērā emocionālo saturu. Kontroles grupa "pozitīvi samazinātajai" grupai tika veidota paralēli. Šī eksperimenta dizains ilustrē, ka atbilstoša kontroles grupa ne vienmēr ir tāda, kurā izmaiņas nav notikušas. Tā vietā reizēm kontroles grupa saņem ārstēšanu, lai izveidotu precīzu salīdzinājumu, kas ir nepieciešams pētījumu jautājumam. Visos gadījumos ziņas, kas tika bloķētas ziņu plūsmā, joprojām bija pieejamas lietotājiem, izmantojot citas vietnes Facebook vietnes.

Kramer un kolēģi konstatēja, ka pozitīvi samazināta stāvokļa dalībniekiem pozitīvo vārdu procentuālais sastāvs viņu statusa atjauninājumos samazinājās un negatīvo vārdu procentuālais saturs palielinājās. No otras puses, negatīvi samazinātā stāvoklī dalībniekiem palielinājās pozitīvo vārdu un negatīvo vārdu skaits (4.24. Attēls). Tomēr šie efekti bija diezgan mazi: pozitīvo un negatīvo vārdu starpība starp ārstēšanu un kontroli bija aptuveni 1 no 1000 vārdiem.

4.24. Attēls: Pierādījumi par emocionālo infekciju (Kramer, Guillory, and Hancock 2014) . Nevēlēšanās samazinātā stāvokļa dalībnieki izmantoja mazāk negatīvu vārdu un vairāk pozitīvu vārdu, un dalībnieki pozitīvi samazinātajā stāvoklī izmantoja vairāk negatīvu vārdu un mazāk pozitīvu vārdu. Bāri ir aplēstas standarta kļūdas. Pielāgots no Kramer, Guillory, and Hancock (2014) , 1. attēls.

Pirms apspriest ētikas jautājumus, kas radušies šajā eksperimentā, es gribētu aprakstīt trīs zinātniskus jautājumus, izmantojot kādu no iepriekšējā nodaļā izklāstītajām idejām. Pirmkārt, nav skaidrs, kā eksperimenta faktiskie dati savienojas ar teorētiskajiem apgalvojumiem; citiem vārdiem sakot, ir jautājumi par konstrukcijas derīgumu. Nav skaidrs, ka pozitīvo un negatīvo vārdu skaits patiesībā ir labs rādītājs dalībnieku emocionālajam stāvoklim, jo ​​(1) nav skaidrs, ka vārdi, kurus cilvēki ievieto, ir labs viņu emociju rādītājs un (2) tas nav ka konkrētā noskaņojuma analīzes metode, ko izmantotie pētnieki spēj droši noteikt emocijas (Beasley and Mason 2015; Panger 2016) . Citiem vārdiem sakot, var būt nepareizs neobjektīva signāla mērījums. Otrkārt, eksperimenta plānošana un analīze mums neko neinformē par to, kam visvairāk ietekmēja (ti, nav veikta neviena analīzes par ārstēšanas rezultātu neviendabīgumu) un kāds mehānisms varētu būt. Šajā gadījumā pētniekiem bija daudz informācijas par dalībniekiem, taču tos galvenokārt analizēja kā logrīkus. Treškārt, iedarbības lielums šajā eksperimentā bija ļoti mazs; atšķirība starp apstrādes un kontroles nosacījumiem ir aptuveni 1 no 1000 vārdiem. Savā darbā Kramer un viņa kolēģi norāda, ka šī lieluma ietekme ir svarīga, jo simtiem miljonu cilvēku katru dienu piekļūst viņu ziņu plūsmai. Citiem vārdiem sakot, viņi apgalvo, ka pat tad, ja katrai personai sekas ir mazas, tās kopumā ir lielas. Pat ja jūs pieņemtu šo argumentu, joprojām nav skaidrs, vai šī lieluma ietekme ir svarīga attiecībā uz vispārīgāko zinātnisko jautājumu par emociju izplatīšanos (Prentice and Miller 1992) .

Papildus šiem zinātniskajiem jautājumiem, tikai dažas dienas pēc šī papīra publicēšanas Nacionālās Zinātņu akadēmijas Proceedings , bija milzīgs protests no abiem pētniekiem un preses (es aprakstīšu argumentus šajās debatēs sīkāk 6. nodaļā ) Šajās debatēs izvirzītie jautājumi izraisīja žurnāla publicēšanu reti sastopamu "izteiktu bažas par redaktoru" par pētījumu ētiku un ētiskās pārskatīšanas procesu (Verma 2014) .

Ņemot vērā emocionālās saslimšanas pieredzi, es vēlētos parādīt, ka trīs R var ieteikt konkrētus praktiskus uzlabojumus reālos pētījumos (neatkarīgi no tā, ko jūs personīgi domājat par konkrētā eksperimenta ētiku). Pirmais R aizstājējs : ja iespējams, pētniekiem jācenšas aizstāt eksperimentus ar mazāk invazīvām un riskantām metodēm. Piemēram, pētnieki varēja izmantot dabisku eksperimentu , nevis vadīt nejaušināti kontrolētu eksperimentu . Kā aprakstīts 2. nodaļā, dabas eksperimenti ir situācijas, kad pasaulē notiek kaut kas, kas tuvina nejaušo ārstēšanas veidu izvēli (piemēram, izloze, lai izlemtu, kurš tiks izlaists militārajā). Dabiskā eksperimenta ētiskā priekšrocība ir tāda, ka pētniekam nav jāsniedz ārstēšana: vide tas jums dara. Piemēram, gandrīz vienlaikus ar Emocionālā kontragāta eksperimentu, Lorenzo Coviello et al. (2014) izmantoja to, ko varētu saukt par dabisko eksperimentu ar emocionālo kontu. Coviello un kolēģi atklāja, ka cilvēki ievieto vairāk negatīvus vārdus un mazāk pozitīvu vārdu tajās lietās, kurās ir lietus. Tādēļ, izmantojot laika apstākļu nejaušības variantus, viņi varēja izpētīt izmaiņu ietekmi uz Ziņu plūsmu bez vajadzības vispār iejaukties. Tas bija tā, it kā laika apstākļi viņiem veiktu viņu eksperimentu. Sīkāka informācija par viņu procedūru ir nedaudz sarežģīta, taču mūsu mērķiem vissvarīgākais ir tas, ka, izmantojot dabisko eksperimentu, Coviello un kolēģi varēja uzzināt par emociju izplatīšanos, neizmantojot savu eksperimentu.

Otrais no trijiem R ir precizēts : pētniekiem jāmēģina pilnveidot savu ārstēšanu, lai padarītu tos pēc iespējas nekaitīgākus. Piemēram, nevis bloķējot saturu, kas bija vai nu pozitīvs, vai negatīvs, pētnieki varēja palielināt saturu, kas bija pozitīvs vai negatīvs. Šis uzlabojošais dizains būtu mainījis dalībnieku ziņu plūsmu emocionālo saturu, bet tas būtu vērsies pie vienas no bažām, ko kritiķi izteica: eksperimenti varēja novest dalībniekiem ar svarīgu informāciju savā ziņu plūsmā. Ar Kramer un kolēģu izstrādāto dizainu svarīgs ziņojums, visticamāk, tiks bloķēts kā tāds, par kuru tas nav. Tomēr, izmantojot uzlabotu dizainu, ziņojumi, kas tiks pārvietoti, būtu tie, kas ir mazāk svarīgi.

Visbeidzot, trešais R samazinās : pētniekiem jācenšas samazināt eksperimenta dalībnieku skaitu līdz minimālajam līmenim, kas nepieciešams zinātniskā mērķa sasniegšanai. Analogos eksperimentos tas notika dabiski dalībnieku augsto mainīgo izmaksu dēļ. Taču digitālajos eksperimentos, jo īpaši tiem, kuriem ir nulles mainīgas izmaksas, pētniekiem nav izdevības ierobežot eksperimenta lielumu, un tas var radīt nevajadzīgi lielus eksperimentus.

Piemēram, Kramer un kolēģi varēja izmantot iepriekšēju ārstēšanas informāciju par saviem dalībniekiem, piemēram, pirmapstrādes norīkojuma uzvedību, lai padarītu viņu analīzi efektīvāku. Precīzāk, nevis salīdzinot pozitīvo vārdu īpatsvaru ārstēšanas un kontroles apstākļos, Kramer un kolēģi varēja salīdzināt pozitīvo vārdu īpatsvara pārmaiņas starp apstākļiem; pieeju, kuru dažreiz sauc par jauktu dizainu (4.5. attēls) un dažreiz to sauc par starpības un atšķirību aprēķinu. Tas ir, katram dalībniekam pētnieki varētu būt izveidojuši izmaiņu vērtējumu (pēc ārstēšanas uzvedības \(-\) pirms ārstēšanas uzvedību), un pēc tam salīdzināja ārstēšanas un kontroles nosacījumu dalībnieku pārrēķinu rezultātus. Šī starpību atšķirību pieeja ir statistiski efektīvāka, kas nozīmē, ka pētnieki var iegūt tādu pašu statistisko pārliecību, izmantojot daudz mazākus paraugus.

Neizmantojot neapstrādātus datus, ir grūti precīzi zināt, cik efektīvi būtu atšķirības starpības novērtētājs šajā gadījumā. Bet mēs varam apskatīt citus saistītus eksperimentus par aptuvenu ideju. Deng et al. (2013) ziņoja, ka, izmantojot starpības atšķirību novērtējuma metodi, trīs dažādos eksperimentos tiešsaistē viņi varēja samazināt aplēšu novirzi par apmēram 50%; Līdzīgi rezultāti ir ziņoti Xie and Aurisset (2016) . Šis 50% dispersijas samazinājums nozīmē to, ka emocionālās invāzijas pētnieki, iespējams, ir spējuši daļēji samazināt paraugu, ja viņi būtu izmantojuši nedaudz atšķirīgu analīzes metodi. Citiem vārdiem sakot, ar nelielām izmaiņām analīzē, 350 000 cilvēku varētu būt iztērēti dalība eksperimentā.

Šajā brīdī jums varētu būt jautājums, kāpēc pētniekiem būtu jārūpējas, vai 350 000 cilvēku nevajadzīgi būtu emocionālajā apkarošanā. Emocionālās saslimšanas gadījumā ir divas īpašas iezīmes, kas rada bažas par pārāk lielu izmēru, un šīs funkcijas kopīgas ar daudziem digitālo eksperimentu laukiem: (1) pastāv neskaidrība par to, vai eksperiments kaitēs vismaz dažiem dalībniekiem un (2) piedalīsies nebija brīvprātīga. Šķiet saprātīgi mēģināt noturēt eksperimentus, kam šīs funkcijas ir pēc iespējas mazākas.

Lai būtu skaidrs, vēlme samazināt eksperimenta lielumu nenozīmē, ka jums nevajadzētu palaist lielus nulles maiņas izmaksu eksperimentus. Tas vienkārši nozīmē, ka jūsu eksperimentiem nevajadzētu būt lielākiem, nekā jums ir nepieciešams, lai sasniegtu savu zinātnisko mērķi. Viens no svarīgākajiem veidiem, lai pārliecinātos, ka eksperiments ir pareizi izmērīts, ir veikt enerģijas analīzi (Cohen 1988) . Analogā vecumā pētnieki parasti veicja varas analīzi, lai pārliecinātos, ka viņu pētījums nav pārāk mazs (ti, ar nepietiekamu jaudu). Tomēr pētniekiem tomēr jāveic varas analīze, lai pārliecinātos, ka viņu pētījums nav pārāk liels (ti, ar pārāk lielu jaudu).

Visbeidzot, trīs R-aizstāj, pilnveido un samazina principus, kas var palīdzēt pētniekiem veidot ētiku savos eksperimentālajos projektos. Protams, katra no šīm iespējamajām izmaiņām emocionālajā saslimšanā ievieš kompromisus. Piemēram, dabas eksperimentu pierādījumi ne vienmēr ir tikpat tīri kā no nejauši izvēlētiem eksperimentiem, un satura palielināšana var būt bijusi grūtāk īstenojama, nekā bloķējot saturu. Tātad, šo izmaiņu ierosināšanas mērķis nebija otrādi uzminēt citu pētnieku lēmumus. Drīzāk tas bija ilustrēt, kā reālos apstākļos varētu piemērot trīs R. Faktiski jautājums par kompromisiem nepārtraukti rodas pētījumu plānošanā, un digitalizācijas laikmetā šie kompromisi arvien vairāk pievērsīsies ētiskiem apsvērumiem. Vēlāk, 6. nodaļā, es piedāvāju dažus principus un ētiskas struktūras, kas var palīdzēt pētniekiem saprast un apspriest šos kompromisus.