4.6.2 Izgraditi etiku u svoj dizajn: zamijeniti, poboljšati i smanjiti

Učinite vaš eksperiment humanije zamjenom eksperimente sa ne-eksperimentalnih studija, rafiniranje tretmana, a smanjenje broja učesnika.

Drugi savet koji bih želeo da ponudim u vezi dizajniranja digitalnih eksperimenata odnosi se na etiku. Kako eksperimenti Restivo i van de Rijt na barnstarima na Vikipediji pokazuju, sniženi troškovi znače da će etika postati sve važniji dio dizajna istraživanja. Pored etičkih okvira koji vode istraživanje ljudskih subjekata koje ću opisati u poglavlju 6, istraživači koji dizajniraju digitalne eksperimente mogu se također oslanjati na etičke ideje iz drugog izvora: etički principi razvijeni za vođenje eksperimenata koji uključuju životinje. Konkretno, u svojoj knjizi " Principi humane eksperimentalne tehnike" , Russell and Burch (1959) predložili tri principa koji bi trebali voditi istraživanja životinja: zamijeniti, poboljšati i smanjiti. Želeo bih da predložim da se i ova tri R-a mogu koristiti u malom modifikovanom obliku - kako bi se vodio dizajn ljudskih eksperimenata. Konkretno,

• Zamijeni: Zamijenite eksperimente sa manje invazivnim metodama ako je moguće.
• Precizirajte: Precizirajte tretman kako biste ga učinili što bezbjednijim.
• Smanjite: što je moguće više smanjite broj učesnika u vašem eksperimentu.

Kako bismo napravili ove tri R-ove betone i pokazali kako mogu potencijalno dovesti do boljeg i humanijeg eksperimentalnog dizajna, opisaću eksperiment online na terenu koji je stvorio etičku debatu. Zatim ću opisati kako tri R-a predlažu konkretne i praktične promjene u dizajnu eksperimenta.

Jedan od najtežih debatnih eksperimenata na digitalnom terenu sprovodili su Adam Kramer, Jamie Guillroy i Jeffrey Hancock (2014) i nazvali su "Emotional Contagion". Eksperiment je održan na Facebooku i motivisan je mješavinom naučnih i praktična pitanja. U to doba, dominantan način na koji su korisnici interakcionirali sa Facebook-om je bio News Feed, algoritamski kurirani skup ažuriranja statusa Facebook-a od prijatelja Facebook-a. Neki kritičari Facebook su sugerisali da zbog toga što News Feed ima uglavnom pozitivne postove-prijatelje koji pokazuju svoje najnovije partije - to bi moglo uzrokovati korisnicima da se osećaju tužno, jer su njihovi životi izgledali manje uzbudljivo u poređenju. Sa druge strane, možda je efekat upravo suprotan: možda vidiš da se tvoj prijatelj dobro provodi i osjeća srećnim. Da bismo se suočili sa ovim suprotstavljenim hipotezama - i da unapredimo naše razumevanje kako osećanja čoveka utiču na emocije njenih prijatelja - Kramer i kolege su pokrenuli eksperiment. Oni su postavili oko 700.000 korisnika u četiri grupe u trajanju od jedne sedmice: grupu "negativnosti smanjena", za koju su postovi sa negativnim riječima (npr. "Tužni") nasumično blokirani da se pojavljuju u News Feed-u; grupu koja je "pozitivno smanjena" za koje su pozicije sa pozitivnim riječima (npr. "srećne") nasumično blokirane; i dve kontrolne grupe. U kontrolnoj grupi za grupu "smanjena negativnost" postovi su nasumično blokirani po istoj stopi kao grupa "smanjena negativnost", ali bez obzira na emotivni sadržaj. Kontrolna grupa za grupu "smanjena pozitiva" konstruisana je paralelno. Dizajn ovog eksperimenta ilustruje da odgovarajuća kontrolna grupa nije uvijek jedna bez promjena. Umjesto toga, ponekad, kontrolna grupa dobija tretman kako bi se stvorilo precizno poređenje koje istraživačko pitanje zahtijeva. U svim slučajevima, postovi koji su blokirani iz News Feed-a su i dalje bili dostupni korisnicima preko drugih dijelova Facebook stranice.

Kramer i kolege su otkrili da je za učesnike u uslovima smanjenja pozitivnosti smanjen procenat pozitivnih reči u njihovom statusu, a procenat negativnih reči povećan. Sa druge strane, za učesnike u uslovima smanjene negativnosti povećan je procenat pozitivnih reči i smanjen je negativan naziv (slika 4.24). Međutim, ovi efekti su bili prilično mali: razlika u pozitivnim i negativnim rečima između tretmana i kontrola bila je oko 1 od 1.000 reči.

Slika 4.24: Dokazi o emocionalnoj zarazi (Kramer, Guillory, and Hancock 2014) . Učesnici u uslovima smanjene negativnosti koristili su manje negativnih reči i pozitivnih reči, a učesnici u uslovima smanjenog pozitivnosti koristili su negativne reči i manje pozitivnih reči. Barovi predstavljaju procijenjene standardne greške. Prilagođeno od Kramer, Guillory, and Hancock (2014) , slika 1.

Prije razgovora o etičkim pitanjima pokrenutim ovim eksperimentom, želio bih opisati tri naučna pitanja koja koriste neke od ideja iz ranije u poglavlju. Prvo, nije jasno kako se stvarni detalji eksperimenta povezuju sa teorijskim tvrdnjama; Drugim riječima, postoje pitanja o izgradnji valjanosti. Nije jasno da su pozitivni i negativni brojevi rečima zapravo dobar pokazatelj emocionalnog stanja učesnika jer (1) nije jasno da reči koje ljudi postavljaju dobar pokazatelj njihovih emocija i (2) nije jasno je da je tehnika analize raspoloženja koju su istraživači koristili sposobna pouzdano zaključiti emocije (Beasley and Mason 2015; Panger 2016) . Drugim rečima, možda postoji loša mera pristrasnog signala. Drugo, dizajn i analiza eksperimenta ne govore ništa o tome ko je najviše pogođen (tj. Ne postoji analiza heterogenosti efekata liječenja) i kakav mehanizam može biti. U ovom slučaju, istraživači su imali dosta informacija o učesnicima, ali su u suštini tretirani kao vidžeti u analizi. Treće, veličina efekta u ovom eksperimentu bila je veoma mala; razlika između terapije i uslova kontrole je oko 1 od 1.000 reči. U svom članku, Kramer i kolege tvrde da je efekat ove veličine važan jer stotine miliona ljudi svakodnevno pristupa svojim novostima. Drugim riječima, oni tvrde da čak i ako su efekti mali za svaku osobu, oni su veliki u agregatu. Čak i ako biste prihvatili ovaj argument, još uvek nije jasno da li je značaj ovakvih veličina važan u odnosu na opštije naučno pitanje o širenju emocija (Prentice and Miller 1992) .

Pored ovih naučnih pitanja, samo nekoliko dana nakon što je ovaj članak objavljen u Zborniku Nacionalne akademije nauka , došlo je do ogromnog napora i istraživača i štampe (detaljnije ću opisati argumente u ovoj raspravi u poglavlju 6 ). Pitanja koja su pokrenuta u ovoj raspravi dovela su do toga da časopis objavljuje rijetko "uređivačko izražavanje zabrinutosti" o etici i procesu etičkog pregleda za istraživanje (Verma 2014) .

S obzirom na pozadinu Emotional Contagion-a, sada bih želeo da pokažem da tri R-a mogu predložiti konkretna, praktična poboljšanja za prave studije (šta god li lično mislite o etici ovog konkretnog eksperimenta). Prvi R se zamenjuje : istraživači treba da zamene eksperimente sa manje invazivnim i rizičnim tehnikama, ako je moguće. Na primjer, umjesto pokretanja randomiziranog kontrolisanog eksperimenta, istraživači su mogli iskoristiti prirodni eksperiment . Kao što je opisano u poglavlju 2, prirodni eksperimenti su situacije u kojima se nešto dešava u svetu, što je aproksimativno sa slučajnim dodeljivanjem tretmana (npr. Lutrija za odlučivanje ko će biti uperen u vojsku). Etička prednost prirodnog eksperimenta je da istraživač ne mora da pruži tretmane: to čini okolina za vas. Na primjer, skoro istovremeno s eksperimentom Emotional Contagion, Lorenzo Coviello et al. (2014) iskoristili su ono što se naziva prirodnim eksperimentom Emotional Contagion. Coviello i kolege su otkrili da ljudi objavljuju negativne reči i manje pozitivnih riječi u danima gdje pada kiša. Stoga, koristeći slučajne varijacije u vremenu, mogli su proučiti uticaj promjena u News Feed-u bez potrebe da se uopće interveniše. Bilo je to kao da im vreme provodi svoj eksperiment za njih. Detalji njihovog postupka su malo komplikovani, ali najvažnija stvar u našim namjerama jeste da su korištenjem prirodnog eksperimenta Coviello i kolege uspeli da saznaju o širenju emocija bez potrebe za sopstvenim eksperimentom.

Druga od tri RR se precizira : istraživači treba da pokušaju da poboljšaju svoje tretmane kako bi ih učinili što bezbjednijim. Na primjer, umjesto blokiranja sadržaja koji je bio pozitivan ili negativan, istraživači su mogli povećati sadržaj koji je bio pozitivan ili negativan. Ovaj dizajn koji je podstakao bi promenio emocionalni sadržaj u News Feeds-u, ali bi se bavio jednim od zabrinutosti koje su kritičari izrazili: da su eksperimenti mogli prouzrokovati da učesnici propuste važne informacije u svom News Feed-u. Sa dizajnom koji koriste Kramer i kolege, poruka koja je važna je verovatno da će biti blokirana kao ona koja nije. Međutim, sa dizajnom koji podstiče, poruke koje bi bile raseljene bi bile manje važne.

Konačno, treći R se smanjuje : istraživači treba da nastave da smanji broj učesnika u svom eksperimentu na minimum koji je potreban da bi se postigao njihov naučni cilj. U analognim eksperimentima to se desilo prirodno zbog visokih promenljivih troškova učesnika. Međutim, u digitalnim eksperimentima, naročito onima sa nultim varijabilnim troškovima, istraživači se ne suočavaju sa troškovnim ograničenjem veličine njihovog eksperimenta, a to ima potencijal da dovede do nepotrebno velikih eksperimenata.

Na primjer, Kramer i kolege mogli su koristiti informacije o pred-tretmanu o svojim učesnicima - kao što je ponašanje za postavljanje pred tretmanom - kako bi se njihova analiza učinila efikasnijom. Preciznije, umesto da poredi procenat pozitivnih reči u uslovima tretmana i kontrole, Kramer i kolege mogli su uporediti promenu u procentu pozitivnih reči između uslova; pristup koji se ponekad naziva mješovitim dizajnom (slika 4.5), a ponekad se naziva i procjenitelj razlika između razlika. To jest, za svakog učesnika, istraživači su mogli stvoriti rezultat promjene (ponašanje nakon liječenja \(-\) prije tretmana), a zatim upoređivati ​​rezultate promjena učesnika u uslovima liječenja i kontrole. Ovaj razlike u razlikama je efikasniji statistički, što znači da istraživači mogu postići istu statističku pouzdanost koristeći mnogo manje uzorke.

Bez obrađivanja sirovih podataka, teško je znati tačno koliko je efikasnija procjena razlika u razlikama u ovom slučaju. Ali možemo da pogledamo druge srodne eksperimente za grubu ideju. Deng et al. (2013) izvijestili su da koristeći oblik procjene razlika u razlikama, uspjeli su smanjiti varijansu svojih procjena za oko 50% u tri različita online eksperimenta; Slični rezultati su izvijestili Xie and Aurisset (2016) . Ovo smanjenje 50% varijanse znači da su istraživači emocionalne kontagije možda mogli umanjiti uzorak na pola ako su koristili nešto drugačiji metod analize. Drugim rečima, uz malu promenu u analizi, 350,000 ljudi je možda bilo ušteđeno učešće u eksperimentu.

U ovom trenutku možete se pitati zašto bi istraživači trebali biti briga ako 350.000 ljudi nije bilo neophodno u Emotional Contagion-u. Postoje dve posebne karakteristike Emotional Contagion-a koji se bave prekomernom veličinom, a ove funkcije dele mnoge eksperimente na digitalnom polju: (1) postoji neizvesnost u vezi sa tim da li će eksperiment izazvati štetu bar nekim učesnicima i (2) učešću nije bio dobrovoljan. Izgleda razumno pokušati da zadržimo eksperimente koji imaju ove karakteristike što je moguće manji.

Da budete jasni, želja da smanjite veličinu vašeg eksperimenta ne znači da ne bi trebalo da pokrećete velike eksperimente sa niskim promenljivim cijenama. To samo znači da vaši eksperimenti ne bi trebali biti veći nego što vam je potrebno za postizanje vašeg naučnog cilja. Jedan od važnih načina da se osigura da je eksperiment odgovarajuće veličine je provoditi analizu moći (Cohen 1988) . U analognom dobu, istraživači su uglavnom vršili analizu moći kako bi bili sigurni da njihova studija nije bila premala (tj. Sada, međutim, istraživači treba da izvrše analizu moći kako bi bili sigurni da njihova studija nije prevelika (tj. Previše napajana).

U zaključku, tri R's-zameniti, prečišćavati i smanjiti-pružiti principe koji mogu pomoći istraživačima da izgrade etiku u svojim eksperimentalnim dizajnom. Naravno, svaka od ovih mogućih promena Emocionalne kontagije uvodi kompromise. Na primer, dokazi iz prirodnih eksperimenata nisu uvek tako čisti od onih iz randomiziranih eksperimenata, a povećanje sadržaja je možda bilo logistički teže implementirati nego blokiranje sadržaja. Dakle, svrha sugerisanja ovih promena nije bila da pregovaraju na odluke drugih istraživača. Umesto toga, trebalo je da se ilustruje kako se tri R-a mogu primeniti u realnoj situaciji. Zapravo, pitanje kompromisa dolazi sve vreme u dizajnu istraživanja, au digitalnom dobu, ovi kompromisi će sve više uključivati ​​etičke razmatranje. Kasnije, u poglavlju 6, ponudiću nekoliko principa i etičkih okvira koji mogu pomoći istraživačima da razumeju i diskutuju o ovim kompromisima.