4.6.2 Zamijeni, poboljšati, i smanjiti

Učinite svoj ​​eksperiment humanije zamjenom eksperimente s ne-eksperimentalnim studijama, rafiniranje tretmane, te smanjenje broja sudionika.

Drugi savjet koji bih ponuditi o projektiranju digitalnih eksperimenata tiče etike. Kao Restivo i van de Rijt pokus na barnstars u Wikipediji pokazuje, smanjeni troškovi znači da će etika postaje sve važniji dio istraživačkog projekta. Osim etičkih okvira za vođenje ljudskim subjektima istraživanja koja ću opisati u poglavlju 6, istraživači su projektiranje digitalnih eksperimente također može izvući na etičkim idejama iz drugog izvora: etička načela koja se vodi eksperimente sa životinjama. Konkretno, u svojim orijentir knjizi Principles of Humane eksperimentalnu tehniku, Russell and Burch (1959) je predložio tri načela koja bi trebala voditi istraživanja na životinjama: Zamjena, poboljšati i smanjiti. Htio bih predložiti da ta tri R-a također se mogu koristiti-u nešto izmijenjenom obliku-vodič za konstrukciju ljudskih eksperimenata. Posebno,

• Vratite: Zamjena eksperimente s manje invazivnim metodama, ako je moguće
• Poboljšajte: Poboljšajte tretman da bude kao bezopasna što je više moguće
• Smanjiti: Smanjiti broj sudionika u eksperimentu što je više moguće

Kako bi se ovi trima aspektima beton i pokazati kako se potencijalno može dovesti do boljeg i humanijeg eksperimentalnom dizajnu, ja ću opisati online polje eksperiment koji generira etičku raspravu. Onda ću opisati kako su tri R-a predložiti konkretne i praktične promjene u dizajnu eksperimenta.

Jedan od najviše etički raspravlja eksperimentima digitalni polje je "Emocionalna Contagion", koji je proveo Adam Kramer, Jamie Gillroy i Jeffrey Hancock (2014) . Pokus je održan na Facebooku i bio motiviran mješavinu znanstvenih i praktičnih pitanja. U to vrijeme, dominantni način na koji korisnik u interakciji s Facebook bio News Feed, algoritamski kustos skup ažuriranja statusa na Facebooku od korisnikovih Facebook prijateljima. Neki kritičari Facebook je predložio da zbog News Feed ima uglavnom pozitivni postovi-prijatelji iskažu svoje najnovije stranku-to bi moglo uzrokovati korisnicima da se osjećaju tužno, jer su njihovi životi izgledaju manje uzbudljivo u usporedbi. S druge strane, možda je učinak upravo suprotna; Možda je vidio svog prijatelja koji ima dobro vrijeme će učiniti da se osjećate sretni? U cilju rješavanja istih natječu hipoteza i unaprijediti naše razumijevanje o tome kako emocije neke osobe su utjecali njezini prijatelji 'emocijama-Kramer i kolege vodio eksperiment. Istraživači su smješteni oko 700.000 korisnika u četiri skupine za jedan tjedan: "negativnost smanjena" grupe, na kojima su postovi s negativnim riječima (npr tužno) slučajno su blokirani od pojavljivanja na News Feed, A "pozitivnost smanjena" skupina za koga postovi s pozitivnim riječima (npr sretan) slučajno su blokirani; i dvije kontrolne grupe. U kontrolnoj skupini za "negativnosti smanjena" grupe, postovi su nasumično blokirana po istoj stopi kao i "negativnosti smanjena" grupe, ali bez obzira na emocionalnom sadržaju. Kontrolna skupina za "pozitivnost smanjena" grupe je izgrađena u paralelnom modu. Dizajn ovog eksperimenta pokazuje da je odgovarajući kontrolna skupina nije uvijek jedna bez promjene. Umjesto toga, ponekad je kontrolna grupa prima terapiju kako bi se stvorili preciznu usporedbu da je istraživačko pitanje zahtijeva. U svim slučajevima, postovi koji su bili blokirani od News Feed su još uvijek dostupni korisnicima putem drugih dijelova Facebook web stranice.

Kramer i kolege otkrili su da je za sudionike u pozitivnosti smanjuje stanje, postotak pozitivnih riječi u njihovim ažuriranja statusa smanjio i postotak negativnih riječi povećana. S druge strane, za sudionike u negativnosti smanjena stanju, postotak pozitivnih riječi povećava i postotak negativnih riječi smanjena (Slika 4.23). Međutim, ovi efekti su vrlo male: razlika u pozitivnim i negativnim riječima između liječenja i kontrole bio je oko 1 na 1000 riječi.

Slika 4.23: Dokazi emocionalne zaraze (Kramer, Guillory, and Hancock 2014) . Postotak pozitivnih riječi i negativnim riječima eksperimentalnom stanju. Barovi predstavljaju procjenjuje standardne pogreške.

Ja sam stavio raspravu o znanstvenim aspektima ovog eksperimenta u daljnjem dijelu čitanja na kraju poglavlja, ali na žalost, ovaj eksperiment je najpoznatiji za stvaranje etičkog raspravu. Samo nekoliko dana nakon što je ovaj rad je objavljen u Proceedings of the National Academy of Sciences, došlo je do ogromne vika iz oba istraživača i tiska. Outrage oko radu usmjerena na dvije glavne točke: 1) Sudionici nije dao pristanak izvan standardnih Facebook smislu-of-service za liječenje koje su neki smatrali bi mogli štetno djelovati na sudionike i 2) Studija nije prošao treće strane etički pregled (Grimmelmann 2015) . Etički pitanja koja u ovoj raspravi izazvao časopis za brzo objavljivanje rijetku "uređivačku izražavanje zabrinutosti" o etičnosti i etičke postupku pregleda za istraživanje (Verma 2014) . U narednim godinama, eksperiment je nastavio biti izvor intenzivne rasprave i neslaganja, a to neslaganje možda imali nenamjerno učinak vožnje u sjenu mnoge druge pokuse koji se izvode tvrtke (Meyer 2014) .

S obzirom da je u pozadini oko Emocionalna zaraza, ja bih sada želio pokazati da je 3 R može predložiti konkretne, praktične poboljšanja za pravim studijama (bez obzira što možda osobno mislim o etici ovom eksperimentu). Prvi je R zamjena istraživači treba nastojati zamijeniti pokuse s manje invazivne i rizičnim tehnike, ako je moguće. Na primjer, umjesto provođenja eksperimenta, istraživači su mogli su koristili prirodni eksperiment. Kao što je opisano u Poglavlju 2, prirodne eksperimenti su situacije u kojima se nešto događa u svijetu koji je blizak slučajni raspored tretmana (npr lutrija odlučiti tko će biti sastavljeno u vojsci). Prednost prirodnog eksperimenta je da istraživač ne mora dostaviti tretmana; okolina to radi za vas. Drugim riječima, s prirodnim eksperimentu, znanstvenici ne bi trebalo da se eksperimentalno manipulirati ljudima Tekuće Vijesti.

U stvari, gotovo istodobno s Emocionalna zaraza eksperimenta, Coviello et al. (2014) je iskorištavanje onoga što bi se moglo nazvati Emotivni Zaraza prirodni eksperiment. Njihov pristup, koji koristi tehniku ​​zvanu instrumentalnih varijabli, je malo komplicirano ako ste nikada nije vidio prije. Dakle, kako bi objasnio zašto je potrebno, neka se podigne na njega. Prva ideja da su neki istraživači možda morati učiti emocionalne zaraze bio bi usporediti svoje postove na dane u kojima je vaš News Feed je vrlo pozitivno na vaše postove na dane u kojima je vaš News Feed je bio vrlo negativan. Ovaj pristup će biti u redu, ako je cilj bio samo predvidjeti emocionalni sadržaj vaših postova, ali ovaj pristup je problematičan ako je cilj proučiti uzročno-posljedičnu učinak vašeg News Feed o vašim postovima. Da biste vidjeli problem s ovim dizajnom, razmislite zahvalnosti. U SAD-u, pozitivni postovi spike i negativni postovi padnu na Dan zahvalnosti. Tako, na Dan zahvalnosti, istraživači su mogli vidjeti da je vaš News Feed je vrlo pozitivno i da ste objavili pozitivne stvari, kao dobro. No, vaši pozitivni postovi mogle biti uzrokovane zahvalnosti ne po sadržaju Vaše News Feed. Umjesto toga, kako bi se procijenila kauzalnu istraživači učinak potrebno nešto što mijenja sadržaj vašeg News Feed bez izravnog mijenjanja svoje emocije. Srećom, tu je nešto kao da se događa cijelo vrijeme: vremenu.

Coviello i kolege otkrili su da je kišni dan u nečijem gradu će se, u prosjeku, smanjiti udio radnih mjesta koja su pozitivna za oko 1 postotni bod i povećanje udjela postova koji su negativni za oko 1 postotni bod. Zatim Coviello i kolege iskorištava tu činjenicu za proučavanje emocionalne zaraze, bez potrebe za eksperimentalno manipulirati ničiju Vijesti. U biti ono što su učinili je mjera kako vaši postovi su utjecali na vrijeme u gradovima gdje žive vaši prijatelji. Da bismo vidjeli zašto to ima smisla, zamislite da živite u New Yorku i imate prijatelja koji živi u Seattleu. Sada zamislite da jednog dana počne kiša u Seattleu. Ova kiša u Seattleu neće izravno utjecati na vaše raspoloženje, ali to će uzrokovati vaše News Feed biti manje pozitivna i negativna zbog komentara svog prijatelja. Dakle, kiša u Seattleu slučajno manipulira svoj News Feed. Okretanje ovu intuiciju u pouzdanu statističku postupak je kompliciran (i točan pristup koristi Coviello i kolege je malo nestandardni) pa sam stavio detaljniju raspravu u daljnjem dijelu čitanja. Najvažnija stvar u vezi Coviello i kolega pristup je da im je omogućio studij emocionalne zaraze, bez potrebe za pokretanjem eksperiment koji bi potencijalno mogao oštetiti sudionika, a to može biti slučaj da je u mnogim drugim postavkama koje mogu zamijeniti pokuse s drugima Tehnike.

Drugo u 3 Rs je poboljšavanje: istraživači trebaju nastojati da poboljšaju svoje tretmane da bi se izazvalo je moguće najmanju štetu. Na primjer, umjesto da blokira sadržaj koji je bio bilo pozitivno ili negativno, istraživači mogao potaknut sadržaj koji je bio pozitivan ili negativan. Ovo povišenje dizajn bi promijenio emocionalni sadržaj sudionika Tekuće Vijesti, no to bi se obratio jedan od zabrinutosti koje kritičari izrazili: da su eksperimenti moglo izazvati sudionike propustiti važne informacije na svom News Feed. Uz dizajn koji koristi Kramer i kolege, poruka koja je važna je vjerojatnije da će biti blokiran kao jedan koji nije. Međutim, uz pojačani dizajnom, poruke koje će biti raseljeni će biti onih koji su manje važni.

Konačno, treći R Smanjiti: istraživači treba nastojati smanjiti broj sudionika u eksperimentu, ako je moguće. U prošlosti, to smanjenje se dogodilo, naravno, jer je varijabilni trošak analognih pokusa bila je visoka, što potiče istraživanje kako bi optimizirali svoje dizajn i analizu. Međutim, kada je nula varijabilnih podataka o troškovima, znanstvenici ne suočavaju troškovno ograničenje na veličinu njihovog eksperimenta, a to ima potencijal da dovesti do nepotrebno velikih eksperimenata.

Na primjer, Kramer i njegovi kolege mogli su koristiti podatke prije tretmana o svojim sudionicima-kao što su priprema i obrada knjiženja ponašanje-da bi njihova analiza učinkovitiji. Točnije, umjesto uspoređivanje omjera pozitivnih riječi u uvjetima za tretman i kontrolu, Kramer i suradnici mogla usporediti promjenu u omjeru pozitivnih riječi između uvjetima; pristup često se naziva razlika-u-razlike, a koja je usko povezana s mješovitim dizajn koji sam ranije opisan u poglavlju (Slika 4.5). To je, za svakog sudionika, istraživači mogao stvoriti promjenu ocjene (post-tretman ponašanje - ponašanje prije liječenja), a zatim usporedili rezultate promjeni sudionika u uvjetima liječenja i kontrole. Ovaj pristup je razlika-u-razlika je učinkovitiji statistički, što znači da znanstvenici mogu postići istu statističku povjerenje koristeći mnogo manje uzoraka. Drugim riječima, ne liječenje sudionike poput "widgete", istraživači često mogu dobiti preciznije procjene.

Bez sirove podatke teško je točno znati koliko je učinkovitiji je pristup razlika-u-razlika bila bi u ovom slučaju. No, Deng et al. (2013) izvijestio je da je u tri online pokusa na Bing tražilicu oni su mogli smanjiti varijancu njihovim procjenama oko 50%, a slični rezultati zabilježeni su za neke online pokuse na Netflix (Xie and Aurisset 2016) . Ovo smanjenje varijance 50% znači da je emocionalna zaraza znanstvenici možda su u stanju smanjiti njihov uzorak na pola ako su koristili malo drugačiji metode analize. Drugim riječima, sa sitnim promjenama u analizi, 350.000 ljudi možda su pošteđeni sudjelovanje u eksperimentu.

U ovom trenutku možda se pitate zašto znanstvenici trebali briga ako 350.000 ljudi bilo je u Emocionalna zaraza nepotrebno. Postoje dvije posebne značajke emocionalne zaraze koje čine problem s prekomjernom veličinom primjereno, i ove osobine dijele ih pokusa digitalnom polju: 1) postoji sumnja o tome da li je eksperiment će uzrokovati štetu za najmanje nekih sudionika i 2) sudjelovanje nije bilo dobrovoljno. U pokusima s tim dvjema karakteristikama čini preporučljivo držati pokuse što je moguće manja.

U zaključku, tri R's zamijeniti, poboljšati i smanjiti-osigurati načela koja mogu pomoći istraživačima izgraditi etiku u svojim eksperimentalnim nacrtima. Naravno, svaki od tih mogućih promjena emocionalnog zaraze uvodi kompromise. Na primjer, dokazi iz prirodnih eksperimenata nije uvijek čist kao dokaza iz randomiziranih pokusa i jačanje moglo biti više logistički teško provoditi od bloka. Dakle, svrha sugerirajući da ta promjena nije bila na drugom pogoditi odluke drugih istraživača. Umjesto toga, to je ilustrirao kako tri R-a može se primijeniti u realnim situacijama.