4.6.2 Zamijenite, Precizno i smanjiti

Učinite vaš eksperiment humanije zamjenom eksperimente sa ne-eksperimentalnih studija, rafiniranje tretmana, a smanjenje broja učesnika.

Drugi savet da bih da ponudim o dizajniranju digitalnih eksperimentima tiče etike. Kao Restivo i van de Rijt eksperiment na barnstars u Wikipediji emisijama, smanjeni troškovi znači da će etika postati sve važniji dio dizajna istraživanja. Pored etičke okvire vodeći ljudskim subjektima istraživanja koje ću opisati u poglavlju 6, istraživači projektiranje digitalni eksperimenti također može izvući na etičke ideje iz različitih izvora: etičkim principima razvijenih za vođenje eksperimenata koji uključuju životinje. Konkretno, u svojim principima orijentir knjiga Humane eksperimentalnu tehniku, Russell and Burch (1959) je predložio tri principa da treba voditi istraživanja na životinjama: Vratite, Precizno, i smanjiti. Ja bih predložiti da ove tri R također se mogu koristiti u nešto izmijenjenom obliku-u voditi dizajn ljudskog eksperimenata. Konkretno,

• Vratite: Zamijenite eksperimente sa manje invazivnim metodama, ako je moguće
• Precizno: Detaljnija tretman da bi se kao bezopasan moguće
• Smanjite: Smanjiti broj učesnika u eksperimentu što je više moguće

Da bi konkretne ova tri R i pokazati kako se može potencijalno dovesti do boljeg i humanijeg eksperimentalni dizajn, ja ću opisati online polje eksperiment koji generira etičke rasprave. Onda ću opisati kako su tri R predložiti konkretne i praktične promjene u dizajnu eksperimenta.

Jedan od najviše etički raspravlja eksperimenata digitalni polje "Emotional Contagion", koji je vodio Adam Kramer, Jamie Gillroy, i Jeffrey Hancock (2014) . Eksperiment je održan na Facebook-u i bio motivisan mešavina naučnih i praktičnih pitanja. U to vrijeme, dominantni način na koji korisnicima interakciju sa Facebook bio News Feed, algoritamski kustos skup ažuriranja statusa Facebook sa Facebook prijatelji korisnika. Neki kritičari Facebook je predložio da, jer News Feed ima uglavnom pozitivne poruke-prijatelji pokazujući svoje najnovije party-to može izazvati korisnicima da se osjećaju tužno, jer njihov život čini manje uzbudljivo u odnosu. S druge strane, možda je efekt je upravo suprotno; možda vide svojim prijateljem dobar provod bi ste srećni? U cilju rješavanja ovih konkurentskih hipoteza-a za unapređenje naše razumijevanje o tome kako su emocije osobe utjecala njenih prijatelja 'emocije-Kramer i kolege ran eksperiment. Istraživači su postavljeni oko 700.000 korisnika u četiri grupe tjedan dana: a "negativnost smanjen" grupa, za koje poruke sa negativnim riječima (npr sad) su nasumično blokiran pojavljuju na News Feed; A "pozitivnost smanjen" grupa za koje poruke s pozitivnim riječima (npr sretan) su nasumično blokiran; i dvije kontrolne grupe. U kontrolnoj grupi za "negativnosti smanjen" grupa, poruke su nasumično blokirana po istoj stopi kao "negativnost smanjen" grupe, ali bez obzira na emotivni sadržaj. Kontrolna grupa za "pozitivnost smanjen", grupa je izgrađen u paralelno. Dizajn ovog eksperimenta pokazuje da odgovarajuće kontrolne grupe nije uvijek jedan bez promjene. Umjesto toga, ponekad kontrolne grupe dobija tretman u cilju stvaranja precizno poređenje da je istraživanje pitanje zahtijeva. U svim slučajevima, poruke koje su blokirane iz News Feed su i dalje dostupne korisnicima kroz druge dijelove web stranice Facebook.

Kramer i kolege otkrili su da je za učesnike u pozitivnosti smanjen stanje, postotak pozitivnih riječi u njihovim ažuriranja statusa smanjio i postotak negativnih riječi povećao. S druge strane, za učesnike u negativnosti smanjen stanje, postotak pozitivnih riječi povećao i postotak negativnih riječi smanjen (Slika 4.23). Međutim, ovi efekti su prilično mali: razlika u pozitivne i negativne riječi između tretmana i kontrole bio je oko 1 u 1.000 riječi.

Slika 4.23: Dokazi emocionalne zaraze (Kramer, Guillory, and Hancock 2014) . Postotak pozitivnih riječi i negativne riječi eksperimentalnim stanju. Barovi predstavljaju procjenjuje standardne greške.

Stavio sam raspravu naučnog aspekta ovog eksperimenta u daljem delu čitanje na kraju poglavlja, ali na žalost, ovaj eksperiment je najpoznatiji za stvaranje etičkih rasprava. Samo nekoliko dana nakon što je ovaj rad je objavljen u Proceedings of the National Academy of Sciences, došlo je do ogromne negodovanja i od istraživača i novinarima. Outrage oko papira fokusiran na dvije glavne točke: 1) Učesnici nije pružio nikakve pristanak izvan standardne Facebook smislu-od-servis za tretman koji neki su smatrali da bi moglo uzrokovati štetu učesnicima i 2) studija nije prošla treće strane etički pregled (Grimmelmann 2015) . Etička pitanja postavljena u ovoj raspravi izazvalo časopisu brzo objaviti redak "urednički izraz zabrinutost" o etici i etičke proces revizije za istraživanje (Verma 2014) . U narednim godinama, eksperiment je nastavio da bude izvor intenzivne rasprave i neslaganja, a to neslaganje možda imala neželjene efekte vožnje u senci mnoge druge eksperimente koji se izvode kompanije (Meyer 2014) .

S obzirom da je u pozadini oko Emotional Contagion, sada bih da se pokaže da je 3 R može predložiti konkretne, praktične poboljšanja za pravi studije (bez obzira šta lično mislim o etici ovom eksperimentu). Prvi R je Vratite: istraživači treba nastojati zamijeniti eksperimente sa manje invazivnim i rizične tehnike, ako je to moguće. Na primjer, umjesto da radi eksperiment, istraživači mogao iskorištavaju prirodni eksperiment. Kao što je opisano u poglavlju 2, prirodni eksperimenti su situacije u kojima se nešto desi u svijetu koji je približan slučajni odabir tretmana (npr lutrija odlučiti koji će biti izrađen u vojsku). Prednost prirodni eksperiment je da istraživač ne mora dostaviti tretmana; okruženje to radi za vas. Drugim riječima, uz prirodni eksperiment, istraživači ne bi trebalo da eksperimentalno manipulirati News Feeds ljudi.

U stvari, gotovo istovremeno sa Emocionalna Contagion eksperiment, Coviello et al. (2014) je iskorištavaju ono što bi se moglo nazvati emotivno Contagion prirodni eksperiment. Njihov pristup, koji koristi tehniku ​​koja se zove instrumentalne varijable, je malo komplikovano ako ste nikada ranije nije video. Dakle, kako bi se objasniti zašto je to bilo potrebno, da se izgradi do njega. Prva ideja da neki istraživači možda morati da studiraju emocionalne zaraze bi za usporedbu svoje postove na dan, gdje svoj News Feed je bio vrlo pozitivan na svoje postove na dan, gdje svoj News Feed je bio vrlo negativan. Ovaj pristup bi bilo u redu, ako je cilj bio samo da se predvidi emotivni sadržaj svoje postove, ali ovaj pristup je problematičan ako je cilj da prouči uzročne učinak vašeg News Feed na poruke. Da vidite problem sa ovaj dizajn, smatraju zahvalnosti. U SAD-u, pozitivne poruke spike i negativne poruke pasti na Dan zahvalnosti. Tako je, na Dan zahvalnosti, istraživači mogli vidjeti da je vaš News Feed je vrlo pozitivna i da je pisao pozitivne stvari kao dobro. Ali, vaše pozitivne poruke mogli su uzrokovane zahvalnosti ne sadržaj vaših News Feed. Umjesto toga, u cilju procjene uzročne istraživači efekt treba nešto da mijenja sadržaj vaših News Feed bez direktno mijenja svoje emocije. Srećom, postoji tako nešto događa stalno: na vrijeme.

Coviello i kolege otkrili su da je kišni dan u nečijem gradu će se, u prosjeku, smanjiti udio poruke koje su pozitivne za oko 1 postotni bod i povećati udio poruke koje su negativne za oko 1 postotni bod. Zatim, Coviello i kolege eksploatiše ovu činjenicu da studiraju emocionalne zaraze, bez potrebe da se eksperimentalno manipulirati nikome News Feed. U suštini ono što su uradili je mjera kako su svoje postove uticajem Vrijeme u gradovima u kojima svojim prijateljima žive. Da vidimo zašto je to ima smisla, zamislite da živite u New Yorku i imate prijatelja koji živi u Seattleu. Sada zamislite da jednog dana počne kiša u Seattleu. Ova kiša u Seattleu neće direktno utjecati na vaše raspoloženje, ali to će uzrokovati News Feed biti manje pozitivnih i više negativnih zbog poruke svojih prijatelja. Tako je kiša u Seattleu nasumično manipulira svoj News Feed. Pretvaranje ovo intuicija u pouzdanih statističkih procedura je komplikovano (i tačan pristup koriste Coviello i kolega je malo nestandardni) pa sam stavio detaljniju raspravu u daljem delu čitanje. Najvažnija stvar koju treba zapamtiti o Coviello i pristup kolega je da im je omogućila da uče emocionalne zaraze, bez potrebe da pokrenete eksperiment koji bi mogao potencijalno naškoditi učesnika, a to može biti slučaj da je u mnogim drugim postavkama možete zamijeniti eksperimente sa drugim tehnike.

Drugi u 3 RS je Precizno: istraživači bi trebalo tražiti da usavrše svoje tretmane kako bi izazvati najmanju štetu moguće. Na primjer, umjesto da blokira sadržaj koji je bio pozitivan ili negativan, istraživači mogao povećan sadržaj koji je bio pozitivan ili negativan. Ovo povećanje dizajn bi promijenio emocionalni sadržaj učesnika News Feeds, ali to bi se obratio jedan od zabrinutosti koje kritičari izrazili: da su eksperimenti moglo da izazove učesnika propustiti važne informacije u njihovim News Feed. Uz dizajn koriste Kramer i kolege, poruku koja je važna je jer će vjerovatno biti blokirana kao onaj koji nije. Međutim, s dizajnom jačanje, poruke koje će biti raseljeni bi oni koji su manje važni.

Konačno, treći R je Smanjiti: istraživači treba nastojati da se smanji broj učesnika u eksperimentu, ako je moguće. U prošlosti, ovo smanjenje se dogodilo, naravno, jer je varijabilni trošak analognih eksperimenata bio je visok, koji podstiču istraživanja optimizirati svoj dizajn i analizu. Međutim, kada je nula varijabla podataka o troškovima, istraživači ne suočavaju trošak ograničenje na veličinu njihovog eksperimenta, a to ima potencijal da dovede do nepotrebno velikih eksperimenata.

Na primjer, Kramer i kolege mogli su koristili informacije predtretman o njihovom učesnika kao što su pre-tretman postavljanje ponašanja kako bi njihove analize efikasnije. Konkretnije, a ne u odnosu na udio pozitivnih riječi u uvjetima liječenje i kontrolu, Kramer i kolege mogli su u odnosu na promjene u omjeru pozitivnih riječi između uvjetima; pristup često naziva razlika-u-razlika i koji je usko vezano za mješoviti dizajn koji sam ranije opisao u poglavlju (Slika 4.5). To je, za svakog učesnika, istraživači mogli su stvorili promjene rezultat (ponašanje nakon tretmana - ponašanje predtretman), a zatim u odnosu na rezultate promjena učesnika u uvjetima liječenje i kontrolu. Ovaj pristup razlika-u-razlika je efikasniji statistički, što znači da su istraživači mogu postići iste statističke pouzdanosti koristi mnogo manje uzoraka. Drugim riječima, što ne tretira polaznika kao "widgeta", istraživači često mogu dobiti preciznije procjene.

Bez sirove podatke teško je znati točno koliko je efikasniji bi pristup razlika-u-razlike su u ovom slučaju. Ali, Deng et al. (2013) prijavio da je u tri online eksperimente na Bing tražilicu su mogli da smanje varijacije njihove procjene od oko 50%, a slični rezultati su prijavljena za neki online eksperimente na Netflix (Xie and Aurisset 2016) . Ovo smanjenje varijanca 50% znači da Emocionalna istraživači Contagion možda bili u mogućnosti da smanje svoje uzorka na pola ako su koristili malo različite metode analize. Drugim riječima, s malom promjene u analizi, 350.000 ljudi možda bio pošteđen sudjelovanje u eksperimentu.

U ovom trenutku možda se pitate zašto istraživači treba da brinu ako 350.000 ljudi u Emotional Contagion nepotrebno. Postoje dvije osobenosti Emotional Contagion koje čine koncern sa prekomjerne veličine je potrebno, i ove osobine su zajednički mnogi digitalni polje eksperimenti: 1) postoji sumnja o tome da li će eksperiment štetno barem nekih učesnika i 2) sudjelovanje nije bilo dobrovoljno. U eksperimentima sa ova dva svojstva čini preporučljivo da zadrži eksperimenata što manji.

U zaključku, tri R's-Zamijenite, Detaljnija, i smanjiti-pružaju principe koji mogu pomoći istraživačima izgraditi etiku u svoj eksperimentalni dizajn. Naravno, svaki od tih mogućih promjena u Emotional Contagion uvodi kompromise. Na primjer, dokazi iz prirodnih eksperimenata nije uvijek kao čisto kao dokaz iz randomiziranih eksperimenata i povećanje moglo biti više logistički teško sprovesti od bloka. Dakle, svrha ukazuje ovih promjena nije bilo u drugom pogoditi odluke drugih istraživača. Umjesto toga, to je za ilustraciju kako tri R može se primijeniti u realnoj situaciji.