4.6.2 Ponovno, bolj podrobno, in zmanjšati

Naj bo vaš poskus bolj human z zamenjavo poskusov z ne-eksperimentalnih študij, izpopolnjevanje zdravljenja in zmanjšanje števila udeležencev.

Drugi nasvet, da bi rad, da ponudijo o načrtovanju digitalne poskusov zadeva etiko. Kot Restivo in van de Rijt poskusi na barnstars v Wikipedia kaže, zmanjšanje stroškov pomeni, da bo etika vse bolj pomemben del raziskovalnega načrta. Poleg etičnih okvirov vodilnih ljudeh raziskave, da bom opisala v poglavju 6, lahko raziskovalci projektiranju digitalne poskuse črpale tudi iz etičnih idej iz drugega vira: etična načela, razvite za vodenje poskusov na živalih. Zlasti v svojih mejnik knjižnih načeli humanega eksperimentalne tehnike, Russell and Burch (1959) je predlagal tri načela, ki naj bi vodile raziskave na živalih: menjava, bolj podrobno, in zmanjšati. Rad bi predlagal, da ti trije R je mogoče uporabiti tudi v nekoliko spremenjeni obliki, za usmerjanje oblikovanja človeških poskusov. Še posebej,

• Zamenjaj: Zamenjajte poskuse z manj invazivnimi metodami, če je mogoče
• Natančneje: Izboljšano zdravljenje, da bi bilo tako neškodljiva, kot je mogoče
• Zmanjšanje: Zmanjšajte število udeležencev poskusa čim bolj

Da bi konkretno teh treh R in pokazali, kako jih lahko potencialno vodi k boljši in bolj human zasnovo poskusov, bom opisati spletno polja poskus, da ustvari etično razpravo. Potem bom opisal, kako trije R-ji predlagamo konkretne in praktične spremembe v zasnovi poskusa.

Eden od najbolj etično razpravljali digitalni poljskih poskusih je "čustvena škodljiv vpliv," ki jo je vodil Adam Kramer, Jamie Gillroy in Jeffrey Hancock (2014) . Poskus je potekal na Facebook in je bil motiviran s kombinacijo znanstvenih in praktičnih vprašanj. V času, ko je bil prevladujoči način, da uporabniki v interakciji s Facebook News Feed, algoritmično kustosinja sklop posodobitve statusa na Facebooku iz uporabnikovih Facebook prijatelji. Nekateri kritiki Facebook je predlagal, da zato, ker ima News Feed večinoma pozitivne objave-prijatelji razkazuje svojo zadnjo stranko, da bi lahko uporabniki počutim žalostno, ker njihovo življenje se zdi manj zanimivo v primerjavi. Po drugi strani, morda je učinek ravno nasprotno; Mogoče vidi svojega prijatelja, ki ima dober čas bi bil da se boste počutili srečni? Da bi rešili ta konkurenčnih hipotez in za napredek naše razumevanje tega, kako so čustva posameznikove vplivala njenih prijateljev čustev, Kramer in kolegi potekal poskus. Raziskovalci so postavljeni okoli 700.000 uporabnikov v štiri skupine, za en teden: v "negativnost zmanjša" skupino, za katero objav z negativnimi besedami (npr žalostno) so naključno blokiran pojavljali News Feed; za "pozitivnost zmanjšan" skupina za katere objav s pozitivnimi besedami (npr vesel) so naključno blokiran; in dve kontrolni skupini. V kontrolni skupini za "negativnosti zmanjša" skupine, so bile objave naključno blokiran na isti stopnji kot "negativnosti zmanjša" skupino, vendar ne glede na čustveno vsebino. Kontrolna skupina za "pozitivnosti zmanjša" skupina je bila zgrajena v vzporedni način. Oblikovanje tega poskusa kaže, da je primerna kontrolna skupina ni vedno ena brez sprememb. Ampak včasih kontrolna skupina prejme zdravljenje, da bi ustvarili natančno primerjavo da raziskovalni vprašanje zahteva. V vseh primerih so delovna mesta, ki so blokirani od News Feed še vedno na voljo uporabnikom prek drugih delov spletne strani Facebook.

Kramer in kolegi ugotovili, da za udeležence v pozitivnosti zmanjša stanje, je odstotek pozitivnih besed v svojih posodobitve stanja zmanjšal, delež negativnih besed povečala. Po drugi strani pa je za udeležence v negativnosti zniža pod pogojem, odstotek pozitivnih besed povečal odstotek negativnih besed zmanjšalo (slika 4.23). Vendar pa so bile zelo majhne ti učinki: razlika v pozitivnih in negativnih besed med zdravljenja in nadzora, je približno 1 na 1000 besed.

Slika 4.23: Dokazi o čustveno kontaminacije (Kramer, Guillory, and Hancock 2014) . Odstotek pozitivnih besed in negativne besede, ki jih eksperimentalno stanju. Palice predstavljajo ocenjeni standardne napake.

Sem dal razpravo o znanstvenih vidikih tega poskusa v nadaljnjem poglavju branje na koncu poglavja, ampak na žalost, ta poskus je najbolj znana za ustvarjanje etične razprave. Le nekaj dni po tem, ko je bila ta knjiga, objavljena v Proceedings of the National Academy of Sciences, je bil ogromen ogorčenju od obeh raziskovalcev in medijev. Ogorčenje po papirju osredotočen na dve glavni točki: 1), udeleženci pa ni dalo nikakršnih soglasje izven standardnih Facebook pogoji-of-service za zdravljenje, ki bi lahko nekaj misli škodoval udeležencev in 2) študija ni opravil tretje osebe etično pregled (Grimmelmann 2015) . Etična vprašanja, zastavljena v tej razpravi je povzročil revija za hitro objavo redko "uredniške izražanje zaskrbljenosti" o etiki in etičnem postopek pregleda za raziskave (Verma 2014) . V naslednjih letih se je eksperiment še vedno vir intenzivne razprave in nesoglasja, in ta spor lahko imel nenamerno učinek vožnje v senci mnogo drugih eksperimentov, ki so jih podjetja izvajajo v (Meyer 2014) .

Glede na to, da je v ozadju o čustveno negativnih vplivov, bi zdaj rad pokazal, da lahko 3 R je predlagamo konkretne, praktične izboljšave za realne študije (karkoli bi osebno mislite o etiki tem poskusu). Prvi R je Zamenjaj: Raziskovalci si morajo prizadevati nadomestiti poskuse z manj invazivne in tveganih tehnik, če je to mogoče. Na primer, namesto, da preizkus, so raziskovalci bi lahko izkorišča naravno eksperiment. Kot je opisano v poglavju 2, naravnimi poskusi so situacije, ko se nekaj zgodi na svetu, ki se približuje naključno nalogo zdravljenja (na primer, loterija, da odloči, kdo bo pripravljen v vojski). Prednost naravnega eksperimenta je, da raziskovalec ni treba dostaviti zdravljenja; okolje pa to za vas. Z drugimi besedami, z naravnim poskusu, ne bi bilo treba raziskovalcem eksperimentalno manipulirati ljudi News Feeds.

Dejstvo je, skoraj hkrati s čustvene škodljiv vpliv poskusa, Coviello et al. (2014) je bilo izkoriščanje, kar bi lahko imenovali Emotional škodljiv vpliv naravni eksperiment. Njihov pristop, ki uporablja tehniko, imenovano instrumentalne spremenljivke, je nekoliko zapletena, če ste nikoli videl. Tako, da pojasniti, zakaj je bilo potrebno, pa zgraditi z njo. Prva ideja, da bi morali nekateri raziskovalci za študij čustveno negativnih vplivov bi bilo primerjati vaših objav na dan, ko je bil vaš News Feed zelo pozitivno, da vaših objav na dan, ko je bil vaš News Feed zelo negativno. Ta pristop bi bilo v redu, če je cilj le napovedati čustveno vsebino vaših objav, vendar ta pristop je problematično, če je cilj preučiti vzročno delovanje vaše News Feed o vaših objav. Za prikaz problema s tega modela, menijo zahvalni dan. V ZDA, pozitivnih objav konico in negativne objave padle na zahvalni dan. Tako, na zahvalni dan, lahko raziskovalci videli, da je bil vaš News Feed zelo pozitivno in da ste objavili pozitivne stvari, kot dobro. Ampak, lahko tvoje pozitivne objave so bile posledica hvaležnosti, ne z vsebino vaše News Feed. Namesto, da bi ocenili vzročni učinek raziskovalci potrebujejo nekaj, kar spreminja vsebino vaše News Feed, ne da bi neposredno spreminja svoja čustva. Na srečo, obstaja kaj takega dogaja ves čas: od vremena.

Coviello in kolegi ugotovili, da bo deževen dan v nekoga mestu, v povprečju zmanjša delež delovnih mest, ki so pozitivni za približno 1 odstotno točko in povečati delež delovnih mest, ki so negativni za približno 1 odstotno točko. Nato Coviello in sodelavci izkoristiti to dejstvo, da študij čustveno okužbe ne da bi morali poskusno manipulira nikomur News Feed. V bistvu, kaj so naredili, je merilo, kako so svoje prispevke vplivala na vreme v mestih, kjer živijo prijatelji. Če želite videti, zakaj je to smiselno, predstavljajte si, da živite v New Yorku in imate prijatelja, ki živi v Seattlu. Zdaj pa si predstavljajte, da en dan se začne deževati v Seattlu. Ta dež v Seattlu ne bo neposredno vplivala na vaše razpoloženje, vendar pa bo to povzročilo vaše News Feed, da je manj pozitivno in bolj negativen zaradi objave svojih prijateljev. Tako je dež v Seattlu naključno manipulira s svojo News Feed. Obračanja to intuicijo v zanesljivo statistični postopek zapleten (in točen pristop Coviello in sodelavci uporablja, je malo nestandardno), tako da sem dal podrobnejšo razpravo v nadaljnjem poglavju branja. Najbolj pomembna stvar za zapomniti o Coviello in pristop kolega je, da jim je omogočila, da preuči čustveno okužbe brez potrebe poganjanja poskus, da bi morda lahko škodilo udeležence, in lahko se zgodi, da v mnogih drugih okoljih lahko zamenjate poskusi z drugo tehnike.

Drugič v 3 R je bolj podrobno: Raziskovalci si morajo prizadevati, da izboljšajo svoje zdravljenje, da bi povzročil najmanjše škode mogoče. Na primer, namesto da blokira vsebine, ki so bodisi pozitiven ali negativen, so raziskovalci bi povečali vsebino, ki je bil pozitiven ali negativen. To povečanje zasnova bi spremenila čustveno vsebino udeležencev News Feeds, vendar bi naslovljena ena skrb, da kritiki izrazil: da bi lahko poskusi povzročili udeleženci zamudite pomembne informacije v njihovem News Feed. S projektom, ki ga Kramer in sodelavci, ki se uporablja, je sporočilo, da je pomembno, je, kot verjetno, da bo blokiran, kot tisti, ki to ni. Vendar pa s dvig zasnovo, sporočila, da bi razseljene bodo tisti, ki so manj pomembna.

Tretji je R Zmanjšanje: raziskovalci morajo skušajo zmanjšati število udeležencev v svojem poskusu, če je le mogoče. V preteklosti se je to znižanje zgodilo, seveda, ker je bil variabilni stroški analognih poskusov visoka, ki spodbuja raziskave za optimizacijo njihove zasnove in analize. Vendar, ko je nič variabilnih podatkov o cenah, raziskovalci ne soočajo z omejitev stroškov na velikost njihovega poskusa, in to ima potencial, da vodi po nepotrebnem velike poskuse.

Na primer, lahko Kramer in kolegi so uporabili podatke predobdelavo o njihovih udeležencev-, kot so predobdelava napotitve obnašanja-, da njihova analiza bolj učinkovito. Natančneje, ne pa primerjava deleža pozitivnih besed v pogojih zdravljenja in nadzora, Kramer in sodelavci bi lahko primerjali spremembe v deležu pozitivnih besed med pogoji; pristop pogosto imenujejo razlika-v-razlikah in ki je tesno povezana z mešanim zasnovo, da sem že prej opisanem v poglavju (slika 4.5). To pomeni, da za vsakega udeleženca, so raziskovalci bi lahko ustvarili rezultat spremembe (vedenje po zdravljenju - vedenje predobdelava) in nato primerjali rezultate sprememb udeležencev v pogojih zdravljenja in nadzora. Ta pristop je razlika-v-razlikah učinkovitejša statistično, kar pomeni, da lahko raziskovalci dosego istega statistično zaupanje uporabo veliko manjše vzorce. Z drugimi besedami, ne obravnava udeležencev, kot so "pripomočki", raziskovalci lahko pogosto dobijo natančnejše ocene.

Ne da bi surove podatke, ki jih je težko natančno vedeti, kako veliko bolj učinkovit, bi bil pristop razlika-v-razlikah v tem primeru. Vendar Deng et al. (2013) so poročali, da so v treh spletnih poskusih na iskalniku Bing uspelo zmanjšati variance svojih ocenah za približno 50%, in podobne rezultate, so poročali o nekaterih spletnih poskusov na Netflix (Xie and Aurisset 2016) . To 50% zmanjšanje variance pomeni, da bi bila čustveno raziskovalci škodljiv vpliv lahko zmanjšali svoj vzorec na polovico, če bi jih uporablja nekoliko drugačno analizne metode. Z drugimi besedami, z majhno spremembo v analizi, 350.000 ljudi, bi bilo prizaneseno sodelovanje v poskusu.

Na tej točki boste morda sprašujete, zakaj bi raziskovalci vseeno, če je bilo 350.000 ljudi v čustveno škodljiv vpliv nepotrebnem. Obstajata dve posebnosti čustveno škodljiv vpliv, ki omogočajo skrb s prekomerno velikosti primerno, in te lastnosti so skupne veliko digitalnih poljskih poskusov: 1) da je negotovost glede tega, ali se bo preizkus škoduje vsaj nekaterih udeležencev in 2) udeležba ni bila prostovoljna. Pri poskusih s teh dveh lastnosti se zdi priporočljivo, da se poskusi čim manjša.

Skratka, vse tri R's zamenjaj, cilje in zmanjšujejo zagotavljajo načela, ki lahko raziskovalcem pomagajo etiko v svoje eksperimentalnih modelov. Seveda, vsak od teh možnih sprememb čustveno škodljiv vpliv uvaja kompromise. Na primer, dokazi iz naravnih poskusov ni vedno tako čisto, kot dokaz iz naključno poskusov in povečanje bi bilo bolj logistično težko izvesti, kot blok. Torej, namen predlaga teh sprememb ni bilo drugega ugibati na odločitve drugih raziskovalcev. Namesto tega je bilo za ponazoritev, kako bi lahko v treh R je uporabljati v realni situaciji.