4.6.2 Korvaa, Tarkenna, ja vähentää
Tee kokeilu inhimillisempi korvaamalla kokeiluja ei-kokeellisissa tutkimuksissa, jalostus hoidot ja vähentää osallistujien lukumäärä.
Toinen neuvo, että haluaisin tarjota noin suunnittelussa digitaalinen kokeita koskee etiikkaa. Koska Restivo ja van de Rijt kokeilu barnstars Wikipediasta osoittaa, alentaa kustannuksia tarkoittaa sitä, että etiikka tulee yhä tärkeämpi osa tutkimuksen suunnittelu. Sen lisäksi, että eettisen kehysten ohjaava ihmiskoe että minä kuvata luvussa 6, tutkijat suunnittelussa digitaalinen kokeita voidaan myös hyödyntää eettisiä ideoita eri lähteestä: eettiset periaatteet kehitetty ohjaamaan kokeista, joissa eläimiä. Erityisesti niiden maamerkki kirjan Principles of Humane Experimental Technique, Russell and Burch (1959) ehdotti kolmea periaatetta, jotka ohjaavat eläimen tutkimus: Korvaa, Tarkenna, ja vähentää. Haluaisin ehdottaa, että nämä kolme R: n voidaan käyttää myös in hieman muutettuna-ohjaamaan suunnittelua ihmisen kokeiluja. Erityisesti,
- Korvaa: Korvaa kokeiluja vähemmän invasiivisia menetelmiä mahdollisuuksien
- Tarkentaa: tarkentaa hoitoa tekemään niin vaarattomia kuin mahdollista
- Vähennä: Vähentää osallistujien kokeilun mahdollisimman paljon
Jotta näiden kolmen R: n konkreettista ja kuinka ne voivat mahdollisesti johtaa paremman ja inhimillisemmän koeasetelma, minä kuvata online kenttäkoe että syntyy eettinen keskustelu. Sitten minä kuvata, kuinka kolme R: n ehdottaa konkreettisia ja käytännöllisiä muutoksia suunnitteluun kokeen.
Yksi eettisesti keskusteltu digitaalinen kenttäkokeissa on "Emotional Contagion", joka toteutettiin Adam Kramer, Jamie Gillroy, ja Jeffrey Hancock (2014) . Koe järjestettiin Facebookissa ja perusteena oli sekoitus tieteellinen ja käytännön kysymyksiä. Tuolloin hallitseva tapa, että käyttäjät vuorovaikutuksessa Facebook oli News Feed, algoritmien kuratoinut joukko Facebook tilapäivitykset käyttäjän Facebook-ystäviä. Jotkut arvostelijat Facebook oli ehdottanut, että koska News Feed on enimmäkseen myönteisiä viestejä-ystävät komeilu heidän uusin osapuolen se voi aiheuttaa käyttäjille surullinen, koska heidän elämänsä näyttävät vähemmän jännittävä verrattuna. Toisaalta, ehkä vaikutus on täysin päinvastainen; Ehkä näkemästä ystävä hauskaa tekisi sinusta tuntuu onnellinen? Jotta näihin kilpailevia hypoteesi-ja lisää tietämystä siitä, miten ihmisen tunteet vaikuttavat hänen ystävien tunteet-Kramer ja kollegat juoksi kokeilu. Tutkijat sijoitetaan noin 700000 käyttäjää neljään ryhmään viikon a "negatiivisuuden alennettu" ryhmä, jolle viestit negatiivisin sanoja (esim sad) on satunnaisesti estetty näkymästä News Feed; "positiivisuus alennettu" ryhmä, jolle viestit kanssa myönteisiä sanoja (esim happy) arvottiin tukossa; ja kaksi kontrolliryhmää. Kontrolliryhmässä varten "negatiivisuus alennettu" ryhmä, viestit olivat satunnaisesti tukossa samalla nopeudella kuin "negatiivisuuden vähennetty" ryhmä, mutta ottamatta huomioon emotionaalisen sisällön. Kontrolliryhmä varten "positiivisuuden vähennetty" ryhmä rakennettiin rinnakkaisesti. Suunnittelussa tämä koe osoittaa, että sopiva kontrolliryhmään ei aina yksi ilman muutoksia. Pikemminkin, joskus kontrolliryhmä saa hoitoa, jotta voidaan luoda tarkka vertailu, että tutkimus kysymys vaatii. Kaikissa tapauksissa, viestit, jotka estetty News Feed oli edelleen saatavissa käyttäjille muualle Facebook verkkosivuilla.
Kramer ja kollegoineen havaitsi, että osallistujat positiivisuus vähensi ehto, prosenttiosuus myönteisiä sanoja niiden tilapäivitykset laski sekä prosenttiosuus negatiivisen sanan kasvoi. Toisaalta, osallistujien negatiivisuus vähensi ehto, prosenttiosuus myönteisiä sanoja kasvoi ja prosenttiosuus negatiivisen sanojen väheni (kuvio 4.23). Nämä vaikutukset olivat melko pieniä: ero positiivisten ja negatiivisten sanoja hoitojen välillä ja valvonta oli noin 1 1000 sanaa.
Kuva 4.23: Evidence emotionaalisen tartunnan (Kramer, Guillory, and Hancock 2014) . Prosenttiosuus myönteisiä sanoja ja negatiivisia sanoja kokeellisesti kunnossa. Bars ennakoitujen keskivirheet.
Olen laittaa keskustelua tieteellisistä näkökohdista tästä kokeilusta edelleen käsittelyssä osassa lopussa luvun, mutta valitettavasti tämä kokeilu on parhaiten tunnettu tuottaa eettinen keskustelu. Vain muutama päivä sen jälkeen, kun tämä artikkeli julkaistiin Proceedings of the National Academy of Sciences, oli valtava vastustusta sekä tutkijoita ja lehdistölle. Skandaali ympärille paperi keskittyi kahteen pääkohtaan: 1) osallistujat eivät toimittaneet lupaa pidemmälle standardi Facebook ehdot-of-palvelun hoito, joka joidenkin mielestä saattaisi aiheuttaa haittaa osallistujaa ja 2) tutkimuksessa ei olisi suoritettu kolmannen osapuolen eettinen tarkastelu (Grimmelmann 2015) . Eettinen kysymykset tähän keskusteluun aiheutti lehden nopeasti julkaista harvinainen "toimituksellinen ilmaus huoleen" etiikasta ja eettisen arvioinnin prosessi tutkimuksen (Verma 2014) . Seuraavina vuosina kokeilu on edelleen lähde vilkasta keskustelua ja erimielisyyttä, ja tämä erimielisyys on voinut olla tahaton vaikutus ajo varjoihin monia muita kokeita, joita suoritetaan yritysten (Meyer 2014) .
Koska tausta noin Tunteellinen Contagion, haluaisin nyt osoittaa, että 3 R: n voi ehdottaa konkreettisia, käytännön parannuksia todellinen tutkimukset (mitä ehkä henkilökohtaisesti ajatella etiikasta tässä kokeessa). Ensimmäinen R on Korvaa: Tutkijoiden tulisi pyrkiä korvaamaan kokeiluja vähemmän invasiivisia ja riskialtista tekniikoita, jos mahdollista. Esimerkiksi sen sijaan, että kokeilun, tutkijat olisivat voineet hyödyntää luonnollista kokeilu. Kuten luvussa 2, luonnolliset kokeet ovat tilanteita, missä tapahtuu maailmassa, joka approksimoi satunnainen tehtävän hoitojen (esim arpajaiset päättää kuka tullaan sotaväkeen). Etuna luonnollinen kokeilu on, että tutkija ei tarvitse toimittaa hoidot; ympäristö tekee sen puolestasi. Toisin sanoen, luonnollinen kokeilu, tutkijat eivät olisi tarpeen kokeellisesti manipuloida ihmisten uutissyötteitä.
Itse asiassa lähes samanaikaisesti Emotional Contagion kokeilu, Coviello et al. (2014) oli hyödyntämällä mitä voitaisiin kutsua Emotional Tartunta natural kokeilu. Niiden lähestymistapa, joka käyttää tekniikkaa kutsutaan instrumentaali muuttujia, on vähän monimutkainen, jos et ole koskaan nähnyt sitä ennen. Joten, jotta miksi sitä tarvittiin, nyt rakentaa jopa sitä. Ensimmäinen ajatus, että jotkut tutkijat ehkä tutkia emotionaalinen tartunta olisi verrata viestejäsi päivinä missä News Feed oli erittäin positiivinen viestiisi päivinä missä News Feed oli hyvin negatiivinen. Tämä lähestymistapa olisi hienoa, jos tavoitteena oli vain ennustaa emotionaalisen sisällön virkaa, mutta tämä lähestymistapa on ongelmallista, jos tavoitteena on tutkia syy efekti News Feed teksteistäsi. Nähdä ongelma tällä grafiikalla, harkitse kiitospäivä. Yhdysvalloissa positiiviset viestit piikki ja negatiiviset viestit romahtamaan kiitospäivänä. Siten kiitospäivänä, tutkijat voisivat nähdä, että News Feed oli hyvin myönteinen ja että lähetetty positiivisia asioita samoin. Mutta positiivisia viestejä voinut aiheutunut Kiitospäivä ei seuraa sisällön News Feed. Sen sijaan, jotta voitaisiin arvioida syy-seuraus tutkijoiden on jotain, joka muuttaa sisältöä News Feed ilman suoraan muuttamalla tunteita. Onneksi on olemassa jotain tapahtuu koko ajan: sää.
Coviello ja työtovereiden totesi, että sateinen päivä jonkun kaupunki, keskimäärin vähentää osuuden virkaa, jotka ovat positiivisia noin 1 prosenttiyksikköä ja lisätä osuus virkaa, jotka ovat negatiivisia noin 1 prosenttiyksikköä. Sitten Coviello ja työtovereiden hyödynnetään tätä tosiasiaa tutkia emotionaalinen contagion tarvitsematta kokeellisesti manipuloida kenenkään News Feed. Pohjimmiltaan mitä he tekivät on mitta siitä, miten viestisi vaikuttivat sään niissä kaupungeissa, joissa ystävillesi elää. Nähdä, miksi tämä on järkevää kuvitella, että asut New Yorkissa ja sinulla on ystävä, joka asuu Seattlessa. Nyt kuvitella, että jonain päivänä se alkaa sataa Seattlessa. Tämä sade Seattlessa ei suoraan vaikuta mielentilaan, mutta se aiheuttaa News Feed vähemmän positiivisia ja negatiivisia, koska ystäväsi virkaa. Siten sade Seattlessa satunnaisesti manipuloi oman News Feed. Kun tämä intuitio luotettavaksi tilastollinen menettely on monimutkainen (ja tarkka käyttämä lähestymistapa Coviello ja työtovereiden on vähän ei-standardi), joten olen koonnut yksityiskohtaisemman keskustellaan edelleen käsittelyssä osassa. Tärkeintä on muistaa noin Coviello ja kollegansa lähestymistapa on, että se mahdollisti heitä opiskelemaan emotionaalinen contagion tarvitsematta kokeilun, jotka saattaisivat vahingoittaa osallistujaa, ja se voi olla, että monissa muissa asetuksista voit korvata kokeet muilla tekniikat.
Toiseksi 3 Rs on Tarkenna: Tutkijoiden tulisi pyrkiä hiomaan hoitoja, jotta saadaan aikaan pienin haittaa mahdollinen. Esimerkiksi sen sijaan estää sisältöä, joka oli joko positiivinen tai negatiivinen, tutkijat olisivat voineet lisänneet sisältöä, joka oli positiivinen tai negatiivinen. Tämä tehostaa suunnittelun olisi muuttanut emotionaalisen sisällön osallistujien uutissyötteitä mutta se olisi osoitettu yksi huoli siitä, että kriitikot ilmaisi: että kokeet olisivat voineet aiheuttaa osallistujia menettää tärkeitä tietoja heidän News Feed. Kun suunnittelu käyttämä Kramer ja kollegat, viestin, että on tärkeää, koska todennäköisesti tukossa yksi, joka ei ole. Kuitenkin kanssa lisäämällä suunnittelu, viestejä, jotka siirtyisi olisivat ne, jotka ovat vähemmän tärkeitä.
Kolmas R on Vähennä: Tutkijoiden tulisi pyrkiä vähentämään osallistujia kokeessa, mikäli mahdollista. Aiemmin tämä vähennys tapahtui luonnollisesti koska muuttuvia kustannuksia analogisen kokeissa oli korkea, mikä kannusti tutkimus optimoida suunnittelu ja analyysi. Kuitenkin, kun on nolla muuttuva hintatietoja, tutkijat eivät kohdata kustannuksia rajoite koosta kokeilu, ja tämä on mahdollista johtaa tarpeettoman suuria kokeita.
Esimerkiksi Kramer ja kollegat voinut käyttää esikäsittelyssä tietoa niiden osanottajat-kuten esikäsittelyä lähettämistä käyttäytymiseen tekemään analyysiin tehokkaammin. Tarkemmin sanoen sen sijaan vertaamalla osuus myönteisiä sanoja hoidossa ja valvontaolosuhteet, Kramer ja kollegat olisivat voineet verrata muutoksen osuus myönteisiä sanoja olosuhteiden välillä; lähestymistapa usein kutsutaan ero-in-eroja ja joka liittyy läheisesti sekoitettu suunnitteluun, että olen kuvattu aiemmin luvussa (Kuva 4.5). Eli jokaiselle osallistujalle, tutkijat olisi saattanut aiheuttaa muutoksen pisteet (jälkikäsittelyä käytös - esikäsittely käyttäytyminen) ja sitten verrataan muutoksen tulokset osallistujien hoitoa ja valvontaa olosuhteissa. Tämä ero-in-erot lähestymistapa on tehokkaampi tilastollisesti, mikä tarkoittaa sitä, että tutkijat voivat saavuttaa saman tilastollisen luotettavuuden paljon pienempiä näytteitä. Toisin sanoen, se ei kohdella osallistujia kuten "widgetit", tutkijat voivat usein saada tarkempia arvioita.
Ilman raakadata on vaikea tietää tarkalleen, kuinka paljon tehokkaampaa eroa-in-erot lähestymistapa olisi ollut tässä tapauksessa. Mutta, Deng et al. (2013) raportoi, että kolmessa online-kokeita Bing hakukoneen he pystyivät vähentämään varianssia arvionsa mukaan noin 50%, ja samanlaisia tuloksia on raportoitu joidenkin verkossa kokeissa Netflix (Xie and Aurisset 2016) . Tämä 50% varianssi vähentäminen merkitsee, että emotionaalinen Tartunta tutkijat olisi voinut leikata näytteen kahtia jos he olisivat käyttäneet hieman eri analyysimenetelmiä. Toisin sanoen, vain pieni muutos analyysissä, 350000 ihmistä on saattanut säästynyt osallistumisensa kokeeseen.
Tässä vaiheessa saatat miettiä miksi tutkijoiden pitäisi huolta jos 350000 ihmistä oli emotionaalinen Contagion tarpeettomasti. On kaksi erityispiirrettä Emotional Tartunta jotka tekevät huoli liiallisesta koko on riittävä, ja nämä ominaisuudet ovat yhteisiä monille digitaalisille kenttäkokeet: 1) ei ole varmuutta siitä, onko koe se haittaa ainakin jotkut osallistujat ja 2) osallistuminen ei ollut vapaaehtoista. Kokeissa nämä kaksi ominaisuutta olisi suotavaa pitää kokeissa mahdollisimman pienenä.
Lopuksi kolme R's-Korvaa, Tarkempi ja vähentää-tarjoavat periaatteita, jotka voivat auttaa tutkijoita parantamaan etiikkaa niiden kokeellisia malleja. Tietenkin jokainen näistä mahdollisista muutoksista Emotional Tartunta esittelee kompromisseja. Esimerkiksi näyttöä luonnon kokeita ei ole aina niin puhdasta kuin todisteet satunnaistetuissa kokeissa ja lisäämällä ne olisivat olleet logistisesti vaikeampi toteuttaa kuin lohko. Joten tarkoitus ehdottaa näiden muutosten ei arvailla päätöksiä muiden tutkijoiden. Pikemminkin se oli havainnollistaa kuinka kolme R: n voitaisiin soveltaa realistisessa tilanteessa.
