4.6.2 Замените, Детаљнија, и смањење

Учините ваш експеримент хуманији заменом експерименте са не-експерименталних студија, прераду третмане, и смањење броја учесника.

Други савет који бих желео да понуди око пројектовању дигиталних експеримената тиче етике. Како се Рестиво и Ван де Ријт експеримент на барнстарс у Википедиа емисијама, смањење трошкова значи да ће етика постаје све значајнији део истраживачког пројекта. Поред етичких оквира водећих истраживања о људским субјектима који ћу описати у Поглављу 6, истраживачи пројектовање дигиталних експеримената може да усмери на етичким идејама из неког другог извора: етичким принципима развијене да води експерименте за животиње. Конкретно, у својим обележје књизи Принципи хуманог експерименталну технику, Russell and Burch (1959) три принципа који треба да усмеравају истраживање на животињама заменити, Детаљнија, и смањити. Ја бих предложио да ова три 'Р' може се користити-у нешто измењеном облику-да води дизајн људских експеримената. Нарочито,

• Замена: заменити експерименте са мање инвазивних метода ако је могуће
• Детаљнија: Детаљнија третман да би се безопасни као могуће
• Смањити: ​​Смањити број учесника у експерименту што је више могуће

Да би конкретно ова три Р и показали како се потенцијално могу довести до бољег и хуманијег експерименталног дизајна, ја ћу описати онлине поља експеримент који генерише етичку расправу. Онда ћу описати како је три 'Р' указују на конкретне и практичне промене у дизајну експеримента.

Један од најважнијих етички расправља дигитални пољским огледима је "Емоционална Зараза", који је спровео Адам Крамер, Јамие Гиллрои, и Јеффреи Ханцоцк (2014) . Експеримент је одржана на Фацебоок-у и био мотивисан мешавином научних и практичних питања. У то време, доминантан начин на који корисници у интеракцији са Фацебоок је Невс Феед, алгоритамски кустос скуп о новостима Фацебоок статус од Фацебоок пријатељима корисника. Неки критичари Фацебоок је предложио да због тога што је Невс Феед има углавном позитивна порука-пријатељи који показују са своје најновије парти-то може да изазове корисницима да тужни јер су им животи изгледају мање узбудљиво у односу. С друге стране, можда је ефекат управо супротан; можда види свог пријатеља који има добар провод ће учинити да се осећате срећни? У циљу решавања ових такмичи хипотезу и да унапреди наше разумевање како се емоције једне особе под утицајем својих пријатеља емоција-Крамер и колеге водио експеримент. Истраживачи су постављене око 700.000 корисника у четири групе за једну недељу: а "негативност смањена" група, за које поруке са негативним речи (нпр, тужно) су насумично блокиран од појављивања на Невс Феед, А "позитивност смањен" група за кога порука са позитивним речи (нпр, срећан) су насумично блокиран; и две контролне групе. У контролној групи за "негативности редуцед" групе, постс су насумично блокирани на истој стопи као и "негативност редуцед" групе, али без обзира на емоционалних садржаја. Контролна група за "позитивности смањен" група је изграђена у паралелном начин. Дизајн овог експеримента показује да одговарајућа контролна група није увек једна без икаквих промена. Уместо тога, понекад контролна група добија третман у циљу стварања прецизно поређење да је истраживање питање захтева. У свим случајевима, порука да су били блокирани од стране Невс Феед још увек доступни корисницима преко друге делове сајта Фацебоок.

Крамер и колеге открили да за учеснике у позитивност смањен услов, проценат позитивних речи у њиховим променама статуса смањен и проценат негативних речи повећао. С друге стране, за учеснике у негативности смањен услов, проценат позитивних речи повећао и проценат негативних речи смањен (слика 4.23). Међутим, ови ефекти су били сасвим мали: разлика у позитивним и негативним речима између третмана и контрола је око 1 у 1.000 речи.

Слика 4.23: Докази о емоционална зараза (Kramer, Guillory, and Hancock 2014) . Проценат позитивних речи и негативних речи експерименталним условима. Барс представљају процењена стандардне грешке.

Ја сам ставио расправу о научним аспектима овог експеримента у даљем читање делу на крају поглавља, али на жалост, овај експеримент је најпознатија за генерисање етичку расправу. Само неколико дана након што овај текст је објављен у Процеедингс оф тхе Натионал Ацадеми оф Сциенцес, дошло до енормног повика са обе истраживача и штампе. Гнев око рада фокусиран на две главне тачке: 1) учесници нису обезбедиле никакав пристанак изнад стандардних Фацебоок услова-оф-сервице за третман који неки мисао може изазвати штету учесницима и 2) студија није прошла треће стране етички преглед (Grimmelmann 2015) . Етичка питања која у овој дебати изазвао часопис за брзо објави редак "уређивачку израз бриге" о етици и етичким процес ревизије за истраживање (Verma 2014) . У наредним годинама, експеримент је наставила да буде извор интензивне расправе и неслагања, а то неслагање може имала нежељени ефекат вожње у сенци много других експеримената које се обављају предузећа (Meyer 2014) .

Имајући у виду да позадина о емоционалној Цонтагион, сада бих да покаже да је 3 'Р' може предложити конкретне, практичне побољшања за стварне студије (све што може лично размишљање о етици овом експерименту). Први Р је Замените: истраживачи треба да настоје да замени експерименте са мање инвазивних и ризичних техника, ако је то могуће. На пример, уместо да експеримент, истраживачи могао да експлоатише природне експеримент. Као што је описано у поглављу 2, природни експерименти су ситуације у којима се нешто дешава у свету који је приближно случајног задатак третмана (нпр лутрија да одлучи ко ће бити израђен у војску). Предност природног експеримента је да истраживач не мора да достави третмана; окружење то ради за вас. Другим речима, са природном експеримента, истраживачи не би требало да експериментално манипулисање Невс Феедс људи.

У ствари, скоро истовремено са емоционалним заразе експеримента, Coviello et al. (2014) експлоатације што би се могло назвати Емоционална Зараза природни експеримент. Њихов приступ, који користи технику која се зове инструментал варијабле, је мало компликовано ако сте никада није видео. Дакле, да би се објаснило зашто је било потребно, да изгради до њега. Прва идеја да неки истраживачи могу да учим емоционално заразе би било да се упореди своје поруке у данима у којима ти за пуњење се веома позитивно у своје поруке у данима у којима ти Невс Феед био веома негативан. Овај приступ би било у реду ако је циљ био само да предвиди емотивни садржај своје поруке, али овај приступ је проблематичан ако је циљ да се проучи узрочно ефекат вашег Невс Феед на својим местима. Да видимо проблем са овом дизајну, у обзир захвалности. У САД-у, позитивни порука спике и негативне поруке плуммет на Дан захвалности. Тако је, на Дан захвалности, истраживачи могао да види да је ваш Невс Феед био веома позитиван и да сте постављали позитивне ствари као добро. Али, ваши позитивни порука могла бити изазвана Захвалности не по садржају вашег Невс Феед. Уместо тога, у циљу процене каузалне ефекте истраживачи потребно нешто што мења садржај вашег Невс Феед, без директно мења своје емоције. Срећом, постоји нешто као да се то дешава све време: времену.

Цовиелло и колеге пронашли да је кишни дан у нечијем граду ће, у просеку, смањити проценат мјеста која су позитивна за око 1 процентни поен и повећа удео порука које су негативни за око 1 процентни поен. Затим, Цовиелло и колеге експлоатишу ову чињеницу да студирају емоционалне заразе, без потребе да се експериментално манипулише ничију Невс Феед. У суштини оно што су урадили је мера колико су твоје поруке утицајем временских прилика у градовима у којима живе ваши пријатељи. Да би видели зашто ово има смисла, замислите да живите у Нев Иорку и имате пријатеља који живи у Сијетлу. Сада замислите да једног дана почиње киша у Сијетлу. Ова киша у Сијетлу неће директно утицати на расположење, али то ће изазвати Ваш Невс Феед буде мање позитиван и негативан више због порука својих пријатеља. Тако, киша у Сијетлу насумично манипулише свој Невс Феед. Најзад интуицију у поузданих статистичких процедура је компликована (и тачан приступ користи Цовиелло и колега је мало нестандардни) па сам ставио детаљнији дискусију у даљем читање делу. Најважнија ствар коју треба запамтити о Цовиелло и приступ колеге да им је омогућено да студирају емоционалне заразе, без потребе да се води експеримент који би потенцијално науди учесника, а то може бити случај у многим другим подешавањима можете заменити експерименте са другима технике.

Друго у 3 Рс је Детаљнија: истраживачи треба да настоје да побољшају лечење да би изазвао најмању могућу штету. На пример, уместо да блокира садржај који је био позитиван или негативан, истраживачи могао повећао садржај који је био позитиван или негативан. Ово повећање дизајн би променили емотивни садржај учесника Извори вести, али би се обратио један од забринутости да критичари изразили: да би се експерименти су изазвала учеснике да пропустите важне информације у свом Невс Феед. Са дизајном који користи Крамер и колеге, порука да је важно што ће вероватно бити блокиран као онај који није. Међутим, са повишење дизајном, поруке које ће бити расељене би оне који су мање важни.

Коначно, трећи Р Смањење: истраживачи треба да настоји да смањи број учесника у њиховом експерименту, ако је могуће. У прошлости, ово смањење је било природно, јер варијабилни трошкови аналогних експеримената је био висок, која је подстицала истраживања за оптимизацију дизајна и анализе. Међутим, када је нула променљивих података о трошковима, истраживачи не суочавају са трошковима ограничења о величини њиховог експеримента, а то има потенцијал да доведе до непотребно великих експеримената.

На пример, Крамер и колеге могао да користи информацију пре третмана у вези са њиховим учесницима-као што је пре третмана за писање понашања-да њихова анализа ефикаснијим. Прецизније, уместо у односу на проценат позитивних речи у условима лечења и контроле, Крамер и колеге могао у односу на промене у пропорцији позитивних речи између условима; приступ често назива разлика-у-разлика и који је уско повезана са мешовитом дизајн који сам описао раније у поглављу (слика 4.5). То је, за сваког учесника, истраживачи могао да створи промену резултат (понашање после третмана - понашање пред-третман), а затим упоредили промене оцене учесника у условима лечења и контроле. Овај приступ разлика-у-разлика је ефикаснији статистички, што значи да истраживачи могу да постигну исти статистички поверење користећи много мање узорака. Другим речима, што не третира учесника као "Виџети", истраживачи често добити прецизније процене.

Без сирове податке тешко је знати тачно колико ефикаснији приступ би разлика-у-разлике су у овом случају. Али, Deng et al. (2013) да је у три онлајн експериментима на претраживача Бинг су били у стању да смањи варијансу у њиховим проценама за око 50%, а слични резултати су пријављени за неке онлине експеримената на Нетфлик (Xie and Aurisset 2016) . Ова 50% смањење варијација значи да би се емоционална Цонтагион истраживачи су били у могућности да смање своје узорак на пола ако су користили мало другачији начин анализе. Другим речима, са малом променом у анализи, 350.000 људи могло бити поштеђен учешће у експерименту.

У овом тренутку можда се питате зашто истраживачи треба да брину да 350.000 људи у Емоционална Цонтагион непотребно. Постоје два посебна обележја емоционалне Цонтагион који чине проблем са прекомерном величином одговара, а ове функције деле многи дигиталним пољским огледима: 1) постоји неизвесност око тога да ли ће експеримент наноси штету барем неких учесника и 2) учешће није било добровољно. У експериментима са ове две карактеристике чини препоручљиво да би експерименте што је могуће мањи.

У закључку, три Р'с-Замени, Детаљнија, и смање-садрже принципе који могу да помогну истраживачима изградити етику у своје експерименталног дизајна. Наравно, сваки од ових могућих промена емоционалних Цонтагион уводи компромисе. На пример, докази из природних експеримената није увек чист као доказ из насумично експеримената и јачање могао бити још логистички тешко спровести од блока. Дакле, сврха сугерише да ова промена није био да сумњаш у одлуке других истраживача. Уместо тога, било је да илуструје како би се три 'Р' бити примењена у реалној ситуацији.