4.6.2 Замени, прецизност, и намалување на

Направете вашиот експеримент похуман со замена на експерименти со не-експериментални студии, рафинирање на третмани, и намалување на бројот на учесници.

Вториот дел од совети што јас би сакал да им понуди за дизајнирање на дигитални експерименти се однесува на етиката. Како Restivo и ван де Rijt експеримент на barnstars во Википедија емисии, намалени трошоци значи дека етиката ќе стане повеќе важен дел од дизајн истражување. Во прилог на етички рамки водечки човечки субјекти истражување што јас ќе се опише во Поглавје 6, истражувачите дизајнирање дигитални експерименти исто така може да се подготви за етички идеи од различен извор: етичките принципи развиени за водење на експерименти со животни. Конкретно, во историска книга своите принципи на Хумано експериментална техника, Russell and Burch (1959) предложи три принципи кои треба да го води истражувањето на животните: Замени, прецизност, и да ја намалите. Јас би сакал да предложам дека овие три Р исто така, може да се користи во малку изменета форма, за водење на дизајнот на човековите експерименти. Особено,

• Заменете: Замена експерименти со помалку инвазивни методи, ако е можно
• Насочите: Насочите на третман за да се направи тоа толку безопасни како е можно
• Намалување: Намалување на бројот на учесниците во експериментот колку што е можно

Со цел да се направат конкретни овие три Р и покажува како тие можат да да доведе до подобар и похуман експериментален дизајн, јас ќе се опише онлајн областа експеримент кој генерира етички дебата. Тогаш јас ќе се опише како три Р предложи конкретни и практични промени во дизајнот на експериментот.

Еден од најпознатите етички дебатира дигитални поле експерименти е "Емоционална Зараза", која беше спроведена од страна на Адам Крамер, Џејми Gillroy, и Џефри Хенкок (2014) . Експериментот се одржа на Фејсбук и бил мотивиран од мешавина на научни и практични прашања. Во тоа време, на доминантен начин на кој корисниците интеракција со Фејсбук беше News Feed, на алгоритамски куратор сет на ажурирањата на статус на Фејсбук од пријатели на Фејсбук на корисникот. Некои критичари на Фејсбук сугерираа дека поради Вести наслови има најмногу позитивни одговори-пријатели покажувате своите најнови партиско-тоа може да предизвика корисниците да се чувствуваат тажно, бидејќи нивните животи чини помалку возбудливо во споредба. Од друга страна, мислам дека ефектот е токму спротивното; можеби гледање на вашиот пријател има добро време ќе направи да се чувствувате среќни? Со цел да се справат со овие натпреваруваат на хипотеза и да ги унапредат нашето разбирање за чувствата на една личност се погодени од нејзините пријатели емоции-Крамер и неговите колеги се стрча експеримент. Истражувачите поставени околу 700.000 корисници во четири групи за една недела: група "негативност се намали", за кого места со негативни зборови (на пример, ЕЦД) беа случајно блокиран од појавување вести храна; на "позитивност намали" група за кого мислења со позитивни зборови (на пример, среќен) беа случајно блокиран; и две контролни групи. Во контролната група за "негативност намали" група, мислења беа случајно блокиран во иста стапка како "негативност намали" група, но без оглед на емоционална содржина. Контролната група за "позитивност намали" група е изграден во паралела модата. Дизајнот на овој експеримент покажува дека соодветната контролна група не секогаш е едно со никакви промени. Наместо тоа, понекогаш контролната група добива третман, со цел да се создаде прецизна споредба дека истражување прашање бара. Во сите случаи, текстот на постовите кои беа блокирани од Вести наслови се 'уште се на располагање на корисниците преку други делови на веб-сајтот Фејсбук.

Крамер и неговите колеги откриле дека за учесниците во позитивноста намалена состојба, процентот на позитивни зборови за ажурирања статусот намали и процентот на негативни зборови се зголеми. Од друга страна, за учесниците во состојба на негативност се намали процентот на позитивни зборови се зголеми и процентот на негативни зборови намален (Слика 4.23). Сепак, овие ефекти беа доста мали: разликата во позитивни и негативни зборови помеѓу третманите и контроли беше околу 1 од 1000 зборови.

Слика 4.23: доказ за емоционална зараза (Kramer, Guillory, and Hancock 2014) . Процентот на позитивни зборови и негативни зборови со експериментални состојба. Барови претставуваат предвидена стандардните грешки.

Јас сум се стави дискусија на научните аспекти на овој експеримент во натамошниот дел на читање на крајот од ова поглавје, но за жал, овој експеримент е најмногу познат по производство на етички дебата. Само неколку дена по овој труд е објавен во Зборникот на Националната академија на науките, имаше огромно негодување од истражувачите и медиумите. Лутина околу хартија фокусирале на две главни точки: 1) учесниците не даде согласност надвор од стандардниот Фејсбук однос на услугите за третман што некои мисла може да предизвика штета на учесниците и 2) на студијата не била предмет на трети лица етичките преглед (Grimmelmann 2015) . Етичките прашања покренати во оваа дебата предизвикани списанието брзо да објави ретки "уредувачка израз на загриженост" во врска со етиката и етичките процесот на ревизија за истражување (Verma 2014) . Во наредните години, експериментот продолжува да биде извор на интензивна дебата и несогласувања, и ова несогласување може да имаат ненамерни ефект на возење во сенките многу други експерименти, кои се изведуваат од страна на компании (Meyer 2014) .

Со оглед на тоа позадина за емоционалната зараза, јас сега би сакал да се покаже дека на R 3 може да се предложат конкретни, практични подобрувања за вистински студии (што можеби лично мислам за етиката на овој експеримент). Првиот R е замена: истражувачите треба да ги замени експерименти со помалку инвазивни техники и ризично, ако е можно. На пример, наместо да работи на експеримент, истражувачите можат да се експлоатираат природен експеримент. Како што е опишано во Глава 2, природни експерименти ситуации каде што нешто се случува во светот, која е приближна на произволно доделување на третмани (на пример, на лотарија да се одлучи кој ќе биде изготвен во војската). Предноста на природен експеримент е дека истражувачот не треба да се испорача интервенции; животната средина го прави тоа за вас. Со други зборови, со природен експеримент, истражувачите не би имале да се експериментално манипулира News Feeds на луѓето.

Всушност, речиси истовремено со емоционална зараза експеримент, Coviello et al. (2014) е искористување на она што може да се нарече Емоционална Заразата природен експеримент. Нивниот пристап, кој се користи техника наречена инструментални променливи, е малку комплицирано ако никогаш не сум го видел. Значи, со цел да се објасни зошто тоа е потребно, да се изгради на него. Првата идеја дека некои истражувачи можеби ќе мора да учат емоционална зараза ќе биде да се споредат своите мислења во деновите кога твоите Новости беше многу позитивен до вашите постови на денови каде што твоите Новости беше многу негативни. Овој пристап ќе биде во ред, ако целта беше само да се предвиди на емоционална содржина на своите мислења, но овој пристап е проблематично ако целта е да се учат на причинска ефект на твоите Новости на вашите мислења. Да видите за проблемот со овој дизајн, сметаат дека Денот на благодарноста. Во САД, позитивни мислења Спајк и негативни мислења опаѓа на Денот на благодарноста. Така, на Денот на благодарноста, истражувачите можеле да се види дека вашиот News Feed беше многу позитивен и дека сте испратиле позитивни работи, како и. Но, вашиот позитивен одговор може да се предизвикани од страна на благодарноста не со содржината на вашиот Новости. Наместо тоа, со цел да се процени на причинско-последична истражувачи ефект треба нешто што се менува содржината на вашиот News Feed, без директно менување на вашите чувства. За среќа, постои нешто како тоа да се случи во секое време: времето.

Coviello и колегите откриле дека некој дождлив ден во некој град ќе се, во просек, се намали процентот на постови кои се позитивни за околу 1 процентен поен и го зголеми процентот на одговори кои се негативни за околу 1 процентен поен. Потоа, Coviello и колеги експлоатирана овој факт да учат емоционална зараза, без потреба да експериментално манипулира Вести наслови на сите граѓани. Во суштина она што го направија е мерка за тоа како вашите мислења беа погодени од временските услови во градовите каде што живеат најдобри пријатели. Да се ​​види зошто тоа има смисла, замисли си дека живеете во Њујорк и да имате пријател кој живее во Сиетл. Сега замисли дека еден ден ќе почне да врне во Сиетл. Овој дожд во Сиетл нема директно да влијае на вашето расположение, но тоа ќе предизвика вашиот News Feed да биде помалку позитивни и повеќе негативни поради мислења на вашиот пријател. Така, на дожд во Сиетл случајно манипулира со твоите Новости. Исклучувањето на оваа интуиција во сигурен статистичка постапка е комплицирана (и точниот пристап се користи од страна на Coviello и колегите е малку нестандардни), па јас сум се стави подетална дискусија во натамошниот дел на читање. Најважно е да се запамети околу Coviello и пристап колега е во тоа што им овозможи да учат емоционална зараза, без потреба да се кандидира еден експеримент кој би можел да им наштети на учесници, а тоа може да биде случај дека во многу други поставки можете да го замените експерименти со други техники.

На второто место во 3 РС е Пречисти: истражувачите треба да побараат да се насочите нивните третмани со цел да предизвика можно најмалата штета. На пример, наместо блокирање содржини што биле позитивни или негативни, истражувачите можат да ги зголемија содржина, што е позитивен или негативен. Ова зголемување на дизајнот да се смени на емоционална содржина на учесниците на вести, но тоа ќе се обрати еден од загриженост дека критичарите изрази: дека експерименти би можело да предизвика учесниците да го пропушти важни информации во нивните Новости. Со дизајн се користи од страна на Крамер и колеги, порака што е важно е поверојатно да бидат блокирани, како онаа што не е. Меѓутоа, со зголемување на дизајн, пораките кои ќе бидат раселени ќе бидат оние кои се помалку важни.

Конечно, третата R е Намалување: истражувачите треба да бараат да се намали бројот на учесници во нивниот експеримент, ако е можно. Во минатото, ова намалување се случи природно поради варијабилните трошоци на аналогни експерименти беше висока, што поттикнуваат истражувања за да се оптимизира нивната дизајн и анализа. Меѓутоа, кога има нула податоци варијабилни трошоци, истражувачите не се соочи со ограничување на трошоците на големината на нивниот експеримент, и тоа има потенцијал да доведе до непотребно големи експерименти.

На пример, Крамер и колеги може да се користат информации за пред-третман за нивните учесници, како што се пред-третман објавување однесување да ги направат своите анализа поефикасно. Поконкретно, наместо споредување на процентот на позитивни зборови на условите за третман и контрола, Крамер и колеги може да имаат во однос на промена на процентот на позитивни зборови меѓу услови; пристап често се нарекува разликата-во-разлики и која е тесно поврзана со мешани дизајн што е опишано претходно во ова поглавје (Слика 4.5). Тоа е, за секој учесник, истражувачите можеле да се создаде резултат на промена (однесување пост-третман - однесување пред-третман) и потоа ги споредува резултатите промена на учесниците во условите за третман и контрола. Овој пристап разлика-во-разлики е поефикасен статистички, што значи дека на истражувачите да се постигне истиот статистички доверба со користење на многу помали примероци. Со други зборови, со тоа што не лекување на учесниците како "елементи", истражувачите често може да се добијат попрецизни проценки.

Без да има сурови податоци, тешко е да се знае точно колку поефикасен пристап на разликата-во-разлики би биле во овој случај. Но, Deng et al. (2013) објавија дека во три онлајн експерименти врз пребарувач Бинг тие беа во можност да се намали варијансата на нивните проценки за околу 50%, а слични резултати се пријавени за некои онлајн експерименти во Netflix (Xie and Aurisset 2016) . Ова намалување на варијансата 50% значи дека Емоционална истражувачите на зараза можеби биле во можност да се намали нивната примерок на половина ако тие ги користеле малку поинаков методи за анализа. Со други зборови, со мали промени во анализа, 350.000 луѓе можеби биле поштедени учество во експериментот.

Во овој момент може да се прашуваат зошто истражувачи треба да се грижи ако 350.000 луѓе беа во емоционална зараза непотребно. Постојат два главни карактеристики на емоционална зараза кои го прават проблем со прекумерна големина е соодветно, и овие функции се дели од страна на многу дигитални поле експерименти: 1) постои несигурност околу тоа дали експериментот ќе предизвика штета на барем некои учесници и 2) учество не беше на доброволна основа. Во експериментите со овие две карактеристики се чини дека е препорачливо да се задржи на експерименти како мали како е можно.

Во заклучок, трите R's-Замени, прецизност, и намалување на-се обезбедат принципи кои може да им помогне на истражувачите да ги изградат етика во своите експериментални дизајни. Се разбира, секој од овие можни промени во емоционалната зараза воведува размени. На пример, доказите од природни експерименти не е секогаш чиста како докази од рандомизирани експерименти и зголемување може да биде повеќе логистички тешко да се имплементира од блок. Значи, со цел да се укажува на овие промени не беше да се вториот се погоди на одлуките на други истражувачи. Напротив, тоа беше да се илустрира како три Р може да се примени во реална ситуација.