4.6.2 Замяніць, удакладніць і паменшыць

Зрабіце свой ​​эксперымент больш гуманным шляхам замены эксперыментаў з не-эксперыментальных даследаванняў, удакладнення метадаў лячэння, а таксама скарачэнне колькасці ўдзельнікаў.

Другі савет, які я хацеў бы прапанаваць аб распрацоўцы лічбавых эксперыментаў ставіцца да этыцы. Як эксперымент Restivo і ван дэ Rijt на barnstars ў Вікіпедыі паказвае, зніжэнне выдаткаў азначае, што этыка будзе станавіцца ўсё больш важнай часткай даследчага праекта. Акрамя этычных рамак кіруючых людзей у якасці суб'ектаў даследавання, якія я апішу ў главе 6, даследчыкі праектавання лічбавых эксперыментаў могуць таксама абапірацца на этычныя ідэі з іншай крыніцы: этычныя прынцыпы, распрацаваныя, каб весці эксперыменты з жывёламі. У прыватнасці, у сваёй знакавай кнізе Прынцыпы гуманнай эксперыментальнай тэхнікі, Russell and Burch (1959) прапанаваў тры прынцыпу , якія павінны накіроўваць даследаванні на жывёл: Замяніць, ўдакладняюць і Reduce. Я хацеў бы прапанаваць, што гэтыя тры R таксама можа быць выкарыстаны ў злёгку змененай форме для кіраўніцтва дызайн чалавечых эксперыментаў. У прыватнасці,

• Замяніць: замяніць эксперыменты з менш інвазівных метадаў, калі гэта магчыма
• Удакладніце: удакладніце лячэнне, каб зрабіць яго максімальна бясшкодным, наколькі гэта магчыма
• Скарачэнне: скарачэнне колькасці удзельнікаў эксперыменту як мага больш

Для таго, каб зрабіць бетон гэтыя тры R і паказаць, як яны могуць патэнцыйна прывесці да лепшага і больш гуманнага эксперыменту, я буду апісваць эксперымент онлайн поле, якое стварыла дыскусіі па этычных пытаннях. Тады я буду апісваць, як тры R мяркуюць канкрэтныя і практычныя змены ў дызайне эксперыменту.

Адным з найбольш абмяркоўваюцца эксперыментаў з этычнай пункту гледжання лічбавых палявых з'яўляецца "Эмацыйны Заражэнне" , які быў праведзены Адам Крамер, Джэймі Gillroy і Джэфры Hancock (2014) . Эксперымент праходзіў на Facebook і было матывавана спалучэннем навуковых і практычных пытанняў. У той час дамінуючым спосабам, што карыстальнікі ўзаемадзейнічалі з Facebook быў News Feed, алгарытмічных куратарам набор абнаўленняў статусу Facebook з сяброў карыстальніка Facebook. Некаторыя крытыкі Facebook выказаў здагадку, што паколькі Стужка навінаў мае ў асноўным станоўчыя паведамленні-сяброў, які абяцае сваю апошнюю партыю, гэта можа прывесці да карыстальнікаў адчуваць сябе сумна, таму што іх жыццё здаецца менш захапляльным ў параўнанні. З іншага боку, можа быць, эфект як раз наадварот; можа быць, бачачы свайго сябра, які мае добры час зробіць вас адчуваць сябе шчаслівым? Для вырашэння гэтых канкуруючых гіпотэз і для прасоўвання нашага разумення таго, як эмоцыі чалавекі знаходзяцца пад уздзеяннем сваіх сяброў эмоцый-Крамер і яго калегі запусцілі эксперымент. Даследчыкі размешчана каля 700 000 карыстачоў на чатыры групы на працягу аднаго тыдня: у "негатыўна" паменшаны групу, для якіх паведамленні з адмоўнымі словамі (напрыклад, сумна) былі выпадковым чынам заблакаваныя ад з'яўлення Стужцы навінаў; А "пазітыўнасці паменшаны" гурт, для якіх паведамленні з станоўчымі словамі (напрыклад, шчаслівыя) былі выпадковым чынам заблакаваныя; і дзве кантрольныя групы. У кантрольнай групе для гурта "негатыву" змяншаецца, пасты былі выпадковым чынам заблакаваныя з той жа хуткасцю, што і гурт "негатыву" зніжаецца, але без уліку эмацыйнага ўтрымання. Кантрольная група для гурта "станоўчасьці памяншаецца" была пабудавана ў паралельнай модзе. Канструкцыя гэтага эксперыменту паказвае, што адпаведная кантрольная група, не заўсёды адно без якіх-небудзь змяненняў. Хутчэй за ўсё, часам кантрольная група атрымлівае лячэнне, з тым каб стварыць дакладнае параўнанне, што пытанне даследавання патрабуе. Ва ўсіх выпадках, пасты, якія былі заблакаваныя са стужкі навінаў па-ранейшаму даступныя карыстальнікам праз іншыя часткі вэб-сайта Facebook.

Крамер і яго калегі выявілі, што для ўдзельнікаў станоўчасьці памяншаецца стан, працэнт станоўчых слоў у іх абнаўленні статусу памяншаецца, а адсотак адмоўных слоў павялічылася. З іншага боку, для ўдзельнікаў негатыўна паменшаны стане, працэнт станоўчых слоў павялічыўся і працэнт негатыўных слоў памяншаецца (мал 4.23). Тым не менш, гэтыя эфекты былі вельмі малыя: розніца ў станоўчых і адмоўных слоў паміж курсамі лячэння і кантролю было каля 1 у 1000 слоў.

Малюнак 4.23: Дадзеныя эмацыйнага заразы (Kramer, Guillory, and Hancock 2014) . Адсотак станоўчых слоў і негатыўных слоў эксперыментальным умовай. Слупкі паказваюць прыкладную суму стандартных памылак.

Я паклаў абмеркаванне навуковых аспектаў гэтага эксперыменту ў далейшым секцыі чытання ў канцы кіраўніка, але, на жаль, гэты эксперымент з'яўляецца самым вядомым для стварэння этычнай дыскусіі. Усяго праз некалькі дзён пасля таго, як гэтая артыкул быў апублікаваны ў Працах Нацыянальнай акадэміі навук, быў велізарны рэзананс ад даследчыкаў і прэсы. Абурэнне вакол паперы сканцэнтраваны на двух асноўных момантах: 1) ўдзельнікі не далі якіх-небудзь згоду акрамя стандартных умоў тэрміну службы Facebook для лячэння, што некаторыя думкі можа нанесці шкоду ўдзельнікам і 2) даследаванне не падвергліся трэцяга боку этычнай агляд (Grimmelmann 2015) . Этычныя пытанні , узнятыя ў ходзе гэтай дыскусіі выклікалі часопіс хутка апублікаваць рэдкі "рэдакцыйны выраз заклапочанасці" пра этыку і этычнага працэсу агляду для даследавання (Verma 2014) . У наступныя гады эксперымент працягвае быць крыніцай інтэнсіўных дэбатаў і рознагалоссяў, і гэта нязгоду , магчыма, мелі незнарокавы эфект ваджэння ў цені многія іншыя эксперыменты, якія выконваюцца кампаніямі (Meyer 2014) .

Улічваючы, што фон аб Эмацыйны Contagion, зараз я хацеў бы паказаць, што 3 R можа прапанаваць канкрэтныя, практычныя ўдасканалення для рэальных даследаванняў (усе, што вы маглі б асабіста думаць пра этыку дадзенага канкрэтнага эксперыменту). Першы R з'яўляецца замена: даследчыкі павінны імкнуцца замяніць эксперыменты з менш інвазівных і рызыкоўных метадаў, калі гэта магчыма. Напрыклад, замест правядзення эксперыменту, даследчыкі маглі б эксплуатаваць натуральны эксперымент. Як апісана ў чале 2, натуральныя эксперыменты бываюць сітуацыі, калі нешта адбываецца ў свеце, які апраксімуецца выпадковае прызначэнне лячэння (напрыклад, латарэя, каб вырашыць, хто будзе прызваны на ваенную службу). Перавага натуральнага эксперыменту з'яўляецца тое, што даследчык не павінен дастаўляць лячэння; серада робіць гэта для вас. Іншымі словамі, з натуральным эксперыментам, ня мелі б даследчыкі эксперыментальна маніпуляваць людзей Стужкі навін.

На самай справе, амаль адначасова з эмацыйным эксперыментам Заражэнне, Coviello et al. (2014) і Coviello et al. (2014) эксплуатуе тое , што можна было б назваць эмацыйнай Заражэнне натуральны эксперымент. Іх падыход, які выкарыстоўвае тэхналогію, званую інструментальных зменных, крыху больш складана, калі вы ніколі не бачылі яго раней. Такім чынам, для таго, каб растлумачыць, чаму гэта было неабходна, давайце будаваць да яго. Першая думка, што некаторыя даследчыкі, магчыма, прыйдзецца вывучыць эмацыйны заражэнне было б параўнаць свае паведамленні ў тыя дні, калі вашы News Feed вельмі пазітыўна на вашыя пасты ў тыя дні, калі ваш Стужка навін быў вельмі негатыўным. Такі падыход быў бы добра, калі мэтай было проста прадказаць эмацыянальны змест вашых пастоў, але такі падыход з'яўляецца праблематычным, калі мэта складаецца ў тым, каб вывучыць прычынна-выніковую сувязь вашай Стужцы навін на вашыя паведамленні. Каб убачыць праблему з гэтым праектам, лічаць Дзень Падзякі. У ЗША, станоўчыя паведамленні шып і адмоўныя паведамлення адвес на Дзень падзякі. Такім чынам, на Дзень падзякі, даследчыкі маглі бачыць, што вашы News Feed была вельмі пазітыўнай, і што вы пісалі пазітыўныя рэчы. Але, вашыя станоўчыя паведамлення маглі быць выкліканыя падзякі не напаўненнем вашай стужцы навін. Замест таго, каб ацаніць прычынна-следчай сувязі даследчыкі трэба нешта, што змяняе змест вашай стужцы навін без прамога змены свае эмоцыі. На шчасце, ёсць нешта падобнае адбываецца ўвесь час: ад умоў надвор'я.

Coviello і яго калегі выявілі, што ў дажджлівы дзень у чыім-то горадзе, у сярэднім, паменшыць долю пасад, якія з'яўляюцца станоўчымі прыкладна на 1 працэнтны пункт і павялічыць долю пасад, якія з'яўляюцца адмоўнымі прыкладна на 1 працэнтны пункт. Затым Coviello і яго калегі эксплуатуюць гэты факт для вывучэння эмацыйнага заражэння без неабходнасці эксперыментальна маніпуляваць нічыім News Feed. Па сутнасці справы, што яны зрабілі гэта мера, як вашыя пасты былі закрануты надвор'ем у гарадах, дзе жывуць вашы сябры. Каб зразумець, чаму гэта мае сэнс, уявіце, што вы жывяце ў Нью-Ёрку і ў вас ёсць сябар, які жыве ў Сіэтле. Цяпер уявіце, што ў адзін цудоўны дзень пачынаецца дождж у Сіэтле. Гэты дождж у Сіэтле ня будзе непасрэдна ўплываць на ваш настрой, але гэта прывядзе да таго, Стужка навін, каб быць менш станоўчым і больш адмоўным з-за пастоў вашага сябра. Такім чынам, дождж у Сіэтле выпадковым чынам маніпулюе ваш News Feed. Далучэнне гэтай інтуіцыі ў надзейнай статыстычнай працэдуры ўскладняецца (і дакладны падыход, які выкарыстоўваецца Coviello і яго калегі трохі нестандартным), так што я змясціў больш падрабязнае абмеркаванне ў далейшым раздзеле чытання. Самае галоўнае, каб памятаць пра Coviello і падыход калегі, што гэта дазволіла ім вывучыць эмацыйную заразы без неабходнасці правесці эксперымент, які патэнцыйна можа нанесці шкоду ўдзельнікам, і гэта можа быць так, што ў многіх іншых параметраў, якія можна замяніць эксперыменты з іншымі метады.

Ва- другое , у 3 -х Rs з'яўляецца Удакладніць: даследчыкі павінны імкнуцца ўдасканальваць свае працэдуры для таго , каб нанесцi найменшую шкоду магчыма. Напрыклад, замест блакавання кантэнту, які быў станоўчым або адмоўным, даследчыкі маглі б павялічылі ўтрыманне, якое было станоўчым або адмоўным. Гэта павышэнне дызайн змяніла б эмацыянальны змест удзельнікаў навінавыя выданні, але было б звярнуўся адзін з боязі, што крытыкі выказалі: што эксперыменты маглі выклікаць удзельнікаў прапусціць важную інфармацыю ў сваёй стужцы навін. У канструкцыі выкарыстоўваецца Крамер і яго калегі, паведамленне, што важна тое, як можа быць заблякаваны, як той, які не з'яўляецца. Тым не менш, з якая падвышае дызайнам, паведамленні, якія будуць перамяшчацца будуць тыя, якія з'яўляюцца менш важнымі.

І, нарэшце, трэці R з'яўляецца Скарачэнне: даследчыкі павінны імкнуцца да скарачэння колькасці удзельнікаў у іх эксперыменце, калі гэта магчыма. У мінулым гэта скарачэнне адбылося натуральным чынам, так як зменная кошт аналагавых эксперыментаў была высокай, што рэкамендуецца даследаванне з мэтай аптымізацыі іх канструкцыі і аналізу. Тым не менш, калі ёсць нулявыя зменныя дадзеныя аб выдатках, даследчыкі не сутыкаюцца з пункту гледжання выдаткаў абмежаванне на памер свайго эксперыменту, і гэта патэнцыйна можа прывесці да неапраўдана вялікіх эксперыментаў.

Напрыклад, Крамер і яго калегі маглі б выкарыстоўваць інфармацыю для папярэдняй апрацоўкі аб іх удзельнікаў, такія як папярэдняя апрацоўка праводкі паводзін-каб зрабіць іх аналіз больш эфектыўным. Больш канкрэтна, замест таго , каб параўноўваць суадносіны пазітыўных слоў у лячэнні і кантрольных умовах, Крамер і яго калегі змаглі параўналі змяненне долі станоўчых слоў паміж ўмовамі; падыход часта называюць адрозненні-в-адрозненнях і якія цесна звязаны з змяшанай канструкцыі, якую я апісаў раней у гэтай чале (мал 4.5). Гэта значыць, для кожнага ўдзельніка, даследчыкі маглі б стварыць рахунак змены (паводзін пасля лячэння - паводзіны папярэдняй апрацоўкі), а затым параўналі змены ацэнкі удзельнікаў у лячэнні і кантрольных умовах. Гэтая розніца-в-адрозненнях падыход з'яўляецца больш эфектыўным, статыстычна, што азначае, што даследчыкі могуць дасягнуць той жа статыстычнай дакладнасці, выкарыстоўваючы нашмат меншыя пробы. Іншымі словамі, не лячэння удзельнікаў, як "фішак", даследчыкі часта можна атрымаць больш дакладныя ацэнкі.

Не маючы зыходных дадзеных, цяжка дакладна ведаць, колькі больш эфектыўным розніца-в-адрозненнях падыход быў бы ў гэтым выпадку. Але, Deng et al. (2013) і Deng et al. (2013) паведамілі , што ў трох анлайнавых эксперыментаў па пошукавай сістэме Bing яны змаглі паменшыць дысперсію адзнак іх прыкладна на 50%, і аналагічныя вынікі былі атрыманы для некаторых онлайн эксперыментаў на Netflix (Xie and Aurisset 2016) . Гэта 50% памяншэнне дысперсіі азначае, што Эмацыйныя даследчыкі заразы, магчыма, былі ў стане скараціць іх ўзор напалову, калі яны выкарысталі некалькі розных метадаў аналізу. Іншымі словамі, з малюсенькім змены ў аналізе, 350000 людзі маглі б пазбегнуць удзелу ў эксперыменце.

На гэтым этапе вы можаце быць здзіўлены, чаму даследчыкі павінны клапаціцца, калі 350.000 людзей былі ў эмацыйным Contagion залішне. Ёсць дзве асаблівасці эмацыйнага Contagion, якія робяць заклапочанасць у сувязі з празмерным памеру неабходна, і гэтыя асаблівасці з'яўляюцца агульнымі для многіх лічбавых палявых эксперыментаў: 1) існуе нявызначанасць у дачыненні да ці будзе эксперымент нанесці шкоду, па меншай меры некаторых удзельнікаў і 2) удзел не было на добраахвотнай аснове. У эксперыментах з гэтымі двума характарыстыкамі, уяўляецца мэтазгодным захаваць эксперыменты як мага менш.

У заключэнне, тры R's-Замяніць, пошуку і скрутка-ўтрымліваюць прынцыпы, якія могуць дапамагчы даследчыкам пабудаваць этыку ў свае эксперыментальныя планы. Вядома, кожны з гэтых магчымых змяненняў да эмацыйнага Contagion ўводзіць кампрамісныя. Напрыклад, дадзеныя з натуральных эксперыментаў не заўсёды гэтак жа чыстымі, як дадзеныя рандомізірованный эксперыментаў і павышэнне магло б быць больш лагістычных цяжка рэалізаваць, чым блок. Такім чынам, мэта прапаноўваючы гэтыя змены не прадугледжваць вырашэння іншых даследчыкаў. Хутчэй за ўсё, гэта павінна было паказаць, як тры R магла б быць прыменена ў рэальнай сітуацыі.