4.6.2 Пабудова этыкі ў дызайн: замяніць, удакладніць і скараціць

Зрабіце свой ​​эксперымент больш гуманным шляхам замены эксперыментаў з не-эксперыментальных даследаванняў, удакладнення метадаў лячэння, а таксама скарачэнне колькасці ўдзельнікаў.

Другі савет, які я хацеў бы прапанаваць аб распрацоўцы лічбавых эксперыментаў ставіцца да этыцы. У якасці эксперыменту Restivo і ван дэ Rijt на barnstars ў Вікіпедыі паказвае, зніжэнне выдаткаў азначае, што этыка становіцца ўсё больш важнай часткай даследчага праекта. Акрамя этычных рамкі кіруючых правоў суб'ектаў даследавання, якія я буду апісваць ў главе 6, даследчыкі праектавання лічбавых эксперыментаў могуць таксама абапірацца на этычныя ідэі з іншай крыніцы: этычныя прынцыпы, распрацаваныя, каб весці эксперыменты з жывёламі. У прыватнасці, у сваёй знакавай кнізе Прынцыпы гуманнай эксперыментальнай тэхнікі, Russell and Burch (1959) прапанаваў тры прынцыпу , якія павінны накіроўваць даследаванні на жывёл: замяняюць, якія ўдакладняюць і скарачэнні. Я хацеў бы прапанаваць, што гэтыя тры R таксама можа быць выкарыстаны ў злёгку змененай форме для кіраўніцтва дызайну чалавечых эксперыментаў. У прыватнасці,

• Замяніць: замяніць эксперыменты з менш інвазівным метадамі, калі гэта магчыма.
• Удакладніце: удакладніце лячэнне, каб зрабіць яго бясшкодным, наколькі гэта магчыма.
• Скарачэнне: скарачэнне колькасці удзельнікаў эксперыменту як мага больш.

Для таго, каб зрабіць бетон гэтыя тры прынцыпы і паказаць, як яны патэнцыйна могуць прывесці да лепшага і больш гуманнага эксперыменту, я апішу эксперымент онлайн поля, згенераванага этычную дыскусію. Тады я буду апісваць, як тры R мяркуе канкрэтныя і практычныя змены ў дызайн эксперыменту.

Адным з найбольш этычна абмяркоўваюцца эксперыментаў лічбавых палявых праводзілі Адам Крамер, Джэймі Guillroy і Джэфры Хэнкок (2014) і атрымала назву «Эмацыйны Contagion.» Эксперымент праходзіў на Facebook і матываванае спалучэннем навуковых і практычныя пытанні. У той час дамінуючы спосаб, што карыстальнікі ўзаемадзейнічалі з Facebook быў News Feed, алгарытмічная куратарам набор абнаўленняў статусу Facebook ад сяброў карыстальніка Facebook. Некаторыя крытыкі Facebook выказалі здагадку, што паколькі Стужка навінаў мае ў асноўным станоўчыя паведамлення сябры-выхваляецца сваю апошнюю партыю, гэта можа прывесці да карыстальнікаў адчуваць сябе сумна, таму што іх жыццё здавалася менш захапляльнай ў параўнанні. З іншага боку, можа быць, эфект як раз наадварот: можа быць, бачачы свой сябар, які мае добры час, зраблю вас адчуваць сябе шчаслівымі. Для вырашэння гэтых канкуруючых гіпотэз, і для прасоўвання нашага разумення таго, як эмоцыі чалавека знаходзяцца пад уздзеяннем сваіх сяброў эмоцыямі-Крамер і яго калегі запусцілі эксперымент. Яны размешчаны каля 700 000 карыстачоў на чатыры групы на працягу аднаго тыдня: група «негатыўна адноўленае», для якіх паведамленні з адмоўнымі словамі (напрыклад, «сумны») былі выпадковым чынам заблакаваныя ад з'яўлення ў стужцы навін; А «пазітыўнасці адноўленых» група, для якой пастоў з станоўчымі словамі (напрыклад, «шчаслівым») былі выпадковым чынам заблакаваныя; і дзве кантрольныя групы. У кантрольнай групе для групы «негатыў з паніжаным утрыманнем», пасты былі выпадковым чынам заблакаваныя з той жа хуткасцю, што і група «негатывам з паніжаным утрыманнем», але без уліку эмацыйнага ўтрымання. Кантрольная група для групы «станоўча адноўленых» была пабудавана ў паралельнай форме. Дызайн гэтага эксперыменту паказвае, што адпаведная кантрольная група не заўсёды адна без якіх-небудзь змяненняў. Хутчэй за ўсё, часам, кантрольная група атрымлівае лячэнне, з тым каб стварыць дакладнае параўнанне, што пытанне даследавання патрабуе. Ва ўсіх выпадках, пасты, якія былі заблакаваныя са стужкі навінаў па-ранейшаму даступныя карыстальнікам праз іншыя часткі сайта Facebook.

Крамер і яго калегі выявілі, што для ўдзельнікаў станоўчасьці адноўленага стану, працэнт станоўчых слоў у іх абнаўленні статусу памяншаецца, а працэнт адмоўных слоў павялічыўся. З іншага боку, для ўдзельнікаў негатыву з паніжаным стане, працэнт станоўчых слоў павялічыўся і што негатыўных слоў памяншаецца (малюнак 4.24). Аднак гэтыя эфекты былі вельмі малыя: розніца ў станоўчых і адмоўных слоў паміж курсамі лячэння і кантролю было каля 1 у 1000 слоў.

Малюнак 4.24: Дадзеныя эмацыйнага ланцуговай рэакцыі (Kramer, Guillory, and Hancock 2014) . Удзельнікі негатыўна адноўленае стане выкарыстоўваецца менш адмоўных слоў і больш пазітыўныя словы, і ўдзельнікі пазітыўнасці адноўленае стану выкарыстоўваюцца больш негатыўныя словы і менш станоўчых слоў. Слупкі паказваюць прыкладную суму стандартных памылак. Адаптавана з Kramer, Guillory, and Hancock (2014) , на фиг.1.

Перш чым абмяркоўваць этычныя пытанні, якія ўзнікаюць у гэтым эксперыменце, я хацеў бы апісаць тры навуковыя пытанні, выкарыстоўваючы некаторыя ідэі з раней у гэтай чале. Па-першае, не ясна, як фактычныя дэталі эксперыменту падключыць да тэарэтычных патрабаванням; Іншымі словамі, ёсць пытанні аб валіднасці. Не ясна, што станоўчыя і адмоўныя адлікі словы, на самай справе з'яўляецца добрым індыкатарам эмацыйнага стану удзельнікаў, таму што (1) не ясна, што словы, якія людзі вывешваюць добры індыкатар іх эмоцый і (2) не ясна , што канкрэтны метад аналізу настрояў , якія выкарыстоўвалі даследчыкі ў стане надзейна вывесці эмоцыі (Beasley and Mason 2015; Panger 2016) . Іншымі словамі, можа быць дрэнны мерай неаб'ектыўнай сігналу. Па-другое, распрацоўка і аналіз эксперыменту не кажа нам нічога пра тое, хто быў самым ўплыў (гэта значыць, няма ніякага аналізу гетэрагеннасць эфектаў лячэння) і што можа быць механізмам. У гэтым выпадку, даследчыкі мелі шмат інфармацыі пра ўдзельнікаў, але яны былі ў асноўным разглядаюцца як фішкі ў аналізе. Па-трэцяе, памер эфекту ў гэтым эксперыменце была вельмі малая; розніца паміж лячэбнымі і кантрольнымі ўмовамі складае прыкладна 1 на 1000 слоў. У сваёй працы, Крамер і яго калегі робяць справу, што эфект такога памеру мае важнае значэнне, таму што сотні мільёнаў людзей доступ да іх Стужцы навінаў кожны дзень. Іншымі словамі, яны сцвярджаюць, што нават калі эфекты малыя для кожнага чалавека, яны з'яўляюцца вялікімі ў сукупнасці. Нават калі вы павінны былі прыняць гэты аргумент, ён да гэтага часу не зразумела , калі эфект такога памеру мае важнае значэнне ў адносінах да больш агульнай навуковай пытання аб распаўсюдзе эмоцый (Prentice and Miller 1992) .

Акрамя гэтых навуковых пытанняў, усяго за некалькі дзён пасля таго, як гэтая артыкул была апублікаваная ў Працах Нацыянальнай акадэміі навук, быў велізарны рэзананс ад абодвух даследчыкаў і прэса (я апішу аргументы ў гэтай дыскусіі больш падрабязна ў главе 6 ). Пытанні , закранутыя ў гэтай дыскусіі выклікалі часопіс выдаваць рэдкае «рэдакцыйнае выраз заклапочанасці» пра этыку і працэсе этычнай экспертызы для даследавання (Verma 2014) .

Улічваючы, што фон аб эмацыйную Contagion, зараз я хацеў бы паказаць, што тры R можа прапанаваць канкрэтныя, практычныя ўдасканалення для рэальных даследаванняў (усе, што вы маглі б асабіста думаць пра этыку дадзенага канкрэтнага эксперыменту). Першы R з'яўляецца замяніць: даследчыкі павінны імкнуцца замяніць эксперыменты з менш інвазівным і рызыкоўнымі метадамі, калі гэта магчыма. Напрыклад, замест запуску рандомізірованного кантраляванага эксперыменту, даследчыкі маглі б эксплуатаваць натуральны эксперымент. Як апісана ў чале 2, натурныя эксперыменты, бываюць сітуацыі, калі нешта адбываецца ў свеце, які апраксімуецца выпадковае прызначэнне лячэння (напрыклад, латарэя, каб вырашыць, хто будзе прызваны ў армію). Этычнае перавага натуральнага эксперыменту з'яўляецца тое, што даследчык не павінен дастаўляць працэдуры: навакольнае асяроддзе робіць гэта для вас. Напрыклад, амаль адначасова з эмацыйным Заражэнне эксперыментам, Lorenzo Coviello et al. (2014) і Lorenzo Coviello et al. (2014) эксплуатаваў то , што можна было б назваць эмацыйную Заражэнне натуральным эксперыментам. Coviello і яго калегі выявілі, што людзі адпраўляюць больш негатыўныя словы і менш станоўчыя словы ў тыя дні, калі ідзе дождж. Такім чынам, выкарыстоўваючы выпадковыя змены ў надвор'і, яны былі ў стане вывучыць уплыў змен у Стужцы навінаў без неабходнасці ўмяшання наогул. Гэта было, як калі б надвор'е бегала свой эксперымент для іх. Дэталі працэдуры іх крыху больш складана, але самае галоўнае для нашых мэтаў тут з'яўляецца тое, што пад час выкарыстаньня натуральнага эксперыменту, Coviello і яго калегі змаглі даведацца пра распаўсюд эмоцый без неабходнасці весці свой уласны эксперымент.

Другі з трох Rs з'яўляецца ўдакладніць: даследчыкі павінны імкнуцца ўдасканальваць свае працэдуры , каб зрабіць іх максімальна бясшкодная наколькі гэта магчыма. Напрыклад, замест блакавання кантэнту, які быў станоўчым або адмоўным, даследчыкі маглі б павялічылі ўтрыманне, якое было станоўчым або адмоўным. Гэта павышэнне дызайн змяніла б эмацыянальны змест удзельнікаў Стужкі навін, але гэта было б звярнулася адзін з боязі, што крытыкі, выяўленыя: што эксперыменты маглі выклікаць удзельнік прапусціць важную інфармацыю ў сваёй стужцы навін. У канструкцыі выкарыстоўваецца Крамер і яго калегі, паведамленне, што важна тое, як можа быць заблякаваны, як той, які не з'яўляецца. Тым не менш, з павышаючым дызайнам, паведамленні, якія будуць перамяшчацца будуць тыя, якія з'яўляюцца менш важнымі.

І, нарэшце, трэці R з'яўляецца паменшыць: даследчыкі павінны імкнуцца да скарачэння колькасці удзельнікаў у іх эксперыменце да мінімуму , неабходнага для дасягнення сваіх навуковых мэтаў. У аналагавых эксперыментах гэта адбылося натуральным чынам з-за высокія зменныя выдаткі ўдзельнікаў ст. Але ў лічбавых эксперыментах, у прыватнасці, з нулявой зменнай коштам, даследчыкі не сутыкаюцца з пунктам гледжання выдаткаў абмежаванні на памеры свайго эксперыменту, і гэта мае патэнцыял, каб прывесці да неапраўдана вялікім эксперыментаў.

Так, напрыклад, Крамер і яго калегі маглі б выкарыстоўваць інфармацыю папярэдняй апрацоўкі аб іх удзельніках, такіх як папярэдняя апрацоўка праводкі паводзіны-зрабіць іх аналіз больш эфектыўным. Больш канкрэтна, замест таго , параўноўваючы долі станоўчых слоў у лячэнні і кантрольных умовах, Крамер і яго калегі змаглі параўналі змяненне долі станоўчых слоў паміж ўмовамі; падыход, які часам называюць змяшанай канструкцыі (малюнак 4.5), а таксама часам называюць розніца-в-адрозненнях ацэншчык. Гэта значыць, для кожнага ўдзельніка, даследчыкі маглі б стварыць рахунак змены (давычышчэнне паводзінаў \(-\) паводзіны папярэдняй апрацоўкі) , а затым параўналі змены дзясяткі ўдзельнікаў і кантрольныя ўмовы. Гэтая розніца ў рознасцяў падыход з'яўляецца больш эфектыўным, статыстычна, што азначае, што даследчыкі могуць дасягнуць той жа статыстычнай дакладнасці з выкарыстаннем значна меншых узораў.

Не маючы зыходныя дадзеныя, цяжка дакладна ведаць, колькі больш эфектыўнай розніца ў рознасцях ацэншчык быў бы ў гэтым выпадку. Але мы можам паглядзець на іншых роднасных эксперыменты для грубай ідэі. Deng et al. (2013) і Deng et al. (2013) паведамілі , што з дапамогай формы ацэнкі розніцы-в-адрозненні, яны былі ў стане паменшыць дысперсію іх ацэнак прыкладна на 50% у трох розных інтэрнэт - эксперыментаў; Аналагічныя вынікі былі паведамленыя Xie and Aurisset (2016) . Гэта 50% памяншэнне дысперсіі азначае, што эмацыйныя даследчыкі заразы, магчыма, былі ў стане скараціць іх ўзор напалову, калі яны выкарыстоўвалі некалькі іншы метад аналізу. Іншымі словамі, з малюсенькім змены ў аналізе, 350000 людзі маглі б пазбегнуць удзелу ў эксперыменце.

На дадзены момант, вы можаце быць здзіўлены, чаму даследчыкі павінны клапаціцца, калі 350000 людзей былі ў эмацыйных Contagion залішнія. Ёсць два канкрэтных асаблівасцяў эмацыйнага Contagion, якія робяць заклапочанасць у сувязі з празмерным памерам неабходная, і гэтыя асаблівасці з'яўляюцца агульнымі для многіх эксперыментаў лічбавых палёў: (1) існуе няпэўнасць адносна ці будзе эксперымент нанесці шкоду, па меншай меры некаторым удзельнікам і (2) Удзел не было добраахвотным. Уяўляецца мэтазгодным, каб паспрабаваць захаваць эксперыменты, якія маюць гэтыя асаблівасці як мага менш.

Каб было ясна, жаданне паменшыць памер вашага эксперыменту не азначае, што вы не павінны запускаць вялікія, нулявыя эксперыменты зменных выдаткаў. Гэта проста азначае, што вашы эксперыменты не павінны быць больш, чым трэба, каб дасягнуць сваёй навуковай мэты. Адным з важных спосабаў , каб пераканацца , што эксперымент адпаведнага памеру, каб правесці аналіз магутнасці (Cohen 1988) . У апісваюць аналагавай эпосе, даследчыкі звычайна рабілі аналіз магутнасці, каб пераканацца, што іх даследаванне не было занадта маленькім (г.зн. пад харчаваннем). Цяпер, аднак, даследчыкі павінны зрабіць аналіз магутнасці, каб пераканацца, што іх даследаванне не з'яўляецца занадта вялікім (г.зн. над харчаваннем).

У заключэнне адзначым, што тры R's замены, удакладніць, і скрутка-ўтрымліваюць прынцыпы, якія могуць дапамагчы даследчыкам пабудаваць этыку ў свае эксперыментальныя праекты. Вядома, кожны з гэтых магчымых змяненняў эмацыйнага Contagion ўводзіць кампрамісны. Напрыклад, дадзеныя з натурных эксперыментаў не заўсёды чыстыя, як ад рандомізірованный эксперыментаў, і павышэнне ўтрымання магло быць лагістычны складаней рэалізаваць, чым блякаваньне кантэнту. Такім чынам, мэта прапаноўваючы гэтыя змены не прадугледжваць вырашэння іншых даследчыкаў. Хутчэй за ўсё, гэта павінна было паказаць, як тры R-х можна было б прымяніць у рэальнай сітуацыі. На самай справе, пытанне пра кампрамісы ідзе ўвесь час у навукова-даследчай распрацоўцы, так і ў лічбавым ўзросце, гэтыя гэтыя кампрамісы будуць усё часцей ўключаць этычныя меркаванні. Пазней, у 6-й чале, я прапаную некаторыя прынцыпы і этычныя рамкі, якія могуць дапамагчы даследчыкам зразумець і абмеркаваць гэтыя кампрамісы.