4.6.2 , Qayta qayta almashtiring va kamaytirish

, Non-eksperimental tadqiqotlar bilan tajribalar almashtirish muolajalar yanada takomillashtirishdan, va ishtirokchilar sonini kamaytirish orqali siz tajriba insonparvarlashtirishga.

Men raqamli tajribalar loyihalashtirish haqida taklif qilmoqchiman maslahat ikkinchi parcha axloqiy taalluqlidir. Vikipediya namoyishida barnstars haqida Restivo va van de Rijt tajriba, xarajatlarni susayib axloqiy tadqiqot dizayn tobora muhim qismi bo'ladi, degan ma'noni anglatadi. hayvonlarni jalb tajribalar hidoyat qilish uchun ishlab chikilgan axloqiy tamoyillar: Men 6-bobda ham tasvirlab beraman inson fanlar tadqiqotlar hidoyat axloqiy doirasida tashqari, raqamli tajribalar loyihalashtirish tadqiqotchilar, shuningdek, bir xil manbadan axloqiy g'oyalar chizish mumkin. Xususan, gumanitar eksperimental texnikasi ularning qutlug kitob tamoyillari, Russell and Burch (1959) , Qayta qayta almashtiring va kamaytiring: hayvon tadqiqotlar hidoyat kerak uch tamoyillari taklif. Men bu uch R ning ham foydalanish-yilda bo'lishi mumkin bir oz tahrirlangan taklif qilmoqchiman shaklida-inson tajribalari dizayn hidoyat. Jumladan,

• Almashtiring: agar iloji bo'lsa kam invaziv usullar bilan tajribalar almashtiring
• Aniqlashtiring: iloji boricha zararsiz qilish davolash tozalamoq
• Kamaytiring: iloji boricha sizning eksperiment ishtirokchilari sonini kamaytiring

Bu uch R beton qilish va ular bugunda yaxshiroq va ko'proq insonparvar eksperimental loyihalash olib kelishi mumkin qanday ko'rsatish uchun, men axloqiy munozaralarga hosil onlayn dala tajriba tasvirlab beraman. Keyin men uch R ning eksperiment dizayn aniq va amaliy o'zgartirishlar taklif qanday tasvirlab beraman.

Eng axloqiy munozara raqamli dala tajribalari biri Adam Kramer, Jeymi Gillroy va Jeffrey Xenkok tomonidan o'tkazilgan "Hissiy Contagion," deb (2014) . tajriba Facebookda bo'lib o'tdi va ilmiy va amaliy masalalarni aralash maqsadi edi. paytda, foydalanuvchilar Facebook bilan hamkorlik dominant yo'l Yangiliklar Feed, foydalanuvchining Facebook do'stlaridan Facebook statuslar bir algoritmga küratörlüğünü majmui edi. Facebook Ba'zi tanqidchilar Yangiliklar Feed so'nggi riyo xabarlar-do'stlar asosan ijobiy, chunki partiya-u, ularning hayoti nisbatan kamroq qiziqarli tuyuladi, chunki foydalanuvchilar xafa qilishga olib kelishi mumkin, deb taklif qilgan edi. Boshqa tomondan, balki ta'siri aniq qarama-qarshi hisoblanadi; balki siz do'stingiz siz baxtli his qilish bir yaxshi vaqt ega ko'rib? murojaat uchun bu taxmin va insonning his-tuyg'ular uning do'stlarning ta'sir qanday bizning tushunish Mustahkamlash uchun his-tuyg'ular-Kramer va hamkasblari yugurib tajriba raqobat. tadqiqotchilar bir hafta davomida to'rt guruhga haqida 700.000 foydalanuvchilar joylashtirilgan: a "tonish kamayadi" guruhi, salbiy so'z (masalan, xafa) tasodifiy Yangiliklar Feed ko'rinishini blokirovka qilindi bilan xabarlar; ijobiy so'z (masalan, baxtli) bilan xabarlar tasodifiy blokirovka qilindi kimga uchun "musbat kamayadi" guruhi; va ikki nazorat guruhlari. "Tonish kamayadi" guruhi uchun nazorat guruhida, xabarlar tasodifiy "tonish kamayadi" guruhi, balki hissiy mundarijaga munosabat holda Shu kursi blokirovka qilindi. "Pozitifliği kamayadi" guruhi uchun nazorat guruhi bir parallel tarzda qurildi. Bu tajriba dizayn tegishli nazorat guruhi har doim hech o'zgarishlar bilan bir emasligini ko'rsatadi. Balki, ba'zan nazorat guruhi bir tadqiqot savol talab aniq taqqoslash yaratish maqsadida bir davolash oladi. Barcha hollarda, Yangiliklar Feed dan blokirovka qilindi xabarlar Facebook veb-boshqa qismlarida orqali hali foydalanuvchilar uchun mavjud edi.

Kramer va hamkasblari pozitifliği ishtirokchilari holatini kamayadi uchun, ularning statuslar ijobiy so'zlar foiz kamaydi va salbiy so'zlar foiz ko'paydi, deb topildi. Boshqa tomondan, tonish kamayadi holatda ishtirokchilar uchun, ijobiy so'zlar foiz oshdi va salbiy so'zlar foiz (shakl 4.23) kamaydi. Biroq, bu ta'sir juda kichik edi: davolash va nazorat o'rtasidagi ijobiy va salbiy aytganda farq haqida 1 1000 aytganda edi.

Rasm 4.23: hissiy infeksiya dalil (Kramer, Guillory, and Hancock 2014) . ijobiy so'zlar va eksperimental sharti bilan salbiy so'z ulushi. Derazalardagi panjaralar standart xatolar taxmin ifodalaydi.

Men bobning oxirida yanada o'qish bo'limda hududda bu eksperiment ilmiy jihatlari bir muhokama tikkanman, lekin afsuski, bu tajriba axloqiy munozaralar yuzaga uchun eng ma'lum bo'lgan. Bu qog'oz Fanlar Milliy Akademiyasi olib chop etilgan bir necha kun o'tgach, tadqiqotchilar va matbuot ham ulkan faryod bor edi. ishtirokchilari standart Facebook shartlariga-of-xizmat ba'zi fikr ishtirokchilariga zarar va 2) o'quv uchragani yo'q edi uchinchi tomon axloqiy mumkin bo'lgan davolash uchun tashqarida har qanday rozilik bermadi 1): ikki asosiy nuqtalari yo'naltirilgan qog'oz atrofida zo'ravonlik sharh (Grimmelmann 2015) . Ushbu munozarada ko'tardi axloqiy savollar jurnal tez tadqiqot uchun axloqiy va axloqiy sharh jarayoni haqida kamdan-kam «tashvish tahririyati ifodasini" nashr qilish oqibatida (Verma 2014) . Keyingi yillarda, tajriba qizg'in munozara va kelishmovchilik manbai bo'lishi davom etdi, va bu kelishmovchilik kompaniyalari tomonidan amalga oshirilmoqda soyalar boshqa ko'plab tajribalar haydash ko'zda tutilmagan ta'sir qilgan bo'lishi mumkin (Meyer 2014) .

Hissiy infeksiya haqida fon hisobga olib, men hozir 3 R ning (siz shaxsan bu alohida eksperiment axloqiy haqida o'ylab qat'iy nazar) real tadqiqotlar uchun aniq, amaliy takomillashtirishni taklif mumkin ekanligini ko'rsatadi istardim. Birinchi R almashtirish hisoblanadi: tadqiqotchilar, agar iloji bo'lsa, kam invaziv va xavfli texnika bilan tajribalar o'rniga intilishi zarur. Misol uchun, balki tajriba ishlayotgan ko'ra, tadqiqotchilar tabiiy tajriba foydalanish mumkin edi. 2-dars aytilgandek narsa davolash tasodifiy topshiriqni yaqin dunyoda sodir qaerda, tabiiy tajribalar vaziyatlar (masalan, bir lotereya harbiy kirib ishlab qilinadi kim qaror qabul qilish) bor. tabiiy eksperiment afzalligi tadqiqotchi muolajalar etkazib shart emas, deb hisoblanadi; atrof-muhit, siz uchun shunday qilsa. Boshqa so'zlar bilan aytganda, tabiiy eksperiment bilan, tadqiqotchilar eksperimental xalq Yangiliklar oqimlarni manipulyatsiya qilish zarur emas edi.

Aslida, deyarli bir vaqtning o'zida his-tuyg'ularga Contagion eksperiment bilan, Coviello et al. (2014) , bir his-tuyg'ularga Contagion tabiiy eksperiment deb atash mumkin, nima ekspluatatsiya qilindi. instrumental o'zgaruvchilar deb nomlangan texnik foydalanadi, ularning yondashuv, siz oldin uni ko'rmaganman, agar bir oz murakkab. Shunday qilib, u kerak edi nima uchun, Keling, bu qadar bino qilaylik. Ba'zi tadqiqotchilar hissiy sariq kasaliga o'rganish bo'lishi mumkin birinchi fikr siz Yangiliklar Feed juda salbiy qaerda siz Yangiliklar Feed kunlarda siz xabarlar juda ijobiy edi kunlarda siz xabarlar solishtirish bo'ladi. maqsad sizning xabarlar hissiy mazmunini bashorat qilish faqat bo'lsa, bu yondashuv, yaxshi bo'lar edi, lekin maqsad sizning xabarlar ustida Yangiliklar Feed nedensel ta'sirini o'rganish bo'lsa, bu yondashuv muammoli hisoblanadi. bu dizayn bilan muammoni ko'rish uchun, hamdu sano ko'rib. AQShda, ijobiy xabarlar spike va salbiy xabarlar Shukrona kuni shoqul. Shunday qilib, hamdu sano kuni, tadqiqotchilar sizning Yangiliklar Feed juda ijobiy ekanini ko'rish mumkin va siz ham ijobiy narsalarni posted deb. Lekin, sizning ijobiy xabarlar yo'q sizning Yangiliklar Feed mazmuni minnatdorchilik sabab bo'lishi mumkin. Buning o'rniga, ta'sir tadqiqotchilar bevosita his-tuyg'ularini o'zgartirmagan holda sizning Yangiliklar Feed mazmunini o'zgartiradi narsa kerak nedensel taxmin qilish maqsadida. ob-havo: Yaxshiyamki, bu sodir hamma vaqt kabi bir narsa bor.

Coviello va hamkasblari kimningdir shahrida yomg'ir, bir kun, o'rtacha, taxminan 1 ball ijobiy xabarlar ulushini kamaytirish va taxminan 1 ball salbiy xabarlar hissasini ko'paytirish, deb topildi. So'ngra, Coviello va hamkasblari eksperimental kimning Yangiliklar Feed manipulyatsiya hojat hissiy sariq kasaliga o'rganish uchun bu haqiqatni ekspluatatsiya. Yuragida nima qildilar sizning xabarlar do'stlaringiz yashash shaharlarda havo ta'sir qanday o'lchovidir. Bu mantiqiy nima uchun ko'rish uchun, Nyu-York shahrida yashaydi va siz Sietl yashaydi bir do'stim bor, deb tasavvur qiling. Endi boshlanadi bir kun Sietldagi yomg'ir tasavvur. Sietldagi Bu yomg'ir, to'g'ridan-to'g'ri kayfiyatini ta'sir qilmaydi, lekin bu sizning Yangiliklar Feed chunki siz do'stingizning xabarlar kam ijobiy va yanada salbiy bo'lishi sabab bo'ladi. Shunday qilib, Sietl yomg'ir tasodifiy sizning Yangiliklar Feed o'ynatmoqda. ishonchli statistik tartibda ushbu sezgi o'girib murakkab (va Coviello va hamkasblari tomonidan ishlatiladigan aniq yondashuv bir oz nostandart bo'lgan), shuning uchun men yanada o'qish bo'limda hududda yanada batafsil muhokama tikkanman. Eng muhimi, Coviello haqida eslash va hamkasblarining yondashuv u potentsial ishtirokchilari zarar mumkin tajriba ishlatish kerak bo'lmasdan hissiy sariq kasaliga o'rganish imkonini berdi, deb, va u boshqa ko'plab sozlash boshqa bilan tajribalar almashtirish mumkin bu holatda bo'lishi mumkin metodlarni.

3 RS ikkinchi Daralt'a bo'ladi: tadqiqotchilar mumkin eng kichik zarar uchun o'z muolajalar takomillashtirish intilishi zarur. Misol uchun, balki ijobiy yoki salbiy yo edi mazmunini to'sib ko'ra, tadqiqotchilar ijobiy yoki salbiy bo'ldi mazmunini yanada oshiradi bo'lishi mumkin. Bu yanada yuksaltirish dizayn Yangiliklar emi ishtirokchilari hissiy mazmunini o'zgartirgan bo'lar edi, lekin u tanqidchilar bildirdi tashvish biri murojaat bo'lar edi: tajribalari o'z Yangiliklar tasmasi muhim ma'lumotlar sog'indim ishtirokchilarini sabab bo'lishi mumkin. Kramer va hamkasblari tomonidan ishlatiladigan dizayni bilan, muhim bir xabar emas biri sifatida blokirovka qilinadi, deb ehtimol. Biroq, faollashtirish dizayni bilan, joyidan bo'ladi xabarlarni kam muhim ekanligini o'sha bo'ladi.

Nihoyat, uchinchi R kamaytirish hisoblanadi: tadqiqotchilar, agar iloji bo'lsa, ularning eksperiment ishtirokchilari sonini kamaytirish uchun harakat qilish kerak. analog tajribalar o'zgarmaydigan xarajat yuqori edi, chunki o'tmishda, bu kamaytirish, ularning dizayni va tahlil optimallashtirish tadqiqotlar da'vat qaysi, tabiiy sodir bo'ldi. nol o'zgarmaydigan iqtisodiy ma'lumotlarni bo'lganda Biroq, tadqiqotchilar o'z eksperiment hajmiga bir qiymati tortinmay duch emas, va bu zaruratsiz katta tajribalar olib kelishi mumkin bo'lgan.

Misol uchun, Kramer va hamkasblari ularning tahlil yanada samarali qilish uchun xatti-ularning ishtirokchilari falon oldindan davolash post sifatida haqida oldindan davolash ma'lumot ishlatilgan bo'lishi mumkin. Batafsil o'ziga xos, balki davolash va nazorat qilish sharoitida ijobiy so'zlar nisbatiga solishtirish ko'ra, Kramer va hamkasblari sharoitlari o'rtasidagi ijobiy so'zlar mutanosib ravishda o'zgarishi nisbatan bo'lishi mumkin; yondashuv ko'pincha farq-farqlar-va qaysi yaqindan Men bobda oldingi tasvirlangan aralash dizayn (rasm 4.5) bilan bog'liq deb nomlangan. Bu, har bir ishtirokchi uchun, tadqiqotchilar bir o'zgarish ball (post-davolash xulq - oldindan davolash xulq) yaratilgan bo'lishi mumkin va keyin davolash va nazorat qilish sharoitida ishtirokchilari o'zgarishi ball nisbatan. Bu farq-in-farqlar yondashuv tadqiqotchilar juda kichik misollar yordamida Shu statistik ishonch erishish mumkin, degan ma'noni anglatadi, qaysi statistik yanada samarali bo'ladi. Boshqa so'zlar bilan aytganda, "vidjet» kabi ishtirokchilari davolash emas, tadqiqotchilar, ko'pincha aniqroq smetasini olishingiz mumkin.

xom ma'lumotlarni bo'lmasdan u farq-in-farqlar yondashuv, bu holatda bo'lar edi to'liq qancha yanada samarali bilish qiyin. Lekin, Deng et al. (2013) Bing qidiruv tizimi uch onlayn tajribalar, ular haqida 50% o'z smeta varyansı kamaytirish ega ekanligini xabar, va shunga o'xshash natijalar Netflix ba'zi onlayn tajribalar uchun xabar berilgan (Xie and Aurisset 2016) . Bu 50% qo'yib, qaytarilish, his-tuyg'ularga Contagion tadqiqotchilar ular bir oz farq tahlil usullari ishlatiladi, agar yarmida o'z namunasi kesib ega bo'lishi mumkin, degan ma'noni anglatadi. Boshqa so'zlar bilan aytganda, tahlil kichkinagina o'zgarishi bilan, 350,000 kishi tajribada ishtirok ozod bo'lishi mumkin.

Bu nuqtada siz 350,000 kishi zaruratsiz Ruhiy infeksiya edi agar tadqiqotchilar g'amxo'rlik kerak nima bo'lishi mumkin. U erda ortiqcha hajmi bilan tashvish tegishli qilish, his-tuyg'ularga infeksiya ikki Xususan xususiyatlari bor, va bu xususiyatlar ko'p raqamli dala tajribalari bilan birgalikda qilinadi: 1) tajriba kamida ba'zi ishtirokchilariga zarar sabab bo'ladi va 2) ishtirok yo'qmi haqida noaniqlik bor ixtiyoriy. bu ikki xususiyatlari bilan tajribalarida bu iloji boricha kichik tajribalar saqlashga tavsiya ko'rinadi.

Shunday qilib, uch, R's-almashtiring takomillashtirish va tadqiqotchilar o'z tajriba namunalari kirib axloqiy qurish yordam berishi mumkin tamoyillarini-ta'minlash kamaytiradi. Albatta, his-tuyg'ularga infeksiya bu mumkin bo'lgan o'zgarishlar, har bir savdo-off tanishtiradi. Masalan, tabiiy tajribalar dan dalil randomize tajribalar dan dalil sifatida har doim toza emas va yana logistika qiyin blokda ortiq amalga oshirish uchun bo'lishi mumkin yuksaltirish. Shunday qilib, bu o'zgarishlarni taklif maqsadi boshqa tadqiqotchilar qarorlar ikkinchi taxmin emas edi. Aksincha, bu uch R ning bir realistik vaziyatda qo'llash mumkin qanday misol uchun edi.