katrangan luwih

Bagean iki dirancang kanggo digunakake minangka referensi, tinimbang kanggo maca minangka narasi.

• Pambuka (Section 6.1)

Etika Research tradhisional uga klebu topik kayata penipuan ngelmu lan persediaan saka kredit. Topik sing rembugan ing luwih rinci ing Engineering (2009) .

bab iki banget shaped dening kahanan ing Amerika Serikat. Kanggo luwih ing tata cara review sopan ing negara liyane, waca Bab 6, 7, 8, lan 9 saka Desposato (2016b) . Kanggo pitakonan sing prinsip sopan Biomedis sing wis dipengaruhi bab iki banget Amérika, ndeleng Holm (1995) . Kanggo review liyane sajarah Institutional Review Boards ing AS, ndeleng Stark (2012) .

The Report Belmont lan peraturan sakteruse ing AS wis digawe bédané antarane riset lan laku. Iki bedane wis ngritik salajengipun (Beauchamp and Saghai 2012; boyd 2016; Metcalf and Crawford 2016; Meyer 2015) . Aku ora nggawe iki bédané ing bab iki amarga aku prinsip sopan lan rancangan aplikasi kanggo loro setelan. Kanggo liyane kasil panaliten ing Facebook, ndeleng Jackman and Kanerva (2016) . Kanggo proposal kanggo kasil panaliten ing perusahaan lan LSM, ndeleng Polonetsky, Tene, and Jerome (2015) lan Tene and Polonetsky (2016) .

Kanggo luwih ing cilik saka wabah Ebola in 2014, ndeleng McDonald (2016) , lan kanggo liyane bab risiko privasi data telpon seluler, ndeleng Mayer, Mutchler, and Mitchell (2016) . Kanggo conto riset-krisis related nggunakake data telpon seluler, ndeleng Bengtsson et al. (2011) lan Lu, Bengtsson, and Holme (2012) .

• Telung conto (Section 6.2)

Akeh wong sing wis ditulis bab contagion Emosi. Jurnal Etika Research pengabdian kabeh masalah ing Januari 2016 ngrembakaken eksprimen; ndeleng Hunter and Evans (2016) kanggo ringkesan. Tindakan ing National Akademik of Science diterbitake rong bagéyan babagan eksprimen: Kahn, Vayena, and Mastroianni (2014) lan Fiske and Hauser (2014) . Bêsik liyane babagan eksprimen kalebu: Puschmann and Bozdag (2014) ; Meyer (2014) ; Grimmelmann (2015) ; Meyer (2015) ; Selinger and Hartzog (2015) ; Kleinsman and Buckley (2015) ; Shaw (2015) ; Flick (2015) .

Kanggo liyane Encore, ndeleng Jones and Feamster (2015) .

• Digital beda (Section 6.3)

Ing istilah kang ndjogo massa, overviews amba sing kasedhiya ing Mayer-Schönberger (2009) lan Marx (2016) . Kanggo conto konkrit biaya ganti kang ndjogo, Bankston and Soltani (2013) prakiraan sing nelusuri tersangka pidana nggunakake telpon sel kira 50 kaping luwih murah saka nggunakake ndjogo fisik. Bell and Gemmell (2009) menehi perspektif liyane optimistis ing timer ndjogo. Saliyane kang bisa kanggo trek prilaku katon sing umum utawa sebagian umum (eg, Rasa, Ties, lan Time), peneliti saya bisa infer iku sing akeh peserta nimbang dadi pribadi. Contone, Michal Kosinski lan kolega nuduhake yen padha bisa infer informasi sensitif bab wong, kayata orientasi seksual lan nggunakake bahan kimia gawe ketagihan saka data tilak digital ketoke biasa (Facebook Seneng) (Kosinski, Stillwell, and Graepel 2013) . Iki bisa uga muni gaib, nanging pendekatan Kosinski lan kolega digunakake-kang nggabungke ngambah digital, survey, lan ngawasi learning-bener soko aku wis ngomong marang kowé bab. Kelingan sing ing Bab 3 (Takon pitakonan) aku marang sampeyan carane Josh Blumenstock lan kolega (2015) data survey digabungake karo data telpon seluler kanggo ngira mlarat ing Rwanda. pendekatan sing padha bener, kang bisa digunakake kanggo luwih irit ngukur mlarat ing negara berkembang, uga bisa digunakake kanggo potensi privasi nglanggar inferences.

Hukum lan aturan Inconsistent bisa mimpin kanggo riset sing ora ngormati wishes peserta, lan bisa mimpin kanggo "shopping peraturan" dening peneliti (Grimmelmann 2015; Nickerson and Hyde 2016) . Ing tartamtu, sawetara peneliti sing pengin supaya kasil IRB duwe partners sing ora dijamin dening IRBs (eg, wong ing perusahaan utawa LSM) ngumpulake lan de-ngenali data. Banjur, peneliti bisa njelasno iki data de-dikenali tanpa kasil IRB, paling miturut sawetara katerangan saka aturan saiki. Iki jenis evasion IRB katon dadi inconsistent karo pendekatan prinsip basis.

Kanggo luwih ing gagasan inconsistent lan heterogen ingkang tiyang babagan data kesehatan, ndeleng Fiore-Gartland and Neff (2015) . Kanggo luwih ing masalah sing beda-beda nggawe kanggo Etika riset pancasan ndeleng Meyer (2013) .

Siji prabédan antarane umur analog lan riset umur digital iku ing umur digital interaksi riset karo peserta liyane adoh. interaksi iki asring dumadi liwat perantara kayata perusahaan, lan ana biasane-kadohan sosial fisik-lan gedhe antarane peneliti lan peserta. interaksi adoh iki ndadekake sawetara bab sing gampang ing riset umur analog angel ing riset umur digital, kayata screening metu peserta sing mbutuhake pangayoman ekstra, pendeteksi acara salabetipun, lan remediating gawe piala yen occurs. Contone, ayo kang kontras contagion Emosi karo eksprimen Lab hipotesis ing topic padha. Ing panalitén Lab, peneliti bisa layar metu sapa arrives ing Lab nuduhake ketok pratandha saka kahanan kang ora ngepenakke emosi. Luwih, yen percobaan Lab digawé acara salabetipun, peneliti bakal weruh iku, nyedhiyani layanan kanggo remediate gawe piala, banjur nggawe pangaturan kanggo protokol eksperimen kanggo nyegah harms mangsa. Umumé adoh saka interaksi ing eksperimen contagion Emosi nyata ndadekake saben iki langkah-langkah prasaja lan wicaksana banget angel. Uga, Aku Suspect sing jarak antarane peneliti lan peserta ndadekake panliti kurang sensitif uneg-uneg saka peserta sing.

Sumber-sumber sanès aturan inconsistent lan hukum. Sawetara inconsistency iki asalé saka fakta sing riset wis kedados kabeh ndonya. Contone, Encore melu wong saka kabeh ndonya, lan mulane iku bisa uga tundhuk pangayoman data lan hukum privasi akeh negara. Apa yen aturan ngenani panjalukan web pihak katelu (apa iki dilakoni Encore) macem-macem ing Jerman, Amerika Serikat, Kenya, lan China? Apa yen aturan sing ora malah konsisten ing negara siji? A sumber liya saka inconsistency rawuh saka collaborations antarane peneliti ing univèrsitas-univèrsitas lan perusahaan; contone, Emosi contagion ana collaboration antarane ilmuwan data ing Facebook lan profesor lan lulusan mahasiswa ing Cornell. Ing Facebook mlaku nyobi gedhe tumindake lan, ing wektu sing, ora mbutuhake apa pihak katelu review sopan. Ing Cornell aturan lan aturan sing cukup beda; sakbenere kabeh nyobi kudu dideleng dening Cornell IRB. Dadi, kang pesawat saka aturan kudu mrentah Emosi contagion-Facebook utawa Cornell kang?

Kanggo luwih ing efforts kanggo mbenakake Aturan umum, ndeleng Evans (2013) , Council (2014) , Metcalf (2016) , lan Hudson and Collins (2015) .

• Four prinsip (Section 6.4)

Pendekatan basis prinsip klasik kanggo Etika Biomedis punika Beauchamp and Childress (2012) . Dipunusulaken sing papat prinsip utama kudu nuntun Etika Biomedis: Bab kanggo Otonomi, Nonmaleficence, Beneficence, lan Hukum. Prinsip nonmaleficence ndhesek siji kanggo abstain saka kaco kanggo wong liya. Konsep iki rumiyin disambungake kanggo idea Hippocratic saka "Apa ora gawe piala." Ing Etika riset, asas iki asring digabungake karo prinsip Beneficence, nanging ndeleng Beauchamp and Childress (2012) (Chapter 5) kanggo ing bédané antara loro . Kanggo kritik sing prinsip iki kebacut Amérika, ndeleng Holm (1995) . Kanggo luwih ing wawas nalika prinsip konflik, ndeleng Gillon (2015) .

Papat prinsip ing bab iki uga wis ngajokaken kanggo nuntun kasil sopan kanggo riset kedados ing perusahaan lan LSM (Polonetsky, Tene, and Jerome 2015) liwat badan disebut "Consumer Subject Review Boards" (CSRBs) (Calo 2013) .

• Bab kanggo Persons (Section 6.4.1)

Saliyane respecting otonomi, Report Belmont uga ngakoni yen ora saben manungsa saged poto-netepake bener. Contone, anak, wong gerah saka penyakit, utawa wong sing manggon ing kahanan kang Liberty nemen diwatesi ora bisa kanggo tumindak individu minangka kanthi otonomi, lan wong-wong iki, mila, nduwèni hak ekstra.

Nglamar prinsip ngurmati Persons ing umur digital bisa tantangan. Contone, ing riset umur digital, bisa angel kanggo nyedhiyani pangreksan ekstra kanggo wong kemampuan sudo saka poto-netepake amarga peneliti asring ngerti banget sethitik babagan peserta sing. Luwih, informed idin ing umur digital riset sosial iku tantangan ageng. Ing sawetara kasus, saestu informed idin ​​bisa nandhang sangsara marga saka transparan paradoks (Nissenbaum 2011) , ing ngendi informasi lan pangerten ing konflik. Kira-kira, yen peneliti nyedhiyani informasi lengkap babagan alam saka data, analisis data, lan laku keamanan data, bakal angel kanggo akeh peserta paham. Nanging, yen peneliti nyedhiyani informasi comprehensible, iku uga lack informasi technical penting. Ing riset medical ing analog umur-setelan dominasi dianggep dening Belmont Report-siji bisa mbayangno dhokter ngomong individu karo saben peserta kanggo mutusake masalah paradoks transparan. Ing pasinaon online nglibatno ewu utawa yuta wong, pendekatan kuwi pasuryan-kanggo-pasuryan mokal. A masalah karo idin ing umur digital iku ing sawetara pasinaon, kayata analisis panyimpenan data massive, iku bakal ora praktis diwenehi idin informed saka kabeh peserta. Aku ngrembag lan pitakonan liyane babagan idin informed ing liyane rinci ing bagean 6.6.1. Senadyan iki kangelan, Nanging, kita kudu ngelingi sing informed idin ora perlu utawa cekap kanggo ngurmati Persons.

Kanggo luwih ing riset medical sadurunge idin ​​informed, weruh Miller (2014) . Kanggo perawatan buku-dawa idin ​​informed, weruh Manson and O'Neill (2007) . Deleng uga maos disaranake babagan informed idin ing ngisor iki.

• Beneficence (Section 6.4.2)

Harms kanggo context iku gawe piala sing riset bisa nimbulaké ora kanggo wong tartamtu nanging kanggo setelan sosial. konsep iki abstrak dicokot, nanging aku bakal ilustrasi karo conto loro: siji analog lan siji digital.

Conto klasik saka harms kanggo context asalé saka Wichita Jury Study [ Vaughan (1967) ; Katz, Capron, and Glass (1972) ; Ch 2] -. Uga kadhangkala disebut Chicago Jury Project (Cornwell 2010) . Ing panaliten iki peneliti saka Universitas Chicago, minangka bagéan saka sinau luwih gedhe babagan aspèk sosial saka sistem legal, meneng-menengan direkam enem deliberations hakim ing Wichita, Kansas. Para hakim lan pengacara ing kasus wis disetujoni rekaman, lan ana kasil ketat proses. Nanging, ing jurors padha ora peduli sing rekaman padha kedadean. Sawise sinau iki ditemokake, ana njobo umum. Departemen Kehakiman wiwit diselidiki panaliten, lan peneliti padha disebut kanggo mreksanono marang ing ngarepe Congress. Wekasanipun, Congress liwati karo hukum anyar sing ndadekake ilegal kanggo meneng-menengan ngrekam hakim deliberation.

Badhan kritikus saka Study Wichita Jury iki ora cilaka kanggo peserta; mandan, iku ana harms menyang babak juri deliberation. Sing, wong pracaya yen anggota juri ora pracaya padha ngingu diskusi ing papan aman lan dilindhungi, iku bakal dadi harder kanggo deliberations hakim kanggo nerusake ing mangsa. Saliyane hakim deliberation, ana kahanan sosial tartamtu sing masyarakat menehi karo pangayoman ekstra kayata sesambetan Agung-klien lan care psikologis (MacCarthy 2015) .

Risiko harms kanggo konteks lan gangguan sistem sosial uga isa munggah ing sawetara nyobi lapangan ing Ilmu Politik (Desposato 2016b) . Kanggo conto liyane context-sensitif pitungan biaya-entuk manfaat kanggo eksprimen lapangan ing Ilmu Politik, ndeleng Zimmerman (2016) .

• Justice (Section 6.4.3)

Rugi kanggo peserta sing wis rembugan ing sawetara setelan sing gegandhengan riset umur digital. Lanier (2014) ngajokaken mbayar peserta kanggo ngambah digital padha generate. Bederson and Quinn (2011) rembagan pembayaran ing pasar pegawe online. Akhire, Desposato (2016a) ngusulake mbayar peserta ing nyobi lapangan. Piyambakipun nilai metu sing malah yen peserta ora bisa mbayar langsung, sumbangan bisa digawe kanggo klompok digunakake ing atas. Contone, ing Encore peneliti wis bisa digawe sumbangan kanggo klompok digunakake kanggo ndhukung akses Internet.

• Bab kanggo Hukum lan Public Interest (Section 6.4.4)

Sarat-of-layanan perjanjian kudu bobot kurang saka kontrak dipunrembag antarane pihak witjaksono lan hukum digawe dening pemerintah sah. Kahanan peneliti wis nerak istilah-saka-layanan perjanjian ing sasi umume ndherek nggunakake pitakon otomatis kanggo audit prilaku perusahaan (akeh kaya nyobi lapangan kanggo ngukur diskriminasi). Kanggo dhiskusi tambahan ndeleng Vaccaro et al. (2015) , Bruckman (2016a) , Bruckman (2016b) . Kanggo conto riset empiris ingkang rembagan syarat layanan, ndeleng Soeller et al. (2016) . Kanggo luwih ing masalah legal bisa ngadhepi peneliti yen padha nglanggar syarat layanan ndeleng Sandvig and Karahalios (2016) .

• Two rancangan sopan (Section 6.5)

Temenan, jumlah gedhe tenan wis ditulis bab consequentialism lan deontology. Kanggo conto iki rancangan sopan, lan liya-liyane, bisa digunakake kanggo sopo bab riset umur digital, ndeleng Zevenbergen et al. (2015) . Kanggo conto iki rancangan sopan bisa Applied kanggo nyobi lapangan ing berkembang ekonomi, ndeleng Baele (2013) .

• Idin informed (Section 6.6.1)

Kanggo luwih ing pasinaon audit diskriminasi, ndeleng Pager (2007) lan Riach and Rich (2004) . Ora mung pasinaon ora duwe idin informed, padha uga ndherek ngapusi tanpa debriefing.

Loro-lorone Desposato (2016a) lan Humphreys (2015) tawaran saran èkspèrimèn lapangan tanpa idin.

Sommers and Miller (2013) Kuala akeh bantahan ing sih saka ora debriefing peserta sawise ngapusi, lan udur peneliti kudu forgo "debriefing ing pesawat ciut banget saka kahanan, yaiku, ing riset lapangan kang debriefing nindakake alangan praktis owahan nanging peneliti bakal duwe ora qualms babagan debriefing yen padha bisa. Peneliti ngirim ora bisa dileksanakake kanggo forgo debriefing supaya ngreksa blumbang peserta naif, tameng piyambak saka peserta nesu, utawa nglindhungi peserta saka gawe piala. "Liyane argue yen debriefing nimbulaké gawe piala saka apik iku kudu nyingkiri. Debriefing iku cilik ngendi sawetara peneliti prioritize ngurmati Persons liwat Beneficence, lan sapérangan panliti nindakake ngelawan. Salah solusi bisa bakal kanggo golek cara kanggo nggawe debriefing pengalaman learning kanggo peserta. Sing, tinimbang mikir debriefing minangka soko sing bisa nimbulaké gawe piala, mbok menawa debriefing uga bisa dadi soko sing keuntungan peserta. Kanggo conto iki jenis debriefing pendidikan, ndeleng Jagatic et al. (2007) ing debriefing siswa sawise eksprimen maneh Abu sosial. Psikologi wis dikembangaké Techniques kanggo debriefing (DS Holmes 1976a; DS Holmes 1976b; Mills 1976; Baumrind 1985; Oczak and Niedźwieńska 2007) lan sawetara iki bisa usefully Applied kanggo riset umur digital. Humphreys (2015) nawakake pikirane menarik bab idin ​​tunda, kang rapet related kanggo strategi debriefing sing diterangake.

Ide takon sampel peserta kanggo idin ​​sing gegandhengan apa Humphreys (2015) panggilan idin ​​nyongko.

A idea sing luwih wis ngajokaken related kanggo idin ​​informed iku kanggo mbangun panel saka wong sing setuju dadi ing nyobi online (Crawford 2014) . Sawetara wis ndhukung sing panel iki bakal sampel non-acak wong. Nanging, Bab 3 (Takon pitakonan) nuduhake yen masalah iki duweni potensi addressable nggunakake kirim-stratification lan sampel cocog. Uga, idin kanggo dadi ing panel bisa nutupi macem-macem nyobi. Ing tembung liyane, peserta bisa ora kudu idin ​​kanggo saben jajalan individu, konsep disebut idin ​​amba (Sheehan 2011) .

• Mahami lan ngatur resiko pawarto (Section 6.6.2)

Adoh saka unik, Bebungah Netflix nggambaraké sifat technical penting sekumpulan data sing ngemot informasi rinci bab wong, lan kanthi mangkono nawakake piwulang penting bab kamungkinan saka "anonymization" saka sekumpulan data sosial modern. File karo akeh bagéyan informasi bab saben wong sing mungkin suku cadang, ing pangertèn ditetepake resmi ing Narayanan and Shmatikov (2008) . Sing, kanggo saben rekaman ora ana cathetan sing padha, lan ing kasunyatan ora ana cathetan sing banget padha: saben wong iku adoh saka pepadhamu cedhak ing perlengkapan data ing. Siji bisa mbayangno sing data Netflix uga suku cadang amarga karo 20,000 film ing ukuran 5 star, ana bab \ (6 ^ {20,000} \) angka bisa sing saben wong bisa duwe (6 amarga saliyane siji kanggo 5 stars , wong uga wis ora dirating film ing kabeh). Iki nomer dadi gedhe, iku hard kanggo malah paham.

Sparsity wis loro mbek utama. First, iku ateges sing nyoba kanggo "anonymize" perlengkapan data adhedhasar gangguan acak kamungkinan bakal gagal. Sing, malah yen Netflix padha acak nyetel sawetara saka ratings (kang padha), iki ora bakal cekap amarga rekaman perturbed isih rekaman paling cedhak bisa kanggo informasi sing penyerang wis. Kapindho, sparsity tegese de-anonymization bisa malah yen penyerang duwé kawruh cacat utawa ora bot-sih. Contone, ing data Netflix, ayo kang mbayangno penyerang mangerténi ratings kanggo loro film lan tanggal sampeyan digawe sing ratings +/- 3 days; mung sing Alexa piyambak punika cekap kanggo unik ngenali 68% wong ing data Netflix. Yen panyerang mangerténi 8 film sing wis dirating +/- 14 dina, banjur malah yen loro iki ratings dikenal wis rampung salah, 99% saka cathetan bisa dikenali bakal unik ing perlengkapan data ing. Ing tembung liyane, sparsity masalah dhasar kanggo efforts kanggo "anonymize" data, kang apes amarga perlengkapan data sosial paling modern iku suku cadang.

metadata Telephone uga bisa katon dadi "anonymous" lan ora sensitif, nanging sing ora cilik. Metadata Telephone iku dingerteni lan sensitif (Mayer, Mutchler, and Mitchell 2016; Landau 2016) .

Ing Figure 6.6, aku Fisherman metu perdagangan-mati antarane resiko kanggo peserta lan keuntungan kanggo riset saka release data. Kanggo comparison antarane cedhak diwatesi akses (eg, Taman pagere) lan cedhak data diwatesi (eg, sawetara wangun anonymization) ndeleng Reiter and Kinney (2011) . Kanggo sistem categorization ngajokaken tingkat risiko data, ndeleng Sweeney, Crosas, and Bar-Sinai (2015) . Akhire, kanggo liyane dhiskusi umum fungsi enggo bareng data, ndeleng Yakowitz (2011) .

Kanggo analisis luwih rinci iki perdagangan-mati antarane resiko lan sarana saka data, ndeleng Brickell and Shmatikov (2008) , Ohm (2010) , Wu (2013) , Reiter (2012) , lan Goroff (2015) . Kanggo ndeleng iki perdagangan-mati Applied kanggo data nyata saka kursus online massively mbukak (MOOCs), ndeleng Daries et al. (2014) lan Angiuli, Blitzstein, and Waldo (2015) .

Privasi diferensial uga nawakake sawijining panyerakan alternatif sing bisa gabungke loro entuk manfaat dhuwur kanggo masyarakat lan resiko kurang kanggo peserta, ndeleng Dwork and Roth (2014) lan Narayanan, Huey, and Felten (2016) .

Kanggo luwih ing konsep informasi wong Ngenali (PII), kang tengah kanggo akeh aturan bab etika penelitian, ndeleng Narayanan and Shmatikov (2010) lan Schwartz and Solove (2011) . Kanggo luwih ing kabeh data kang duweni potensi sensitif, ndeleng Ohm (2015) .

Ing bagean iki, aku wis nggambarake ing ubungan saka sekumpulan data beda minangka soko sing bisa mimpin kanggo resiko pawarto. Nanging, iku uga bisa nggawe kesempatan anyar kanggo riset, minangka ndhukung ing Currie (2013) .

Kanggo luwih ing limang safes, ndeleng Desai, Ritchie, and Welpton (2016) . Kanggo conto carane hasil bisa Ngenali, ndeleng Brownstein, Cassa, and Mandl (2006) , kang nuduhake maps of lazim penyakit bisa Ngenali. Dwork et al. (2017) uga nganggep serangan marang data kanthi jumlah ongko, kayata statistik babagan akeh individu duwe penyakit tartamtu.

• Privacy (Section 6.6.3)

Warren and Brandeis (1890) artikel legal landmark privasi, lan artikel punika paling gadhah gagasan bilih privasi punika hak kiwa piyambak. Liyane mentas dawa buku pangobatan privasi sing aku nyaranake kalebu Solove (2010) lan Nissenbaum (2010) .

Kanggo review riset empiris carane wong mikir bab privasi, ndeleng Acquisti, Brandimarte, and Loewenstein (2015) . Jurnal Science diterbitake masalah khusus judul "End of Privacy", kang alamat masalah privasi lan resiko informasi saka macem-macem persepektif kang béda; kanggo ringkesan a ndeleng Enserink and Chin (2015) . Calo (2011) nawakake framework kanggo mikir bab harms sing teka saka Pelanggaran privasi. Conto awal saka uneg-uneg babagan privasi ing dhisikane banget saka umur digital Packard (1964) .

• Nggawe pancasan ing kahanan sing durung mesthi (Section 6.6.4)

Salah tantangan nalika nyoba kanggo aplikasi standar paling tithik risiko iku ora cetha kang saben dina urip kanggo digunakake kanggo benchmarking (Council 2014) . Contone, wong sing ora duwe omah duwe luwih saka tingkat sumelang ing urip saben dina sing. Nanging, sing ora ora pati jelas sing iku ethically idin kanggo mbabarake wong sing ora duwe omah kanggo riset resiko luwih. Menawi mekaten, ana misale jek dadi Kesepakatan akeh sing paling tithik risiko kudu benchmarked marang standar populasi umum, ora standar populasi tartamtu. Nalika aku umume setuju karo idea saka standar populasi umum, aku sing kanggo platform online gedhe kayata Facebook, standar populasi tartamtu cukup. Nalika ngelingi contagion Emosi, aku sing cukup kanggo pathokan marang resiko saben dinten ing Facebook. A standar populasi tartamtu ing kasus iki akeh luwih gampang kanggo ngira-ngira lan dipercaya kanggo nerak paugeran prinsip Kehakiman, kang nggoleki kanggo nyegah momotan panaliten netepi unfairly ing kelompok disadvantaged (eg, tawanan lan bocah lola).

• Tips praktis (Section 6.7)

Sawetara ulama liya uga wis disebut liyane makalah nambahi apendiks sopan (Schultze and Mason 2012; Kosinski et al. 2015) . King and Sands (2015) uga nawakake tips praktis.