ສິ່ງທີ່ອ່ານຕໍ່ໄປ

• ບົດນໍາ (ພາກ 41)

ຄໍາຖາມກ່ຽວກັບ causality ໃນການຄົ້ນຄວ້າສັງຄົມມັກຈະສັບສົນແລະສັບສົນ. ສໍາລັບວິທີການພື້ນຖານກ່ຽວກັບ causality ອີງຕາມຕາຕະລາງ causal, ເບິ່ງ Pearl (2009) , ແລະສໍາລັບວິທີການພື້ນຖານອີງໃສ່ຜົນໄດ້ຮັບທີ່ມີທ່າແຮງ, ເບິ່ງ Imbens and Rubin (2015) . ສໍາລັບການປຽບທຽບລະຫວ່າງສອງວິທີການເຫຼົ່ານີ້, ເບິ່ງ Morgan and Winship (2014) . ສໍາລັບວິທີການທີ່ເປັນທາງການໃນການກໍານົດຄວາມສັບສົນ, ເບິ່ງ VanderWeele and Shpitser (2013) .

ໃນບົດນີ້, ຂ້າພະເຈົ້າໄດ້ສ້າງສິ່ງທີ່ເບິ່ງຄືວ່າເສັ້ນທາງທີ່ສົດໃສລະຫວ່າງຄວາມສາມາດຂອງພວກເຮົາທີ່ຈະເຮັດໃຫ້ການຄາດຄະເນກ່ຽວກັບເຫດຜົນຈາກຂໍ້ມູນທົດລອງແລະບໍ່ທົດລອງ. ຢ່າງໃດກໍຕາມ, ຂ້າພະເຈົ້າຄິດວ່າ, ໃນຄວາມເປັນຈິງແລ້ວ, ຄວາມແຕກຕ່າງແມ່ນມີຄວາມຫນ້າກຽດຫຼາຍ. ຕົວຢ່າງ, ທຸກຄົນຍອມຮັບວ່າການສູບຢາເຮັດໃຫ້ເກີດມະເຮັງ, ເຖິງແມ່ນວ່າບໍ່ມີການທົດລອງຄວບຄຸມແບບສຸ່ມທີ່ກໍາລັງບັງຄັບໃຫ້ຄົນສູບຢາໄດ້ເຮັດແລ້ວ. ສໍາລັບການປິ່ນປົວໃນໄລຍະຍາວທີ່ດີກວ່າກ່ຽວກັບການຄາດຄະເນກ່ຽວກັບເຫດຜົນຈາກຂໍ້ມູນທີ່ບໍ່ມີການທົດລອງ, ເບິ່ງ Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , ແລະ Dunning (2012) .

ບົດທີ 1 ແລະ 2 ຂອງ Freedman, Pisani, and Purves (2007) ສະເຫນີການແນະນໍາຢ່າງຈະແຈ້ງກ່ຽວກັບຄວາມແຕກຕ່າງລະຫວ່າງການທົດລອງ, ການທົດສອບທີ່ຄວບຄຸມແລະການທົດລອງຄວບຄຸມແບບ randomized.

Manzi (2012) ສະຫນອງການແນະນໍາທີ່ຫນ້າສົນໃຈແລະສາມາດອ່ານໄດ້ກັບການປະສານງານດ້ານ philosophical ແລະສະຖິຕິຂອງການທົດລອງຄວບຄຸມແບບ randomized. ມັນຍັງສະຫນອງຕົວຢ່າງທີ່ແທ້ຈິງຂອງໂລກທີ່ຫນ້າສົນໃຈຂອງພະລັງງານຂອງການທົດລອງໃນທຸລະກິດ. Issenberg (2012) ສະຫນອງການນໍາສະເຫນີ fascinating ກັບການນໍາໃຊ້ການທົດລອງໃນການໂຄສະນາທາງດ້ານການເມືອງ.

• ສິ່ງທົດລອງແມ່ນຫຍັງ? (ພາກ 4.2)

Box, Hunter, and Hunter (2005) , @ casella_statistical_2008, ແລະ Athey and Imbens (2016b) ໃຫ້ຄໍາແນະນໍາທີ່ດີໃນດ້ານການສະຖິຕິຂອງການອອກແບບແລະການວິເຄາະແບບທົດລອງ. (Bardsley et al. 2009) , sociology (Willer and Walker 2007; Jackson and Cox 2013) , ຈິດວິທະຍາ (Aronson et al. 1989) , ວິທະຍາສາດທາງດ້ານການເມືອງ (Morton and Williams 2010) ດ້ານວິທະຍາສາດ (Morton and Williams 2010) , ແລະນະໂຍບາຍສັງຄົມ (Glennerster and Takavarasha 2013) .

ຄວາມສໍາຄັນຂອງການຈ້າງງານເຂົ້າຮ່ວມ (ຕົວຢ່າງ, ການສໍາຫຼວດ) ແມ່ນມັກຈະຖືກຮັບຮູ້ໃນການຄົ້ນຄວ້າທົດລອງ. ຢ່າງໃດກໍຕາມ, ຖ້າຜົນກະທົບຂອງການປິ່ນປົວແມ່ນບໍ່ຈໍາກັດໃນປະຊາກອນ, ຫຼັງຈາກນັ້ນການສໍາຫຼວດແມ່ນສໍາຄັນ. Longford (1999) ເຮັດໃຫ້ຈຸດນີ້ຊັດເຈນໃນເວລາທີ່ລາວສະຫນັບສະຫນູນນັກຄົ້ນຄວ້າຄິດກ່ຽວກັບການທົດລອງເປັນການສໍາຫຼວດປະຊາກອນທີ່ມີການເກັບຕົວຢ່າງ haphazard.

• ສອງຂະຫນາດຂອງການທົດລອງ: ພາກສະຫນາມທົດລອງແລະ analog-digital (ພາກ 4.3)

ຂ້າພະເຈົ້າໄດ້ແນະນໍາວ່າມີການທົດລອງແບບທົດລອງແລະທົດລອງພາກສະຫນາມ, ແລະນັກຄົ້ນຄວ້າອື່ນໆໄດ້ສະເຫນີຮູບແບບການລາຍລະອຽດເພີ່ມເຕີມ, ໂດຍສະເພາະແມ່ນການແຍກຮູບແບບຕ່າງໆຂອງການທົດລອງພາກສະຫນາມ (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

(ຫນັງສືພິມ (Falk and Heckman 2009; Cialdini 2009) ແລະກ່ຽວກັບຜົນໄດ້ຮັບຂອງການທົດລອງຕ່າງໆໃນວິທະຍາສາດການເມືອງ (Coppock and Green 2015) , ເສດຖະສາດ (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , ແລະຈິດໃຈ (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) ສະເຫນີການອອກແບບການຄົ້ນຄວ້າທີ່ດີສໍາລັບການປຽບທຽບຜົນໄດ້ຮັບຈາກການທົດລອງທົດລອງແລະພາກສະຫນາມ. Parigi, Santana, and Cook (2017) ອະທິບາຍວິທີການປະສົບການພາກສະຫນາມອອນໄລນ໌ສາມາດສົມທົບລັກສະນະບາງຢ່າງຂອງການທົດລອງແລະທົດລອງພາກສະຫນາມ.

ຄວາມກັງວົນກ່ຽວກັບຜູ້ເຂົ້າຮ່ວມການປ່ຽນແປງພຶດຕິກໍາຂອງພວກເຂົາຍ້ອນວ່າພວກເຂົາຮູ້ວ່າພວກເຂົາກໍາລັງສັງເກດຢ່າງໃກ້ຊິດແມ່ນບາງຄັ້ງເອີ້ນວ່າ ຜົນກະທົບທາງດ້ານຄວາມຕ້ອງການ ແລະພວກເຂົາໄດ້ຮຽນໃນຈິດໃຈ (Orne 1962) ແລະເສດຖະກິດ (Zizzo 2010) . ເຖິງແມ່ນວ່າສ່ວນຫຼາຍແມ່ນກ່ຽວຂ້ອງກັບການທົດລອງທົດລອງ, ບັນຫາດຽວກັນເຫຼົ່ານີ້ສາມາດເຮັດໃຫ້ເກີດບັນຫາສໍາລັບການທົດລອງພາກສະຫນາມເຊັ່ນດຽວກັນ. ໃນຄວາມເປັນຈິງ, ຜົນກະທົບທາງດ້ານຄວາມຕ້ອງການ ຍັງຖືກເອີ້ນວ່າ ຜົນກະທົບຂອງ Hawthorne , ໄລຍະທີ່ເກີດຂື້ນໃນການທົດລອງທີ່ມີຊື່ສຽງທີ່ເລີ່ມຕົ້ນໃນປີ 1924 ທີ່ Hawthorne Works ຂອງບໍລິສັດ Western Electric (Adair 1984; Levitt and List 2011) . ຜົນກະທົບ ທັງສອງ ຜົນ ແລະ ຜົນກະທົບຂອງ Hawthorne ແມ່ນກ່ຽວຂ້ອງຢ່າງໃກ້ຊິດກັບຄວາມຄິດຂອງການວັດແທກ ຜົນກະທົບທີ່ ໄດ້ກ່າວມາໃນພາກ 2 (ເບິ່ງ Webb et al. (1966) ).

ການປະຕິບັດດ້ານພູມສາດແມ່ນມີປະຫວັດສາດອັນຍາວດົນໃນດ້ານເສດຖະກິດ (Levitt and List 2009) , ວິທະຍາສາດດ້ານການເມືອງ (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , ຈິດໃຈ (Shadish 2002) , ແລະນະໂຍບາຍສາທາລະນະ (Shadish and Cook 2009) ທີ່ຢູ່ ພື້ນທີ່ຫນຶ່ງຂອງວິທະຍາສາດສັງຄົມບ່ອນທີ່ປະສົບການພາກສະຫນາມຢ່າງໄວວາໄດ້ກາຍເປັນທີ່ສໍາຄັນແມ່ນການພັດທະນາສາກົນ. ສໍາລັບການທົບທວນຄືນໃນທາງບວກຂອງການເຮັດວຽກໃນເສດຖະກິດເບິ່ງ Banerjee and Duflo (2009) , ແລະສໍາລັບການປະເມີນຜົນທີ່ສໍາຄັນເບິ່ງ Deaton (2010) . ສໍາລັບການທົບທວນຄືນຂອງວຽກງານນີ້ໃນວິທະຍາສາດທາງດ້ານການເມືອງເບິ່ງ Humphreys and Weinstein (2009) . ສຸດທ້າຍ, ສິ່ງທ້າທາຍດ້ານຈັນຍາບັນທີ່ເກີດຈາກການທົດລອງພາກສະຫນາມໄດ້ຖືກຄົ້ນພົບໃນສະພາບການຂອງວິທະຍາສາດທາງການເມືອງ (Humphreys 2015; Desposato 2016b) ແລະເສດຖະສາດການພັດທະນາ (Baele 2013) .

ໃນພາກນີ້, ຂ້າພະເຈົ້າແນະນໍາວ່າຂໍ້ມູນທາງດ້ານການປິ່ນປົວສາມາດນໍາໃຊ້ເພື່ອປັບປຸງຄວາມຖືກຕ້ອງຂອງການປິ່ນປົວທີ່ຖືກຄາດຄະເນ, ແຕ່ມີການໂຕ້ວາທີກ່ຽວກັບວິທີການນີ້; ເບິ່ງ Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , ແລະ Bloniarz et al. (2016) ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມ.

ສຸດທ້າຍ, ມີສອງປະເພດອື່ນໆຂອງປະສົບການທີ່ປະຕິບັດໂດຍນັກວິທະຍາສາດສັງຄົມທີ່ບໍ່ເຫມາະສົມຢ່າງດຽວຕາມຂະຫນາດພາກສະຫນາມ - ການທົດລອງແລະການທົດລອງທາງສັງຄົມ. ການທົດສອບການສໍາຫຼວດ ແມ່ນການທົດລອງໃຊ້ພື້ນຖານຂອງການສໍາຫຼວດທີ່ມີຢູ່ແລ້ວແລະປຽບທຽບການຕອບສະຫນອງຕໍ່ກັບແບບທົດແທນຂອງຄໍາຖາມດຽວກັນ (ບາງປະສົບການການສໍາຫຼວດແມ່ນໄດ້ສະເຫນີໃນພາກທີ 3); ສໍາລັບຫຼາຍໆປະສົບການໃນການສໍາຫຼວດເບິ່ງ Mutz (2011) . ປະສົບການສັງຄົມ ແມ່ນປະສົບການທີ່ການປິ່ນປົວແມ່ນບາງນະໂຍບາຍທາງດ້ານສັງຄົມທີ່ສາມາດປະຕິບັດໄດ້ໂດຍລັດຖະບານ. ປະສົບການສັງຄົມແມ່ນກ່ຽວຂ້ອງຢ່າງໃກ້ຊິດກັບການປະເມີນຜົນໂຄງການ. ສໍາລັບຫຼາຍໆປະສົບການນະໂຍບາຍ, ເບິ່ງ Heckman and Smith (1995) , Orr (1998) , ແລະ @ glennerster_running_2013.

• ການເຄື່ອນຍ້າຍຜ່ານການທົດລອງງ່າຍໆ (ພາກ 4.4)

ຂ້າພະເຈົ້າໄດ້ເລືອກທີ່ຈະສຸມໃສ່ສາມແນວຄວາມຄິດ: ຄວາມຖືກຕ້ອງ, ຄວາມບໍ່ເປັນເອກະລາດຂອງຜົນກະທົບດ້ານການປິ່ນປົວ, ແລະກົນໄກ. ແນວຄິດເຫຼົ່ານີ້ມີຊື່ທີ່ແຕກຕ່າງກັນໃນຂົງເຂດຕ່າງໆ. ຕົວຢ່າງເຊັ່ນນັກຈິດຕະສາດມັກຈະຍ້າຍອອກໄປນອກເຫນືອຈາກການທົດລອງທີ່ງ່າຍໆໂດຍການສຸມໃສ່ ຜູ້ໄກ່ເກ່ຍ ແລະ ຜູ້ສະມັກໃຈ (Baron and Kenny 1986) . ຄວາມຄິດຂອງຜູ້ໄກ່ເກ່ຍແມ່ນຖືກຈັບໂດຍສິ່ງທີ່ຂ້າພະເຈົ້າເອີ້ນວ່າກົນໄກແລະຄວາມຄິດຂອງຜູ້ຄວບຄຸມໄດ້ຖືກບັນທຶກໂດຍສິ່ງທີ່ຂ້ອຍເອີ້ນວ່າຄວາມຖືກຕ້ອງພາຍນອກ (ເຊັ່ນຜົນຂອງການທົດລອງຈະແຕກຕ່າງກັນຖ້າມັນຢູ່ໃນສະຖານະການຕ່າງໆ) ແລະບໍ່ມີຜົນກະທົບຕໍ່ການປິ່ນປົວ ຕົວຢ່າງ, ແມ່ນຜົນກະທົບສໍາລັບບາງຄົນຫຼາຍກວ່າຄົນອື່ນ).

ການທົດລອງໂດຍ Schultz et al. (2007) ສະແດງໃຫ້ເຫັນແນວໃດກ່ຽວກັບທິດສະດີສັງຄົມທີ່ສາມາດນໍາໃຊ້ໃນການອອກແບບການປະສານງານທີ່ມີປະສິດທິຜົນ. ສໍາລັບການໂຕ້ຖຽງທົ່ວໄປກ່ຽວກັບບົດບາດຂອງທິດສະດີໃນການອອກແບບການປະສານງານທີ່ມີປະສິດຕິພາບ, ເບິ່ງ Walton (2014) .

• ຄວາມຖືກຕ້ອງ (ພາກ 4.4.1)

ແນວຄວາມຄິດຂອງຄວາມຖືກຕ້ອງພາຍໃນແລະພາຍນອກໄດ້ຖືກນໍາສະເຫນີໂດຍ Campbell (1957) . ເບິ່ງ Shadish, Cook, and Campbell (2001) ສໍາລັບປະຫວັດສາດລະອຽດແລະການລະມັດລະວັງກ່ຽວກັບການສະຫລຸບສະຖິຕິ, ຄວາມຖືກຕ້ອງພາຍໃນ, ການສ້າງຄວາມຖືກຕ້ອງແລະຄວາມຖືກຕ້ອງພາຍນອກ.

ສໍາລັບສະພາບລວມກ່ຽວກັບບັນຫາທີ່ກ່ຽວຂ້ອງກັບການສະຫລຸບສະຖິຕິໃນການທົດລອງເບິ່ງ Gerber and Green (2012) ( Imbens and Rubin (2015) (ຈາກມຸມມອງສະຖິຕິ). ບັນຫາບາງຢ່າງຂອງການສະຫລຸບສະຖິຕິທີ່ເກີດຂຶ້ນໂດຍສະເພາະໃນການທົດລອງພາກສະຫນາມອອນໄລນ໌ປະກອບມີບັນດາວິທີຕ່າງໆເຊັ່ນ: ວິທີການປະສິດທິຜົນໃນການຄິດໄລ່ການສ້າງຄວາມຫມັ້ນໃຈໃນຂໍ້ມູນຕ່າງໆ (Bakshy and Eckles 2013) .

ຄວາມຖືກຕ້ອງພາຍໃນສາມາດຍາກທີ່ຈະຮັບປະກັນໃນການທົດລອງພາກສະຫນາມສະລັບສັບຊ້ອນ. ເບິ່ງເຊັ່ນ Gerber and Green (2000) , Imai (2005) , ແລະ Gerber and Green (2005) ເພື່ອປຶກສາຫາລືກ່ຽວກັບການປະຕິບັດການທົດລອງພາກສະຫນາມແບບສະລັບສັບຊ້ອນກ່ຽວກັບການລົງຄະແນນສຽງ. Kohavi et al. (2012) ແລະ Kohavi et al. (2013) ໃຫ້ຄໍາແນະນໍາກ່ຽວກັບຄວາມທ້າທາຍຂອງຄວາມຖືກຕ້ອງຂອງໄລຍະຫ່າງໃນການທົດລອງພາກສະຫນາມອອນໄລນ໌.

ຫນຶ່ງໃນໄພຂົ່ມຂູ່ຕໍ່ຄວາມຖືກຕ້ອງພາຍໃນແມ່ນຄວາມເປັນໄປໄດ້ຂອງການເຂົ້າໃຈຜິດພາດ. ຫນຶ່ງໃນວິທີທີ່ມີທ່າແຮງທີ່ຈະກວດພົບບັນຫາທີ່ມີ randomization ແມ່ນເພື່ອປຽບທຽບການປິ່ນປົວແລະກຸ່ມຄວບຄຸມທີ່ມີລັກສະນະສັງເກດເຫັນ. ການປຽບທຽບນີ້ແມ່ນການ ກວດສອບຍອດເງິນ . ເບິ່ງ Hansen and Bowers (2008) ສໍາລັບວິທີການທາງສະຖິຕິໃນການກວດສອບການດຸ່ນດ່ຽງແລະ Mutz and Pemantle (2015) ສໍາລັບຄວາມກັງວົນກ່ຽວກັບການກວດສອບການດຸ່ນດ່ຽງ. ຕົວຢ່າງເຊັ່ນການກວດສອບຄວາມສົມດູນ, Allcott (2011) ພົບວ່າບາງຕົວຢ່າງທີ່ randomisation ບໍ່ໄດ້ຖືກປະຕິບັດຢ່າງຖືກຕ້ອງໃນສາມຂອງການທົດລອງ Opower (ເບິ່ງຕາຕະລາງ 2, ສະຖານທີ່ 2, 6, ແລະ 8). ສໍາລັບວິທີການອື່ນໆ, ເບິ່ງບົດ 21 ຂອງ Imbens and Rubin (2015) .

ບັນດາຄວາມກັງວົນທີ່ສໍາຄັນທີ່ກ່ຽວຂ້ອງກັບຄວາມຖືກຕ້ອງຂອງພາຍໃນແມ່ນ: (1) ການບໍ່ສອດຄ່ອງດ້ານຫນຶ່ງດ້ານ, ບ່ອນທີ່ທຸກໆຄົນໃນກຸ່ມການປິ່ນປົວບໍ່ໄດ້ຮັບການປິ່ນປົວ, (2) ການບໍ່ປະຕິບັດຕາມສອງຂ້າງ, ບ່ອນທີ່ທຸກຄົນໃນກຸ່ມປິ່ນປົວບໍ່ໄດ້ຮັບການປິ່ນປົວແລະບາງຄົນ ກຸ່ມຄວບຄຸມໄດ້ຮັບການປິ່ນປົວ, (3) ການດູດຊືມ, ບ່ອນທີ່ຜົນໄດ້ຮັບບໍ່ໄດ້ຖືກກໍານົດສໍາລັບຜູ້ເຂົ້າຮ່ວມແລະ (4) ການແຊກແຊງ, ບ່ອນທີ່ການປິ່ນປົວແຜ່ໄປຈາກຄົນໃນສະພາບການປິ່ນປົວໃຫ້ແກ່ຜູ້ທີ່ຢູ່ໃນສະພາບການຄວບຄຸມ. ເບິ່ງບົດທີ 5, 6, 7, ແລະ 8 ຂອງ Gerber and Green (2012) ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບແຕ່ລະບັນຫາເຫຼົ່ານີ້.

ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບການກໍ່ສ້າງ, ເບິ່ງ Westen and Rosenthal (2003) , ແລະສໍາລັບຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບການສ້າງຄວາມຖືກຕ້ອງໃນແຫລ່ງຂໍ້ມູນໃຫຍ່, Lazer (2015) ແລະບົດທີ 2 ຂອງປຶ້ມນີ້.

ຫນຶ່ງໃນລັກສະນະຂອງຄວາມຖືກຕ້ອງພາຍນອກແມ່ນການຕັ້ງຄ່າທີ່ການປະສານງານຖືກທົດສອບ. Allcott (2015) ສະຫນອງການປິ່ນປົວທາງທິດສະດີແລະການປະຕິບັດທີ່ສົມເຫດສົມຜົນຂອງການຄັດເລືອກທາງເລືອກຂອງພື້ນທີ່. ບັນຫານີ້ໄດ້ຖືກປຶກສາຫາລືໂດຍ Deaton (2010) . ອີກດ້ານຫນຶ່ງຂອງຄວາມຖືກຕ້ອງພາຍນອກແມ່ນການປະຕິບັດທາງເລືອກຂອງການປະຕິບັດດຽວກັນຈະມີຜົນກະທົບທີ່ຄ້າຍຄືກັນ. ໃນກໍລະນີນີ້, ການປຽບທຽບລະຫວ່າງ Schultz et al. (2007) ແລະ Allcott (2011) ສະແດງໃຫ້ເຫັນວ່າການທົດລອງ Opower ມີຜົນກະທົບທີ່ຖືກປະຕິບັດຫນ້ອຍກວ່າທົດລອງຕົ້ນສະບັບໂດຍ Schultz ແລະເພື່ອນຮ່ວມງານ (1.7% ທຽບກັບ 5%). Allcott (2011) ຄາດຄະເນວ່າການທົດລອງຕິດຕາມຜົນໄດ້ຮັບຜົນກະທົບຫນ້ອຍຍ້ອນວິທີການທີ່ການປິ່ນປົວແຕກຕ່າງກັນຄື: emoticon handwritten ເປັນສ່ວນຫນຶ່ງຂອງການສຶກສາທີ່ສະຫນັບສະຫນູນໂດຍມະຫາວິທະຍາໄລເມື່ອທຽບກັບ emoticon ພິມອອກເປັນສ່ວນຫນຶ່ງຂອງຜະລິດຕະພັນ ລາຍງານຈາກບໍລິສັດໄຟຟ້າ.

• ຄວາມແປກປະສິດທິຂອງຜົນກະທົບດ້ານການປິ່ນປົວ (ພາກ 44.2)

ສໍາລັບສະພາບລວມທີ່ດີເລີດຂອງຄວາມບໍ່ສະເຫມີພາບຂອງຜົນກະທົບດ້ານການປິ່ນປົວໃນການທົດລອງພາກສະຫນາມ, ເບິ່ງພາກ 12 ຂອງ Gerber and Green (2012) . ສໍາລັບການແນະນໍາກັບຄວາມບໍ່ເປັນເອກະລາດຂອງຜົນກະທົບດ້ານການປິ່ນປົວໃນການທົດລອງທາງການແພດ, ເບິ່ງ Kent and Hayward (2007) , Longford (1999) , ແລະ Kravitz, Duan, and Braslow (2004) . ການພິຈາລະນາຂອງຄວາມບໍ່ເທົ່າທຽມກັນຂອງຜົນກະທົບດ້ານການປິ່ນປົວໂດຍທົ່ວໄປແລ້ວແມ່ນສຸມໃສ່ຄວາມແຕກຕ່າງໂດຍອີງໃສ່ລັກສະນະການປິ່ນປົວກ່ອນ. ຖ້າທ່ານມີຄວາມສົນໃຈກ່ຽວກັບຄວາມບໍ່ເທົ່າທຽມກັນໂດຍອີງໃສ່ຜົນໄດ້ຮັບຫຼັງຈາກການປິ່ນປົວ, ຫຼັງຈາກນັ້ນທ່ານຈໍາເປັນຕ້ອງມີວິທີການສະລັບສັບຊ້ອນຫຼາຍ, ເຊັ່ນ: ການແບ່ງຊັ້ນຕົ້ນທຶນ (Frangakis and Rubin 2002) ; ເບິ່ງ Page et al. (2015) ສໍາລັບການທົບທວນຄືນ.

ນັກຄົ້ນຄວ້າຈໍານວນຫຼາຍປະເມີນຄວາມບໍ່ເທົ່າທຽມກັນຂອງຜົນກະທົບດ້ານການປິ່ນປົວໂດຍໃຊ້ການກະຕຸ້ນເສັ້ນຜ່າສູນກາງ, ແຕ່ວິທີໃຫມ່ໆແມ່ນອີງໃສ່ການຮຽນຮູ້ຂອງເຄື່ອງຈັກ; ເບິ່ງ, ສໍາລັບຕົວຢ່າງ, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , ແລະ Athey and Imbens (2016a) .

ມີຄວາມວິຕົກກັງວົນບາງຢ່າງກ່ຽວກັບການຄົ້ນພົບຂອງຄວາມບໍ່ເທົ່າທຽມກັນຂອງຜົນກະທົບເນື່ອງຈາກບັນຫາການປຽບທຽບຫຼາຍແລະ "ການຫາປາ." ມີວິທີການທາງສະຖິຕິຕ່າງໆທີ່ສາມາດຊ່ວຍແກ້ໄຂຄວາມກັງວົນກ່ຽວກັບການສົມທຽບຫຼາຍໆຢ່າງ (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) ຫນຶ່ງໃນວິທີການກັງວົນກ່ຽວກັບ "ການຫາປາ" ແມ່ນການລົງທະບຽນກ່ອນທີ່ຈະກາຍເປັນເລື່ອງທົ່ວໄປໃນຈິດໃຈ (Nosek and Lakens 2014) , ວິທະຍາສາດດ້ານການເມືອງ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ແລະເສດຖະສາດ (Olken 2015) .

ໃນການສຶກສາໂດຍ Costa and Kahn (2013) ພຽງແຕ່ປະມານເຄິ່ງຫນຶ່ງຂອງຄົວເຮືອນໃນການທົດລອງສາມາດເຊື່ອມໂຍງກັບຂໍ້ມູນປະຊາກອນ. ຜູ້ອ່ານທີ່ສົນໃຈໃນລາຍລະອຽດດັ່ງກ່າວຄວນອ້າງອີງໃສ່ເອກະສານຕົ້ນສະບັບ.

• ກົນໄກ (ພາກ 4.4.3)

ກົນໄກແມ່ນມີຄວາມສໍາຄັນຫຼາຍ, ແຕ່ພວກເຂົາກໍ່ຫັນມາຫາຍາກ. ການຄົ້ນຄວ້າກ່ຽວກັບກົນໄກແມ່ນກ່ຽວຂ້ອງຢ່າງໃກ້ຊິດກັບການສຶກສາຂອງຜູ້ໄກ່ເກ່ຍໃນຈິດໃຈ (ແຕ່ເບິ່ງ VanderWeele (2009) ສໍາລັບການປຽບທຽບທີ່ຊັດເຈນລະຫວ່າງສອງແນວຄວາມຄິດ). ວິທີການສະຖິຕິໃນການຄົ້ນຫາກົນໄກ, ເຊັ່ນ: ວິທີການພັດທະນາໃນ Baron and Kenny (1986) , ແມ່ນຂ້ອນຂ້າງທົ່ວໄປ. ແຕ່ຫນ້າເສຍດາຍ, ມັນ turns ໃຫ້ເຫັນວ່າວິທການນັ້ນຂຶ້ນກັບການສົມມຸດຖານທີ່ເຂັ້ມແຂງບາງ (Bullock, Green, and Ha 2010) ແລະທໍລະມານໃນເວລາທີ່ມີຫຼາຍກົນໄກ, ເປັນຫນຶ່ງອາດຈະຄາດຫວັງໃນສະຖານະການຈໍານວນຫຼາຍ (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) ແລະ Imai and Yamamoto (2013) ສະເຫນີວິທີການສະຖິຕິທີ່ດີຂຶ້ນ. ນອກຈາກນັ້ນ, VanderWeele (2015) ສະຫນອງການປິ່ນປົວໃນໄລຍະຍາວທີ່ມີຜົນໄດ້ຮັບຈໍານວນຫນຶ່ງ, ເຊິ່ງລວມມີວິທີການວິເຄາະຄວາມອ່ອນໄຫວ.

ວິທີການແຍກຕ່າງຫາກແມ່ນສຸມໃສ່ການທົດລອງທີ່ພະຍາຍາມຈັດການກົນໄກໂດຍກົງ (ຕົວຢ່າງໃຫ້ວິສາຫະກິດວິທະຍາໄລ C). ແຕ່ຫນ້າເສຍດາຍ, ໃນຫຼາຍໆສະຖານພາບວິທະຍາສາດສັງຄົມ, ມັນມີກົນໄກຫຼາຍໆຄັ້ງແລະມັນກໍ່ເປັນການຍາກທີ່ຈະອອກແບບການປິ່ນປົວທີ່ມີການປ່ຽນແປງໂດຍບໍ່ມີການປ່ຽນແປງຄົນອື່ນ. ວິທີການບາງຢ່າງເພື່ອທົດແທນກົນໄກການທົດລອງຖືກອະທິບາຍໂດຍ Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , ແລະ Pirlott and MacKinnon (2016) .

ນັກຄົ້ນຄວ້າທີ່ດໍາເນີນການທົດລອງທີ່ເຕັມໄປດ້ວຍຄວາມຈໍາເປັນຈະຕ້ອງມີຄວາມກັງວົນກ່ຽວກັບການທົດສອບສົມມຸດຕິຖານຫຼາຍ; ເບິ່ງ Fink, McConnell, and Vollmer (2014) ແລະ List, Shaikh, and Xu (2016) ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມ.

ສຸດທ້າຍ, ກົນໄກກໍ່ມີປະຫວັດສາດຍາວນານໃນວິທະຍາສາດຂອງວິທະຍາສາດດັ່ງທີ່ Hedström and Ylikoski (2010) ໄດ້ອະທິບາຍ.

• ການໃຊ້ສະພາບແວດລ້ອມທີ່ມີຢູ່ແລ້ວ (ພາກ 4.5.1)

ສໍາລັບການເພີ່ມເຕີມກ່ຽວກັບການນໍາໃຊ້ການສຶກສາການຕິດຕໍ່ແລະການສຶກສາການກວດສອບເພື່ອວັດແທກການຈໍາແນກ, ເບິ່ງ Pager (2007) .

• ສ້າງການທົດລອງຂອງທ່ານເອງ (ພາກ 4.5.2)

ວິທີການທົ່ວໄປທີ່ສຸດໃນການທົດແທນຜູ້ເຂົ້າຮ່ວມການທົດລອງທີ່ທ່ານສ້າງແມ່ນ Amazon Mechanical Turk (MTurk). ເນື່ອງຈາກວ່າ MTurk mimics ລັກສະນະຂອງປະສົບການທົດລອງແບບປະເພນີທີ່ຈ່າຍໃຫ້ແກ່ຜູ້ທີ່ປະຕິບັດວຽກທີ່ພວກເຂົາບໍ່ໄດ້ເຮັດສໍາລັບນັກຄົ້ນຄວ້າແບບບໍ່ເສຍຄ່າຫລາຍໆຄົນກໍ່ໄດ້ເລີ່ມຕົ້ນໃຊ້ Turkers (ພະນັກງານໃນ MTurk) ເປັນຜູ້ເຂົ້າຮ່ວມທົດລອງ, ໃນການທົດລອງຫ້ອງທົດລອງແບບພື້ນເມືອງ (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

ໂດຍທົ່ວໄປແລ້ວ, ຄວາມໄດ້ປຽບທີ່ໃຫຍ່ທີ່ສຸດຂອງການນໍາໃຊ້ຜູ້ເຂົ້າຮ່ວມທີ່ໄດ້ຮັບການແຕ່ງຕັ້ງຈາກ MTurk ແມ່ນການຈັດສົ່ງ. ໃນຂະນະທີ່ທົດລອງທົດລອງສາມາດໃຊ້ເວລາຫຼາຍອາທິດເພື່ອດໍາເນີນການແລະການທົດລອງພາກສະຫນາມສາມາດໃຊ້ເວລາເດືອນເພື່ອຕັ້ງຄ່າ, ທົດລອງກັບຜູ້ເຂົ້າຮ່ວມທີ່ໄດ້ຮັບຈາກ MTurk ສາມາດດໍາເນີນການໃນມື້. ຕົວຢ່າງເຊັ່ນ Berinsky, Huber, and Lenz (2012) ສາມາດທີ່ຈະເລືອກເອົາ 400 ຫົວຂໍ້ໃນມື້ດຽວເພື່ອເຂົ້າຮ່ວມການທົດລອງ 8 ນາທີ. ນອກຈາກນັ້ນ, ຜູ້ເຂົ້າຮ່ວມເຫຼົ່ານີ້ສາມາດໄດ້ຮັບການບັນຈຸສໍາລັບຈຸດປະສົງສ່ວນໃຫຍ່ (ລວມທັງການສໍາຫຼວດແລະການຮ່ວມມືຢ່າງຫຼວງຫຼາຍ, ຕາມທີ່ໄດ້ກ່າວໄວ້ໃນພາກທີ 3 ແລະ 5). ຄວາມສະດວກໃນການຈ້າງງານນີ້ຫມາຍຄວາມວ່ານັກຄົ້ນຄວ້າສາມາດດໍາເນີນການລໍາດັບຂອງການທົດລອງທີ່ກ່ຽວຂ້ອງໄດ້ຢ່າງໄວວາ.

ກ່ອນທີ່ຈະຈ້າງຜູ້ເຂົ້າຮ່ວມຈາກ MTurk ສໍາລັບການທົດລອງຂອງທ່ານເອງ, ມີສີ່ສິ່ງທີ່ສໍາຄັນທີ່ທ່ານຕ້ອງການຮູ້. ຫນ້າທໍາອິດ, ນັກຄົ້ນຄວ້າຈໍານວນຫຼາຍມີຄວາມສົງໄສທີ່ບໍ່ສໍາຄັນຂອງການທົດລອງທີ່ກ່ຽວຂ້ອງກັບຊາວ Turkers. ເນື່ອງຈາກວ່າຄວາມບໍ່ຄ່ອຍເຊື່ອງ່າຍໆນີ້ແມ່ນບໍ່ສະເພາະ, ມັນເປັນການຍາກທີ່ຈະຕ້ານກັບຫຼັກຖານ. ຢ່າງໃດກໍ່ຕາມ, ຫຼັງຈາກຫລາຍປີຂອງການສຶກສານໍາໃຊ້ Turkers, ພວກເຮົາໃນປັດຈຸບັນສາມາດສະຫຼຸບວ່າຄວາມບໍ່ຄ່ອຍເຊື່ອງ່າຍໆນີ້ບໍ່ໄດ້ຖືກພິສູດໂດຍສະເພາະ. ມີການສຶກສາຈໍານວນຫຼາຍເມື່ອທຽບກັບປະຊາກອນຂອງ Turkers ທີ່ມີປະຊາກອນອື່ນໆແລະການສຶກສາຫຼາຍປຽບທຽບຜົນຂອງການທົດລອງກັບ Turkers ກັບຜູ້ທີ່ມາຈາກປະຊາກອນອື່ນໆ. ການເຮັດວຽກທັງຫມົດນີ້, ຂ້າພະເຈົ້າຄິດວ່າວິທີທີ່ດີທີ່ສຸດສໍາລັບທ່ານທີ່ຈະຄິດກ່ຽວກັບມັນແມ່ນວ່າ Turkers ແມ່ນຕົວຢ່າງທີ່ເຫມາະສົມທີ່ເຫມາະສົມ, ຄືກັບນັກຮຽນແຕ່ມີຄວາມຫລາກຫລາຍ (Berinsky, Huber, and Lenz 2012) . ດັ່ງນັ້ນ, ເຊັ່ນດຽວກັນກັບນັກຮຽນເປັນປະຊາກອນທີ່ສົມເຫດສົມຜົນສໍາລັບບາງຄົນ, ແຕ່ບໍ່ແມ່ນທັງຫມົດ, ການຄົ້ນຄວ້າ, Turkers ແມ່ນປະຊາກອນທີ່ສົມເຫດສົມຜົນສໍາລັບບາງຄົນ, ແຕ່ບໍ່ແມ່ນທັງຫມົດ, ການຄົ້ນຄວ້າ. ຖ້າທ່ານກໍາລັງເຮັດວຽກກັບ Turkers ແລ້ວ, ມັນກໍ່ເປັນຄວາມຮູ້ສຶກທີ່ຈະອ່ານການສຶກສາປຽບທຽບເຫຼົ່ານີ້ແລະເຂົ້າໃຈຄວາມແຕກຕ່າງຂອງພວກເຂົາ.

ອັນທີສອງ, ນັກຄົ້ນຄວ້າໄດ້ພັດທະນາການປະຕິບັດທີ່ດີທີ່ສຸດເພື່ອເພີ່ມຄວາມຖືກຕ້ອງພາຍໃນຂອງການທົດລອງ MTurk, ແລະທ່ານຄວນຮຽນຮູ້ແລະປະຕິບັດຕາມການປະຕິບັດທີ່ດີທີ່ສຸດເຫຼົ່ານີ້ (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . ສໍາລັບຕົວຢ່າງ, ນັກຄົ້ນຄວ້າທີ່ໃຊ້ Turkers ໄດ້ຖືກແນະນໍາໃຫ້ໃຊ້ຕົວກວດເບີ່ງເພື່ອເອົາຜູ້ເຂົ້າຮ່ວມທີ່ບໍ່ສົນໃຈ (Berinsky, Margolis, and Sances 2014, 2016) (ແຕ່ເບິ່ງ DJ Hauser and Schwarz (2015b) ແລະ DJ Hauser and Schwarz (2015a) ). ຖ້າທ່ານບໍ່ເອົາຜູ້ເຂົ້າຮ່ວມຢ່າງບໍ່ຄາດຄິດ, ຜົນກະທົບຂອງການປິ່ນປົວສາມາດຖືກລ້າງອອກໂດຍສຽງທີ່ພວກເຂົາແນະນໍາແລະໃນປະຕິບັດຈໍານວນຜູ້ເຂົ້າຮ່ວມທີ່ບໍ່ຄາດຄິດອາດຈະມີຄວາມສໍາຄັນ. ໃນການທົດລອງໂດຍ Huber ແລະເພື່ອນຮ່ວມງານ (2012) , ປະມານ 30% ຂອງຜູ້ເຂົ້າຮ່ວມໄດ້ສູນເສຍການກວດເບີ່ງຄວາມສົນໃຈຂັ້ນພື້ນຖານ. ບັນດາບັນຫາອື່ນໆທີ່ເກີດຂື້ນໃນເວລາທີ່ Turkers ໃຊ້ແມ່ນຜູ້ເຂົ້າຮ່ວມບໍ່ເຂົ້າໃຈ (Chandler et al. 2015) ແລະການດຶງດູດ (Zhou and Fishbach 2016) .

ສາມ, ກ່ຽວກັບບາງຮູບແບບອື່ນໆຂອງການທົດລອງດິຈິຕອນ, ການທົດລອງ MTurk ບໍ່ສາມາດຂະຫນາດ; Stewart et al. (2015) ຄາດຄະເນວ່າໃນເວລາໃດກໍ່ຕາມມີພຽງແຕ່ປະມານ 7,000 ຄົນໃນເຂດປ່າສະຫງວນ.

ສຸດທ້າຍ, ທ່ານຄວນຮູ້ວ່າ MTurk ແມ່ນຊຸມຊົນທີ່ມີລະບຽບແລະລະບຽບຂອງຕົນເອງ (Mason and Suri 2012) . ໃນລັກສະນະດຽວກັນທີ່ທ່ານຈະພະຍາຍາມຄົ້ນຫາກ່ຽວກັບວັດທະນະທໍາຂອງປະເທດທີ່ທ່ານຈະດໍາເນີນການທົດລອງຂອງທ່ານ, ທ່ານຄວນພະຍາຍາມຄົ້ນຫາເພີ່ມເຕີມກ່ຽວກັບວັດທະນະທໍາແລະມາດຕະຖານຂອງ Turkers (Salehi et al. 2015) . ແລະທ່ານຄວນຮູ້ວ່າ Turkers ຈະເວົ້າກ່ຽວກັບການທົດລອງຂອງທ່ານຖ້າທ່ານເຮັດບາງສິ່ງທີ່ບໍ່ເຫມາະສົມຫຼືບໍ່ມີເຫດຜົນ (Gray et al. 2016) .

MTurk ແມ່ນວິທີທີ່ສະດວກສະບາຍໃນການທົດແທນຜູ້ເຂົ້າຮ່ວມໃນການທົດລອງຂອງທ່ານ, ບໍ່ວ່າຈະເປັນຫ້ອງທົດລອງເຊັ່ນ: Huber, Hill, and Lenz (2012) , ຫຼືຫຼາຍພາກສະຫນາມເຊັ່ນ: Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , ແລະ Mao et al. (2016)

• ສ້າງຜະລິດຕະພັນຂອງທ່ານເອງ (ພາກ 4.5.3)

ຖ້າທ່ານຄິດວ່າພະຍາຍາມສ້າງຜະລິດຕະພັນຂອງທ່ານເອງ, ຂ້າພະເຈົ້າແນະນໍາໃຫ້ທ່ານອ່ານຄໍາແນະນໍາຂອງກຸ່ມ MovieLens ໃນ Harper and Konstan (2015) . ຄວາມເຂົ້າໃຈສໍາຄັນຈາກປະສົບການຂອງພວກເຂົາແມ່ນວ່າສໍາລັບໂຄງການທີ່ປະສົບຜົນສໍາເລັດແຕ່ລະຄົນກໍ່ມີຈໍານວນຫຼາຍ, ຄວາມລົ້ມເຫລວຫຼາຍ. ຕົວຢ່າງ, ກຸ່ມ MovieLens ໄດ້ເປີດຕົວຜະລິດຕະພັນອື່ນໆ, ເຊັ່ນ GopherAnswers, ທີ່ມີຄວາມລົ້ມເຫລວສົມບູນ (Harper and Konstan 2015) . ຕົວຢ່າງອີກອັນຫນຶ່ງຂອງນັກຄົ້ນຄວ້າທີ່ລົ້ມລະລາຍໃນຂະນະທີ່ພະຍາຍາມສ້າງຜະລິດຕະພັນແມ່ນຄວາມພະຍາຍາມຂອງ Edward Castronova ທີ່ຈະສ້າງເກມອອນໄລນ໌ທີ່ເອີ້ນວ່າ Arden. ເຖິງວ່າຈະມີເງິນທຶນ 250.000 ໂດລາສະຫະລັດ, ໂຄງການແມ່ນ flop (Baker 2008) . ໂຄງການຕ່າງໆເຊັ່ນ GopherAnswers ແລະ Arden ແມ່ນຫນ້າເສຍດາຍຫຼາຍກວ່າໂຄງການຕ່າງໆເຊັ່ນ MovieLens.

• ຮ່ວມມືກັບຜູ້ມີອໍານາດ (ພາກ 45.4)

ຂ້າພະເຈົ້າໄດ້ຍິນຄວາມຄິດຂອງ Pasteur's Quadrant ປຶກສາຫາລືເລື້ອຍໆຢູ່ບໍລິສັດເຕັກໂນໂລຢີແລະມັນຊ່ວຍຈັດຕັ້ງການຄົ້ນຄ້ວາການຄົ້ນຄວ້າຢູ່ກູໂກ (Spector, Norvig, and Petrov 2012) .

ການສຶກສາຂອງພັນທະບັດແລະເພື່ອນຮ່ວມງານ (2012) ຍັງພະຍາຍາມຊອກຫາຜົນກະທົບຂອງການປິ່ນປົວເຫຼົ່ານີ້ຕໍ່ຫມູ່ເພື່ອນຂອງຜູ້ທີ່ໄດ້ຮັບພວກມັນ. ເນື່ອງຈາກການອອກແບບຂອງການທົດລອງ, ການແຜ່ກະຈາຍເຫຼົ່ານີ້ແມ່ນມີຄວາມຫຍຸ້ງຍາກທີ່ຈະກວດພົບຄວາມສະອາດ; ອ່ານທີ່ສົນໃຈຄວນເບິ່ງ Bond et al. (2012) ສໍາລັບການປຶກສາຫາລືຢ່າງລະອຽດ. Jones ແລະເພື່ອນຮ່ວມງານ (2017) ຍັງໄດ້ດໍາເນີນການທົດລອງທີ່ຄ້າຍຄືກັນໃນລະຫວ່າງການເລືອກຕັ້ງປີ 2012. ປະສົບການເຫຼົ່ານີ້ແມ່ນສ່ວນຫນຶ່ງຂອງປະເພນີດົນນານຂອງການທົດລອງວິທະຍາສາດທາງດ້ານການເມືອງກ່ຽວກັບຄວາມພະຍາຍາມເພື່ອສົ່ງເສີມການລົງຄະແນນສຽງ (Green and Gerber 2015) . ການທົດລອງທີ່ໄດ້ຮັບການອອກສຽງອອກສຽງເຫຼົ່ານັ້ນແມ່ນທົ່ວໄປ, ສ່ວນຫນຶ່ງແມ່ນຍ້ອນວ່າພວກເຂົາຢູ່ໃນ Quadrant ຂອງ Pasteur. ດັ່ງນັ້ນ, ມີຫລາຍໆຄົນທີ່ມີກໍາລັງໃຈເພື່ອເພີ່ມສຽງແລະການລົງຄະແນນສຽງສາມາດເປັນພຶດຕິກໍາທີ່ຫນ້າສົນໃຈໃນການທົດສອບທິດສະດີທົ່ວໄປກ່ຽວກັບການປ່ຽນແປງພຶດຕິກໍາແລະອິດທິພົນທາງສັງຄົມ.

ສໍາລັບຄໍາແນະນໍາກ່ຽວກັບການເຮັດວຽກທົດລອງກັບພາກສ່ວນທາງການ, ອົງການ NGO ແລະທຸລະກິດ, ເບິ່ງ Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , ແລະ Gueron (2002) . ສໍາລັບຄວາມຄິດກ່ຽວກັບວິທີການຮ່ວມມືກັບອົງການຈັດຕັ້ງສາມາດສົ່ງຜົນກະທົບຕໍ່ການອອກແບບການຄົ້ນຄວ້າ, ເບິ່ງ King et al. (2007) ແລະ Green, Calfano, and Aronow (2014) . ການຮ່ວມມືຍັງສາມາດນໍາໄປສູ່ຄໍາຖາມກ່ຽວກັບດ້ານຈັນຍາບັນຕາມການສົນທະນາຂອງ Humphreys (2015) ແລະ Nickerson and Hyde (2016) .

• ຄໍາແນະນໍາດ້ານການອອກແບບ (ພາກ 46)

ຖ້າທ່ານກໍາລັງສ້າງແຜນການວິເຄາະກ່ອນທີ່ຈະດໍາເນີນການທົດລອງຂອງທ່ານ, ຂ້າພະເຈົ້າແນະນໍາວ່າທ່ານຈະເລີ່ມຕົ້ນໂດຍການອ່ານບົດແນະນໍາການລາຍງານ. ການແນະນໍາ CONSORT (ການປະສານງານມາດຕະຖານການປະສານງານຂັ້ນຕົ້ນ) ໄດ້ຖືກພັດທະນາໃນດ້ານການແພດ (Schulz et al. 2010) ແລະດັດແກ້ສໍາລັບການຄົ້ນຄວ້າທາງສັງຄົມ (Mayo-Wilson et al. 2013) . ບັນດາຄໍາແນະນໍາທີ່ກ່ຽວຂ້ອງໄດ້ຖືກພັດທະນາໂດຍບັນນາທິການຂອງ ວາລະສານວິທະຍາສາດທາງການເມືອງທົດລອງ (Gerber et al. 2014) (ເບິ່ງ Mutz and Pemantle (2015) ແລະ Gerber et al. (2015) ). ສຸດທ້າຍ, ຄໍາແນະນໍາການລາຍງານໄດ້ຖືກພັດທະນາໃນຈິດໃຈ (APA Working Group 2008) , ແລະເບິ່ງ Simmons, Nelson, and Simonsohn (2011) .

ຖ້າທ່ານສ້າງແຜນການວິເຄາະ, ທ່ານຄວນພິຈາລະນາກ່ອນການລົງທະບຽນເພາະວ່າການລົງທະບຽນກ່ອນຈະເພີ່ມຄວາມຫມັ້ນໃຈທີ່ຄົນອື່ນມີຜົນໃນຜົນຂອງທ່ານ. ນອກຈາກນັ້ນ, ຖ້າທ່ານກໍາລັງເຮັດວຽກຮ່ວມກັບຄູ່ຮ່ວມງານ, ມັນຈະຈໍາກັດຄວາມສາມາດຂອງຄູ່ສົມລົດຂອງທ່ານໃນການປ່ຽນແປງການວິເຄາະຫຼັງຈາກເຫັນຜົນໄດ້ຮັບ. ການລົງທະບຽນລ່ວງຫນ້າແມ່ນໄດ້ເພີ່ມຂຶ້ນໃນທົ່ວໄປໃນຈິດໃຈ (Nosek and Lakens 2014) , ວິທະຍາສາດດ້ານການເມືອງ (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , ແລະເສດຖະສາດ (Olken 2015) .

ຄໍາແນະນໍາໃນການອອກແບບໂດຍສະເພາະສໍາລັບການທົດລອງພາກສະຫນາມອອນໄລນ໌ແມ່ນນໍາສະເຫນີໃນ Konstan and Chen (2007) ແລະ Chen and Konstan (2015) .

ສິ່ງທີ່ຂ້ອຍເອີ້ນວ່າກົນລະຍຸດ armada ແມ່ນບາງຄັ້ງເອີ້ນວ່າ ການວິໄຈໂຄງການ ; ເບິ່ງ Wilson, Aronson, and Carlsmith (2010) .

• ສ້າງຂໍ້ມູນຄ່າໃຊ້ຈ່າຍຕົວແປທີ່ບໍ່ຖືກຕ້ອງ (ພາກ 4.6.1)

ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບການທົດລອງ MusicLab, ເບິ່ງ Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , ແລະ Salganik (2007) . ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບຕະຫຼາດຜູ້ໂຊກດີ, ເບິ່ງທັງຫມົດ, ເບິ່ງ Frank and Cook (1996) . ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບໂຊກດີແລະທັກສະຫຼາຍຂຶ້ນ, ເບິ່ງ Mauboussin (2012) , Watts (2012) , ແລະ Frank (2016) .

ມີວິທີການອື່ນທີ່ຈະກໍາຈັດການຊໍາລະເງິນຜູ້ເຂົ້າຮ່ວມທີ່ນັກວິໄຈຄວນໃຊ້ດ້ວຍຄວາມລະມັດລະວັງ: conscription. ໃນຫຼາຍໆຜູ້ເຂົ້າຮ່ວມປະສົບການພາກສະຫນາມອອນໄລນ໌ໄດ້ຖືກຮ່າງສ້າງເປັນແບບທົດລອງແລະບໍ່ໄດ້ຮັບຄ່າຊົດເຊີຍ. ຕົວຢ່າງຂອງວິທີການນີ້ລວມມີທົດລອງ Restivo ແລະ van de Rijt (2012) ກ່ຽວກັບລາງວັນໃນ Wikipedia ແລະ Bond ແລະເພື່ອນຮ່ວມງານ (2012) ການທົດລອງໃນການສະຫນັບສະຫນູນຄົນທີ່ຈະລົງຄະແນນສຽງ. ການທົດລອງເຫຼົ່ານີ້ບໍ່ມີຄ່າໃຊ້ຈ່າຍທີ່ແຕກຕ່າງກັນແທນທີ່ຈະ, ພວກເຂົາມີຄ່າເສຖີຍນ ກັບນັກວິໄຈ . ໃນການທົດລອງດັ່ງກ່າວ, ເຖິງແມ່ນວ່າຄ່າໃຊ້ຈ່າຍສໍາລັບຜູ້ເຂົ້າຮ່ວມແຕ່ລະຄົນແມ່ນມີຂະຫນາດນ້ອຍ, ຄ່າໃຊ້ຈ່າຍລວມສາມາດຂະຫນາດໃຫຍ່. ນັກຄົ້ນຄວ້າທີ່ດໍາເນີນການທົດລອງອອນໄລນ໌ຫຼາຍໆຄັ້ງມັກຈະໃຫ້ຄວາມສໍາຄັນຂອງຜົນກະທົບການປິ່ນປົວທີ່ຖືກຄິດໄລ່ຫນ້ອຍລົງໂດຍກ່າວວ່າຜົນກະທົບເຫຼົ່ານີ້ເລັກນ້ອຍສາມາດເປັນສິ່ງສໍາຄັນເມື່ອນໍາໃຊ້ກັບຄົນຈໍານວນຫຼາຍ. ຄວາມຄິດດຽວກັນຄືກັນກັບຄ່າໃຊ້ຈ່າຍທີ່ນັກວິໄຈກໍານົດກ່ຽວກັບຜູ້ເຂົ້າຮ່ວມ. ຖ້າການທົດລອງຂອງທ່ານເຮັດໃຫ້ຫນຶ່ງລ້ານຄົນເສຍຊີວິດໃນຫນຶ່ງນາທີ, ການທົດລອງຈະບໍ່ເປັນອັນຕະລາຍຕໍ່ບຸກຄົນໃດຫນຶ່ງ, ແຕ່ໃນເວລາທີ່ມັນໃຊ້ເວລາເກືອບສອງປີ.

ວິທີອື່ນເພື່ອສ້າງການຈ່າຍຄ່າຕົວແປທີ່ແຕກຕ່າງກັນສໍາລັບຜູ້ເຂົ້າຮ່ວມແມ່ນການໃຊ້ lottery, ວິທີການທີ່ໄດ້ນໍາໃຊ້ໃນການສໍາຫຼວດການສໍາຫຼວດ (Halpern et al. 2011) . ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບການອອກແບບປະສົບການຂອງຜູ້ໃຊ້ທີ່ຫນ້າສົນໃຈ, ເບິ່ງ Toomim et al. (2011) ສໍາລັບຂໍ້ມູນເພີ່ມເຕີມກ່ຽວກັບການນໍາໃຊ້ bots ເພື່ອສ້າງການທົດລອງຄ່າໃຊ້ຈ່າຍທີ່ບໍ່ມີຕົວແປ 0 ເບິ່ງ ( ??? ) .

• ປ່ຽນແທນ, ປັບປຸງແລະຫຼຸດຜ່ອນ (ພາກ 4.6.2)

ສາມ R ເປັນຕົ້ນສະເຫນີໂດຍ Russell and Burch (1959) ມີດັ່ງນີ້:

"ການທົດແທນຫມາຍຄວາມວ່າການທົດແທນທີ່ສໍາລັບການສະຕິດໍາລົງຊີວິດສັດທີ່ສູງຂຶ້ນຂອງວັດສະດຸ insentient. ການຫຼຸດຜ່ອນຄວາມຫມາຍຄວາມວ່າການຫຼຸດຜ່ອນຄວາມໃນຈໍານວນຂອງສັດນໍາໃຊ້ເພື່ອໄດ້ຮັບການຂໍ້ມູນຂອງຈໍານວນເງິນທີ່ໄດ້ຮັບແລະຊັດເຈນໄດ້. ການກັ່ນຕອງຫມາຍຄວາມວ່າການຫຼຸດລົງໃນການເກີດຄວາມຮຸນແຮງຂອງວິທີການມະນຸດໄດ້ນໍາໃຊ້ກັບສັດເຫຼົ່ານັ້ນທີ່ຍັງມີການໄດ້ຮັບການນໍາໃຊ້. "

ສາມ R ທີ່ຂ້າພະເຈົ້າສະເຫນີບໍ່ໄດ້ລົບລ້າງຫຼັກການດ້ານຈັນຍາບັນທີ່ໄດ້ອະທິບາຍໄວ້ໃນບົດທີ 6. ແທນທີ່ພວກເຂົາເປັນບົດຮຽນອັນຫນຶ່ງທີ່ມີປະໂຫຍດຫລາຍທີ່ສຸດໃນບັນດາຫຼັກການເຫຼົ່ານີ້ - ຜົນປະໂຫຍດ - ໂດຍສະເພາະໃນການທົດລອງຂອງມະນຸດ.

ກ່ຽວກັບການທົດລອງ R (ການທົດແທນ) ຄັ້ງທໍາອິດ, ການປຽບທຽບການທົດລອງການແຜ່ກະຈາຍອາລົມ (Kramer, Guillory, and Hancock 2014) ແລະການທົດລອງແບບທໍາມະຊາດການຕິດຕໍ່ທາງອາລົມ (Lorenzo Coviello et al. 2014) ສະເຫນີບົດຮຽນທົ່ວໄປກ່ຽວກັບການປ່ຽນແປງທີ່ກ່ຽວຂ້ອງ ໃນການເຄື່ອນຍ້າຍຈາກການທົດລອງກັບການທົດລອງແບບທໍາມະຊາດ (ແລະວິທີການອື່ນໆເຊັ່ນການຈັບຄູ່ທີ່ພະຍາຍາມປະມານການທົດລອງໃນຂໍ້ມູນທີ່ບໍ່ມີການທົດລອງ, ເບິ່ງພາກ 2). ນອກຈາກຜົນປະໂຫຍດທາງດ້ານຈັນຍາບັນ, ການປ່ຽນແປງຈາກການສຶກສາແບບທົດລອງໄປຍັງການສຶກສາທີ່ບໍ່ມີການທົດລອງຍັງເຮັດໃຫ້ນັກຄົ້ນຄວ້າສາມາດສຶກສາການປິ່ນປົວທີ່ພວກເຂົາບໍ່ສາມາດນໍາໃຊ້ໄດ້. ຜົນປະໂຫຍດທາງດ້ານຈັນຍາບັນແລະທາງດ້ານ logistical ນີ້ແມ່ນມາຈາກຄ່າໃຊ້ຈ່າຍແຕ່ຢ່າງໃດ. ກັບນັກຄົ້ນຄວ້າທົດລອງແບບທໍາມະຊາດມີການຄວບຄຸມຫນ້ອຍລົງກ່ຽວກັບສິ່ງຕ່າງໆເຊັ່ນການຈ້າງຜູ້ເຂົ້າຮ່ວມ, ການເຂົ້າໃຈແລະການທໍາການປິ່ນປົວ. ສໍາລັບຕົວຢ່າງ, ການຈໍາກັດນ້ໍາຝົນເປັນການປິ່ນປົວຫນຶ່ງແມ່ນການເພີ່ມຄວາມເປັນບວກແລະຫຼຸດຜ່ອນຄວາມບໍ່ສະຫງົບ. ໃນການສຶກສາການທົດລອງ, ຢ່າງໃດກໍຕາມ, Kramer ແລະເພື່ອນຮ່ວມງານໄດ້ສາມາດປັບຕົວບວກແລະ negativity ຢ່າງດຽວ. ວິທີການໂດຍສະເພາະທີ່ໃຊ້ໂດຍ Lorenzo Coviello et al. (2014) ໄດ້ຖືກອະທິບາຍຕື່ມອີກໂດຍ L. Coviello, Fowler, and Franceschetti (2014) . ສໍາລັບຄໍາແນະນໍາກ່ຽວກັບຕົວແປເຄື່ອງມືທີ່ເປັນວິທີການນໍາໃຊ້ໂດຍ Lorenzo Coviello et al. (2014) , ເບິ່ງ Angrist and Pischke (2009) (ຫນ້ອຍທາງການ) ຫຼື Angrist, Imbens, and Rubin (1996) (ຫຼາຍທາງການ). ສໍາລັບການປະເມີນຄວາມສັບສົນຂອງຕົວປ່ຽນແປງເຄື່ອງມື, ເບິ່ງ Deaton (2010) ແລະສໍາລັບການນໍາສະເຫນີຕົວແປທີ່ມີເຄື່ອງມືທີ່ອ່ອນແອ (ຝົນເປັນເຄື່ອງມືທີ່ອ່ອນແອ), ເບິ່ງ Murray (2006) . ຫຼາຍໂດຍທົ່ວໄປ, ການແນະນໍາທີ່ດີທີ່ຈະທົດລອງທໍາມະຊາດໄດ້ຖືກມອບໃຫ້ໂດຍ Dunning (2012) , ໃນຂະນະທີ່ Rosenbaum (2002) , ( ??? ) ແລະ Shadish, Cook, and Campbell (2001) ສະເຫນີຄວາມຄິດທີ່ດີກ່ຽວກັບການຄາດຄະເນຜົນກະທົບ causal ໂດຍບໍ່ມີການທົດລອງ.

ໃນເງື່ອນໄຂຂອງ R ທີສອງ ("ການປັບປຸງ"), ມີການປ່ຽນແປງທາງວິທະຍາສາດແລະທາງດ້ານ logistical ໃນເວລາທີ່ຈະພິຈາລະນາການປ່ຽນແປງການອອກແບບຂອງການຕິດຕໍ່ທາງເພດສໍາພັນຈາກການສະກັດກັ້ນການສົ່ງເສີມກະທູ້. ສໍາລັບຕົວຢ່າງ, ມັນອາດຈະເປັນກໍລະນີທີ່ການປະຕິບັດດ້ານເຕັກນິກຂອງຂ່າວສານເຮັດໃຫ້ມັນງ່າຍຕໍ່ການທົດລອງທີ່ມີການສະກັດກັ້ນການກະທໍາຫຼາຍກ່ວາຫນຶ່ງທີ່ພວກມັນໄດ້ຖືກສົ່ງເສີມ (ສັງເກດວ່າການທົດລອງທີ່ກ່ຽວຂ້ອງກັບການສະກັດກັ້ນສາມາດນໍາໃຊ້ໄດ້) ເປັນຊັ້ນເທິງສຸດຂອງລະບົບຂ່າວຂ່າວສານໂດຍບໍ່ມີຄວາມຕ້ອງການສໍາລັບການປ່ຽນແປງຂອງລະບົບທີ່ຢູ່ເບື້ອງຕົ້ນ). ຢ່າງໃດກໍ່ຕາມ, ວິທະຍາສາດ, ແນວໃດກໍ່ຕາມ, ທິດສະດີການແກ້ໄຂໂດຍການທົດລອງບໍ່ໄດ້ຊີ້ບອກຢ່າງຊັດເຈນວ່າການອອກແບບຫນຶ່ງໃນໄລຍະອື່ນ. ແຕ່ຫນ້າເສຍດາຍ, ຂ້າພະເຈົ້າບໍ່ຮູ້ເຖິງການຄົ້ນຄ້ວາຢ່າງຫຼວງຫຼາຍກ່ຽວກັບຄວາມສໍາພັນຂອງການຂັດຂວາງແລະສົ່ງເສີມເນື້ອຫາໃນຂ່າວສານ. ນອກຈາກນີ້, ຂ້າພະເຈົ້າຍັງບໍ່ທັນໄດ້ເຫັນການຄົ້ນຄ້ວາຫຼາຍໆຢ່າງກ່ຽວກັບການປັບປຸງການປິ່ນປົວເພື່ອເຮັດໃຫ້ມັນເປັນອັນຕະລາຍຫນ້ອຍ; ຫນຶ່ງໃນຂໍ້ຍົກເວັ້ນແມ່ນ B. Jones and Feamster (2015) , ເຊິ່ງພິຈາລະນາກໍລະນີຂອງການວັດແທກການກວດສອບອິນເຕີເນັດ (ຫົວຂໍ້ທີ່ຂ້າພະເຈົ້າສົນທະນາໃນບົດທີ 6 ກ່ຽວກັບການສຶກສາອີກເທື່ອຫນຶ່ງ (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

ໃນຂໍ້ທີສາມ ("ການຫຼຸດຜ່ອນ"), ການແນະນໍາທີ່ດີກັບການວິເຄາະພະລັງງານແບບດັ້ງເດີມໂດຍ Cohen (1988) (ຫນັງສື) ແລະ Cohen (1992) (ບົດຄວາມ), ໃນຂະນະທີ່ Gelman and Carlin (2014) ສະເຫນີທັດສະນະທີ່ແຕກຕ່າງກັນເລັກນ້ອຍ. covariates ທາງສ່ວນຫນ້າຂອງການປິ່ນປົວສາມາດຖືກລວມເຂົ້າໃນຂັ້ນຕອນການອອກແບບແລະການວິເຄາະຂອງການທົດລອງ; ບົດທີ 4 ຂອງ Gerber and Green (2012) ສະເຫນີແນະນໍາວິທີການທັງສອງຢ່າງ, ແລະ Casella (2008) ສະຫນອງການປິ່ນປົວໃນລະດັບຄວາມເລິກ. ເຕັກນິກທີ່ໃຊ້ຂໍ້ມູນກ່ອນການປິ່ນປົວນີ້ແມ່ນການເອີ້ນແບບທົ່ວໆໄປຫຼືການອອກແບບການທົດລອງທີ່ຖືກບລັອກຫຼືການອອກແບບແບບທົດລອງແບບທີ່ຫລາກຫລາຍ (ຄໍາສັບບໍ່ໄດ້ຖືກນໍາໃຊ້ຢ່າງຕໍ່ເນື່ອງທົ່ວຊຸມຊົນ); ເຕັກນິກເຫຼົ່ານີ້ແມ່ນກ່ຽວຂ້ອງຢ່າງໃກ້ຊິດກັບເຕັກນິກການເກັບຕົວແບບທີ່ໄດ້ຮັບການປຶກສາຫາລືໃນພາກທີ 3. ເບິ່ງ Higgins, Sävje, and Sekhon (2016) ສໍາລັບການນໍາໃຊ້ແບບນີ້ໃນການທົດລອງຢ່າງໃຫຍ່ຫຼວງ. covariates ທາງສ່ວນຫນ້າຂອງການປິ່ນປົວຍັງສາມາດຖືກລວມເຂົ້າໃນຂັ້ນຕອນການວິເຄາະ. McKenzie (2012) ຄົ້ນຄວ້າວິທີການແຕກຕ່າງກັນໃນຄວາມແຕກຕ່າງໃນການວິເຄາະປະສົບການພາກສະຫນາມໃນລາຍລະອຽດເພີ່ມເຕີມ. ເບິ່ງ Carneiro, Lee, and Wilhelm (2016) ສໍາລັບການເພີ່ມເຕີມກ່ຽວກັບການແລກປ່ຽນລະຫວ່າງວິທີການຕ່າງໆເພື່ອເພີ່ມຄວາມຖືກຕ້ອງໃນການຄາດຄະເນຜົນກະທົບດ້ານການປິ່ນປົວ. ສຸດທ້າຍ, ໃນເວລາທີ່ຕັດສິນໃຈວ່າຈະພະຍາຍາມປະກອບມີການປັບປຸງການປິ່ນປົວກ່ອນການອອກແບບຫລືການວິເຄາະ (ຫຼືທັງສອງ), ມີປັດໃຈຈໍານວນຫນຶ່ງທີ່ຄວນພິຈາລະນາ. ໃນບ່ອນທີ່ນັກຄົ້ນຄວ້າຢາກສະແດງໃຫ້ເຫັນວ່າພວກມັນບໍ່ແມ່ນ "ການຫາປາ" (Humphreys, Sierra, and Windt 2013) , ການໃຊ້ covariates ກ່ອນການປິ່ນປົວໃນຂັ້ນຕອນການອອກແບບສາມາດເປັນປະໂຫຍດ (Higgins, Sävje, and Sekhon 2016) . ໃນສະຖານະການທີ່ນັກຮຽນເຂົ້າມາຢ່າງຕໍ່ເນື່ອງ, ໂດຍສະເພາະແມ່ນການທົດລອງພາກສະຫນາມອອນໄລນ໌, ການນໍາໃຊ້ຂໍ້ມູນກ່ອນການປິ່ນປົວໃນຂັ້ນຕອນການອອກແບບອາດຈະມີຄວາມຫຍຸ້ງຍາກໃນການຈັດລໍາດັບ; ເບິ່ງ, ສໍາລັບການຍົກຕົວຢ່າງ, Xie and Aurisset (2016) .

ມັນເປັນມູນຄ່າເພີ່ມຄວາມຮູ້ກ່ຽວກັບວິທີການວິທີການທີ່ແຕກຕ່າງກັນໃນຄວາມແຕກຕ່າງສາມາດມີປະສິດທິພາບຫຼາຍກ່ວາຄວາມແຕກຕ່າງໃນຄວາມຫມາຍ. ຜົນໄດ້ຮັບທາງອິນເຕີເນັດຫຼາຍມີຄວາມແຕກຕ່າງກັນຫຼາຍ (ເບິ່ງ, RA Lewis and Rao (2015) ແລະ Lamb et al. (2015) ) ແລະມີຄວາມຫມັ້ນຄົງໃນໄລຍະເວລາ. ໃນກໍລະນີນີ້, ຄະແນນການປ່ຽນແປງຈະມີຄວາມແຕກຕ່າງເລັກຫນ້ອຍ, ເພີ່ມພະລັງງານຂອງການທົດສອບສະຖິຕິ. ຫນຶ່ງໃນເຫດຜົນທີ່ວິທີການນີ້ບໍ່ໄດ້ຖືກນໍາໃຊ້ເລື້ອຍໆແມ່ນວ່າກ່ອນທີ່ຈະອາຍຸດິຈິຕອນ, ມັນບໍ່ແມ່ນສາມັນທີ່ມີຜົນໄດ້ຮັບການປິ່ນປົວກ່ອນ. ວິທີການທີ່ແນ່ນອນທີ່ສຸດເພື່ອຄິດກ່ຽວກັບການນີ້ແມ່ນການຄິດໄລ່ການທົດລອງເພື່ອວັດແທກວ່າການອອກກໍາລັງກາຍສະເພາະໃດຫນຶ່ງເຮັດໃຫ້ການສູນເສຍນ້ໍາຫນັກ. ຖ້າທ່ານນໍາໃຊ້ວິທີການທີ່ແຕກຕ່າງກັນ, ການຄາດຄະເນຂອງທ່ານຈະມີການປ່ຽນແປງທີ່ເກີດຂື້ນຈາກການປ່ຽນແປງໃນລະດັບນ້ໍາຫນັກໃນປະຊາກອນ. ຢ່າງໃດກໍຕາມ, ຖ້າທ່ານເຮັດວິທີການແຕກຕ່າງກັນໃນຄວາມແຕກຕ່າງ, ການປ່ຽນແປງຕາມທໍາມະຊາດທີ່ມີຢູ່ໃນນ້ໍາຫນັກຖືກລຶບອອກແລະທ່ານສາມາດກວດພົບຄວາມແຕກຕ່າງທີ່ເກີດຈາກການປິ່ນປົວໄດ້ງ່າຍຂຶ້ນ.

ສຸດທ້າຍ, ຂ້າພະເຈົ້າໄດ້ພິຈາລະນາເພີ່ມສີ່ R: "repurpose". ດັ່ງນັ້ນ, ຖ້ານັກຄົ້ນຄວ້າພົບວ່າມີຂໍ້ມູນທົດລອງຫຼາຍກວ່າທີ່ພວກເຂົາຕ້ອງການເພື່ອແກ້ໄຂຄໍາຖາມການຄົ້ນຄວ້າຕົ້ນສະບັບຂອງພວກເຂົາ, ພວກເຂົາຄວນ repurpose ຂໍ້ມູນເພື່ອຖາມຄໍາຖາມໃຫມ່. ຕົວຢ່າງ, ຈິນຕະນາການວ່າ Kramer ແລະເພື່ອນຮ່ວມງານໄດ້ໃຊ້ການຄິດໄລ່ຄວາມແຕກຕ່າງໃນຄວາມແຕກຕ່າງແລະພົບເຫັນຂໍ້ມູນເພີ່ມເຕີມທີ່ພວກເຂົາຕ້ອງການເພື່ອແກ້ໄຂຄໍາຖາມການຄົ້ນຄວ້າຂອງເຂົາເຈົ້າ. ແທນທີ່ຈະບໍ່ນໍາໃຊ້ຂໍ້ມູນໃນຂອບເຂດທີ່ເຕັມໄປ, ພວກເຂົາເຈົ້າອາດຈະໄດ້ສຶກສາຂະຫນາດຂອງຜົນກະທົບທີ່ເປັນຫນ້າທີ່ຂອງການສະແດງອອກທາງດ້ານອາລົມກ່ອນການປິ່ນປົວ. ເຊັ່ນດຽວກັນກັບ Schultz et al. (2007) ພົບວ່າຜົນກະທົບຂອງການປິ່ນປົວແມ່ນແຕກຕ່າງກັນສໍາລັບຜູ້ໃຊ້ທີ່ມີແສງສະຫວ່າງແລະຫນັກ, ບາງທີຜົນກະທົບຂອງ News Feed ແມ່ນແຕກຕ່າງກັນສໍາລັບຜູ້ທີ່ມັກຈະຂຽນຂໍ້ຄວາມດີໃຈ (ຫລືໂສດ). Repurposing ອາດເຮັດໃຫ້ "ການຫາປາ" (Humphreys, Sierra, and Windt 2013) ແລະ "p-hacking" (Simmons, Nelson, and Simonsohn 2011) , ແຕ່ພວກມັນສາມາດແກ້ໄຂບັນຫາທີ່ມີຄວາມຊື່ສັດ (Simmons, Nelson, and Simonsohn 2011) , ການລົງທະບຽນກ່ອນ (Humphreys, Sierra, and Windt 2013) , ແລະວິທີການຮຽນຮູ້ເຄື່ອງຈັກທີ່ພະຍາຍາມຫຼີກເວັ້ນການທີ່ເຫມາະສົມ.