ບັນປະສົບການການຄວບຄຸມມີສີ່ສ່ວນປະກອບຕົ້ນຕໍ: ຮັບສະຫມັກຜູ້ເຂົ້າຮ່ວມ, ບັນຂອງການປິ່ນປົວ, ການໃຫ້ການປິ່ນປົວ, ແລະການວັດແທກຜົນໄດ້ຮັບ.
ການທົດລອງຄວບຄຸມແບບ Randomized ມີສີ່ສ່ວນປະກອບຕົ້ນຕໍ: ການຈ້າງງານຂອງຜູ້ເຂົ້າຮ່ວມ, ການນໍາໃຊ້ Randomization ການປິ່ນປົວ, ການໃຫ້ການປິ່ນປົວແລະການວັດແທກຜົນໄດ້ຮັບ. ອາຍຸຂອງດິຈິຕອນບໍ່ປ່ຽນແປງລັກສະນະພື້ນຖານຂອງການທົດລອງ, ແຕ່ມັນກໍ່ເຮັດໃຫ້ມັນງ່າຍຂຶ້ນໃນການຂົນສົ່ງ. ຕົວຢ່າງ, ໃນອະດີດ, ມັນອາດຈະເປັນການຍາກທີ່ຈະວັດແທກພຶດຕິກໍາຂອງຄົນຫຼາຍລ້ານຄົນ, ແຕ່ວ່າປະຈຸບັນນີ້ແມ່ນເລື້ອຍໆເກີດຂື້ນໃນຫຼາຍໆລະບົບດິຈິຕອນ. ນັກຄົ້ນຄວ້າຜູ້ທີ່ສາມາດສະແດງວິທີການນໍາໃຊ້ໂອກາດໃຫມ່ເຫຼົ່ານີ້ຈະສາມາດດໍາເນີນການທົດລອງທີ່ບໍ່ເປັນໄປໄດ້ກ່ອນຫນ້ານີ້.
ເພື່ອເຮັດໃຫ້ທັງຫມົດນີ້ມີຄວາມເຂັ້ມຂຸ້ນຫຼາຍ - ທັງສອງສິ່ງທີ່ຢູ່ຄືກັນແລະມີຫຍັງປ່ຽນແປງ - ພິຈາລະນາການທົດລອງໂດຍ Michael Restivo ແລະ Arnout van de Rijt (2012) . ພວກເຂົາຕ້ອງການທີ່ຈະເຂົ້າໃຈເຖິງຜົນກະທົບຂອງລາງວັນທີ່ບໍ່ເປັນທາງການກ່ຽວກັບການປະກອບສ່ວນຂອງບັນນາທິການເພື່ອວິກິພີເດຍ. ໂດຍສະເພາະ, ພວກເຂົາເຈົ້າໄດ້ສຶກສາຜົນກະທົບຂອງ barnstars , ລາງວັນທີ່ Wikipedian ສາມາດໃຫ້ກັບ Wikipedian ອື່ນໆເພື່ອຮັບຮູ້ການເຮັດວຽກຫນັກແລະ due diligence. Restivo ແລະ van de Rijt ໃຫ້ barnstars ກັບ 100 deserving Wikipedians. ຫຼັງຈາກນັ້ນ, ພວກເຂົາເຈົ້າໄດ້ຕິດຕາມການປະກອບສ່ວນຂອງຜູ້ຮັບຂອງຕໍ່ມາໃນວິກີພິເດຍໃນໄລຍະ 90 ວັນຕໍ່ໄປ. ສິ່ງທີ່ເຂົາເຈົ້າໄດ້ປະຫລາດໃຈຫລາຍທີ່ສຸດແມ່ນຄົນທີ່ເຂົາເຈົ້າໄດ້ຮັບລາງວັນ barnstars ມີແນວໂນ້ມທີ່ຈະແກ້ໄຂ ຫນ້ອຍກວ່າ ຫຼັງຈາກໄດ້ຮັບຫນຶ່ງ. ໃນຄໍາສັບຕ່າງໆອື່ນໆ, barnstars ເບິ່ງຄືວ່າມັນເປັນສິ່ງທີ່ຫນ້າເສົ້າໃຈຫຼາຍກ່ວາການສະຫນັບສະຫນູນການປະກອບສ່ວນ.
ໂຊກດີ, Restivo ແລະ van de Rijt ບໍ່ໄດ້ເຮັດວຽກທົດລອງ "ເຮັດໃຫ້ກັງວົນແລະສັງເກດ" ພວກເຂົາເຈົ້າໄດ້ດໍາເນີນການທົດລອງຄວບຄຸມແບບສຸ່ມ. ດັ່ງນັ້ນ, ນອກເຫນືອຈາກການເລືອກເອົາຜູ້ສະຫນັບສະຫນູນ 100 ຄົນທີ່ໄດ້ຮັບ barnstar, ພວກເຂົາຍັງໄດ້ເລືອກເອົາ 100 ຜູ້ປະກອບສ່ວນທີ່ສູງທີ່ພວກເຂົາບໍ່ໄດ້ໃຫ້. ເຫຼົ່ານີ້ 100 ໄດ້ຮັບຜິດຊອບເປັນກຸ່ມຄວບຄຸມ. ແລະ, ຢ່າງສໍາຄັນ, ຜູ້ທີ່ຢູ່ໃນກຸ່ມການປິ່ນປົວແລະຜູ້ທີ່ຢູ່ໃນກຸ່ມຄວບຄຸມໄດ້ຖືກກໍານົດຢ່າງສຸ່ມ.
ເມື່ອ Restivo ແລະ van de Rijt ເບິ່ງພຶດຕິກໍາຂອງຜູ້ທີ່ຢູ່ໃນກຸ່ມຄວບຄຸມ, ພວກເຂົາພົບວ່າການປະກອບສ່ວນຂອງເຂົາເຈົ້າໄດ້ຫຼຸດລົງເຊັ່ນດຽວກັນ. ນອກຈາກນັ້ນ, ເມື່ອ Restivo ແລະ van de Rijt ປຽບທຽບຄົນໃນກຸ່ມປິ່ນປົວ (ເຊັ່ນ: ໄດ້ຮັບ barnstars) ກັບຜູ້ທີ່ຢູ່ໃນກຸ່ມຄວບຄຸມ, ພວກເຂົາພົບວ່າຜູ້ທີ່ຢູ່ໃນກຸ່ມການປິ່ນປົວປະກອບສ່ວນປະມານ 60% ເພີ່ມເຕີມ. ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ການປະກອບສ່ວນຂອງກຸ່ມທັງສອງໄດ້ຖືກຫລອກລວງ, ແຕ່ວ່າກຸ່ມຂອງກຸ່ມຄວບຄຸມໄດ້ເຮັດຢ່າງໄວວາ.
ໃນຂະນະທີ່ການສຶກສານີ້ສະແດງໃຫ້ເຫັນ, ກຸ່ມຄວບຄຸມໃນການທົດລອງແມ່ນສໍາຄັນໃນວິທີທີ່ເປັນເລື່ອງແປກປະຫຼາດ. ເພື່ອວັດແທກຜົນກະທົບຂອງ barnstars, Restivo ແລະ van de Rijt ຈໍາເປັນຕ້ອງໄດ້ສັງເກດເຫັນຄົນທີ່ບໍ່ໄດ້ຮັບ barnstars. ຫຼາຍຄັ້ງ, ນັກຄົ້ນຄວ້າຜູ້ທີ່ບໍ່ຄຸ້ນເຄີຍກັບການທົດລອງກໍ່ບໍ່ຮູ້ຈັກມູນຄ່າທີ່ຫນ້າເຊື່ອຖືຂອງກຸ່ມຄວບຄຸມ. ຖ້າ Restivo ແລະ van de Rijt ບໍ່ມີກຸ່ມຄວບຄຸມ, ພວກເຂົາເຈົ້າຈະໄດ້ຮັບການສະຫຼຸບຜິດພາດຢ່າງແທ້ຈິງ. ກຸ່ມຄວບຄຸມແມ່ນສິ່ງສໍາຄັນທີ່ CEO ຂອງບໍລິສັດຄາສິໂນໃຫຍ່ໄດ້ກ່າວວ່າມີສາມວິທີທີ່ພະນັກງານສາມາດຖືກໄລ່ອອກຈາກບໍລິສັດຂອງລາວ: ສໍາລັບການລັກ, ການຂົ່ມເຫັງທາງເພດຫຼືສໍາລັບການທົດລອງໂດຍບໍ່ມີກຸ່ມຄວບຄຸມ (Schrage 2011) ທີ່ຢູ່
ການສຶກສາ Restivo ແລະ van de Rijt ສະແດງໃຫ້ເຫັນສີ່ສ່ວນປະກອບຕົ້ນຕໍຂອງການທົດລອງ: ການຈ້າງງານ, ການເຂົ້າໃຈ, ການແຊກແຊງ, ແລະຜົນໄດ້ຮັບ. ຮ່ວມກັນ, ສີ່ສ່ວນປະກອບເຫຼົ່ານີ້ຊ່ວຍໃຫ້ນັກວິທະຍາສາດຍ້າຍອອກໄປກວ່າການເຊື່ອມໂຍງແລະວັດແທກຜົນກະທົບທາງສາເຫດຂອງການປິ່ນປົວ. ໂດຍສະເພາະ, ການລະເມີດຫມາຍຄວາມວ່າຄົນໃນກຸ່ມການປິ່ນປົວແລະກຸ່ມຄວບຄຸມຈະຄ້າຍຄືກັນ. ນີ້ແມ່ນສິ່ງທີ່ສໍາຄັນເພາະວ່າມັນຫມາຍຄວາມວ່າຄວາມແຕກຕ່າງກັນໃນຜົນໄດ້ຮັບລະຫວ່າງສອງກຸ່ມສາມາດໄດ້ຮັບການປິ່ນປົວແລະບໍ່ແມ່ນຄວາມສັບສົນ.
ນອກເຫນືອຈາກການເປັນຕົວຢ່າງທີ່ດີຂອງກົນໄກຂອງການທົດລອງ, ການສຶກສາຂອງ Restivo ແລະ van de Rijt ຍັງສະແດງໃຫ້ເຫັນວ່າການຂົນສົ່ງຂອງການທົດລອງດິຈິຕອນສາມາດແຕກຕ່າງກັນຫມົດຈາກການທົດລອງແບບອະນາລັອກ. ໃນການທົດລອງ Restivo ແລະ van de Rijt, ມັນງ່າຍທີ່ຈະໃຫ້ barnstar ກັບໃຜແລະມັນງ່າຍຕໍ່ການຕິດຕາມຜົນການແກ້ໄຂໃນໄລຍະເວລາທີ່ຍາວນານ (ເນື່ອງຈາກວ່າດັດແກ້ດັດແກ້ຖືກບັນທຶກໄວ້ໂດຍອັດຕະໂນມັດໂດຍ Wikipedia). ຄວາມສາມາດໃນການສະຫນອງການປິ່ນປົວແລະການວັດແທກຜົນໄດ້ຮັບທີ່ບໍ່ມີຄ່າໃຊ້ຈ່າຍແມ່ນມີ ລັກສະນະ ຄ້າຍກັບການທົດລອງໃນອະດີດ. ເຖິງແມ່ນວ່າການທົດລອງນີ້ມີປະສົບການ 200 ຄົນ, ມັນກໍ່ສາມາດດໍາເນີນການກັບ 2,000 ຄົນຫຼືເຖິງ 20,000 ຄົນ. ສິ່ງສໍາຄັນທີ່ປ້ອງກັນນັກຄົ້ນຄວ້າຈາກການຂະຫຍາຍການທົດລອງຂອງພວກເຂົາໂດຍປັດໄຈທີ່ 100 ບໍ່ແມ່ນຄ່າໃຊ້ຈ່າຍ; ມັນແມ່ນຈັນຍາບັນ. ນັ້ນຄື, Restivo ແລະ van de Rijt ບໍ່ຕ້ອງການໃຫ້ barnstars ກັບບັນນາທິການ undeserving, ແລະພວກເຂົາເຈົ້າບໍ່ຕ້ອງການທົດລອງຂອງພວກເຂົາທີ່ຈະລົບກວນຊຸມຊົນ Wikipedia (Restivo and Rijt 2012, 2014) . ຂ້າພະເຈົ້າຈະກັບຄືນໄປຫາການພິຈາລະນາດ້ານຈັນຍາບັນບາງຢ່າງທີ່ໄດ້ຍົກຂຶ້ນມາໂດຍການທົດລອງຕໍ່ມາໃນບົດນີ້ແລະໃນບົດທີ 6.
ໃນທີ່ສຸດ, ການທົດລອງຂອງ Restivo ແລະ van de Rijt ສະແດງໃຫ້ເຫັນຢ່າງຊັດເຈນວ່າໃນຂະນະທີ່ເຫດຜົນຂອງການທົດລອງບໍ່ມີການປ່ຽນແປງ, ການຂົນສົ່ງດ້ານການທົດລອງດິຈິຕອນສາມາດແຕກຕ່າງກັນຫຼາຍ. ຕໍ່ໄປ, ເພື່ອແຍກປະສິດທິພາບຫຼາຍຂຶ້ນທີ່ສ້າງຂື້ນໂດຍການປ່ຽນແປງເຫຼົ່ານີ້, ຂ້າພະເຈົ້າຈະປຽບທຽບການທົດລອງທີ່ນັກຄົ້ນຄວ້າສາມາດເຮັດໄດ້ໃນປັດຈຸບັນດ້ວຍປະເພດຂອງການທົດລອງທີ່ໄດ້ເຮັດໃນອະດີດ.