4.2 อะไรคือการทดลอง?

สุ่มทดลองควบคุมมีสี่ส่วนผสมหลัก: การรับสมัครผู้เข้าร่วมการสุ่มของการรักษาและการส่งมอบของการรักษาและการวัดผลลัพธ์

การทดลองแบบสุ่มควบคุมมี 4 ส่วนหลักคือการคัดเลือกผู้เข้าร่วมการสุ่มตัวอย่างการรักษาการให้การรักษาและการวัดผลลัพธ์ ยุคดิจิทัลไม่ได้เปลี่ยนลักษณะพื้นฐานของการทดลอง แต่ก็ทำให้ง่ายขึ้นในเชิงลอจิสติก ตัวอย่างเช่นในอดีตอาจเป็นเรื่องยากที่จะวัดพฤติกรรมของผู้คนนับล้าน แต่ตอนนี้เป็นเรื่องปกติที่เกิดขึ้นในระบบดิจิทัลจำนวนมาก นักวิจัยที่สามารถหาวิธีใช้ประโยชน์จากโอกาสใหม่เหล่านี้จะสามารถเรียกใช้การทดลองที่เป็นไปไม่ได้ก่อนหน้านี้

เพื่อให้ทุกอย่างเป็นรูปธรรมมากขึ้น - ทั้งสิ่งที่อยู่เหมือนเดิมและสิ่งที่เปลี่ยนแปลง - ลองพิจารณาการทดลองโดย Michael Restivo และ Arnout van de Rijt (2012) พวกเขาต้องการที่จะเข้าใจถึงผลกระทบของรางวัลเพื่อนแบบไม่เป็นทางการต่อผลงานด้านบรรณาธิการของวิกิพีเดีย โดยเฉพาะอย่างยิ่งพวกเขาได้ศึกษาผลกระทบของ barnstars รางวัลที่ Wikipedian สามารถมอบให้กับวิกิพีเดียคนอื่น ๆ เพื่อรับทราบถึงการทำงานหนักและความขยันเนื่องจาก Restivo และ van de Rijt มอบ barnstars ให้กับนักเขียนวิกิพีเดียที่สมควรได้รับ 100 คน จากนั้นพวกเขาติดตามการบริจาคต่อไปของผู้ใช้ต่อวิกิพีเดียในอีก 90 วัน คนที่พวกเขาได้รับรางวัล barnstars มีแนวโน้มที่จะทำการแก้ไข น้อยลง หลังจากที่ได้รับรางวัล กล่าวได้ว่า barnstars ดูเหมือนจะท้อแท้มากกว่าการให้กำลังใจ

โชคดีที่ Restivo และ van de Rijt ไม่ได้ใช้การทดสอบแบบ "perturb and observ" พวกเขากำลังดำเนินการทดลองที่ได้รับการสุ่มตัวอย่าง ดังนั้นนอกเหนือจากการเลือกผู้ร่วมให้ข้อมูลชั้นนำ 100 รายที่ได้รับ barnstar แล้วพวกเขายังได้เลือกนักเขียนชั้นนำ 100 คนที่พวกเขาไม่ได้ให้ไว้ 100 คนเหล่านี้ทำหน้าที่เป็นกลุ่มควบคุม และผู้ที่อยู่ในกลุ่มควบคุมได้พิจารณาแบบสุ่ม

เมื่อ Restivo และ van de Rijt มองพฤติกรรมของคนในกลุ่มควบคุมพวกเขาพบว่าการบริจาคของพวกเขาลดลงด้วย นอกจากนี้เมื่อ Restivo และ van de Rijt เปรียบเทียบคนในกลุ่มที่ได้รับการรักษา (เช่นได้รับ barnstars) กับคนในกลุ่มควบคุมพวกเขาพบว่าคนในกลุ่มการรักษามีส่วนช่วยเพิ่มอีก 60% กล่าวอีกนัยหนึ่งการบริจาคของทั้งสองกลุ่มมีการลดลง แต่กลุ่มควบคุมมีการทำเร็วมาก

เนื่องจากการศึกษานี้แสดงให้เห็นว่ากลุ่มควบคุมในการทดลองมีความสำคัญในลักษณะที่ค่อนข้างขัดแย้งกัน เพื่อให้สามารถวัดผลกระทบของ barnstars ได้อย่างแม่นยำ Restivo และ van de Rijt จำเป็นต้องสังเกตคนที่ไม่ได้รับ barnstars หลายครั้งนักวิจัยที่ไม่คุ้นเคยกับการทดลองล้มเหลวในการชื่นชมคุณค่าที่เหลือเชื่อของกลุ่มควบคุม ถ้า Restivo และ van de Rijt ไม่ได้มีกลุ่มควบคุมพวกเขาก็จะดึงข้อสรุปที่ไม่ถูกต้อง กลุ่มควบคุมมีความสำคัญมากที่ CEO ของ บริษัท คาสิโนรายใหญ่ ๆ กล่าวว่ามีเพียงสามวิธีที่พนักงานสามารถถูกไล่ออกจาก บริษัท ได้เช่นการโจรกรรมการล่วงละเมิดทางเพศหรือการทดลองโดยไม่มีกลุ่มควบคุม (Schrage 2011) .

การศึกษาของ Restivo and van de Rijt แสดงให้เห็นถึงองค์ประกอบหลัก 4 ประการของการทดลอง: การสรรหาการสุ่มการแทรกแซงและผลลัพธ์ ส่วนผสมเหล่านี้ช่วยให้นักวิทยาศาสตร์สามารถก้าวไปไกลกว่าความสัมพันธ์และวัดผลกระทบของการรักษาได้ โดยเฉพาะการสุ่มตัวอย่างหมายความว่าคนในกลุ่มที่ได้รับการรักษาและควบคุมจะเหมือนกัน นี้เป็นสิ่งสำคัญเพราะมันหมายความว่าผลต่างระหว่างสองกลุ่มสามารถนำมาประกอบกับการรักษาและไม่ confounder

นอกเหนือจากการเป็นตัวอย่างที่ดีของกลศาสตร์ของการทดลองการศึกษาของ Restivo and van de Rijt ยังแสดงให้เห็นว่าโลจิสติกส์ของการทดลองแบบดิจิตอลสามารถแตกต่างไปจากการทดลองแบบอนาล็อกได้อย่างสมบูรณ์ ในการทดลองของ Restivo และ van de Rijt การมอบ barnstar ให้กับทุกคนเป็นเรื่องง่ายและสามารถติดตามผลการแก้ไขได้โดยง่ายในระยะเวลาอันยาวนาน (เนื่องจากประวัติการแก้ไขจะถูกบันทึกโดยวิกิพีเดียโดยอัตโนมัติ) ความสามารถในการส่งมอบการรักษาและผลการวัดที่ไม่มีค่าใช้จ่ายคุณภาพแตกต่างจากการทดลองในอดีตที่ผ่านมา ถึงแม้ว่าการทดลองนี้จะเกี่ยวข้องกับ 200 คน แต่ก็สามารถวิ่งได้ 2,000 หรือ 20,000 คน สิ่งสำคัญที่ทำให้นักวิจัยไม่สามารถปรับขนาดการทดสอบได้ 100 เท่าไม่เสียค่าใช้จ่าย มันเป็นจริยธรรม นั่นคือ Restivo และ van de Rijt ไม่ต้องการให้ Barnstars กับบรรณาธิการที่ไม่สมควรและพวกเขาไม่ต้องการให้การทดสอบของพวกเขาทำลายชุมชนวิกิพีเดีย (Restivo and Rijt 2012, 2014) ฉันจะกลับไปพิจารณาด้านจริยธรรมบางอย่างที่เกิดจากการทดลองในบทนี้และในบทที่ 6

สรุปได้ว่าการทดลองของ Restivo และ van de Rijt แสดงให้เห็นชัดเจนว่าในขณะที่ตรรกะพื้นฐานของการทดลองยังไม่เปลี่ยนไประบบโลจิสติกส์ของการทดลองในยุคดิจิตอลอาจแตกต่างกันอย่างมาก ต่อไปเพื่อแยกโอกาสที่สร้างขึ้นโดยการเปลี่ยนแปลงเหล่านี้อย่างชัดเจนฉันจะเปรียบเทียบการทดลองที่นักวิจัยสามารถทำได้ในขณะนี้กับชนิดของการทดลองที่ได้ทำในอดีต