4.2 อะไรคือการทดลอง?

สุ่มทดลองควบคุมมีสี่ส่วนผสมหลัก: การรับสมัครผู้เข้าร่วมการสุ่มของการรักษาและการส่งมอบของการรักษาและการวัดผลลัพธ์

สุ่มทดลองควบคุมได้หลายรูปแบบและสามารถนำมาใช้ในการศึกษาหลายประเภทของพฤติกรรม แต่ในหลักของพวกเขาสุ่มทดลองควบคุมมีสี่ส่วนผสมหลัก: การรับสมัครผู้เข้าร่วมการสุ่มของการรักษาและการส่งมอบของการรักษาและการวัดผลลัพธ์ ยุคดิจิตอลไม่ได้เปลี่ยนลักษณะพื้นฐานของการทดลอง แต่จะทำให้พวกเขาได้ง่ายขึ้น logistically ยกตัวอย่างเช่นในอดีตที่ผ่านมามันอาจจะเป็นเรื่องยากที่จะวัดพฤติกรรมของผู้คนนับล้าน แต่ที่ตอนนี้เป็นประจำที่เกิดขึ้นในระบบดิจิตอลจำนวนมาก นักวิจัยที่สามารถคิดออกว่าจะใช้ประโยชน์จากโอกาสใหม่ ๆ เหล่านี้จะสามารถที่จะดำเนินการทดสอบที่เป็นไปไม่ได้ก่อนหน้านี้

ที่จะทำให้ทุกบิตคอนกรีตมากขึ้นทั้งสิ่งที่มีอยู่เหมือนกันและสิ่งที่มีการเปลี่ยนแปลง-ขอพิจารณาไมเคิล Restivo และ Arnout แวนเดอ Rijt ของ (2012) นักวิจัยต้องการที่จะเข้าใจถึงผลกระทบของรางวัลเพียร์อย่างไม่เป็นทางการผลงานบรรณาธิการวิกิพีเดีย โดยเฉพาะอย่างยิ่งพวกเขาศึกษาผลกระทบของการ barnstars ที่ได้รับรางวัลที่วิกิพีเดียใด ๆ สามารถมอบให้กับวิกิพีเดียอื่น ๆ เพื่อรับทราบการทำงานอย่างหนักและความขยันเนื่องจาก Restivo และแวนเดอ Rijt ให้ barnstars 100 วิกิพีเดียที่สมควรได้รับ จากนั้น Restivo และแวนเดอ Rijt ติดตามผลงานต่อมาของผู้รับวิกิพีเดียในรอบ 90 วันถัดไป แปลกใจมากที่พวกเขาคนที่พวกเขาได้รับรางวัล barnstars มีแนวโน้มที่จะทำการแก้ไขน้อยลงหลังจากที่ได้รับอย่างใดอย่างหนึ่ง ในคำอื่น ๆ barnstars ดูเหมือนจะท้อใจมากกว่าการส่งเสริมการมีส่วนร่วม

โชคดีที่ Restivo และแวนเดอ Rijt ไม่ได้ทำงาน "รบกวนและสังเกต" ทดลอง; พวกเขาถูกเรียกใช้การทดสอบแบบสุ่ม ดังนั้นนอกเหนือจากการเลือก 100 ร่วมสมทบด้านบนจะได้รับยุ้งข้าวที่พวกเขาก็หยิบ 100 ร่วมสมทบด้านบนเพื่อที่พวกเขาไม่ได้ให้ยุ้งข้าว เหล่านี้ร้อยทำหน้าที่เป็นกลุ่มควบคุมและผู้ที่มียุ้งข้าวและผู้ที่ไม่ได้ถูกกำหนดโดยการสุ่ม เมื่อ Restivo และแวนเดอ Rijt มองไปที่กลุ่มควบคุมที่พวกเขาพบว่ามันมีการลดลงที่สูงชันในผลงานมากเกินไป สุดท้ายเมื่อนักวิจัยเปรียบเทียบคนที่อยู่ในกลุ่มการรักษา (เช่นได้รับ barnstars) และคนที่อยู่ในกลุ่มควบคุมที่พวกเขาพบว่ายุ้งข้าวที่เกิดจากบรรณาธิการจะมีส่วนร่วมมากขึ้นประมาณ 60% แต่เพิ่มขึ้นในผลงานที่กำลังเกิดขึ้นเป็นส่วนหนึ่งของการลดลงโดยรวมในทั้งสองกลุ่ม

ขณะที่การศึกษานี้แสดงให้เห็นถึงกลุ่มควบคุมในการทดลองเป็นสิ่งสำคัญในทางที่ค่อนข้างขัดแย้ง เพื่อที่จะแม่นยำในการวัดผลของ barnstars ที่ Restivo และแวนเดอร์ Rijt จำเป็นที่จะสังเกตเห็นว่าคนที่ไม่ได้รับ barnstars นักวิจัยหลายครั้งที่ไม่คุ้นเคยกับการทดสอบล้มเหลวที่จะขอบคุณค่าที่น่าทึ่งของกลุ่มควบคุม หาก Restivo และแวนเดอ Rijt ไม่ได้มีกลุ่มควบคุมที่พวกเขาจะได้วาดว่าข้อสรุปที่ไม่ถูกต้อง กลุ่มควบคุมที่มีความสำคัญเพื่อให้ซีอีโอของ บริษัท คาสิโนรายใหญ่ได้กล่าวว่ามีเพียงสามวิธีที่พนักงานสามารถถูกไล่ออกจาก บริษัท ของเขาขโมยล่วงละเมิดทางเพศและเรียกใช้การทดสอบโดยไม่ต้องกลุ่มควบคุม (Schrage 2011)

Restivo และแวนเดอ Rijt ของการศึกษาแสดงให้เห็นถึงสี่ส่วนผสมหลักของการทดลอง: การรับสมัครการสุ่มแทรกแซงและผลลัพธ์ ร่วมกันทั้งสี่ส่วนผสมทำให้นักวิทยาศาสตร์สามารถย้ายที่อยู่นอกเหนือความสัมพันธ์และวัดผลที่เป็นสาเหตุของการรักษา โดยเฉพาะการสุ่มหมายความว่าเมื่อคุณเปรียบเทียบผลสำหรับกลุ่มการรักษาและการควบคุมที่คุณได้รับการประมาณการของผลกระทบที่เป็นสาเหตุของการแทรกแซงที่สำหรับการตั้งค่าของผู้เข้าร่วมที่ ในคำอื่น ๆ ที่มีการควบคุมการทดลองสุ่มคุณสามารถมั่นใจได้ว่าความแตกต่างใด ๆ ในผลที่เกิดจากการแทรกแซงและไม่ได้เป็นปัจจัยรบกวนอ้างว่าฉันจะทำให้ได้อย่างแม่นยำในภาคผนวกเทคนิคการใช้กรอบผลลัพธ์ที่มีศักยภาพ

นอกจากจะเป็นตัวอย่างที่ดีของกลไกของการทดลองและ Restivo แวนเดอ Rijt ของการศึกษายังแสดงให้เห็นว่าโลจิสติกของการทดลองดิจิตอลที่สามารถแตกต่างอย่างสิ้นเชิงจากการทดลองแบบอะนาล็อก ใน Restivo และการทดสอบแวนเดอ Rijt ของมันเป็นเรื่องง่ายที่จะให้ยุ้งข้าวเพื่อทุกคนในโลกและมันก็ง่ายต่อการติดตามผล-จำนวนการแก้ไขมากกว่าการขยายระยะเวลา (เพราะแก้ไขประวัติศาสตร์จะถูกบันทึกไว้โดยอัตโนมัติจากวิกิพีเดีย) ความสามารถในการส่งมอบการรักษาและผลการวัดที่ไม่มีค่าใช้จ่ายคุณภาพแตกต่างจากการทดลองในอดีตที่ผ่านมา แม้ว่าการทดลองนี้มีส่วนร่วม 200 คนก็จะได้รับการทำงานกับ 2,000 หรือ 20,000 คน สิ่งที่สำคัญป้องกันนักวิจัยจากการปรับค่าการทดสอบของพวกเขาโดยปัจจัยที่ 100 ก็ไม่เสียค่าใช้จ่ายมันเป็นจริยธรรม นั่นคือ Restivo และแวนเดอ Rijt ไม่ได้ต้องการที่จะให้ barnstars ถึงบรรณาธิการที่ไม่สมควรและพวกเขาไม่ต้องการให้การทดสอบของพวกเขาที่จะทำลายชุมชนวิกิพีเดีย (Restivo and Rijt 2012; Restivo and Rijt 2014) ดังนั้นแม้ว่าการทดลองของ Restivo และแวนเดอ Rijt ที่ค่อนข้างง่ายก็แสดงให้เห็นชัดเจนว่าบางสิ่งบางอย่างเกี่ยวกับการทดสอบได้อยู่เหมือนกันและบางส่วนมีการเปลี่ยนแปลง โดยเฉพาะอย่างยิ่งตรรกะพื้นฐานของการทดลองคือเดียวกัน แต่จิสติกส์ที่มีการเปลี่ยนแปลง ถัดไปเพื่อที่จะแยกได้ชัดเจนมากขึ้นโอกาสที่สร้างขึ้นจากการเปลี่ยนแปลงนี้ผมจะเปรียบเทียบการทดลองที่นักวิจัยสามารถทำได้ตอนนี้ชนิดของการทดลองที่ได้รับการกระทำในอดีต