4.5.2 สร้างการทดสอบของคุณเอง

การสร้างการทดสอบของคุณเองอาจจะมีค่าใช้จ่าย แต่มันจะช่วยให้คุณสามารถสร้างการทดสอบที่คุณต้องการ

นอกจากการซ้อนทับการทดสอบด้านบนของสภาพแวดล้อมที่มีอยู่แล้วคุณยังสามารถสร้างการทดสอบของคุณเองได้อีกด้วย ข้อได้เปรียบหลักของวิธีนี้คือการควบคุม หากคุณสร้างการทดสอบคุณสามารถสร้างสภาพแวดล้อมและการบำบัดที่คุณต้องการได้ สภาพแวดล้อมการทดลองที่สร้างขึ้นเองเหล่านี้สามารถสร้างโอกาสในการทดสอบทฤษฎีที่ไม่สามารถทดสอบได้ในสภาพแวดล้อมที่เกิดขึ้นตามธรรมชาติ ข้อเสียหลักของการสร้างการทดสอบของคุณเองก็คืออาจมีราคาแพงและสภาพแวดล้อมที่คุณสามารถสร้างได้อาจไม่มีความสมจริงของระบบที่เกิดขึ้นตามธรรมชาติ นักวิจัยสร้างการทดลองของตนเองจะต้องมีกลยุทธ์สำหรับการสรรหาผู้เข้าร่วมด้วย เมื่อทำงานในระบบที่มีอยู่นักวิจัยจะนำการทดลองไปให้ผู้เข้าอบรมเป็นหลัก แต่เมื่อนักวิจัยสร้างการทดลองของตนเองพวกเขาจะต้องนำผู้เข้าอบรมมาร่วมด้วย โชคดีที่บริการต่างๆเช่น Amazon Mechanical Turk (MTurk) สามารถให้นักวิจัยมีวิธีที่สะดวกในการนำผู้เข้าร่วมการทดลองไปใช้

ตัวอย่างหนึ่งที่แสดงถึงคุณธรรมของสภาพแวดล้อมที่เหมาะสำหรับการทดสอบทฤษฎีนามธรรมคือการทดลองในห้องทดลองดิจิทัลโดย Gregory Huber, Seth Hill และ Gabriel Lenz (2012) การทดลองครั้งนี้เป็นการสำรวจข้อ จำกัด ทางปฏิบัติที่เป็นไปได้ในการปฏิบัติหน้าที่ของระบอบประชาธิปไตย การศึกษาที่ไม่ใช่การทดลองก่อนหน้านี้เกี่ยวกับการเลือกตั้งที่เกิดขึ้นจริงชี้ให้เห็นว่าผู้มีสิทธิเลือกตั้งไม่สามารถประเมินผลการปฏิบัติงานของนักการเมืองที่ดำรงตำแหน่งได้อย่างถูกต้อง โดยเฉพาะอย่างยิ่งผู้มีสิทธิเลือกตั้งดูเหมือนจะประสบกับสามอคติ: (1) พวกเขามุ่งเน้นที่ผลการดำเนินงานล่าสุดมากกว่าผลสะสม (2) พวกเขาสามารถจัดการโดยวาทศาสตร์กรอบและการตลาด; และ (3) พวกเขาอาจได้รับอิทธิพลจากเหตุการณ์ที่ไม่เกี่ยวข้องกับการปฏิบัติหน้าที่ที่เกิดขึ้นเช่นความสำเร็จของทีมกีฬาท้องถิ่นและสภาพอากาศ อย่างไรก็ตามในการศึกษาก่อนหน้านี้อย่างไรก็ตามยากที่จะแยกแยะปัจจัยเหล่านี้ออกจากสิ่งอื่น ๆ ที่เกิดขึ้นในการเลือกตั้งที่ยุ่งเหยิงอย่างแท้จริง ดังนั้น Huber และเพื่อนร่วมงานจึงสร้างสภาพแวดล้อมในการลงคะแนนเสียงที่เรียบง่ายขึ้นเพื่อที่จะแยกออกจากกันและจากนั้นทำการทดลองทดลองแต่ละอคติสามประการนี้

ขณะที่ฉันอธิบายการตั้งค่าการทดลองด้านล่างนี้จะฟังดูประดิษฐ์ขึ้นมาก แต่อย่าลืมว่าความสมจริงไม่ใช่เป้าหมายในการทดลองในห้องทดลอง แต่เป้าหมายก็คือการแยกกระบวนการที่คุณกำลังพยายามศึกษาออกอย่างชัดเจนและการศึกษาแบบค่อยเป็นค่อยไปบางครั้งอาจเป็นไปไม่ได้ในการศึกษาที่มีความสมจริงมากกว่า (Falk and Heckman 2009) นอกจากนี้ในกรณีเฉพาะนี้นักวิจัยยังกล่าวอีกว่าหากผู้มีสิทธิเลือกตั้งไม่สามารถประเมินประสิทธิภาพได้อย่างมีประสิทธิภาพในการตั้งค่าที่เรียบง่ายนี้พวกเขาจะไม่สามารถทำสิ่งนี้ได้ในสภาพแวดล้อมที่สมจริงและซับซ้อนมากขึ้น

Huber และเพื่อนร่วมงานใช้ MTurk เพื่อรับสมัครผู้เข้าร่วม เมื่อผู้เข้าร่วมให้ความยินยอมที่ได้รับข้อมูลและผ่านการทดสอบแบบสั้น ๆ แล้วเธอได้รับแจ้งว่าเธอเข้าร่วมในเกมรอบ 32 รอบเพื่อรับเหรียญที่สามารถแปลงเป็นเงินจริงได้ ในช่วงเริ่มต้นของเกมผู้เข้าร่วมแต่ละคนได้รับแจ้งว่าเธอได้รับมอบหมายให้เป็น "ผู้จัดสรร" ที่จะให้ทุกครั้งที่มีการแจกจ่ายฟรีและผู้จัดสรรบางคนมีน้ำใจมากกว่าคนอื่น นอกจากนี้ผู้เข้าร่วมแต่ละคนก็บอกว่าเธอจะมีโอกาสที่จะให้ทั้งผู้จัดสรรของเธอหรือได้รับมอบหมายใหม่หลังจากรอบ 16 ของเกม จากสิ่งที่คุณรู้เกี่ยวกับเป้าหมายการวิจัยของ Huber และเพื่อนร่วมงานคุณจะเห็นได้ว่าผู้จัดสรรเป็นรัฐบาลและทางเลือกนี้เป็นการเลือกตั้ง แต่ผู้เข้าร่วมไม่ตระหนักถึงเป้าหมายทั่วไปของการวิจัย โดยรวมแล้ว Huber และเพื่อนร่วมงานได้รับคัดเลือกประมาณ 4,000 คนซึ่งได้รับเงินประมาณ 1.25 เหรียญสำหรับงานที่ใช้เวลาประมาณแปดนาที

จำได้ว่าข้อค้นพบจากการวิจัยก่อนหน้านี้ว่าผู้มีสิทธิเลือกตั้งได้รับรางวัลและลงโทษผู้ครอบครองตลาดเพื่อให้ได้ผลลัพธ์ที่ชัดเจนกว่าการควบคุมเช่นความสำเร็จของทีมกีฬาท้องถิ่นและสภาพอากาศ เพื่อประเมินว่าการตัดสินใจลงคะแนนเสียงของผู้เข้าร่วมประชุมอาจได้รับอิทธิพลจากเหตุการณ์สุ่มอย่างง่ายๆในการตั้งค่าของพวกเขาหรือไม่ Huber และเพื่อนร่วมงานได้เพิ่มการจับสลากในระบบการทดลองของพวกเขา ในรอบที่ 8 หรือรอบที่ 16 (เช่นก่อนจะมีโอกาสเปลี่ยนผู้จัดสรร) ผู้เข้าร่วมการแข่งขันถูกสุ่มวางไว้ในการจับสลากซึ่งบางคนได้รับรางวัล 5,000 คะแนนบางรางวัล 0 คะแนนและบางคนหายไป 5,000 คะแนน การจับสลากนี้มีวัตถุประสงค์เพื่อเลียนแบบข่าวดีหรือไม่ดีซึ่งเป็นอิสระจากผลการปฏิบัติงานของนักการเมือง แม้ว่าผู้เข้าร่วมจะได้รับแจ้งอย่างชัดเจนว่าการจับสลากนั้นไม่เกี่ยวข้องกับผลงานของผู้จัดสรร แต่ผลของการจับสลากยังส่งผลต่อการตัดสินใจของผู้เข้าร่วม ผู้เข้าร่วมที่ได้รับประโยชน์จากการจับสลากมีแนวโน้มที่จะให้ผู้จัดสรรของพวกเขาและผลกระทบนี้ก็ยิ่งแข็งแกร่งขึ้นเมื่อการจับสลากเกิดขึ้นในรอบ 16 สิทธิ์ก่อนที่จะตัดสินใจแทนมากกว่าเมื่อมันเกิดขึ้นในรอบ 8 (รูปที่ 4.15) ผลลัพท์เหล่านี้พร้อมกับการทดลองอื่น ๆ อีกหลายเรื่องที่นำไปสู่ ​​Huber และเพื่อนร่วมงานสรุปได้ว่าแม้ในการตั้งค่าที่เรียบง่ายผู้มีสิทธิออกเสียงมีปัญหาในการตัดสินใจอย่างชาญฉลาดผลที่ได้รับผลกระทบต่อการวิจัยในอนาคตเกี่ยวกับการตัดสินใจของผู้มีสิทธิเลือกตั้ง (Healy and Malhotra 2013) . การทดลองของ Huber และเพื่อนร่วมงานแสดงให้เห็นว่าสามารถใช้ MTurk เพื่อรับสมัครผู้เข้าร่วมการทดลองในห้องทดลองเพื่อทดสอบทฤษฎีอย่างเฉพาะเจาะจงได้อย่างแม่นยำ นอกจากนี้ยังแสดงให้เห็นถึงคุณค่าของการสร้างสภาพแวดล้อมการทดลองของคุณเองด้วยเช่นกัน: ยากที่จะจินตนาการว่ากระบวนการเดียวกันนี้สามารถแยกได้อย่างชัดเจนในทุกๆการตั้งค่าใด ๆ

รูปที่ 4.15: ผลจาก Huber, Hill, and Lenz (2012) ผู้เข้าร่วมที่ได้รับประโยชน์จากการจับสลากมีแนวโน้มที่จะรักษาผู้จัดสรรของพวกเขาและผลกระทบนี้ได้มากขึ้นเมื่อการจับสลากเกิดขึ้นในรอบ 16 ด้านขวาก่อนที่จะตัดสินใจแทนกว่าเมื่อมันเกิดขึ้นในรอบ 8 ปรับตัวมาจาก Huber, Hill, and Lenz (2012) รูปที่ 5

นอกเหนือจากการสร้างการทดลองในห้องทดลองแล้วนักวิจัยยังสามารถสร้างการทดลองที่มีลักษณะคล้ายสนามมากขึ้น ตัวอย่างเช่น Centola (2010) สร้างการทดลองด้านดิจิทัลเพื่อศึกษาผลกระทบของโครงสร้างเครือข่ายทางสังคมต่อการแพร่กระจายของพฤติกรรม คำถามการวิจัยของเขาทำให้เขาต้องสังเกตพฤติกรรมเช่นเดียวกันกับการกระจายตัวของประชากรที่มีโครงสร้างเครือข่ายทางสังคมที่แตกต่างกัน แต่ก็ไม่สามารถแยกแยะได้ วิธีเดียวที่จะทำเช่นนี้ก็คือการทดสอบแบบกำหนดเองตามความต้องการ ในกรณีนี้ Centola สร้างชุมชนด้านสุขภาพบนเว็บ

Centola ได้รับคัดเลือกประมาณ 1,500 คนผ่านการโฆษณาในเว็บไซต์สุขภาพ เมื่อผู้เข้าอบรมเข้ามาในชุมชนออนไลน์ซึ่งเรียกว่า Healthy Lifestyle Network พวกเขาได้ให้ความยินยอมและได้รับมอบหมายจากเพื่อนสุขภาพเพราะ Centola ได้มอบหมายให้เพื่อนสุขภาพเหล่านี้เขาสามารถที่จะรวมโครงสร้างเครือข่ายทางสังคมที่แตกต่างกันได้ กลุ่มที่แตกต่างกัน บางกลุ่มถูกสร้างขึ้นเพื่อมีเครือข่ายแบบสุ่ม (ซึ่งทุกคนมีแนวโน้มที่จะเชื่อมต่อกันอย่างเท่าเทียมกัน) ในขณะที่กลุ่มอื่น ๆ สร้างขึ้นเพื่อมีเครือข่ายแบบคลัสเตอร์ (ที่มีการเชื่อมต่ออยู่หนาแน่นเฉพาะ) จากนั้น Centola ได้แนะนำพฤติกรรมใหม่ในแต่ละเครือข่าย: โอกาสในการลงทะเบียนเว็บไซต์ใหม่พร้อมข้อมูลด้านสุขภาพเพิ่มเติม เมื่อใดก็ตามที่ใครก็ตามที่ลงชื่อสมัครใช้เว็บไซต์ใหม่นี้เพื่อน ๆ ทุกคนที่สุขภาพของเธอได้รับอีเมลแจ้งพฤติกรรมนี้ Centola พบว่าการลงชื่อสมัครใช้เว็บไซต์ใหม่นี้แพร่กระจายไปในเครือข่ายคลัสเตอร์ได้ง่ายกว่าในเครือข่ายแบบสุ่มผลการค้นหาที่ขัดแย้งกับทฤษฎีบางอย่างที่มีอยู่

โดยรวมการสร้างการทดสอบของคุณเองทำให้คุณสามารถควบคุมได้มากขึ้น ช่วยให้คุณสามารถสร้างสภาพแวดล้อมที่ดีที่สุดเท่าที่จะเป็นไปได้ในการแยกแยะสิ่งที่คุณต้องการเรียน เป็นการยากที่จะจินตนาการได้ว่าการทดลองทั้งสองครั้งที่ฉันได้อธิบายไว้ได้ถูกนำมาใช้ในสภาพแวดล้อมที่มีอยู่แล้วหรือไม่ นอกจากนี้การสร้างระบบของคุณเองลดความกังวลเกี่ยวกับจริยธรรมเกี่ยวกับการทดลองในระบบที่มีอยู่ เมื่อคุณสร้างการทดสอบของคุณเองคุณจะประสบปัญหาหลายอย่างที่พบในการทดลองในห้องทดลอง: การสรรหาผู้เข้าร่วมและข้อกังวลเกี่ยวกับความสมจริง ข้อเสียสุดท้ายคือการสร้างการทดสอบของคุณเองอาจเป็นค่าใช้จ่ายและใช้เวลานานแม้ว่าจะเป็นตัวอย่างเหล่านี้การทดลองอาจมีตั้งแต่สภาพแวดล้อมที่ค่อนข้างง่าย (เช่นการศึกษาการลงคะแนนโดย Huber, Hill, and Lenz (2012) ) กับสภาพแวดล้อมที่ค่อนข้างซับซ้อน (เช่นการศึกษาเครือข่ายและการแพร่กระจายของ Centola (2010) )