4.5.1.2 สร้างการทดสอบของคุณเอง

การสร้างการทดสอบของคุณเองอาจจะมีค่าใช้จ่าย แต่มันจะช่วยให้คุณสามารถสร้างการทดสอบที่คุณต้องการ

นอกเหนือไปจากการทดลองซ้อนทับอยู่ด้านบนของสภาพแวดล้อมที่มีอยู่คุณยังสามารถสร้างการทดสอบของคุณเอง ประโยชน์หลักของวิธีนี้คือการควบคุม ถ้าคุณกำลังสร้างการทดสอบคุณสามารถสร้างสภาพแวดล้อมและการรักษาที่คุณต้องการ สภาพแวดล้อมเหล่านี้ bespoke ทดลองสามารถสร้างโอกาสที่จะทดสอบทฤษฎีที่เป็นไปไม่ได้ที่จะทดสอบในสภาพแวดล้อมที่เกิดขึ้นตามธรรมชาติ ข้อบกพร่องหลักของการสร้างการทดสอบของคุณเองว่ามันจะมีราคาแพงและว่าสภาพแวดล้อมที่คุณสามารถที่จะสร้างไม่อาจมีความสมจริงของระบบที่เกิดขึ้นตามธรรมชาติ นักวิจัยทดลองสร้างตัวเองของพวกเขายังจะต้องมีกลยุทธ์ในการสรรหาผู้เข้าร่วม เมื่อทำงานในระบบที่มีอยู่เป็นหลักนักวิจัยนำการทดลองกับผู้เข้าร่วมของพวกเขา แต่เมื่อนักวิจัยสร้างการทดลองของตัวเองที่พวกเขาต้องการที่จะนำเข้าร่วมกับมัน โชคดีที่การให้บริการเช่น Amazon Mechanical Turk (MTurk) สามารถให้นักวิจัยเป็นวิธีที่สะดวกที่จะนำผู้เข้าร่วมการทดลองของพวกเขา

ตัวอย่างหนึ่งที่แสดงให้เห็นคุณค่าของสภาพแวดล้อม bespoke สำหรับการทดสอบทฤษฎีนามธรรมคือการทดลองในห้องปฏิบัติการดิจิตอลเกรกอรีฮิวเซทฮิลล์และกาเบรียลพร (2012) การทดลองสำรวจข้อ จำกัด ในทางปฏิบัติเป็นไปได้ในการทำงานของธรรมาภิประชาธิปไตย การศึกษาไม่ใช่การทดลองก่อนหน้านี้ที่เกิดขึ้นจริงของการเลือกตั้งชี้ให้เห็นว่าผู้มีสิทธิเลือกตั้งไม่สามารถที่จะต้องประเมินผลการปฏิบัติงานของนักการเมืองผู้ดำรงตำแหน่ง โดยเฉพาะอย่างยิ่งผู้มีสิทธิเลือกตั้งปรากฏว่าประสบจากสามอคติ: 1) ที่ผ่านมามุ่งเน้นไปที่ประสิทธิภาพมากกว่าการสะสม 2) manipulatable โดยสำนวนกรอบและการตลาด; และ 3) ได้รับอิทธิพลจากเหตุการณ์ที่ไม่เกี่ยวข้องกับการปฏิบัติหน้าที่เช่นความสำเร็จของทีมกีฬาท้องถิ่นและสภาพอากาศ ในการศึกษาก่อนหน้านี้ แต่มันเป็นเรื่องยากที่จะแยกใด ๆ ของปัจจัยเหล่านี้จากทุกสิ่งอื่น ๆ ที่เกิดขึ้นจริงในการเลือกตั้งยุ่ง ดังนั้นฮิวและเพื่อนร่วมงานสร้างสภาพแวดล้อมที่มีการลงคะแนนอย่างง่ายในการสั่งซื้อเพื่อแยกและจากนั้นทดลองศึกษาแต่ละแห่งที่สามเหล่านี้ทำให้เกิดอคติที่เป็นไปได้

ขณะที่ผมอธิบายการทดลองการตั้งค่าดังต่อไปนี้มันเป็นไปเสียงเทียมมาก แต่จำไว้ว่าความสมจริงไม่ได้เป็นเป้าหมายในการทดลองในห้องปฏิบัติการสไตล์ แต่เป้าหมายคือการแยกอย่างชัดเจนกระบวนการที่คุณกำลังพยายามที่จะศึกษาและนี่แยกแน่นบางครั้งก็เป็นไปไม่ได้ในการศึกษาที่มีความสมจริงมากขึ้น (Falk and Heckman 2009) นอกจากนี้ในกรณีนี้โดยเฉพาะอย่างยิ่งนักวิจัยที่ถกเถียงกันอยู่ว่าถ้าผู้มีสิทธิเลือกตั้งไม่สามารถมีประสิทธิภาพในการประเมินผลการปฏิบัติงานในการตั้งค่าอย่างง่ายนี้แล้วพวกเขาก็จะไม่ได้ไปจะสามารถที่จะทำมันในที่สมจริงมากขึ้น, การตั้งค่าที่ซับซ้อนมากขึ้น

ฮิวและเพื่อนร่วมงานใช้เครื่องจักรนักรบเติร์ก (MTurk) ที่จะรับสมัครผู้เข้าร่วม เมื่อผู้เข้าร่วมที่มีให้ความยินยอมและผ่านการทดสอบระยะสั้นเธอบอกว่าเธอมีส่วนร่วมในเกมรอบ 32 จะได้รับราชสกุลที่สามารถแปลงเป็นเงินจริง ที่จุดเริ่มต้นของเกมที่เข้าร่วมแต่ละคนก็บอกว่าเธอได้รับมอบหมายให้เป็น "จัดสรร" ที่จะให้ราชสกุลว่างของเธอแต่ละรอบและ allocators บางคนใจกว้างมากขึ้นกว่าคนอื่น ๆ นอกจากนี้ผู้เข้าร่วมแต่ละคนยังบอกว่าเธอจะมีโอกาสที่จะเลือกที่จะจัดสรรหรือเธอได้รับมอบหมายใหม่หลังจากวันที่ 16 รอบของเกม ให้สิ่งที่คุณรู้เกี่ยวกับฮิวและเพื่อนร่วมงาน 'เป้าหมายการวิจัยคุณสามารถเห็นได้ว่าการจัดสรรหมายถึงรัฐบาลและทางเลือกนี้แสดงให้เห็นถึงการเลือกตั้ง แต่ผู้เข้าร่วมไม่ได้ตระหนักถึงเป้าหมายทั่วไปของการวิจัย รวมฮิวและเพื่อนร่วมงานได้รับคัดเลือกเข้าร่วมประมาณ 4,000 คนที่ได้รับเงินประมาณ $ 1.25 สำหรับงานที่ใช้เวลาประมาณ 8 นาที

จำได้ว่าหนึ่งในการค้นพบจากการวิจัยก่อนหน้านี้คือการที่ผู้มีสิทธิเลือกตั้งให้รางวัลและลงโทษผู้ครอบครองตลาดสำหรับผลลัพธ์ที่เห็นได้ชัดว่าอยู่นอกเหนือการควบคุมของพวกเขาเช่นความสำเร็จของทีมกีฬาท้องถิ่นและสภาพอากาศ เพื่อประเมินว่าการตัดสินใจเข้าร่วมในการออกเสียงเลือกตั้งจะได้รับอิทธิพลจากเหตุการณ์สุ่มหมดจดในการตั้งค่าของพวกเขาฮิวและเพื่อนร่วมงานจับสลากเพิ่มไปยังระบบการทดลองของพวกเขา ที่ทั้งรอบ 8 หรือรอบที่ 16 (คือขวาก่อนที่จะมีโอกาสที่จะเปลี่ยนจัดสรร) ที่เข้าร่วมถูกวางสุ่มในการจับสลากที่บางส่วนได้รับรางวัล 5000 จุดบางชนะ 0 คะแนนและบางส่วนหายไป 5000 จุด การจับสลากครั้งนี้มีวัตถุประสงค์เพื่อเลียนแบบข่าวที่ดีหรือไม่ดีที่เป็นอิสระจากประสิทธิภาพการทำงานของนักการเมือง แม้ว่าผู้เข้าร่วมได้บอกอย่างชัดเจนว่าการจับสลากก็ไม่เกี่ยวข้องกับประสิทธิภาพการทำงานของพวกเขาจัดสรรผลของการจับสลากยังคงส่งผลกระทบต่อการตัดสินใจของผู้เข้าร่วม ผู้เข้าร่วมกิจกรรมที่ได้รับประโยชน์จากการจับสลากมีแนวโน้มที่จะให้จัดสรรของพวกเขาและผลกระทบนี้ได้ดีเมื่อจับสลากที่เกิดขึ้นในรอบ 16 ขวาก่อนที่จะเปลี่ยนการตัดสินใจกว่าเมื่อมันเกิดขึ้นในรอบ 8 (รูปที่ 4.14) ผลเหล่านี้พร้อมกับผลการทดลองอื่น ๆ อีกหลายในกระดาษนำฮิวและเพื่อนร่วมงานที่จะสรุปได้ว่าแม้ในการตั้งค่าง่ายผู้มีสิทธิเลือกตั้งมีความยากลำบากในการตัดสินใจที่ชาญฉลาดผลที่ส่งผลกระทบต่อการวิจัยในอนาคตเกี่ยวกับการตัดสินใจของผู้มีสิทธิเลือกตั้ง (Healy and Malhotra 2013) การทดลองของฮิวและเพื่อนร่วมงานแสดงให้เห็นว่า MTurk สามารถนำมาใช้ในการรับสมัครผู้เข้าร่วมการทดลองในห้องปฏิบัติการสไตล์ได้อย่างแม่นยำทดสอบทฤษฎีที่เฉพาะเจาะจงมาก นอกจากนี้ยังแสดงให้เห็นถึงคุณค่าของการสร้างสภาพแวดล้อมการทดลองของคุณเอง: มันเป็นเรื่องยากที่จะจินตนาการว่ากระบวนการเดียวกันเหล่านี้อาจได้รับการแยกเพื่อให้หมดจดในการตั้งค่าอื่น ๆ

รูปที่ 4.14: ผลจากการ Huber, Hill, and Lenz (2012) ผู้เข้าร่วมกิจกรรมที่ได้รับประโยชน์จากการจับสลากมีแนวโน้มที่จะยังคงมีการจัดสรรของพวกเขาและผลกระทบนี้ได้ดีเมื่อจับสลากที่เกิดขึ้นในรอบ 16 ขวาก่อนที่จะเปลี่ยนการตัดสินใจกว่าเมื่อมันเกิดขึ้นในรอบ 8

นอกจากนี้ในการสร้างห้องทดลองเหมือนนักวิจัยยังสามารถสร้างการทดลองที่มีข้อมูลมากขึ้นเหมือน ยกตัวอย่างเช่น Centola (2010) สร้างทดลองดิจิตอลเพื่อศึกษาผลกระทบของโครงสร้างเครือข่ายทางสังคมในการแพร่กระจายของพฤติกรรมที่ คำถามการวิจัยของเขาเขาจะต้องสังเกตพฤติกรรมเดียวกันการแพร่กระจายของประชากรที่มีโครงสร้างเครือข่ายทางสังคมที่แตกต่างกัน แต่ก็ไม่สามารถแยกออกเป็นอย่างอื่น วิธีเดียวที่จะทำเช่นนี้ก็มี bespoke ทดลองที่สร้างขึ้นเอง ในกรณีนี้ Centola สร้างสุขภาพชุมชน web-based

Centola ได้รับคัดเลือกเข้าร่วมประมาณ 1,500 กับการโฆษณาบนเว็บไซต์สุขภาพ เข้าร่วมเมื่อมาถึงที่ชุมชนที่ออนไลน์ที่เรียกว่าไลฟ์สไตล์สุขภาพเครือข่ายพวกเขาให้ความยินยอมและจากนั้นได้รับมอบหมาย "เพื่อนสุขภาพ." เนื่องจากวิธีการ Centola มอบหมายเพื่อนสุขภาพเหล่านี้เขาก็สามารถที่จะถักโครงสร้างเครือข่ายทางสังคมที่แตกต่างกันเข้าด้วยกันในที่แตกต่างกัน กลุ่ม บางกลุ่มที่ถูกสร้างขึ้นจะมีเครือข่ายแบบสุ่ม (ที่ทุกคนก็น่าจะเป็นอย่างเท่าเทียมกันที่จะเชื่อมต่อ) และกลุ่มอื่น ๆ ที่ถูกสร้างขึ้นเพื่อให้มีเครือข่ายคลัสเตอร์ (ที่เชื่อมต่อมีมากขึ้นในประเทศที่มีความหนาแน่น) จากนั้น Centola แนะนำพฤติกรรมใหม่ในแต่ละเครือข่ายมีโอกาสที่จะลงทะเบียนสำหรับเว็บไซต์ใหม่ที่มีข้อมูลสุขภาพเพิ่มเติม เมื่อใดก็ตามที่ทุกคนลงทะเบียนสำหรับเว็บไซต์ใหม่นี้ทั้งหมดของเพื่อนสุขภาพของเธอได้รับอีเมลประกาศพฤติกรรมนี้ Centola นี้พบว่าพฤติกรรมการลงนามขึ้นใหม่เว็บไซต์แพร่กระจายต่อไปและเร็วขึ้นในเครือข่ายคลัสเตอร์กว่าเครือข่ายแบบสุ่มพบว่าตรงกันข้ามกับทฤษฎีที่มีอยู่บางส่วน

โดยรวม, การสร้างการทดสอบของคุณเองช่วยให้คุณควบคุมมากขึ้น; ช่วยให้คุณสามารถสร้างสภาพแวดล้อมที่ดีที่สุดในการแยกสิ่งที่คุณต้องการที่จะศึกษา มันเป็นเรื่องยากที่จะจินตนาการว่าอย่างใดอย่างหนึ่งของการทดลองเหล่านี้จะได้รับการดำเนินการในสภาพแวดล้อมที่มีอยู่แล้ว นอกจากนี้การสร้างระบบของตัวเองลดลงจริยธรรมรอบทดลองในระบบที่มีอยู่ เมื่อคุณสร้างการทดสอบของคุณเอง แต่คุณทำงานในหลายปัญหาที่พบในการทดลองในห้องปฏิบัติการ: ผู้เข้าร่วมการสรรหาและความกังวลเกี่ยวกับความสมจริง ข้อเสียสุดท้ายคือว่าการสร้างการทดสอบของคุณเองได้ค่าใช้จ่ายและใช้เวลานานแม้จะเป็นตัวอย่างเหล่านี้แสดงให้เห็นการทดลองสามารถช่วงจากสภาพแวดล้อมที่ค่อนข้างง่าย (เช่นการศึกษาของการลงคะแนนโดย Huber, Hill, and Lenz (2012) ) เพื่อ สภาพแวดล้อมที่ค่อนข้างซับซ้อน (เช่นการศึกษาของเครือข่ายและการติดเชื้อโดย Centola (2010) )