4.6.1 สร้างศูนย์ข้อมูลต้นทุนผันแปร

กุญแจสำคัญในการทำงานการทดลองขนาดใหญ่คือการขับรถต้นทุนผันแปรของคุณให้เป็นศูนย์ วิธีที่ดีที่สุดที่จะทำนี้ระบบอัตโนมัติและการออกแบบการทดลองสนุก

การทดลองดิจิตอลสามารถมีโครงสร้างต้นทุนที่แตกต่างกันอย่างมากและนี้จะช่วยให้นักวิจัยที่จะใช้การทดสอบว่าเป็นไปไม่ได้ในอดีต โดยเฉพาะอย่างยิ่งการทดลองโดยทั่วไปมีสองประเภทหลักของค่าใช้จ่าย:. ต้นทุนคงที่และต้นทุนผันแปรต้นทุนคงที่มีค่าใช้จ่ายที่ไม่เปลี่ยนแปลงขึ้นอยู่กับจำนวนผู้เข้าร่วมที่คุณมี ยกตัวอย่างเช่นในการทดลองในห้องปฏิบัติการต้นทุนคงที่อาจจะมีค่าใช้จ่ายของการให้เช่าพื้นที่และการซื้อเฟอร์นิเจอร์. ต้นทุนผันแปรในมืออื่น ๆ การเปลี่ยนแปลงขึ้นอยู่กับจำนวนผู้เข้าร่วมที่คุณมี ยกตัวอย่างเช่นในการทดลองในห้องปฏิบัติการต้นทุนผันแปรอาจจะมาจากเจ้าหน้าที่และผู้เข้าร่วมการจ่ายเงิน โดยทั่วไปแล้วการทดลองแบบอะนาล็อกมีค่าใช้จ่ายต่ำคงที่และต้นทุนผันแปรสูงและการทดลองดิจิตอลมีต้นทุนคงที่สูงและต้นทุนผันแปรต่ำ (รูปที่ 4.18) ด้วยการออกแบบที่เหมาะสมคุณสามารถขับรถค่าใช้จ่ายตัวแปรของการทดสอบทุกทางที่จะเป็นศูนย์และนี้สามารถสร้างโอกาสในการวิจัยที่น่าตื่นเต้น

รูปที่ 4.18: แผนผังของโครงสร้างต้นทุนในแบบอะนาล็อกและดิจิตอลทดลอง โดยทั่วไปแล้วการทดลองแบบอะนาล็อกมีค่าใช้จ่ายต่ำคงที่และต้นทุนผันแปรสูงในขณะที่การทดลองดิจิตอลมีต้นทุนคงที่สูงและต้นทุนผันแปรต่ำ โครงสร้างค่าใช้จ่ายที่แตกต่างกันหมายความว่าการทดลองดิจิตอลสามารถทำงานในระดับที่เป็นไปไม่ได้กับการทดลองอนาล็อก

มีสององค์ประกอบหลักของค่าใช้จ่ายในการชำระเงินให้กับเจ้าหน้าที่ตัวแปรและการชำระเงินมีส่วนร่วมและแต่ละเหล่านี้สามารถขับเคลื่อนให้เป็นศูนย์การใช้กลยุทธ์ที่แตกต่างกัน การชำระเงินให้กับเจ้าหน้าที่ต้นกำเนิดจากการทำงานที่ช่วยวิจัยไม่เข้าร่วมการสรรหา, การส่งมอบการรักษาและการวัดผลลัพธ์ ยกตัวอย่างเช่นการทดลองแบบอะนาล็อกของชูลท์ซและเพื่อนร่วมงาน (2007) บนบรรทัดฐานของสังคมและไฟฟ้าใช้งานจำเป็นต้องใช้ผู้ช่วยนักวิจัยที่จะเดินทางไปในแต่ละบ้านที่จะส่งมอบการรักษาและอ่านมิเตอร์ไฟฟ้า (รูปที่ 4.3) ทั้งหมดของความพยายามนี้โดยผู้ช่วยนักวิจัยหมายถึงว่าการเพิ่มของใช้ในครัวเรือนใหม่เพื่อการศึกษาจะมีการเพิ่มค่าใช้จ่าย ในทางกลับกันสำหรับการทดสอบข้อมูลดิจิตอลของ Restivo และแวนเดอ Rijt (2012) เกี่ยวกับผลตอบแทนในวิกิพีเดียนักวิจัยสามารถเพิ่มผู้เข้าร่วมมากขึ้นในแทบไม่มีค่าใช้จ่าย กลยุทธ์ทั่วไปสำหรับการลดค่าใช้จ่ายในการบริหารตัวแปรคือการเปลี่ยนการทำงานของมนุษย์ (ซึ่งมีราคาแพง) กับการทำงานของคอมพิวเตอร์ (ซึ่งเป็นราคาถูก) ประมาณคุณสามารถถามตัวเอง: การทดลองนี้สามารถทำงานในขณะที่ทุกคนในทีมวิจัยของฉันกำลังนอนหลับ? ถ้าคำตอบคือใช่คุณได้ทำผลงานยอดเยี่ยมของระบบอัตโนมัติ

ที่สองประเภทหลักของต้นทุนผันแปรคือชำระเงินให้กับผู้เข้าร่วม นักวิจัยบางคนได้ใช้เครื่องจักรนักรบเติร์กและตลาดแรงงานออนไลน์อื่น ๆ เพื่อลดการชำระเงินที่มีความจำเป็นสำหรับผู้เข้าร่วม เพื่อผลักดันให้ต้นทุนผันแปรทุกทางที่จะเป็นศูนย์ แต่วิธีการที่แตกต่างกันเป็นสิ่งจำเป็น เป็นเวลานานนักวิจัยได้รับการออกแบบการทดลองที่น่าเบื่อพวกเขาต้องจ่ายให้คนที่จะเข้าร่วม แต่สิ่งที่ถ้าคุณสามารถสร้างการทดสอบที่คนต้องการที่จะอยู่ในอยู่แล้ว? นี้อาจจะไกลเรียก แต่ฉันจะให้คุณตัวอย่างด้านล่างจากการทำงานของตัวเองและมีตัวอย่างอื่น ๆ อีกมากมายในตารางที่ 4.4 โปรดทราบว่าวิธีการนี​​้ในการออกแบบการทดลองที่สนุกสนานสะท้อนบางส่วนของรูปแบบในบทที่ 3 เกี่ยวกับการออกแบบการสำรวจสนุกมากขึ้นและในบทที่ 5 เกี่ยวกับการออกแบบการทำงานร่วมกันของมวล ดังนั้นผมคิดว่าผู้เข้าร่วมเพลิดเพลินสิ่งที่อาจจะเรียกได้ว่าประสบการณ์ของผู้ใช้จะเป็นส่วนหนึ่งที่สำคัญมากขึ้นของการออกแบบการวิจัยในยุคดิจิตอล

หากคุณต้องการที่จะสร้างศูนย์ต้นทุนผันแปรทดลองคุณจะต้องการให้แน่ใจว่าทุกอย่างเป็นไปโดยอัตโนมัติอย่างเต็มที่และให้ผู้เข้าร่วมไม่จำเป็นต้องชำระเงินใด ๆ เพื่อที่จะแสดงให้เห็นว่านี้เป็นไปได้ผมจะอธิบายการวิจัยวิทยานิพนธ์ของฉันในความสำเร็จและความล้มเหลวของสินค้าทางวัฒนธรรม ตัวอย่างนี้ยังแสดงให้เห็นว่าศูนย์ข้อมูลต้นทุนผันแปรไม่ได้เป็นเพียงเกี่ยวกับการทำสิ่งที่ถูกกว่า แต่ก็เป็นเรื่องเกี่ยวกับการเปิดใช้งานการทดลองที่จะเป็นไปไม่ได้มิฉะนั้น

วิทยานิพนธ์ของฉันถูกแรงบันดาลใจจากธรรมชาติงงของความสำเร็จสำหรับผลิตภัณฑ์ทางวัฒนธรรม Hit เพลง, หนังสือที่ขายดีที่สุดและภาพยนตร์บล็อกบัสเตอร์ที่มีมากที่ประสบความสำเร็จมากขึ้นกว่าค่าเฉลี่ย ด้วยเหตุนี้การตลาดสำหรับผลิตภัณฑ์เหล่านี้มักจะถูกเรียกว่า "ชนะจะใช้เวลาทั้งหมด" ตลาด แต่ในเวลาเดียวกันซึ่งเพลงโด​​ยเฉพาะอย่างยิ่งหนังสือหรือภาพยนตร์ที่ประสบความสำเร็จจะกลายเป็นไม่แน่นอนอย่างไม่น่าเชื่อ บทวิลเลียมโกลด์แมน (1989) สรุปอย่างสวยงามจำนวนมากของการวิจัยทางวิชาการโดยบอกว่าเมื่อมันมาถึงการทำนายความสำเร็จ "ไม่มีใครรู้ว่าอะไร." อารมณ์ของผู้ชนะจะใช้เวลาทุกตลาดทำให้ผมสงสัยว่าประสบความสำเร็จมากเป็นผลให้ ที่มีคุณภาพและวิธีการมากเป็นเพียงโชค หรือแสดงความแตกต่างกันเล็กน้อยถ้าเราสามารถสร้างโลกคู่ขนานและมีพวกเขาทั้งหมดมีวิวัฒนาการอย่างอิสระเพลงเดียวกันจะกลายเป็นที่นิยมในแต่ละโลก? และถ้าไม่ได้สิ่งที่อาจจะมีกลไกที่ทำให้เกิดความแตกต่างเหล่านี้หรือไม่?

เพื่อที่จะตอบคำถามเหล่านี้เราปีเตอร์ดอดส์ดันแคนวัตต์ (ที่ปรึกษาวิทยานิพนธ์ของฉัน) และ I-วิ่งชุดการทดลองภาคสนามออนไลน์ โดยเฉพาะอย่างยิ่งเราสร้างเว็บไซต์ที่เรียกว่า MusicLab ที่ผู้คนสามารถค้นพบเพลงใหม่และเราใช้มันสำหรับชุดของการทดลอง เราได้รับคัดเลือกเข้าร่วมโดยการเรียกใช้โฆษณาแบนเนอร์ในเว็บไซต์วัยรุ่นดอกเบี้ย (รูปที่ 4.19) และผ่านการกล่าวถึงในสื่อ ผู้เข้าร่วมที่เดินทางมาถึงที่เว็บไซต์ของเราที่จัดไว้ให้ความยินยอมเสร็จแบบสอบถามพื้นหลังสั้นและถูกสุ่มให้ได้หนึ่งในสองการทดลองเงื่อนไขอิสระและสังคมที่มีอิทธิพลต่อ ในสภาพที่เป็นอิสระเข้าร่วมทำให้การตัดสินใจเกี่ยวกับการที่เพลงที่จะฟังได้รับเพียงชื่อของวงดนตรีและเพลง ในขณะที่ฟังเพลงที่ผู้เข้าร่วมถูกถามให้คะแนนหลังจากที่พวกเขาได้มีโอกาส ( แต่ไม่ใช่ข้อผูกมัด) เพื่อดาวน์โหลดเพลง ในสภาพที่มีอิทธิพลต่อสังคมเข้าร่วมมีประสบการณ์เดียวกันยกเว้นพวกเขายังสามารถดูวิธีการหลายครั้งในแต่ละเพลงได้รับการดาวน์โหลดโดยผู้เข้าร่วมก่อนหน้านี้ นอกจากนี้ผู้เข้าร่วมอยู่ในสภาพที่มีอิทธิพลต่อสังคมถูกสุ่มให้เป็นหนึ่งในแปดโลกคู่ขนานซึ่งแต่ละพัฒนาอิสระ (รูปที่ 4.20) โดยใช้การออกแบบนี้เราวิ่งสองการทดลองที่เกี่ยวข้อง ในครั้งแรกที่เรานำเสนอให้ผู้เข้าร่วมเพลงในตารางไม่ได้เรียงลำดับซึ่งให้พวกเขามีสัญญาณอ่อนแอของความนิยม ในการทดลองที่สองเรานำเสนอเพลงในรายการอันดับซึ่งให้สัญญาณความเข้มแข็งมากขึ้นของความนิยม (รูปที่ 4.21)

รูปที่ 4.19: ตัวอย่างของแบนเนอร์โฆษณาว่าเพื่อนร่วมงานของฉันและฉันใช้ในการรับสมัครผู้เข้าร่วมการทดลอง MusicLab (Salganik, Dodds, and Watts 2006)

รูปที่ 4.20: การออกแบบการทดลองสำหรับการทดลอง MusicLab (Salganik, Dodds, and Watts 2006) ผู้เข้าร่วมกิจกรรมได้รับการสุ่มเป็นหนึ่งในเงื่อนไขที่สอง: อิทธิพลอิสระและสังคม ผู้เข้าร่วมในสภาพที่เป็นอิสระทำให้ตัวเลือกของพวกเขาโดยไม่มีข้อมูลใด ๆ เกี่ยวกับสิ่งที่คนอื่นเคยทำมา ผู้เข้าร่วมอยู่ในสภาพที่มีอิทธิพลต่อสังคมได้รับการสุ่มเป็นหนึ่งในแปดโลกคู่ขนานที่พวกเขาจะได้เห็นความนิยม-เป็นวัดโดยการดาวน์โหลดของผู้เข้าร่วมจากก่อนหน้านี้แต่ละเพลงในโลกของพวกเขา แต่พวกเขาไม่สามารถเห็นข้อมูลใด ๆ หรือไม่พวกเขายัง ความรู้เกี่ยวกับการดำรงอยู่ของใด ๆ ของโลกอื่น ๆ

เราพบว่าความนิยมของเพลงที่แตกต่างกันทั่วโลกชี้ให้เห็นบทบาทสำคัญของโชค ยกตัวอย่างเช่นในหนึ่งของโลกเพลง "ออกโรง" โดย 52Metro เดินเข้ามาในวันที่ 1 และในอีกโลกหนึ่งก็เดินเข้ามาในรอบ 40 ปีจาก 48 เพลง นี่คือว่าเพลงเดียวกันการแข่งขันกับทั้งหมดเพลงเดียวกัน แต่ในโลกก็มีโชคดีและคนอื่น ๆ มันไม่ได้ นอกจากนี้โดยการเปรียบเทียบผลการทั้งสองการทดลองพบว่ามีอิทธิพลต่อสังคมนำไปสู่​​ความสำเร็จที่ไม่เท่าเทียมกันมากขึ้นซึ่งอาจจะสร้างลักษณะของการคาดการณ์ แต่มองข้ามโลก (ซึ่งไม่สามารถทำได้นอกของชนิดของโลกคู่ขนานการทดลองนี้) เราพบว่ามีอิทธิพลต่อสังคมเพิ่มขึ้นจริงคาดการณ์ นอกจากนี้ที่น่าแปลกใจก็คือเพลงของการอุทธรณ์สูงสุดที่มีผลการคาดเดาไม่ได้มากที่สุด (รูปที่ 4.22)

รูปที่ 4.21: ภาพจากเงื่อนไขที่มีอิทธิพลต่อสังคมในการทดลอง MusicLab (Salganik, Dodds, and Watts 2006) ในสภาพที่มีอิทธิพลต่อสังคมในการทดลองที่ 1 เพลงพร้อมกับจำนวนการดาวน์โหลดก่อนหน้านี้ถูกนำเสนอให้กับผู้เข้าร่วมจัดใน 16 x 3 ตารางสี่เหลี่ยมที่ตำแหน่งของเพลงถูกสุ่มสำหรับผู้เข้าร่วมแต่ละคน ในการทดลองที่ 2 ผู้เข้าร่วมอยู่ในสภาพที่มีอิทธิพลต่อสังคมที่มีการแสดงเพลงที่มีจำนวนการดาวน์โหลดนำเสนอในคอลัมน์หนึ่งในลำดับถัดลงมาจากความนิยมในปัจจุบัน

รูปที่ 4.22: ผลจากการทดลอง MusicLab แสดงความสัมพันธ์ระหว่างการอุทธรณ์และความสำเร็จ (Salganik, Dodds, and Watts 2006) แกน x เป็นส่วนแบ่งการตลาดของเพลงในโลกอิสระซึ่งทำหน้าที่เป็นตัวชี้วัดของการอุทธรณ์ของเพลงและแกน y เป็นส่วนแบ่งการตลาดของเพลงเดียวกันใน 8 ของโลกมีอิทธิพลต่อสังคมซึ่งทำหน้าที่ เป็นตัวชี้วัดความสำเร็จของเพลงที่ เราพบว่าการเพิ่มอิทธิพลทางสังคมที่ผู้เข้าร่วมมีประสบการณ์โดยเฉพาะการเปลี่ยนแปลงรูปแบบจากการทดลองที่ 1 ในการทดลองที่ 2 (รูปที่ 4.21) -caused ความสำเร็จจะกลายเป็นที่คาดเดาไม่ได้มากขึ้นโดยเฉพาะอย่างยิ่งสำหรับเพลงอุทธรณ์สูงสุด

MusicLab ก็สามารถที่จะทำงานที่เป็นหลักศูนย์ต้นทุนผันแปรเนื่องจากวิธีการที่จะได้รับการออกแบบ ก่อนที่ทุกอย่างเป็นไปโดยอัตโนมัติอย่างเต็มที่เพื่อให้มันก็สามารถที่จะทำงานในขณะที่ผมนอนหลับ ประการที่สองการชดเชยเป็นเพลงฟรีจึงไม่มีค่าใช้จ่ายในการชดเชยผู้เข้าร่วมตัวแปร การใช้เพลงเป็นค่าตอบแทนนอกจากนี้ยังแสดงให้เห็นว่ามีบางครั้งการออกระหว่างต้นทุนคงที่และต้นทุนผันแปร โดยใช้เพลงที่เพิ่มขึ้นค่าใช้จ่ายคงเพราะผมต้องใช้เวลาการรักษาความปลอดภัยได้รับอนุญาตจากวงดนตรีและการจัดทำรายงานสำหรับวงดนตรีที่เกี่ยวกับปฏิกิริยาของผู้เข้าร่วมไปกับเสียงเพลงของพวกเขา แต่ในกรณีนี้เพิ่มค่าใช้จ่ายคงที่เพื่อลดค่าใช้จ่ายในตัวแปรเป็นสิ่งที่ถูกต้องที่จะทำ; นั่นคือสิ่งที่ช่วยให้เราสามารถเรียกใช้การทดสอบที่เกี่ยวกับ 100 ครั้งใหญ่กว่าการทดลองในห้องปฏิบัติการมาตรฐาน

นอกจากนี้การทดลอง MusicLab แสดงให้เห็นว่าศูนย์ต้นทุนผันแปรไม่ได้ที่จะสิ้นสุดในตัวเอง; แต่ก็อาจจะเป็นวิธีการทำงานรูปแบบใหม่ของการทดลอง ขอให้สังเกตว่าเราไม่ได้ใช้ทั้งหมดของผู้เข้าร่วมของเราในการทำงานที่มีมาตรฐานมีอิทธิพลต่อสังคมในห้องปฏิบัติการทดลอง 100 ครั้ง แต่เราทำอะไรบางอย่างที่แตกต่างกันซึ่งคุณอาจจะคิดว่าเป็นการเปลี่ยนจากการทดสอบทางจิตวิทยาเพื่อการทดลองทางสังคมวิทยา (Hedström 2006) แทนที่จะมุ่งเน้นไปในแต่ละการตัดสินใจเรามุ่งเน้นไปที่การทดสอบของเราในความนิยมผลส่วนรวม สลับไปยังผลรวมนี้หมายความว่าเราจำเป็นต้องมีผู้เข้าร่วมประมาณ 700 ในการผลิตข้อมูลจุดเดียว (มี 700 คนในแต่ละโลกคู่ขนาน) ขนาดที่เป็นไปได้เพียงเพราะโครงสร้างต้นทุนของการทดลอง โดยทั่วไปถ้านักวิจัยต้องการศึกษาวิธีการรวมผลเกิดขึ้นจากการตัดสินใจของแต่ละบุคคลกลุ่มทดลองเช่น MusicLab เป็นที่น่าตื่นเต้นมาก ในอดีตที่ผ่านมาพวกเขาได้รับยาก logistically แต่ความยากลำบากเหล่านี้จะจางหายไปเพราะความเป็นไปได้ของศูนย์ข้อมูลค่าใช้จ่ายตัวแปร

นอกจากจะแสดงให้เห็นถึงประโยชน์ของศูนย์ข้อมูลค่าใช้จ่ายตัวแปรทดลอง MusicLab ยังแสดงให้เห็นความท้าทายด้วยวิธีนี้ A: ค่าใช้จ่ายคงสูง ในกรณีของผมผมโชคดีมากที่จะสามารถทำงานร่วมกับนักพัฒนาเว็บที่มีความสามารถชื่อปีเตอร์ Hausel ประมาณหกเดือนในการสร้างการทดลอง นี่อาจเป็นเพียงเพราะที่ปรึกษาของฉันดันแคนวัตต์ได้รับจำนวนเงินอุดหนุนเพื่อสนับสนุนชนิดของการวิจัยครั้งนี้ เทคโนโลยีที่ดีขึ้นนับตั้งแต่ที่เราสร้างขึ้น MusicLab ในปี 2004 และมันจะง่ายมากที่จะสร้างการทดลองเช่นนี้ในขณะนี้ แต่สูงกลยุทธ์ต้นทุนคงที่เป็นจริงไปได้เฉพาะสำหรับนักวิจัยที่ใดสามารถครอบคลุมค่าใช้จ่ายเหล่านั้น

ในการสรุปการทดลองดิจิตอลสามารถมีโครงสร้างต้นทุนที่แตกต่างกันอย่างเห็นได้ชัดกว่าการทดลองแบบอะนาล็อก หากคุณต้องการที่จะใช้การทดสอบขนาดใหญ่จริงๆคุณควรพยายามที่จะลดค่าใช้จ่ายของคุณเป็นตัวแปรมากที่สุดเท่าที่เป็นไปได้และความนึกคิดไปตลอดทางจนถึง 0. คุณสามารถทำได้โดยอัตโนมัติกลศาสตร์ของการทดสอบ (เช่นเปลี่ยนเวลามนุษย์ที่มีเวลาที่เครื่องคอมพิวเตอร์) และออกแบบการทดลองที่คนต้องการที่จะอยู่ใน. นักวิจัยที่สามารถออกแบบการทดลองกับคุณลักษณะเหล่านี้จะสามารถที่จะเรียกใช้ชนิดใหม่ของการทดลองที่ไม่ได้เป็นไปได้ในอดีตที่ผ่านมา