4.6.1 สร้างศูนย์ข้อมูลต้นทุนผันแปร

กุญแจสำคัญในการเรียกใช้การทดลองที่มีขนาดใหญ่คือการผลักดันต้นทุนผันแปรให้เป็นศูนย์ วิธีที่ดีที่สุดในการทำเช่นนี้คือการทำงานอัตโนมัติและการออกแบบการทดลองที่สนุกสนาน

การทดลองแบบดิจิทัลสามารถมีโครงสร้างค่าใช้จ่ายที่แตกต่างกันอย่างมากทำให้นักวิจัยสามารถทดลองใช้งานที่เป็นไปไม่ได้ในอดีต วิธีหนึ่งในการคิดเกี่ยวกับข้อแตกต่างนี้คือการทราบว่าการทดลองโดยทั่วไปมีสองประเภทคือต้นทุนคงที่และต้นทุนผันแปร ค่าใช้จ่ายคงที่ คือค่าใช้จ่ายที่ไม่เปลี่ยนแปลงโดยไม่คำนึงถึงจำนวนผู้เข้าร่วม ตัวอย่างเช่นในห้องทดลองค่าใช้จ่ายคงที่อาจเป็นค่าเช่าพื้นที่และซื้อเฟอร์นิเจอร์ ในทางกลับกัน ต้นทุนแปรผันจะ เปลี่ยนแปลงไปตามจำนวนผู้เข้าร่วม ตัวอย่างเช่นในห้องทดลองค่าใช้จ่ายผันแปรอาจมาจากการจ่ายเงินให้กับพนักงานและผู้เข้าร่วม โดยทั่วไปการทดลองแบบอะนาล็อกมีต้นทุนคงที่ต่ำและต้นทุนผันแปรสูงในขณะที่การทดลองแบบดิจิตอลมีต้นทุนคงที่สูงและต้นทุนผันแปรต่ำ (รูปที่ 4.19) แม้ว่าการทดลองแบบดิจิทัลจะมีต้นทุนผันแปรต่ำ แต่คุณสามารถสร้างโอกาสที่น่าตื่นเต้นมากมายเมื่อคุณขับค่าตัวแปรทั้งหมดไปเป็นศูนย์

รูปที่ 4.19: แผนผังโครงสร้างค่าใช้จ่ายในการทดลองอนาล็อกและดิจิตอล โดยทั่วไปการทดลองแบบอะนาล็อกมีต้นทุนคงที่ต่ำและต้นทุนผันแปรสูงขณะที่การทดลองแบบดิจิทัลมีต้นทุนคงที่สูงและต้นทุนผันแปรต่ำ โครงสร้างค่าใช้จ่ายที่แตกต่างกันหมายความว่าการทดลองแบบดิจิทัลสามารถทำงานได้ในระดับที่ไม่สามารถทำได้ด้วยการทดลองอะนาล็อก

มีสององค์ประกอบหลักของการชำระเงินแบบผันแปรสำหรับพนักงานและการชำระเงินให้กับผู้เข้าร่วมและแต่ละแห่งสามารถขับเคลื่อนไปยังศูนย์โดยใช้กลยุทธ์ที่แตกต่างกัน การจ่ายเงินให้กับพนักงานเกิดจากการทำงานที่ผู้ช่วยวิจัยทำการสรรหาผู้เข้าร่วมการให้การรักษาและการวัดผลลัพธ์ ยกตัวอย่างเช่นการทดลองภาคสนามอะลูมิเนียมของ Schultz และเพื่อนร่วมงาน (2007) เกี่ยวกับการใช้ไฟฟ้าต้องใช้ผู้ช่วยวิจัยในการเดินทางไปที่บ้านแต่ละแห่งเพื่อส่งมอบการรักษาและอ่านมิเตอร์ไฟฟ้า (รูปที่ 4.3) ความพยายามทั้งหมดนี้โดยผู้ช่วยวิจัยหมายความว่าการเพิ่มครัวเรือนใหม่ในการศึกษาจะทำให้ต้นทุนเพิ่มขึ้น ในทางตรงกันข้ามสำหรับการทดลองภาคสนามของ Restivo and van de Rijt (2012) เกี่ยวกับผลกระทบของรางวัลในบรรณาธิการวิกิพีเดียนักวิจัยสามารถเพิ่มผู้เข้าร่วมได้มากขึ้นโดยไม่มีค่าใช้จ่าย กลยุทธ์ทั่วไปสำหรับการลดต้นทุนการบริหารที่เปลี่ยนแปลงคือการแทนที่การทำงานของมนุษย์ (ซึ่งมีราคาแพง) ด้วยการทำงานของคอมพิวเตอร์ (ซึ่งมีราคาถูก) ประมาณนี้คุณสามารถถามตัวเองว่าการทดลองนี้สามารถทำงานได้หรือไม่ขณะที่ทุกคนในทีมวิจัยกำลังหลับอยู่? ถ้าคำตอบคือใช่คุณได้ทำงานที่ดีในระบบอัตโนมัติ

ประเภทที่สองของต้นทุนผันแปรคือการชำระเงินให้กับผู้เข้าร่วม นักวิจัยบางคนได้ใช้ Amazon Mechanical Turk และตลาดแรงงานออนไลน์อื่น ๆ เพื่อลดการชำระเงินที่จำเป็นสำหรับผู้เข้าร่วม ในการผลักดันค่าใช้จ่ายผันแปรไปยังศูนย์อย่างไรก็ตามต้องใช้วิธีการอื่น เป็นเวลานานนักวิจัยได้ออกแบบการทดลองที่น่าเบื่อจนต้องเสียเงิน แต่ถ้าคุณสามารถสร้างการทดลองที่ผู้คนต้องการเข้าร่วมได้ อาจเป็นเรื่องที่ดึงออกมา แต่ฉันจะให้ตัวอย่างด้านล่างจากผลงานของฉันเองและมีตัวอย่างเพิ่มเติมในตาราง 4.4 โปรดทราบว่าแนวคิดในการออกแบบการทดลองที่สนุกสนานนี้สะท้อนแนวคิดบางอย่างในบทที่ 3 เกี่ยวกับการออกแบบการสำรวจที่สนุกขึ้นและในบทที่ 5 เกี่ยวกับการออกแบบความร่วมมือร่วมกัน ดังนั้นฉันคิดว่าความเพลิดเพลินของผู้เข้าร่วมซึ่งอาจเรียกได้ว่าเป็นประสบการณ์ของผู้ใช้จะเป็นส่วนสำคัญของการออกแบบการวิจัยในยุคดิจิทัล

หากคุณต้องการสร้างการทดลองด้วยข้อมูลต้นทุนผันแปรเป็นศูนย์คุณจะต้องตรวจสอบให้แน่ใจว่าทุกอย่างทำงานแบบอัตโนมัติอย่างสมบูรณ์และผู้เข้าร่วมไม่ต้องจ่ายเงินใด ๆ เพื่อที่จะแสดงให้เห็นว่านี่เป็นไปได้อย่างไรฉันจะอธิบายงานวิจัยวิทยานิพนธ์ของฉันเกี่ยวกับความสำเร็จและความล้มเหลวของผลิตภัณฑ์ทางวัฒนธรรม

วิทยานิพนธ์ของฉันได้รับแรงบันดาลใจจากความสับสนในความสำเร็จของผลิตภัณฑ์ทางวัฒนธรรม เพลงที่ขายดีหนังสือที่ขายดีที่สุดและภาพยนตร์ที่ทำรายได้ทะเยอทะยานนั้นประสบความสำเร็จมากกว่าค่าเฉลี่ย ด้วยเหตุนี้ตลาดสำหรับผลิตภัณฑ์เหล่านี้มักเรียกว่า "ผู้ชนะ - take - all" ตลาด อย่างไรก็ตามในเวลาเดียวกันเพลงเพลงหนังสือภาพยนตร์เรื่องใดที่ประสบความสำเร็จจะไม่สามารถคาดการณ์ได้อย่างไม่น่าเชื่อ บทวิลเลียมโกลด์แมน (1989) สรุปอย่างหรูหราเกี่ยวกับการวิจัยเชิงวิชาการโดยบอกว่าเมื่อทำนายความสำเร็จ "ไม่มีใครรู้อะไรเลย" ความคาดเดาไม่ได้ของผู้ชนะ - เอา - ทุกตลาดทำให้ฉันสงสัยว่าความสำเร็จเป็นอย่างไร ของคุณภาพและเท่าไหร่เป็นเพียงโชค หรือแสดงออกแตกต่างกันเล็กน้อยถ้าเราสามารถสร้างโลกคู่ขนานและทำให้พวกเขามีวิวัฒนาการได้อย่างอิสระเพลงทั้งหมดจะกลายเป็นที่นิยมในแต่ละโลกหรือไม่? และถ้าไม่ใช่สิ่งที่อาจเป็นกลไกที่ทำให้เกิดความแตกต่างเหล่านี้

เพื่อตอบคำถามเหล่านี้เรา - Peter Dodds, Duncan Watts (ที่ปรึกษาด้านวิทยานิพนธ์ของฉัน) และ I - ได้ทำการทดลองภาคสนามแบบออนไลน์ โดยเฉพาะอย่างยิ่งเราสร้างเว็บไซต์ที่เรียกว่า MusicLab ซึ่งผู้คนสามารถค้นพบเพลงใหม่ ๆ และเราใช้มันเป็นชุดของการทดลอง เราได้รับคัดเลือกผู้เข้าร่วมโดยการเรียกใช้โฆษณาแบนเนอร์บนเว็บไซต์วัยรุ่นที่น่าสนใจ (รูปที่ 4.20) และผ่านการกล่าวถึงในสื่อ ผู้เข้าร่วมที่เดินทางมาถึงเว็บไซต์ของเราโดยได้รับความยินยอมโดยได้กรอกแบบสอบถามสั้น ๆ และได้รับการสุ่มเลือกให้เป็นหนึ่งในสองสภาวะการทดลองอิสระและมีอิทธิพลต่อสังคม ในสภาวะที่เป็นอิสระผู้เข้าร่วมตัดสินใจเลือกเพลงที่จะรับฟังเฉพาะชื่อวงดนตรีและเพลงเท่านั้น ขณะฟังเพลงผู้เข้าร่วมถูกขอให้ให้คะแนนหลังจากที่พวกเขามีโอกาส (แต่ไม่จำเป็นต้อง) ดาวน์โหลดเพลง ในแง่อิทธิพลทางสังคมผู้เข้าอบรมมีประสบการณ์เดียวกันยกเว้นพวกเขายังสามารถดูจำนวนครั้งที่เพลงแต่ละเพลงได้รับการดาวน์โหลดโดยผู้เข้าร่วมก่อนหน้านี้ นอกจากนี้ผู้เข้าร่วมในสภาพอิทธิพลทางสังคมได้รับการสุ่มให้เป็นหนึ่งในแปดของโลกคู่ขนานซึ่งแต่ละวิวัฒนาการเป็นอิสระ (รูปที่ 4.21) เมื่อใช้แบบจำลองนี้เราได้ทำการทดลองสองอย่างที่เกี่ยวข้อง ในตอนแรกเรานำเสนอเพลงให้กับผู้เข้าร่วมในตารางที่ไม่มีการจัดตารางซึ่งทำให้พวกเขาได้รับความนิยมน้อย ในการทดลองครั้งที่สองเรานำเสนอเพลงในรายการที่จัดอันดับซึ่งเป็นสัญญาณที่แสดงถึงความนิยมมากขึ้น (รูปที่ 4.22)

รูปที่ 4.20: ตัวอย่างโฆษณาแบนเนอร์ที่เพื่อนร่วมงานและฉันใช้ในการรับสมัครผู้เข้าร่วมการทดลอง MusicLab (Salganik, Dodds, and Watts 2006) ทำซ้ำโดยได้รับอนุญาตจาก Salganik (2007) รูปที่ 2.12

รูปที่ 4.21: การออกแบบทดลองสำหรับการทดลอง MusicLab (Salganik, Dodds, and Watts 2006) ผู้เข้าร่วมการสุ่มได้รับมอบหมายให้เป็นหนึ่งในสองเงื่อนไข: อิทธิพลทางสังคมและเป็นอิสระ ผู้เข้าร่วมในสภาพที่เป็นอิสระได้ตัดสินใจโดยไม่มีข้อมูลเกี่ยวกับสิ่งที่คนอื่น ๆ ได้กระทำ ผู้เข้าร่วมในสภาพอิทธิพลทางสังคมได้รับการสุ่มให้เป็นหนึ่งในแปดของโลกคู่ขนานซึ่งพวกเขาสามารถมองเห็นความนิยมซึ่งวัดโดยการดาวน์โหลดผู้เข้าร่วมก่อนหน้าของเพลงแต่ละเพลงในโลกของพวกเขา แต่พวกเขาไม่สามารถมองเห็นข้อมูลใด ๆ แม้รู้เกี่ยวกับการดำรงอยู่ของใด ๆ ของโลกอื่น ๆ ดัดแปลงมาจาก Salganik, Dodds, and Watts (2006) , ภาพ s1

เราพบว่าความนิยมของเพลงแตกต่างกันไปทั่วโลกซึ่งแสดงให้เห็นว่าโชคดีมีบทบาทสำคัญในความสำเร็จ ตัวอย่างเช่นในโลกหนึ่งเพลง "Lockdown" ของ 52Metro เข้ามาใน 1 ใน 48 เพลงในขณะที่อีกโลกหนึ่งเข้ามาใน 40th นี่เป็นเพลงเดียวกับการแข่งขันกับเพลงอื่น ๆ ทั้งหมด แต่ในโลกหนึ่งมันมีโชคดีและคนอื่น ๆ ก็ไม่ได้ นอกจากนี้โดยการเปรียบเทียบผลลัพธ์ระหว่างทั้งสองการทดลองเราพบว่าอิทธิพลทางสังคมเพิ่มลักษณะของผู้ชนะ - take - ทั้งหมดของตลาดเหล่านี้ซึ่งอาจแสดงให้เห็นถึงความสำคัญของทักษะ แต่มองข้ามโลก (ซึ่งไม่สามารถทำได้นอกการทดลองแบบคู่ขนานแบบนี้) เราพบว่าอิทธิพลทางสังคมเพิ่มความสำคัญให้กับความโชคดี ยิ่งไปกว่านั้นน่าแปลกใจคือเพลงอุทธรณ์สูงสุดที่โชคดีที่สุด (รูปที่ 4.23)

รูปที่ 4.22: ภาพหน้าจอจากสภาวะที่มีอิทธิพลต่อสังคมในการทดลอง MusicLab (Salganik, Dodds, and Watts 2006) ในสภาพอิทธิพลทางสังคมในการทดสอบ 1 เพลงพร้อมด้วยจำนวนการดาวน์โหลดก่อนหน้านี้ถูกนำเสนอแก่ผู้เข้าร่วมที่จัดในรูปสี่เหลี่ยมผืนผ้าขนาด 16 \(\times\) 3 ซึ่งตำแหน่งของเพลงถูกสุ่มสำหรับแต่ละคน ผู้เข้าร่วม. ในการทดสอบ 2 ผู้เข้าร่วมในสภาวะที่มีอิทธิพลทางสังคมได้แสดงเพลงที่มีจำนวนการดาวน์โหลดปรากฏในคอลัมน์หนึ่งเรียงตามลำดับความนิยมปัจจุบัน

รูปที่ 4.23: ผลลัพธ์จากการทดลอง MusicLab ที่แสดงความสัมพันธ์ระหว่างการอุทธรณ์และความสำเร็จ (Salganik, Dodds, and Watts 2006) \(x\) -axis เป็นส่วนแบ่งการตลาดของเพลงในโลกอิสระซึ่งทำหน้าที่เป็นตัววัดอุทธรณ์ของเพลงและ \(y\) -axis เป็นส่วนแบ่งทางการตลาดของเพลงเดียวกันใน แปดโลกอิทธิพลทางสังคมซึ่งทำหน้าที่เป็นตัวชี้วัดความสำเร็จของเพลง เราพบว่าการเพิ่มอิทธิพลทางสังคมที่ผู้เข้าร่วมมีส่วนร่วมโดยเฉพาะการเปลี่ยนเค้าโครงจากการทดสอบที่ 1 ถึงการทดลองที่ 2 (รูปที่ 4.22) ทำให้เกิดความสำเร็จที่จะกลายเป็นเรื่องที่คาดเดาไม่ได้มากขึ้นโดยเฉพาะเพลงที่มีการอุทธรณ์สูงสุด ดัดแปลงมาจาก Salganik, Dodds, and Watts (2006) , รูปที่ 3

MusicLab สามารถทำงานได้ที่ค่าตัวแปรเป็นศูนย์เนื่องจากเป็นวิธีที่ออกแบบมา ก่อนอื่นทุกสิ่งทุกอย่างได้รับการประมวลผลโดยอัตโนมัติดังนั้นจึงสามารถทำงานได้ในขณะที่ฉันกำลังหลับอยู่ ประการที่สองการชดเชยคือเพลงฟรีดังนั้นจึงไม่มีค่าชดเชยผู้เข้าร่วมการเปลี่ยนแปลง การใช้ดนตรีเป็นค่าชดเชยยังแสดงให้เห็นว่ามีบางครั้งการค้าระหว่างค่าใช้จ่ายคงที่และตัวแปร การใช้ดนตรีเพิ่มค่าใช้จ่ายคงที่เนื่องจากต้องใช้เวลาในการได้รับอนุญาตจากวงและจัดเตรียมรายงานเกี่ยวกับปฏิกิริยาของผู้เข้าร่วมในเพลงของพวกเขา แต่ในกรณีนี้การเพิ่มต้นทุนคงที่เพื่อลดต้นทุนของตัวแปรเป็นสิ่งที่ถูกต้อง นั่นคือสิ่งที่ช่วยให้เราสามารถเรียกใช้การทดสอบซึ่งใหญ่กว่าการทดลองในห้องทดลองทั่วไปถึง 100 เท่า

นอกจากนี้การทดลอง MusicLab แสดงให้เห็นว่าค่าตัวแปรตัวแปรศูนย์ไม่จำเป็นต้องเป็นจุดสิ้นสุดของตัวเอง ค่อนข้างจะเป็นวิธีการดำเนินการการทดสอบรูปแบบใหม่ โปรดสังเกตว่าเราไม่ได้ใช้ผู้เข้าร่วมทั้งหมดของเราในการทดลองใช้ห้องทดลองทางสังคมที่ได้รับมาตรฐานมาตรฐาน 100 ครั้ง แต่เราทำอะไรบางอย่างที่แตกต่างออกไปซึ่งคุณอาจคิดได้ว่าเป็นการเปลี่ยนจากการทดลองทางจิตวิทยาไปเป็นสังคมวิทยา (Hedström 2006) แทนที่จะมุ่งเน้นไปที่การตัดสินใจของแต่ละบุคคลเรามุ่งเน้นการทดสอบความนิยมเป็นผลรวม การเปลี่ยนไปใช้ผลรวมนี้ทำให้เราต้องมีผู้เข้าร่วม 700 คนในการสร้างจุดข้อมูลเดี่ยว (มีผู้คน 700 คนในแต่ละคู่ขนาน) ระดับดังกล่าวเป็นไปได้เนื่องจากโครงสร้างค่าใช้จ่ายของการทดสอบ โดยทั่วไปหากนักวิจัยต้องการที่จะศึกษาว่าผลงานส่วนรวมเกิดขึ้นจากการตัดสินใจของแต่ละบุคคลการทดลองกลุ่มเช่น MusicLab เป็นเรื่องที่น่าตื่นเต้นมาก ในอดีตพวกเขามีความยากลำบากทางตรรกะ แต่ความยากลำบากเหล่านี้กำลังเลือนหายไปเนื่องจากความเป็นไปได้ที่จะมีข้อมูลต้นทุนผันแปรเป็นศูนย์

นอกเหนือจากการแสดงให้เห็นถึงประโยชน์ของศูนย์ข้อมูลต้นทุนผันแปรแล้วการทดลอง MusicLab ยังแสดงให้เห็นถึงความท้าทายด้วยวิธีนี้: ค่าใช้จ่ายคงที่สูง ในกรณีของฉันผมโชคดีมากที่ได้ทำงานกับนักพัฒนาเว็บที่มีความสามารถชื่อ Peter Hausel เป็นเวลาประมาณหกเดือนในการสร้างการทดสอบ นี่เป็นไปได้เพียงเพราะที่ปรึกษาของฉัน Duncan Watts ได้รับเงินสนับสนุนจำนวนหนึ่งเพื่อสนับสนุนการวิจัยชนิดนี้ เทคโนโลยีได้รับการพัฒนาขึ้นตั้งแต่เราสร้าง MusicLab ขึ้นในปี 2004 ดังนั้นการสร้างการทดสอบแบบนี้ทำได้ง่ายขึ้น แต่กลยุทธ์ต้นทุนคงที่สูงจริงๆแล้วเป็นไปได้สำหรับนักวิจัยที่สามารถครอบคลุมค่าใช้จ่ายเหล่านี้ได้

สรุปได้ว่าการทดลองแบบดิจิทัลสามารถมีโครงสร้างต้นทุนที่แตกต่างกันอย่างมากจากการทดลองแบบอนาล็อก ถ้าคุณต้องการใช้การทดลองที่มีขนาดใหญ่จริงๆคุณควรพยายามลดค่าใช้จ่ายผันแปรให้มากที่สุดเท่าที่จะเป็นไปได้และเป็นไปในทางที่ดีที่สุด คุณสามารถทำสิ่งนี้ได้โดยอัตโนมัติโดยใช้กลไกของการทดสอบของคุณ (เช่นการเปลี่ยนเวลาของมนุษย์กับเวลาของคอมพิวเตอร์) และการออกแบบการทดลองที่ผู้คนต้องการเข้ามานักวิจัยที่สามารถออกแบบการทดลองด้วยคุณสมบัติเหล่านี้จะสามารถเรียกใช้การทดลองใหม่ ๆ ได้ ไม่สามารถทำได้ในอดีต อย่างไรก็ตามความสามารถในการสร้างการทดลองต้นทุนผันแปรเป็นศูนย์สามารถเพิ่มคำถามด้านจริยธรรมใหม่หัวข้อที่ฉันจะกล่าวถึงในขณะนี้