4.3 สองมิติของการทดลอง: ห้องปฏิบัติการภาคสนามและอนาล็อกดิจิตอล

การทดลองในห้องปฏิบัติการมีการควบคุมการทดลองมีความสมจริงและทดลองดิจิตอลรวมการควบคุมและความสมจริงในระดับ

การทดลองมาในรูปทรงและขนาดต่างๆ ในอดีตนักวิจัยพบว่าเป็นประโยชน์ในการจัดระเบียบการทดลองตามความต่อเนื่องระหว่าง การทดลองในห้องปฏิบัติการ และ การทดลองภาคสนาม อย่างไรก็ตามขณะนี้นักวิจัยควรจัดให้มีการทดลองตามความต่อเนื่องที่สองระหว่าง การทดลองอะนาล็อก และ การทดลองแบบดิจิตอล พื้นที่การออกแบบสองมิตินี้จะช่วยให้คุณเข้าใจจุดแข็งและจุดอ่อนของแนวทางต่างๆและเน้นพื้นที่ที่มีโอกาสมากที่สุด (รูปที่ 4.1)

รูป 4.1: แผนผังของพื้นที่ออกแบบสำหรับการทดลอง ในอดีตการทดลองแตกต่างกันไปตามมิติข้อมูลแล็บฟิลด์ ตอนนี้พวกเขายังแตกต่างกันไปในมิติอะนาล็อกดิจิทัล พื้นที่การออกแบบสองมิตินี้แสดงให้เห็นถึงสี่การทดลองที่ฉันอธิบายไว้ในบทนี้ ในความเห็นของฉันพื้นที่ที่มีโอกาสมากที่สุดคือการทดลองภาคสนามดิจิทัล

มิติหนึ่งที่มีการจัดการทดลองคือมิติข้อมูลแล็บฟิลด์ การทดลองหลายอย่างในสังคมศาสตร์คือ การทดลองในห้องทดลอง ซึ่งนักศึกษาระดับปริญญาตรีทำผลงานแปลก ๆ ในห้องทดลองสำหรับเครดิตหลักสูตร การทดลองประเภทนี้มีส่วนช่วยในการวิจัยทางจิตวิทยาเนื่องจากช่วยให้นักวิจัยสามารถสร้างการควบคุมที่มีการควบคุมอย่างสูงเพื่อแยกแยะและทดสอบทฤษฎีเฉพาะเกี่ยวกับพฤติกรรมทางสังคมได้อย่างแม่นยำ สำหรับปัญหาบางอย่างบางอย่างบางอย่างรู้สึกแปลก ๆ เกี่ยวกับการวาดข้อสรุปที่แข็งแกร่งเกี่ยวกับพฤติกรรมของมนุษย์จากคนที่ไม่ปกติเช่นการปฏิบัติงานที่ผิดปกติเช่นในสภาพแวดล้อมที่ผิดปกติดังกล่าว ความกังวลเหล่านี้นำไปสู่การเคลื่อนไหวไปสู่ การทดลองภาคสนาม การทดลองภาคสนามเป็นการผสมผสานระหว่างการทดลองควบคุมแบบสุ่มกับกลุ่มผู้แทนที่เป็นตัวแทนมากขึ้นในการปฏิบัติงานทั่วไปในการตั้งค่าตามธรรมชาติมากขึ้น

แม้ว่าบางคนอาจคิดว่าการทดลองในแล็บและสนามเป็นวิธีการแข่งขัน แต่ควรคิดว่าพวกเขาเป็นเหมือนกันโดยมีจุดแข็งและจุดอ่อนที่แตกต่างกัน ตัวอย่างเช่น Correll, Benard, and Paik (2007) ใช้ทั้งการทดลองในห้องปฏิบัติการและการทดลองภาคสนามเพื่อพยายามหาแหล่งที่มาของ "การลงโทษด้วยมารดา" ในสหรัฐอเมริกามารดามีรายได้น้อยกว่าเด็กที่ไม่มีบุตร เปรียบเทียบผู้หญิงที่มีทักษะคล้ายคลึงกันที่ทำงานในงานที่คล้ายคลึงกัน มีหลายคำอธิบายที่เป็นไปได้สำหรับรูปแบบนี้ซึ่งหนึ่งในนั้นคือนายจ้างมีความลำเอียงต่อมารดา เพื่อที่จะประเมินความลำเอียงที่เป็นไปได้ต่อมารดา Correll และเพื่อนร่วมงานได้ทดลองสองครั้ง: หนึ่งในห้องแล็บและหนึ่งในทุ่งนา

ครั้งแรกในการทดลองในห้องทดลองพวกเขาบอกผู้เข้าร่วมซึ่งเป็นนักศึกษาระดับปริญญาตรีที่ บริษัท กำลังดำเนินการค้นหาการจ้างงานสำหรับคนที่จะเป็นผู้นำแผนกการตลาด East Coast แห่งใหม่ นักเรียนบอกว่า บริษัท ต้องการความช่วยเหลือในกระบวนการจ้างงานและขอให้ทบทวนประวัติผู้สมัครที่มีศักยภาพหลายรายและให้คะแนนผู้สมัครหลายมิติเช่นความฉลาดความอบอุ่นและความมุ่งมั่นในการทำงาน นอกจากนี้นักเรียนถูกถามว่าพวกเขาจะแนะนำให้จ้างผู้สมัครและสิ่งที่พวกเขาจะแนะนำให้เป็นเงินเดือนเริ่มต้น อย่างไรก็ตามนักเรียนได้รับการสร้างขึ้นโดยเฉพาะเพื่อให้มีความคล้ายคลึงกันยกเว้นบางสิ่งบางอย่าง: บางแห่งมีการส่งสัญญาณว่าเป็นมารดา (โดยการมีส่วนร่วมในสมาคมพ่อแม่และครู) และบางคนก็ไม่ได้ทำ Correll และเพื่อนร่วมงานพบว่านักเรียนมีแนวโน้มที่จะไม่แนะนำให้จ้างแม่และบอกว่าพวกเขาเสนอเงินเดือนเริ่มต้นต่ำ Correll และเพื่อนร่วมงานพบว่าข้อเสียของมารดาส่วนใหญ่จะอธิบายได้จากข้อเท็จจริงที่ว่าพวกเขาได้รับการจัดอันดับที่ต่ำกว่าด้านความสามารถและความมุ่งมั่น ดังนั้นการทดลองในห้องปฏิบัติการนี้จึงทำให้ Correll และเพื่อนร่วมงานสามารถวัดผลกระทบและให้คำอธิบายที่เป็นไปได้สำหรับผลดังกล่าว

แน่นอนหนึ่งอาจจะสงสัยเกี่ยวกับการวาดข้อสรุปเกี่ยวกับตลาดแรงงานสหรัฐทั้งหมดขึ้นอยู่กับการตัดสินใจของไม่กี่ร้อยคนระดับปริญญาตรีที่อาจไม่เคยมีงานเต็มเวลาให้คนเดียวที่ได้รับการว่าจ้าง ดังนั้น Correll และเพื่อนร่วมงานก็ทำการทดลองภาคเสริม พวกเขาตอบไปหลายร้อยเปิดงานโฆษณาที่มีตัวอักษรครอบคลุมปลอมและดำเนินการต่อ คล้ายกับวัสดุที่แสดงให้นักศึกษาระดับปริญญาตรีบางคนกลับมาทำหน้าที่เป็นมารดาและบางคนก็ไม่ได้ทำ Correll และเพื่อนร่วมงานพบว่ามารดามีโอกาสน้อยที่จะได้รับการเรียกกลับมาให้สัมภาษณ์มากกว่าผู้หญิงที่ไม่มีคุณสมบัติเท่าเทียมกัน กล่าวอีกนัยหนึ่งนายจ้างที่แท้จริงที่ทำการตัดสินใจในสภาพแวดล้อมทางธรรมชาติมีลักษณะคล้ายกับนักศึกษาปริญญาตรี พวกเขาตัดสินใจด้วยเหตุผลเดียวกันหรือไม่? น่าเสียดายที่เราไม่รู้จัก นักวิจัยไม่สามารถขอให้นายจ้างประเมินผู้สมัครหรืออธิบายการตัดสินใจได้

การทดลองคู่นี้แสดงให้เห็นถึงการทดลองในห้องแล็บและสนามโดยทั่วไป การทดลองในห้องทดลองช่วยให้นักวิจัยสามารถควบคุมสภาพแวดล้อมได้ใกล้เคียงกับที่ผู้เข้าร่วมการตัดสินใจ ตัวอย่างเช่นในการทดลองในแล็บ Correll และเพื่อนร่วมงานสามารถตรวจสอบว่าประวัติการทำงานทั้งหมดถูกอ่านในสภาพแวดล้อมที่เงียบสงบ ในการทดลองภาคสนามการดำเนินการบางอย่างอาจไม่ได้รับการอ่าน นอกจากนี้เนื่องจากผู้เข้าร่วมการตั้งค่าห้องปฏิบัติการรู้ว่ากำลังศึกษาอยู่นักวิจัยมักจะสามารถเก็บรวบรวมข้อมูลเพิ่มเติมที่สามารถช่วยอธิบายได้ว่าทำไมผู้เข้าร่วมการตัดสินใจ ตัวอย่างเช่น Correll และเพื่อนร่วมงานได้ถามผู้เข้าร่วมการทดลองในห้องทดลองเพื่อประเมินผู้สมัครในมิติข้อมูลที่แตกต่างกัน ข้อมูลกระบวนการ ประเภทนี้จะช่วยให้นักวิจัยสามารถเข้าใจกลไกที่อยู่เบื้องหลังความแตกต่างในวิธีที่ผู้เข้าร่วมการดำเนินการดำเนินการต่อ

ในทางตรงกันข้ามลักษณะเดียวกันนี้แน่นอนที่ฉันได้อธิบายไว้เป็นข้อได้เปรียบบางครั้งก็ถือว่าเสียเปรียบ นักวิจัยที่ชอบการทดลองภาคสนามยืนยันว่าผู้เข้าร่วมการทดลองในห้องปฏิบัติการอาจทำหน้าที่แตกต่างกันมากเนื่องจากรู้ว่ากำลังศึกษาอยู่ ตัวอย่างเช่นในการทดลองในห้องทดลองผู้เข้าอบรมอาจคาดเดาเป้าหมายของการวิจัยและปรับเปลี่ยนพฤติกรรมเพื่อไม่ให้ปรากฏลำเอียง นอกจากนี้นักวิจัยที่ชื่นชอบการทดลองภาคสนามอาจโต้แย้งว่าความแตกต่างในการทำประวัติย่อเล็ก ๆ น้อย ๆ สามารถยืนได้เฉพาะในสภาพห้องปฏิบัติการที่สะอาดปราศจากเชื้อดังนั้นการทดลองในห้องแล็บจะประเมินผลที่สูงกว่าผลของมารดาต่อการตัดสินใจจ้างงานจริง ในที่สุดผู้ให้การสนับสนุนภาคสนามหลายคนวิพากษ์วิจารณ์การทดลองในห้องปฏิบัติการของผู้เข้าร่วมที่ไม่เข้าร่วม: นักเรียนส่วนใหญ่จากประเทศตะวันตกการศึกษาอุตสาหกรรมที่ร่ำรวยและประชาธิปไตย (Henrich, Heine, and Norenzayan 2010a) การทดลองของ Correll และเพื่อนร่วมงาน (2007) แสดงให้เห็นถึงความสุดยอดสองประการของความต่อเนื่องในห้องทดลอง ในระหว่างสองสุดขั้วนี้ยังมีการออกแบบไฮบริดหลายอย่างรวมทั้งแนวทางต่างๆเช่นการนำนักเรียนที่ไม่เข้าห้องทดลองหรือเข้าสนาม แต่ยังมีผู้เข้าร่วมปฏิบัติงานที่ผิดปกติ

นอกเหนือจากมิติข้อมูลด้านแล็บที่มีอยู่ในอดีตแล้วยุคดิจิทัลหมายความว่านักวิจัยมีมิติที่สำคัญเป็นอันดับที่สองตามที่การทดลองสามารถเปลี่ยนแปลงได้ ได้แก่ digital-analog เช่นเดียวกับที่มีการทดลองในห้องทดลองที่บริสุทธิ์การทดลองภาคสนามที่บริสุทธิ์และความหลากหลายของลูกครึ่งในระหว่างนั้นมีการทดลองแบบอะนาล็อกที่บริสุทธิ์การทดลองแบบดิจิตอลแบบดิจิตัลและความหลากหลายของลูกผสม เป็นเรื่องยากที่จะนำเสนอนิยามของมิตินี้อย่างเป็นทางการ แต่คำจำกัดความในการทำงานที่เป็นประโยชน์คือ การทดลองแบบดิจิทัลแบบเต็มรูปแบบเป็นการ ทดลองที่ใช้โครงสร้างพื้นฐานแบบดิจิทัลเพื่อรับสมัครผู้เข้าร่วมสุ่มจัดส่งการรักษาและวัดผล ตัวอย่างเช่นการศึกษา Barnstars และ Wikipedia ของ Restivo and van de Rijt (2012) เป็นการทดลองแบบดิจิทัลอย่างเต็มรูปแบบเนื่องจากใช้ระบบดิจิทัลสำหรับทั้งสี่ขั้นตอนเหล่านี้ ในทำนองเดียวกัน การทดลองแบบอะนาล็อกทั้งหมด ไม่ได้ใช้โครงสร้างพื้นฐานแบบดิจิทัลในขั้นตอนสี่ขั้นตอนนี้ การทดลองแบบคลาสสิกในด้านจิตวิทยาเป็นแบบอะนาล็อกทดลอง ในระหว่างสองขั้วเหล่านี้มี การทดลองแบบดิจิทัลบางส่วน ที่ใช้ระบบอะนาล็อกและดิจิตอลร่วมกัน

เมื่อบางคนคิดถึงการทดลองแบบดิจิทัลพวกเขาก็คิดทันทีว่าเป็นการทดลองออนไลน์ นี่เป็นเรื่องโชคร้ายเพราะโอกาสในการทดลองใช้การทดลองแบบดิจิตัลไม่ใช่แค่ออนไลน์เท่านั้น นักวิจัยสามารถใช้การทดลองแบบดิจิทัลได้บางส่วนโดยใช้อุปกรณ์ดิจิทัลในโลกทางกายภาพเพื่อนำเสนอการรักษาหรือวัดผล ตัวอย่างเช่นนักวิจัยสามารถใช้สมาร์ทโฟนเพื่อนำเสนอการรักษาหรือเซ็นเซอร์ในสภาพแวดล้อมที่สร้างขึ้นเพื่อวัดผล นักวิจัยได้ใช้เครื่องวัดพลังงานไฟฟ้าภายในบ้านเพื่อวัดผลลัพธ์ในการทดลองเกี่ยวกับการใช้พลังงานที่เกี่ยวข้องกับ 8.5 ล้านครัวเรือน (Allcott 2015) เมื่ออุปกรณ์ดิจิตอลได้รับการผนวกรวมเข้ากับชีวิตและเซนเซอร์ของผู้คนมากยิ่งขึ้นรวมเข้ากับสภาพแวดล้อมที่สร้างขึ้นโอกาสเหล่านี้ในการดำเนินการทดลองดิจิทัลแบบบางส่วนในโลกทางกายภาพจะเพิ่มขึ้นอย่างมาก กล่าวคือการทดลองแบบดิจิทัลไม่ใช่แค่การทดลองออนไลน์เท่านั้น

ระบบดิจิทัลสร้างความเป็นไปได้ใหม่ ๆ สำหรับการทดลองในทุกๆที่ตามความต่อเนื่องในห้องทดลอง ตัวอย่างเช่นในห้องทดลองในห้องปฏิบัติการบริสุทธิ์นักวิจัยสามารถใช้ระบบดิจิทัลเพื่อวัดพฤติกรรมของผู้เข้าร่วมได้ดียิ่งขึ้น ตัวอย่างหนึ่งของประเภทของการวัดที่ดีขึ้นนี้คืออุปกรณ์ติดตามตาที่ให้การวัดตำแหน่งที่แม่นยำและต่อเนื่อง ยุคดิจิทัลยังสร้างความเป็นไปได้ในการใช้การทดลองในห้องทดลองแบบออนไลน์ ตัวอย่างเช่นนักวิจัยได้นำมาใช้อย่างรวดเร็ว Amazon Mechanical Turk (MTurk) เพื่อรับสมัครเข้าร่วมการทดลองออนไลน์ (รูปที่ 4.2) MTurk จับคู่ "นายจ้าง" ที่มีงานที่ต้องทำกับ "คนงาน" ที่ต้องการทำงานให้เสร็จสิ้น แตกต่างจากตลาดแรงงานแบบดั้งเดิม แต่งานที่เกี่ยวข้องมักต้องใช้เวลาเพียงไม่กี่นาทีในการดำเนินการและปฏิสัมพันธ์ระหว่างนายจ้างและคนงานทั้งหมดออนไลน์ เนื่องจาก MTurk เลียนแบบแง่มุมของการทดลองในห้องทดลองแบบดั้งเดิมทำให้ผู้คนจ่ายเงินให้เสร็จสิ้นงานที่พวกเขาไม่สามารถทำได้ฟรีซึ่งเหมาะสำหรับการทดลองบางประเภท โดยเฉพาะอย่างยิ่ง MTurk ได้สร้างโครงสร้างพื้นฐานในการจัดการกลุ่มผู้เข้าร่วมการสรรหาและจ่ายเงินให้กับประชาชนและนักวิจัยได้ใช้ประโยชน์จากโครงสร้างพื้นฐานดังกล่าวเพื่อเข้าถึงกลุ่มผู้เข้าร่วมที่มีอยู่เสมอ

รูปที่ 4.2: เอกสารเผยแพร่โดยใช้ข้อมูลจาก Amazon Mechanical Turk (MTurk) MTurk และตลาดแรงงานออนไลน์อื่น ๆ มีนักวิจัยเป็นวิธีที่สะดวกในการรับสมัครผู้เข้าร่วมการทดลอง ปรับเปลี่ยนจาก Bohannon (2016)

ระบบดิจิทัลสร้างความเป็นไปได้มากขึ้นสำหรับการทดลองภาคสนาม โดยเฉพาะอย่างยิ่งทำให้นักวิจัยสามารถรวมข้อมูลการควบคุมและประมวลผลที่แน่นหนาซึ่งเกี่ยวข้องกับการทดลองในห้องทดลองกับผู้เข้าร่วมที่หลากหลายขึ้นและการตั้งค่าตามธรรมชาติที่เกี่ยวข้องกับการทดลองในห้องปฏิบัติการมากขึ้น นอกจากนี้การทดลองภาคสนามแบบดิจิทัลยังมีโอกาสสามอย่างที่มักเป็นปัญหาในการทดลองแบบอนาล็อก

ขั้นแรกในขณะที่การทดลองในห้องปฏิบัติการและการทดลองภาคสนามเกือบทั้งหมดมีผู้เข้าร่วมหลายร้อยคนการทดลองด้านข้อมูลดิจิทัลสามารถมีผู้เข้าร่วมนับล้านคนได้ การเปลี่ยนแปลงในระดับนี้เป็นเพราะการทดลองแบบดิจิทัลบางอย่างสามารถสร้างข้อมูลได้ที่ศูนย์ต้นทุนผันแปร นั่นคือเมื่อนักวิจัยได้สร้างโครงสร้างพื้นฐานทดลองแล้วการเพิ่มจำนวนผู้เข้าร่วมโดยทั่วไปจะไม่เพิ่มค่าใช้จ่าย การเพิ่มจำนวนผู้เข้าร่วมโดยมีปัจจัยไม่น้อยกว่า 100 คนไม่ใช่แค่การเปลี่ยนแปลง เชิงปริมาณ เป็นการ เปลี่ยนแปลง เชิงคุณภาพ เพราะช่วยให้นักวิจัยสามารถเรียนรู้สิ่งต่างๆจากการทดลอง (เช่นความไม่สม่ำเสมอของผลการรักษา) และใช้การทดลองที่แตกต่างกันอย่างสิ้นเชิง (เช่นการทดลองกลุ่มใหญ่) ประเด็นนี้มีความสำคัญมากฉันจะกลับไปที่ตอนสิ้นบทเมื่อฉันให้คำแนะนำเกี่ยวกับการสร้างการทดลองแบบดิจิทัล

ประการที่สองในขณะที่การทดลองภาคสนามและการทดลองภาคสนามส่วนใหญ่ถือว่าผู้เข้าร่วมเป็นเครื่องมือที่ไม่สามารถจำแนกได้การทดลองภาคสนามดิจิทัลมักใช้ข้อมูลพื้นฐานเกี่ยวกับผู้เข้าร่วมในขั้นตอนการออกแบบและการวิเคราะห์ของงานวิจัย ข้อมูลพื้นฐานนี้เรียกว่าข้อมูล ก่อนการรักษา มักใช้ในการทดลองแบบดิจิทัลเนื่องจากมีการใช้งานระบบการวัดแบบตลอดเวลา (ดูบทที่ 2) ตัวอย่างเช่นนักวิจัยใน Facebook มีข้อมูลก่อนการรักษาเกี่ยวกับบุคคลในการทดลองด้านข้อมูลดิจิทัลมากกว่าที่นักวิจัยของมหาวิทยาลัยมีเกี่ยวกับคนในการทดลองภาคสนามแบบอะนาล็อกของเธอ การเตรียมการก่อนหน้านี้จะช่วยให้สามารถออกแบบการทดลองที่มีประสิทธิภาพมากขึ้นเช่นการบล็อก (Higgins, Sävje, and Sekhon 2016) และการคัดเลือกผู้เข้าร่วมเป้าหมาย (Eckles, Kizilcec, and Bakshy 2016) และการวิเคราะห์ที่ลึกซึ้งมากขึ้นเช่นการประเมินความไม่สม่ำเสมอของผลการรักษา (Athey and Imbens 2016a) และการปรับตัวแปรร่วมเพื่อความแม่นยำที่ดีขึ้น (Bloniarz et al. 2016)

ประการที่สามในขณะที่การทดลองในห้องปฏิบัติการและการทดลองในภาคสนามจำนวนมากส่งผลให้การรักษาและการวัดผลลัพธ์ในระยะเวลาที่อัดแน่นการทดลองทางดิจิทัลบางอย่างเกิดขึ้นในช่วงเวลาที่นานขึ้น ตัวอย่างเช่นการทดลองของ Restivo และ van de Rijt มีผลการวัดทุกวันเป็นเวลา 90 วันและหนึ่งในการทดลองที่ฉันจะบอกคุณเกี่ยวกับต่อไปในบท (Ferraro, Miranda, and Price 2011) การติดตามผลเป็นเวลาสามปีที่โดยทั่วไปไม่มี ราคา ข้อมูลการเตรียมการและการรักษาตามยาวและข้อมูลผลลัพธ์ที่เกิดขึ้นโดยทั่วไปมักเกิดขึ้นเมื่อการทดลองทำงานอยู่ด้านบนของระบบการวัดแบบตลอดเวลา (ดูบทที่ 2 สำหรับข้อมูลเพิ่มเติมเกี่ยวกับระบบการวัดตลอดเวลา)

ในขณะที่การทดลองภาคสนามแบบดิจิทัลมีความเป็นไปได้มากมายพวกเขายังมีจุดอ่อนในการทดลองในห้องปฏิบัติการแบบแอนะล็อกและอะนาล็อก ตัวอย่างเช่นการทดลองไม่สามารถใช้เพื่อศึกษาอดีตและสามารถประมาณผลของการบำบัดที่สามารถจัดการได้ แม้ว่าการทดลองจะเป็นประโยชน์ในการกำหนดแนวทางนโยบายคำแนะนำที่ถูกต้องสามารถนำเสนอได้ค่อนข้าง จำกัด เนื่องจากภาวะแทรกซ้อนเช่นการพึ่งพาสิ่งแวดล้อมปัญหาการปฏิบัติตามกฎระเบียบและผลกระทบที่สมดุล (Banerjee and Duflo 2009; Deaton 2010) การทดลองภาคสนามแบบดิจิทัลยังขยายความกังวลเกี่ยวกับจริยธรรมที่สร้างขึ้นโดยการทดลองภาคสนามหัวข้อที่ฉันจะกล่าวถึงต่อไปในบทนี้และในบทที่ 6