4.3 สองมิติของการทดลอง: ห้องปฏิบัติการภาคสนามและอนาล็อกดิจิตอล

การทดลองในห้องปฏิบัติการมีการควบคุมการทดลองมีความสมจริงและทดลองดิจิตอลรวมการควบคุมและความสมจริงในระดับ

การทดลองมาในรูปทรงที่แตกต่างกันและขนาด แต่แม้จะมีความแตกต่างเหล่านี้นักวิจัยได้พบว่าเป็นประโยชน์ในการจัดระเบียบพร้อมทดลองต่อเนื่องระหว่างการทดลองในห้องปฏิบัติการและการทดสอบภาคสนาม แต่ตอนนี้นักวิจัยยังควรจัดระเบียบพร้อมทดลองต่อเนื่องระหว่างการทดลองแบบอะนาล็อกและการทดลองดิจิตอล นี้การออกแบบพื้นที่สองมิติจะช่วยให้คุณเข้าใจจุดแข็งและจุดอ่อนของวิธีการที่แตกต่างกันและแนะนำพื้นที่ของโอกาสที่ยิ่งใหญ่ที่สุด (รูปที่ 4.1)

รูปที่ 4.1: แผนผังของการออกแบบพื้นที่สำหรับการทดลอง ในอดีตที่ผ่านมาการทดลองที่แตกต่างกันไปตามมิติห้องปฏิบัติการภาคสนาม ตอนนี้พวกเขายังแตกต่างกันในมิติอนาล็อกดิจิตอล ในความคิดของพื้นที่ของโอกาสที่ยิ่งใหญ่ที่สุดคือการทดลองข้อมูลดิจิตอล

ในอดีตที่ผ่านมาทางหลักที่นักวิจัยทดลองจัดเป็นมิติพร้อมห้องปฏิบัติการภาคสนาม ส่วนใหญ่ของการทดลองในทางสังคมศาสตร์มีการทดลองในห้องปฏิบัติการที่นักศึกษาระดับปริญญาตรีดำเนินการแปลก ๆ ในห้องปฏิบัติการสำหรับเครดิตแน่นอน ประเภทของการทดลองนี้ครอบงำการวิจัยในด้านจิตวิทยาเพราะจะช่วยให้นักวิจัยเพื่อสร้างการรักษาที่เฉพาะเจาะจงมากออกแบบมาเพื่อทดสอบทฤษฎีที่เฉพาะเจาะจงมากเกี่ยวกับพฤติกรรมทางสังคม สำหรับปัญหาบางอย่าง แต่สิ่งที่รู้สึกบิตแปลก ๆ เกี่ยวกับข้อสรุปที่แข็งแกร่งเกี่ยวกับพฤติกรรมของมนุษย์จากคนที่ผิดปกติเช่นการปฏิบัติงานที่ผิดปกติดังกล่าวในการตั้งค่าดังกล่าวผิดปกติ ความกังวลเหล่านี้ได้นำไปสู่การเคลื่อนไหวต่อการทดลองภาคสนาม การทดลองภาคสนามรวมการออกแบบที่แข็งแกร่งของการทดลองควบคุมแบบสุ่มกับกลุ่มตัวแทนของผู้เข้าร่วมการปฏิบัติงานร่วมกันมากขึ้นในการตั้งค่าเป็นธรรมชาติมากขึ้น

ถึงแม้ว่าบางคนคิดว่าห้องปฏิบัติการและภาคสนามทดลองกับวิธีการแข่งขันที่ดีที่สุดคือการคิดของพวกเขาเป็นวิธีการเสริมจุดแข็งที่แตกต่างกันด้วยและจุดอ่อน ยกตัวอย่างเช่น Correll, Benard, and Paik (2007) ใช้ทั้งการทดลองในห้องปฏิบัติการและการทดสอบภาคสนามในความพยายามที่จะหาแหล่งที่มาของ "โทษแม่." ในสหรัฐอเมริกามารดาได้รับเงินน้อยกว่าผู้หญิงบุตรแม้เมื่อ ผู้หญิงเมื่อเทียบกับทักษะที่คล้ายกันทำงานในตำแหน่งงานใกล้เคียง มีคำอธิบายที่เป็นไปได้หลายรูปแบบนี้และหนึ่งคือการที่นายจ้างจะลำเอียงกับมารดา (ที่น่าสนใจตรงข้ามน่าจะเป็นจริงสำหรับบรรพบุรุษของพวกเขามีแนวโน้มที่จะมีรายได้มากกว่าคนที่ไม่มีบุตรเทียบเคียง) เพื่อประเมินความเป็นไปได้กับอคติแม่ Correll และเพื่อนร่วมงานวิ่งการทดลอง: หนึ่งในห้องปฏิบัติการและเป็นหนึ่งในสนาม

ครั้งแรกในการทดลองในห้องปฏิบัติการ Correll และเพื่อนร่วมงานบอกว่าผู้เข้าร่วมประชุมซึ่งเป็นนักศึกษาระดับปริญญาตรีที่วิทยาลัยที่แคลิฟอร์เนียตาม บริษัท สื่อสารที่เริ่มต้นขึ้นได้รับการดำเนินการค้นหาการจ้างงานสำหรับคนที่จะนำไปสู่​​ใหม่ฝ่ายการตลาดของชายฝั่งตะวันออก นักเรียนบอกว่า บริษัท ต้องการความช่วยเหลือของพวกเขาในกระบวนการจ้างงานและการที่พวกเขาถูกถามเพื่อตรวจสอบการดำเนินการต่อผู้ที่มีศักยภาพของหลายคนและให้คะแนนผู้สมัครในจำนวนมิติเช่นความฉลาด, ความอบอุ่นและความมุ่งมั่นของพวกเขาในการทำงาน นอกจากนี้นักเรียนที่ถูกถามว่าพวกเขาจะแนะนำการจ้างงานผู้สมัครและสิ่งที่พวกเขาจะแนะนำเป็นเงินเดือนเริ่มต้น ถิ่นให้กับนักเรียน แต่การดำเนินการต่อที่ถูกสร้างขึ้นมาโดยเฉพาะเพื่อจะคล้ายยกเว้นสิ่งหนึ่งที่: บางส่วนของการดำเนินการต่อสัญญาณแม่ (โดยรายชื่อมีส่วนร่วมในสมาคมผู้ปกครอง) และบางคนไม่ได้ Correll พบว่านักเรียนมีโอกาสน้อยที่จะแนะนำการจ้างงานแม่และเสนอให้เงินเดือนเริ่มต้นที่ต่ำกว่า นอกจากนี้ผ่านการวิเคราะห์ทางสถิติของทั้งสองคะแนนและตัดสินใจจ้างที่เกี่ยวข้องกับ Correll พบว่าข้อเสียของมารดาถูกอธิบายโดยส่วนใหญ่ความจริงที่ว่าคุณแม่ได้รับการจัดอันดับที่ต่ำกว่าในแง่ของความสามารถและความมุ่งมั่น ในคำอื่น ๆ Correll ระบุว่าลักษณะเหล่านี้เป็นกลไกที่ผ่านแม่ด้อยโอกาส ดังนั้นการทดลองในห้องปฏิบัติการนี​​้ได้รับอนุญาต Correll และเพื่อนร่วมงานที่จะวัดผลเชิงสาเหตุและให้คำอธิบายที่เป็นไปได้สำหรับผลกระทบที่

แน่นอนหนึ่งอาจจะสงสัยเกี่ยวกับการวาดข้อสรุปเกี่ยวกับตลาดแรงงานของสหรัฐทั้งหมดขึ้นอยู่กับการตัดสินใจของไม่กี่ร้อยนักศึกษาระดับปริญญาตรีที่ได้อาจจะไม่เคยมีงานเต็มเวลาที่ได้รับการว่าจ้างคนให้อยู่คนเดียว ดังนั้น Correll และเพื่อนร่วมงานยังได้ทำการทดลองที่สมบูรณ์ นักวิจัยได้ตอบไปหลายร้อยของการเปิดงานโฆษณาด้วยการส่งจดหมายปลอมและการดำเนินการต่อ คล้ายกับวัสดุที่แสดงให้เห็นว่านักศึกษาระดับปริญญาตรี, การดำเนินการต่อสัญญาณบางแม่และบางคนไม่ได้ Correll และเพื่อนร่วมงานพบว่าแม่มีโอกาสน้อยที่จะได้รับการเรียกตัวกลับสำหรับการสัมภาษณ์มากกว่าผู้หญิงบุตรที่มีคุณภาพอย่างเท่าเทียมกัน ในคำอื่น ๆ นายจ้างจริงการตัดสินใจที่เป็นผลสืบเนื่องในการตั้งค่าอย่างธรรมชาติมากเช่นนักศึกษาระดับปริญญาตรี ไม่พวกเขาตัดสินใจที่คล้ายกันด้วยเหตุผลเดียวกันได้หรือไม่ แต่น่าเสียดายที่เราไม่ทราบว่า นักวิจัยก็ไม่สามารถที่จะขอให้นายจ้างให้คะแนนผู้สมัครหรืออธิบายการตัดสินใจของตน

คู่ของการทดลองนี้แสดงให้เห็นมากเกี่ยวกับห้องปฏิบัติการและภาคสนามทดลองโดยทั่วไป ห้องทดลองให้นักวิจัยที่อยู่ใกล้กับการควบคุมทั้งหมดของสภาพแวดล้อมที่ผู้เข้าร่วมในการตัดสินใจ ดังนั้นสำหรับตัวอย่างเช่นในการทดลองในห้องปฏิบัติการที่ Correll ก็สามารถที่จะให้มั่นใจว่าการดำเนินการต่อทั้งหมดถูกอ่านในบรรยากาศที่เงียบสงบ; ในการทดสอบสนามบางส่วนของการดำเนินการอาจจะไม่ได้รับการอ่านแม้กระทั่ง ต่อไปเนื่องจากผู้เข้าร่วมในการตั้งค่าห้องปฏิบัติการรู้ว่าพวกเขามีการศึกษานักวิจัยมักจะสามารถเก็บรวบรวมข้อมูลเพิ่มเติมที่สามารถช่วยให้พวกเขาเข้าใจว่าทำไมผู้เข้าร่วมจะทำให้การตัดสินใจของพวกเขา ยกตัวอย่างเช่น Correll ถามผู้เข้าร่วมในการทดสอบในห้องปฏิบัติการให้คะแนนผู้สมัครในมิติที่แตกต่างกัน ชนิดของข้อมูลกระบวนการนี้จะช่วยให้นักวิจัยเข้าใจกลไกที่อยู่เบื้องหลังความแตกต่างในวิธีการที่ผู้เข้าร่วมการดำเนินการต่อการรักษา

บนมืออื่น ๆ ที่มีลักษณะเดียวกันนี้แน่นอนที่ฉันเพียงแค่อธิบายเป็นข้อได้เปรียบบางครั้งก็ถือว่าเป็นข้อเสีย นักวิจัยที่ต้องการทดลองยืนยันว่าผู้เข้าร่วมในการทดลองในห้องปฏิบัติการสามารถทำหน้าที่แตกต่างกันมากเมื่อพวกเขาจะถูกตั้งข้อสังเกตอย่างใกล้ชิด ยกตัวอย่างเช่นในห้องปฏิบัติการผู้เข้าร่วมการทดลองอาจจะเดาเป้าหมายของการวิจัยและการเปลี่ยนแปลงพฤติกรรมของพวกเขาเพื่อที่จะไม่ปรากฏลำเอียง นอกจากนี้นักวิจัยที่ต้องการทดลองอาจโต้แย้งว่าความแตกต่างเล็ก ๆ ในการดำเนินการต่อเท่านั้นที่สามารถโดดเด่นในการทำความสะอาดมากสภาพแวดล้อมการฆ่าเชื้อและทำให้การทดลองในห้องปฏิบัติการจะมากกว่าประมาณการผลกระทบของความเป็นแม่ในการตัดสินใจจ้างจริง สุดท้ายหลายเสนอของการทดลองในห้องปฏิบัติการทดลองวิพากษ์วิจารณ์การพึ่งพาผู้เข้าร่วมแปลก: ส่วนใหญ่เป็นนักเรียนจากตะวันตกการศึกษา, อุตสาหกรรมที่หลากหลายและประเทศประชาธิปไตย (Henrich, Heine, and Norenzayan 2010) การทดลองโดย Correll และเพื่อนร่วมงาน (2007) แสดงให้เห็นถึงสองขั้วในห้องปฏิบัติการต่อเนื่องเขต ในระหว่างทั้งสองขั้วมีความหลากหลายของการออกแบบไฮบริดรวมทั้งวิธีการเช่นการนำนักเรียนที่ไม่ใช่เข้าไปในห้องปฏิบัติการหรือจะเข้าไปในสนาม แต่ก็ยังมีผู้เข้าร่วมงานที่ดำเนินการที่ผิดปกติ

นอกจากนี้ยังมีมิติแล็บข้อมูลที่มีอยู่ในอดีตยุคดิจิตอลหมายความว่านักวิจัยในขณะนี้มีมิติที่สำคัญที่สองตามที่การทดลองสามารถแตกต่างกัน: อะนาล็อกเป็นดิจิตอล เช่นเดียวกับมีการทดลองบริสุทธิ์ในห้องปฏิบัติการทดลองบริสุทธิ์และความหลากหลายของพันธุ์ลูกผสมในระหว่างที่มีการทดลองบริสุทธิ์อนาล​​็อกทดลองดิจิตอลบริสุทธิ์และความหลากหลายของพันธุ์ลูกผสม มันเป็นเรื่องยุ่งยากที่จะนำเสนอความหมายอย่างเป็นทางการของมิตินี้ แต่ความหมายที่เป็นประโยชน์ในการทำงานคือการทดลองดิจิตอลอย่างเต็มที่มีการทดลองที่ทำให้การใช้โครงสร้างพื้นฐานดิจิตอลที่จะรับสมัครผู้เข้าร่วมสุ่มส่งมอบการรักษาและผลการวัด ยกตัวอย่างเช่น Restivo และแวนเดอ Rijt ของ (2012) การศึกษาของ barnstars และวิกิพีเดียคือการทดสอบดิจิตอลอย่างเต็มที่เพราะมันใช้ระบบดิจิตอลสำหรับทั้งสี่ของขั้นตอนเหล่านี้ ในทำนองเดียวกันอย่างเต็มที่ทดลองอนาล็อกทดลองที่ไม่ได้ใช้ประโยชน์จากโครงสร้างพื้นฐานดิจิตอลสำหรับการใด ๆ ของสี่ขั้นตอนเหล่านี้ หลายการทดลองคลาสสิกในจิตวิทยาการทดลองแบบอะนาล็อก ในระหว่างทั้งสองขั้วมีการทดลองดิจิตอลบางส่วนที่ใช้การรวมกันของระบบอนาล็อกและดิจิตอลสำหรับสี่ขั้นตอน

วิกฤตโอกาสที่จะใช้การทดสอบแบบดิจิตอลไม่เพียงออนไลน์ นักวิจัยสามารถเรียกใช้การทดลองดิจิตอลบางส่วนโดยใช้อุปกรณ์ดิจิตอลในโลกทางกายภาพเพื่อที่จะส่งมอบการรักษาหรือผลตัวชี้วัด ยกตัวอย่างเช่นนักวิจัยสามารถใช้โทรศัพท์สมาร์ทที่จะส่งมอบการรักษาหรือการเซ็นเซอร์ในการสร้างสภาพแวดล้อมในการวัดผลลัพธ์ ในความเป็นจริงเราจะได้เห็นต่อไปในบทนี้นักวิจัยได้ใช้อยู่แล้วพลังงานบ้านเมตรการวัดผลลัพธ์ในการทดลองเกี่ยวกับบรรทัดฐานทางสังคมและการใช้พลังงานที่เกี่ยวข้องกับ 8.5 ล้านครัวเรือน (Allcott 2015) ในฐานะที่เป็นอุปกรณ์ดิจิตอลกลายเป็นแบบบูรณาการมากขึ้นในชีวิตของผู้คนและเซ็นเซอร์กลายเป็นบูรณาการในการสร้างสภาพแวดล้อมที่โอกาสเหล่านี้จะใช้การทดสอบแบบดิจิตอลบางส่วนในโลกทางกายภาพจะเพิ่มขึ้นอย่างรวดเร็ว ในคำอื่น ๆ การทดลองดิจิตอลไม่ได้เป็นเพียงการทดลองออนไลน์

ระบบดิจิตอลสร้างโอกาสใหม่สำหรับการทดลองได้ทุกที่ตามต่อเนื่องห้องปฏิบัติการภาคสนาม ในการทดลองในห้องปฏิบัติการบริสุทธิ์เช่นนักวิจัยสามารถใช้ระบบดิจิตอลสำหรับวัดปลีกย่อยของพฤติกรรมของผู้เข้าร่วม '; หนึ่งในตัวอย่างของประเภทของการวัดที่ดีขึ้นนี้เป็นอุปกรณ์ติดตามตาซึ่งมีมาตรการที่แม่นยำและต่อเนื่องของสถ​​านที่จ้องมอง ยุคดิจิตอลนอกจากนี้ยังสร้างความเป็นไปได้ที่จะใช้การทดสอบในห้องปฏิบัติการเช่นออนไลน์ ยกตัวอย่างเช่นนักวิจัยได้นำอย่างรวดเร็ว Amazon วิศวกรรมเติร์ก (MTurk) ที่จะรับสมัครผู้เข้าร่วมการทดลองออนไลน์ (รูปที่ 4.2) MTurk ตรงกับ "นายจ้าง" ที่มีงานที่จะต้องเสร็จสมบูรณ์ด้วย "แรงงาน" ที่มีความประสงค์ที่จะเสร็จงานเหล่านั้นสำหรับเงิน ซึ่งแตกต่างจากตลาดแรงงานแบบดั้งเดิม แต่งานที่เกี่ยวข้องมักจะต้องใช้เวลาไม่กี่นาทีให้เสร็จสมบูรณ์และการทำงานร่วมกันระหว่างนายจ้างและผู้ปฏิบัติงานที่เป็นเสมือน เพราะ MTurk เลียนแบบลักษณะของห้องปฏิบัติการทดลองจ่ายคนดั้งเดิมที่จะเสร็จงานที่พวกเขาจะไม่ทำฟรีมันเป็นความเหมาะสมตามธรรมชาติบางประเภทของการทดลอง หลัก MTurk ได้สร้างโครงสร้างพื้นฐานสำหรับการจัดการสระว่ายน้ำของผู้เข้าร่วมการสรรหาและการจ่ายเงินคนและนักวิจัยได้นำประโยชน์จากโครงสร้างพื้นฐานที่จะแตะลงในสระว่ายน้ำที่มีอยู่เสมอของผู้เข้าร่วม

รูปที่ 4.2: เอกสารเผยแพร่โดยใช้ข้อมูลจาก Amazon วิศวกรรมเติร์ก (MTurk) (Bohannon 2016) MTurk และตลาดแรงงานออนไลน์อื่น ๆ มีนักวิจัยเป็นวิธีที่สะดวกในการรับสมัครผู้เข้าร่วมการทดลอง

การทดลองดิจิตอลสร้างความเป็นไปได้มากยิ่งขึ้นสำหรับการทดลองภาคสนามเช่น ทดลองดิจิตอลสามารถนำเสนอการควบคุมและประมวลผลข้อมูลที่แน่นจะเข้าใจกลไกที่เป็นไปได้ (เช่นการทดลองในห้องปฏิบัติการ) และผู้เข้าร่วมที่หลากหลายมากขึ้นในการตัดสินใจที่แท้จริงในสภาพแวดล้อมทางธรรมชาติ (เช่นการทดลองภาคสนาม) นอกเหนือไปจากการรวมกันของลักษณะที่ดีของการทดลองก่อนหน้านี้ทดลองดิจิตอลยังมีสามโอกาสที่มีความยากลำบากในห้องปฏิบัติการแบบอะนาล็อกและการทดลองภาคสนาม

ครั้งแรกในขณะที่ส่วนใหญ่อะนาล็อกห้องปฏิบัติการและภาคสนามทดลองมีหลายร้อยของผู้เข้าร่วมการทดลองภาคสนามดิจิตอลสามารถมีนับล้านของผู้เข้าร่วม การเปลี่ยนแปลงในระดับนี้เป็นเพราะบางการทดลองดิจิตอลสามารถผลิตข้อมูลที่ศูนย์ต้นทุนผันแปร นั่นคือเมื่อนักวิจัยได้สร้างโครงสร้างพื้นฐานการทดลองการเพิ่มจำนวนของผู้เข้าร่วมมักจะไม่เพิ่มค่าใช้จ่าย การเพิ่มจำนวนของผู้เข้าร่วมโดยปัจจัยที่ 100 หรือมากกว่าไม่ได้เป็นเพียงการเปลี่ยนแปลงเชิงปริมาณก็คือการเปลี่ยนแปลงคุณภาพเพราะมันจะช่วยให้นักวิจัยที่จะเรียนรู้สิ่งที่แตกต่างจากการทดลอง (เช่นความแตกต่างของผลการรักษา) และเรียกใช้การออกแบบการทดลองที่แตกต่างกันอย่างสิ้นเชิง ( เช่นการทดสอบกลุ่มขนาดใหญ่) จุดนี้เป็นสิ่งสำคัญดังนั้นฉันจะกลับไปต่อท้ายของบทที่ผมให้คำแนะนำเกี่ยวกับการสร้างการทดลองดิจิตอล

ประการที่สองในขณะที่ส่วนใหญ่อะนาล็อกห้องปฏิบัติการและภาคสนามทดลองปฏิบัติต่อผู้เข้าร่วมเป็นเครื่องมือแยกไม่ออกทดลองดิจิตอลมักจะใช้ข้อมูลพื้นฐานเกี่ยวกับการมีส่วนร่วมในการออกแบบและการวิเคราะห์ขั้นตอนของการวิจัย ข้อมูลพื้นฐานนี้ซึ่งเรียกว่าข้อมูลก่อนการรักษามักจะมีอยู่ในการทดลองดิจิตอลเพราะพวกเขาเกิดขึ้นในสภาพแวดล้อมที่วัดอย่างเต็มที่ ยกตัวอย่างเช่นนักวิจัยที่ Facebook มีข้อมูลก่อนการรักษามากขึ้นกว่าที่นักวิจัยการออกแบบการทดลองในห้องปฏิบัติการมาตรฐานที่มีนักศึกษาระดับปริญญาตรี ข้อมูลก่อนการรักษานี้จะช่วยให้นักวิจัยที่จะย้ายที่อยู่นอกเหนือการรักษาผู้เข้าร่วมเป็นเครื่องมือแยกไม่ออก โดยเฉพาะอย่างยิ่งข้อมูลการรักษาก่อนจะช่วยให้มีประสิทธิภาพมากขึ้นการออกแบบการทดลองเช่นการปิดกั้น (Higgins, Sävje, and Sekhon 2016) และการรับสมัครการกำหนดเป้าหมายของผู้เข้าร่วม (Eckles, Kizilcec, and Bakshy 2016) และอื่นการวิเคราะห์ดังกล่าวที่ชาญฉลาดมากขึ้นเช่นการประมาณค่าของเซลล์สืบพันธุ์ ของผลการรักษา (Athey and Imbens 2016a) และการปรับตัวแปรร่วมเพื่อความแม่นยำที่ดีขึ้น (Bloniarz et al. 2016)

ประการที่สามในขณะที่หลายห้องปฏิบัติการอะนาล็อกและข้อมูลการทดลองส่งมอบการรักษาและผลการวัดในปริมาณที่ค่อนข้างบีบอัดเวลาบางทดลองดิจิตอลเกี่ยวข้องกับการรักษาที่สามารถส่งมอบเมื่อเวลาผ่านไปและผลกระทบยังสามารถวัดได้เมื่อเวลาผ่านไป ยกตัวอย่างเช่น Restivo และแวนเดอ Rijt ทดลองมีผลที่วัดทุกวันเป็นเวลา 90 วันและเป็นหนึ่งในการทดลองฉันจะบอกคุณเกี่ยวกับต่อมาในบท (Ferraro, Miranda, and Price 2011) ติดตามผลมากกว่า 3 ปีที่ผ่านมาโดยทั่วไปไม่มี ราคา ทั้งสามโอกาสขนาดข้อมูลก่อนการรักษาและการรักษาระยะยาวและผลข้อมูลเป็นเรื่องธรรมดามากที่สุดเมื่อทดลองทำงานบนตลอดเวลาในระบบการวัด (ดูบทที่ 2 สำหรับข้อมูลเพิ่มเติมเกี่ยวเสมอในระบบการวัด)

ในขณะที่การทดลองข้อมูลดิจิตอลให้เป็นไปได้มากที่พวกเขายังมีส่วนร่วมจุดอ่อนบางคนที่มีทั้งห้องปฏิบัติการอะนาล็อกและทดลอง ยกตัวอย่างเช่นการทดลองไม่สามารถใช้ในการศึกษาที่ผ่านมาและพวกเขาสามารถที่จะประเมินผลกระทบของการรักษาที่สามารถจัดการ นอกจากนี้แม้ว่าการทดลองจะมีประโยชน์อย่างไม่ต้องสงสัยเพื่อเป็นแนวทางนโยบายแนวทางที่แน่นอนที่พวกเขาสามารถนำเสนอค่อนข้าง จำกัด เนื่องจากภาวะแทรกซ้อนเช่นการพึ่งพาสิ่งแวดล้อมปัญหาการปฏิบัติตามและผลกระทบที่สมดุล (Banerjee and Duflo 2009; Deaton 2010) สุดท้ายทดลองดิจิตอลขยายจริยธรรมที่สร้างขึ้นโดยการทดลองภาคสนาม ผู้เสนอของการทดลองภาคสนามแตรความสามารถในการสงบเสงี่ยมและสุ่มแทรกแซงในการตัดสินใจเป็นผลสืบเนื่องที่ทำโดยผู้คนนับล้าน คุณสมบัติเหล่านี้มีข้อได้เปรียบทางวิทยาศาสตร์บางอย่าง แต่พวกเขายังสามารถทำให้การทดลองที่ซับซ้อนมีจริยธรรม (คิดเกี่ยวกับมันเป็นนักวิจัยรักษาคนเช่น "หนูทดลอง" ในระดับมาก) เพิ่มเติมนอกเหนือไปจากอันตรายไปได้ที่จะเข้าร่วมการทดลองภาคสนามดิจิตอลเพราะขนาดของพวกเขายังสามารถเพิ่มความกังวลเกี่ยวกับการหยุดชะงักของการทำงานระบบสังคม (เช่นความกังวลเกี่ยวกับการรบกวนระบบการให้รางวัลวิกิพีเดียถ้า Restivo และแวนเดอร์ Rijt ให้ barnstars มากเกินไป) .