4.4 ย้ายที่อยู่นอกเหนือการทดลองง่ายๆ

ลองย้ายที่อยู่นอกเหนือการทดลองง่ายๆ สามแนวคิดที่มีประโยชน์สำหรับการทดลองที่อุดมไปด้วย: ความถูกต้อง, ความแตกต่างของผลการรักษาและกลไก

นักวิจัยที่ยังใหม่กับการทดลองมักจะมุ่งเน้นไปที่เฉพาะเจาะจงมากคำถามแคบ: ไม่รักษานี้ "งาน"? ยกตัวอย่างเช่นไม่รับโทรศัพท์จากอาสาสมัครส่งเสริมให้คนที่จะลงคะแนนได้บ้าง การเปลี่ยนปุ่มเว็บไซต์จากสีฟ้าเพื่อเพิ่มอัตราการคลิกผ่านสีเขียว? แต่น่าเสียดายที่การใช้ถ้อยคำหลวมเกี่ยวกับสิ่งที่ "ผลงาน" ปิดบังความจริงที่ว่าเจาะจงทดลองไม่ได้จริงๆบอกคุณได้ว่าการรักษา "ผลงาน" ในความหมายทั่วไป แต่มุ่งเน้นไปหวุดหวิดทดลองตอบคำถามที่เฉพาะเจาะจงมากขึ้น: สิ่งที่เป็นผลเฉลี่ยของการรักษานี้โดยเฉพาะกับการดำเนินงานที่เฉพาะเจาะจงสำหรับประชากรของผู้เข้าร่วมในขณะนี้นี้หรือไม่? ฉันจะเรียกการทดลองที่มุ่งเน้นในการทดลองนี้ง่ายคำถามแคบ

การทดลองอย่างง่ายสามารถให้ข้อมูลที่มีคุณค่า แต่พวกเขาล้มเหลวที่จะตอบคำถามหลายอย่างที่มีความสำคัญและน่าสนใจเช่นมีบางคนสำหรับผู้ที่รักษามีผลขนาดใหญ่หรือเล็ก ?; จะมีการรักษาที่จะมีประสิทธิภาพมากขึ้นอีก ?; และจะมีวิธีการทดลองนี้เกี่ยวข้องกับทฤษฎีทางสังคมที่กว้างขึ้น?

เพื่อแสดงให้เห็นคุณค่าของการย้ายที่อยู่นอกเหนือการทดลองง่ายๆขอพิจารณาอย่างใดอย่างหนึ่งของการทดลองภาคสนามที่ชื่นชอบอนาล็อกศึกษาโดยพีเวสลีย์ชูลท์ซและเพื่อนร่วมงานเกี่ยวกับความสัมพันธ์ระหว่างบรรทัดฐานทางสังคมและการบริโภคพลังงาน (Schultz et al. 2007) ชูลท์ซและเพื่อนร่วมงานแขวน doorhangers 300 ครัวเรือนในซานมาร์คอส, แคลิฟอร์เนียและ doorhangers เหล่านี้ส่งข้อความที่แตกต่างกันออกแบบมาเพื่อส่งเสริมการอนุรักษ์พลังงาน จากนั้นชูลท์ซและเพื่อนร่วมงานวัดผลของข้อความเหล่านี้ในการใช้ไฟฟ้าทั้งหลังหนึ่งสัปดาห์และสามสัปดาห์ ดูรูปที่ 4.3 สำหรับรายละเอียดเพิ่มเติมของการออกแบบการทดลอง

รูปที่ 4.3: แผนผังของการออกแบบจาก Schultz et al. (2007) การทดลองภาคสนามที่เกี่ยวข้องกับการเยี่ยมชมประมาณ 300 ครัวเรือนในซานมาร์คอส, แคลิฟอร์เนียห้าครั้งในช่วงสัปดาห์ที่แปด ในแต่ละเยี่ยมชมนักวิจัยด้วยตนเองเอาการอ่านจากมิเตอร์ไฟฟ้าบ้านได้ เมื่อวันที่สองของการเข้าชมนักวิจัยวาง doorhangers ในบ้านให้ข้อมูลบางอย่างเกี่ยวกับการใช้พลังงานของพวกเขา คำถามคือวิธีการวิจัยเนื้อหาของข้อความเหล่านี้จะส่งผลกระทบการใช้พลังงาน

การทดลองที่มีสองเงื่อนไข อยู่ในสภาพที่แรกผู้ประกอบการที่ได้รับเคล็ดลับการประหยัดพลังงานทั่วไป (เช่นใช้แทนแฟน ๆ ของเครื่องปรับอากาศ) และข้อมูลเกี่ยวกับการใช้พลังงานในครัวเรือนของพวกเขาเมื่อเทียบกับค่าเฉลี่ยของการใช้พลังงานในเขตของพวกเขา ชูลท์ซและเพื่อนร่วมงานนี้เรียกว่าเงื่อนไขกฎเกณฑ์พรรณนาเนื่องจากข้อมูลเกี่ยวกับการใช้พลังงานในพื้นที่ใกล้เคียงของพวกเขาที่มีให้บริการข้อมูลเกี่ยวกับพฤติกรรมทั่วไป (เช่นบรรทัดฐานพรรณนา) เมื่อชูลท์ซและเพื่อนร่วมงานมองไปที่การใช้พลังงานที่เกิดขึ้นในกลุ่มนี้รักษาที่ดูเหมือนจะไม่มีผลกระทบทั้งในระยะสั้นหรือระยะยาว ในคำอื่น ๆ การรักษาไม่ได้ดูเหมือนจะ "ทำงาน" (รูปที่ 4.4)

แต่โชคดีที่ Schultz et al. (2007) ไม่ได้ชำระสำหรับการวิเคราะห์แบบง่ายๆนี้ ก่อนที่จะเริ่มการทดสอบพวกเขาให้เหตุผลว่าผู้ใช้หนักของการไฟฟ้าคนดังกล่าวข้างต้นหมายความว่าอาจจะลดการบริโภคของพวกเขาและว่าผู้ใช้ไฟของการไฟฟ้าคนดังต่อไปนี้หมายถึงจริงอาจเพิ่มการบริโภคของพวกเขา เมื่อพวกเขามองไปที่ข้อมูลที่ว่าสิ่งที่พวกเขาพบว่า (รูปที่ 4.4) ดังนั้นสิ่งที่ดูเหมือนการรักษาที่ถูกต้องไม่มีผลกระทบที่จริงก็คือการรักษาที่มีสองลักษณะหักล้าง นักวิจัยเรียกว่าการเพิ่มขึ้นของเคาน์เตอร์นี้ในหมู่ผู้ใช้แสงผลบูมเมอแรง

รูปที่ 4.4: ผลจากการ Schultz et al. (2007) แผงแรกที่แสดงให้เห็นว่าการรักษาบรรทัดฐานพรรณนามีประมาณศูนย์ผลการรักษาเฉลี่ย แต่แผงที่สองแสดงให้เห็นว่าผลการรักษาเฉลี่ยนี้จะประกอบด้วยจริงของทั้งสองหักล้างผลกระทบ สำหรับผู้ใช้ที่หนักการรักษาลดลงการใช้งาน แต่สำหรับผู้ใช้แสงรักษาที่เพิ่มขึ้นการใช้งาน สุดท้ายแผงที่สามแสดงให้เห็นว่าการรักษาที่สองซึ่งใช้บรรทัดฐานบรรยายและคำสั่งศาลมีประมาณผลเช่นเดียวกันกับผู้ใช้หนัก แต่ลดทอนผลกระทบบูมเมอแรงกับผู้ใช้ไฟ

นอกจากนี้ชูลท์ซและเพื่อนร่วมงานที่คาดว่าจะเป็นไปได้นี้และอยู่ในสภาพที่สองที่พวกเขานำไปใช้ในการรักษาที่แตกต่างกันเล็กน้อยหนึ่งที่ออกแบบมาอย่างชัดเจนเพื่อขจัดผลบูมเมอแรง ครัวเรือนในเงื่อนไขที่สองได้รับแน่นอนเดียวกันการรักษาทั่วไปเคล็ดลับการประหยัดพลังงานและข้อมูลเกี่ยวกับการใช้พลังงานในครัวเรือนของพวกเขาเมื่อเทียบกับพื้นที่ใกล้เคียงด้วยนอกจากนี้เล็ก ๆ คนหนึ่งของพวกเขาสำหรับคนที่มีการบริโภคต่ำกว่าค่าเฉลี่ยนักวิจัยเพิ่ม :) และสำหรับ คนที่มีการบริโภคสูงกว่าค่าเฉลี่ยพวกเขาเพิ่ม :( ได้. อีโมติคอนเหล่านี้ถูกออกแบบมาเพื่อเรียกสิ่งที่นักวิจัยที่เรียกว่าบรรทัดฐานคำสั่งศาล. บรรทัดฐานคุ้มครองชั่วคราวหมายถึงการรับรู้ในสิ่งที่ได้รับการอนุมัติโดยทั่วไป (และได้รับการอนุมัติ) ในขณะที่บรรทัดฐานพรรณนาหมายถึงการรับรู้ของสิ่งที่จะทำกันทั่วไป (Reno, Cialdini, and Kallgren 1993)

โดยการเพิ่มหนึ่งไอคอนแสดงอารมณ์เล็ก ๆ นักวิจัยได้ลดลงอย่างมากผลบูมเมอแรง (รูปที่ 4.4) ดังนั้นโดยทำให้หนึ่งง่ายเปลี่ยนแปลงการเปลี่ยนแปลงที่ได้รับแรงบันดาลใจจากนามธรรมทฤษฎีสังคมจิตวิทยา (Cialdini, Kallgren, and Reno 1991) นักวิจัย -The ก็สามารถที่จะเปิดโปรแกรมจากหนึ่งที่ดูเหมือนจะไม่ได้ทำงานเป็นหนึ่งที่ ทำงานและในเวลาเดียวกันพวกเขาก็สามารถที่จะนำไปสู่​​ความเข้าใจทั่วไปของวิธีบรรทัดฐานทางสังคมส่งผลกระทบต่อพฤติกรรมของมนุษย์

ณ จุดนี้ แต่คุณอาจสังเกตเห็นว่าสิ่งที่เป็นบิตที่แตกต่างกันเกี่ยวกับการทดสอบนี้ โดยเฉพาะอย่างยิ่งการทดลองของชูลท์ซและเพื่อนร่วมงานไม่ได้จริงๆมีกลุ่มควบคุมในทางเดียวกันว่าการทดลองแบบสุ่มควบคุมทำ การเปรียบเทียบระหว่างการออกแบบและการออกแบบของ Restivo และแวนเดอ Rijt แสดงให้เห็นถึงความแตกต่างระหว่างสองแบบหลักที่ใช้โดยนักวิจัย ในระหว่างวิชาออกแบบเช่น Restivo และแวนเดอ Rijt มีกลุ่มการรักษาและกลุ่มควบคุมและในภายในวิชาออกแบบพฤติกรรมของผู้เข้าร่วมจะถูกเปรียบเทียบก่อนและหลังการรักษา (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) ในการทดลองภายในเรื่องจะเป็นถ้าเข้าร่วมแต่ละคนทำหน้าที่เป็นกลุ่มควบคุมของเธอเอง ความแข็งแรงของระหว่างวิชาออกแบบก็คือว่ามันให้ความคุ้มครองกับตัวแปร (ตามที่ผมอธิบายไว้ก่อนหน้า) และความแข็งแรงของการทดลองภายในวิชาที่จะเพิ่มความแม่นยำในการประมาณการ เมื่อผู้เข้าร่วมแต่ละทำหน้าที่เป็นตัวควบคุมของตัวเองระหว่างผู้เข้าร่วมการเปลี่ยนแปลงจะถูกกำจัดออก (ดูภาคผนวกเทคนิค) ที่จะส่อให้เห็นว่าจะมาในภายหลังเมื่อผมให้คำแนะนำเกี่ยวกับการออกแบบการทดลองดิจิตอลมีการออกแบบขั้นสุดท้ายที่เรียกว่าการออกแบบที่หลากหลายที่ผสมผสานความแม่นยำของการออกแบบภายในและอาสาสมัครป้องกันการรบกวนของการออกแบบระหว่างอาสาสมัคร

รูปที่ 4.5: สามการออกแบบการทดลอง มาตรฐานการสุ่มทดลองใช้ควบคุมระหว่างวิชาออกแบบ ตัวอย่างของการออกแบบระหว่างอาสาสมัครเป็น Restivo และแวนเดอ Rijt ของ (2012) ทดลอง barnstars และผลงานของวิกิพีเดีย: นักวิจัยแบ่งผู้เข้าร่วมเป็นกลุ่มการรักษาและการควบคุมให้ผู้เข้าร่วมในกลุ่มรักษายุ้งข้าวและเมื่อเทียบผลสำหรับสอง กลุ่ม ประเภทที่สองของการออกแบบคือการออกแบบภายในวิชา ทั้งสองการทดลองในชูลท์ซและเพื่อนร่วมงาน (2007) การศึกษาเกี่ยวกับบรรทัดฐานทางสังคมและการใช้พลังงานที่แสดงให้เห็นถึงการออกแบบภายในวิชา: นักวิจัยเปรียบเทียบการใช้ไฟฟ้าของผู้เข้าร่วมก่อนและหลังจากที่ได้รับการรักษา ภายในวิชาการออกแบบให้มีความแม่นยำทางสถิติที่ดีขึ้นโดยการกำจัดระหว่างเรื่องความแปรปรวน (ดูเทคนิคภาคผนวก) แต่พวกเขาจะเปิดให้ตัวแปรที่เป็นไปได้ (เช่นการเปลี่ยนแปลงในสภาพอากาศระหว่างการรักษาก่อนและระยะเวลาการรักษา) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) ภายในวิชาออกแบบที่บางครั้งเรียกว่าซ้ำออกแบบมาตรการ ในที่สุดการออกแบบที่ผสมรวมความแม่นยำของการออกแบบภายในและอาสาสมัครป้องกันการรบกวนของการออกแบบระหว่างอาสาสมัคร ในการออกแบบผสมนักวิจัยเปรียบเทียบการเปลี่ยนแปลงในผลสำหรับคนที่อยู่ในกลุ่มการรักษาและการควบคุม เมื่อนักวิจัยมีข้อมูลการรักษาก่อนแล้วเป็นกรณีในการทดลองดิจิตอลจำนวนมากที่ออกแบบผสมเป็นที่นิยมในการออกแบบระหว่างอาสาสมัครเพราะของกำไรในความแม่นยำ (ดูภาคผนวกเทคนิค)

โดยรวม, การออกแบบและผลของการ Schultz et al. (2007) แสดงให้เห็นคุณค่าของการย้ายที่อยู่นอกเหนือการทดลองง่ายๆ โชคดีที่คุณไม่จำเป็นต้องเป็นอัจฉริยะในการสร้างการทดลองเช่นนี้ นักวิทยาศาสตร์สังคมได้มีการพัฒนาสามแนวคิดที่จะแนะนำคุณไปสู่​​การทดลองความคิดสร้างสรรค์ที่ดียิ่งขึ้นและอื่น ๆ : 1) ตั้งแต่วันที่ 2) ความแตกต่างของผลการรักษาและ 3) กลไก นั่นคือถ้าคุณเก็บสามเหล่านี้คิดในใจขณะที่คุณกำลังออกแบบการทดสอบของคุณคุณธรรมชาติจะสร้างการทดลองที่น่าสนใจและมีประโยชน์ เพื่อที่จะแสดงให้เห็นถึงแนวคิดที่สามเหล่านี้ในการดำเนินการผมจะอธิบายเป็นจำนวนมากติดตามทดลองดิจิตอลบางส่วนที่สร้างขึ้นบนการออกแบบที่หรูหราและผลที่น่าตื่นเต้นใน Schultz et al. (2007) เป็นคุณจะเห็นผ่านการออกแบบอย่างระมัดระวังมากขึ้นการดำเนินการวิเคราะห์และตีความคุณก็สามารถย้ายที่อยู่นอกเหนือการทดลองง่ายๆ