4.4 ย้ายที่อยู่นอกเหนือการทดลองง่ายๆ

ลองไปไกลกว่าการทดลองง่ายๆ สามแนวคิดมีประโยชน์สำหรับการทดลองที่หลากหลาย: ความถูกต้องความหลากหลายของผลการรักษาและกลไกต่างๆ

นักวิจัยที่ยังใหม่กับการทดลองมักจะมุ่งเน้นไปที่คำถามเฉพาะเจาะจงและแคบมาก: การรักษานี้ "ทำงาน" หรือไม่? ตัวอย่างเช่นโทรศัพท์จากอาสาสมัครกระตุ้นให้คนโหวตหรือไม่? การเปลี่ยนปุ่มเว็บไซต์จากสีน้ำเงินเป็นสีเขียวช่วยเพิ่มอัตราการคลิกผ่านหรือไม่ อย่างไรก็ตามการถ้อยคำที่หลวมเกี่ยวกับสิ่งที่ "ทำงาน" ปิดบังข้อเท็จจริงที่ว่าการทดลองที่มุ่งเน้นอย่างแคบไม่ได้บอกคุณจริงๆว่าการรักษา "ทำงาน" ในแง่ทั่วไป แต่การทดลองที่มุ่งเน้นอย่างเฉลียวฉลาดตอบคำถามเฉพาะเจาะจงมากขึ้น: ผลกระทบโดยเฉลี่ยของการรักษาที่เฉพาะเจาะจงนี้กับการใช้งานเฉพาะนี้สำหรับผู้เข้าร่วมในกลุ่มนี้ในขณะนี้คืออะไร? ฉันจะเรียกการทดลองที่มุ่งเน้นไปที่ การทดลองง่ายๆแบบ แคบนี้

การทดลองที่เรียบง่ายสามารถให้ข้อมูลที่มีค่า แต่พวกเขาไม่สามารถตอบคำถามมากมายที่มีความสำคัญและน่าสนใจเช่นว่ามีคนบางคนที่การรักษามีผลมากหรือน้อย ไม่ว่าจะมีการรักษาอื่นที่จะมีประสิทธิภาพมากขึ้นหรือไม่ และการทดลองครั้งนี้เกี่ยวข้องกับทฤษฎีทางสังคมที่กว้างขึ้นหรือไม่

เพื่อที่จะแสดงถึงคุณค่าของการก้าวไปไกลกว่าการทดลองแบบง่ายๆลองพิจารณาการทดลองภาคสนามอะนาล็อกโดย P. Wesley Schultz และเพื่อนร่วมงานเกี่ยวกับความสัมพันธ์ระหว่างบรรทัดฐานทางสังคมและการใช้พลังงาน (Schultz et al. 2007) Schultz และเพื่อนร่วมงานได้แขวน doorhangers ไว้ใน 300 ครัวเรือนในซานมาร์คอสรัฐแคลิฟอร์เนียและมีประตูที่เก็บข้อความต่าง ๆ เพื่อช่วยในการอนุรักษ์พลังงาน จากนั้นชูลทซ์และเพื่อนร่วมงานได้วัดผลของข้อความเหล่านี้ต่อการใช้พลังงานไฟฟ้าทั้งหลังจากหนึ่งสัปดาห์และหลังสามสัปดาห์ ดูรูปที่ 4.3 สำหรับรายละเอียดเพิ่มเติมของการออกแบบการทดลอง

รูปที่ 4.3: แผนผังของการออกแบบการทดลองจาก Schultz et al. (2007) การทดลองภาคสนามเกี่ยวข้องกับการเยี่ยมชมประมาณ 300 ครัวเรือนในซานมาร์คอสรัฐแคลิฟอร์เนียห้าครั้งในช่วงแปดสัปดาห์ นักวิจัยเองได้อ่านหนังสือจากเครื่องวัดพลังงานของบ้านด้วยตนเอง ในการเข้าชมสองครั้งพวกเขาได้วาง doorhangers ไว้ในแต่ละบ้านเพื่อให้ข้อมูลเกี่ยวกับการใช้พลังงานของครัวเรือน คำถามการวิจัยคือเนื้อหาของข้อความเหล่านี้จะส่งผลต่อการใช้พลังงานอย่างไร

การทดลองมีสองเงื่อนไข ในตอนแรกครัวเรือนได้รับเคล็ดลับการประหยัดพลังงานทั่วไป (เช่นใช้พัดลมแทนเครื่องปรับอากาศ) และข้อมูลเกี่ยวกับการใช้พลังงานเทียบกับการใช้พลังงานโดยเฉลี่ยในพื้นที่ใกล้เคียง Schultz และเพื่อนร่วมงานเรียกชื่อนี้ว่าสภาวะ เชิงบรรทัดฐานอธิบาย เพราะข้อมูลเกี่ยวกับการใช้พลังงานในละแวกนั้นให้ข้อมูลเกี่ยวกับพฤติกรรมทั่วไป (เช่นบรรทัดฐานเชิงพรรณนา) เมื่อ Schultz และเพื่อนร่วมงานต่างมองถึงการใช้พลังงานที่เกิดขึ้นในกลุ่มนี้การรักษาดูเหมือนจะไม่มีผลในระยะสั้นหรือระยะยาว กล่าวอีกนัยหนึ่งการรักษาไม่ได้ดูเหมือน "ทำงาน" (รูปที่ 4.4)

โชคดีที่ชูลท์ซและเพื่อนร่วมงานไม่สามารถตกลงกันได้สำหรับการวิเคราะห์แบบง่ายนี้ ก่อนการทดลองเริ่มต้นขึ้นพวกเขาให้เหตุผลว่าผู้ใช้ไฟฟ้าจำนวนมากที่อยู่เหนือค่าเฉลี่ยอาจลดการบริโภคของพวกเขาและผู้ใช้พลังงานไฟฟ้าที่อยู่ต่ำกว่าค่าเฉลี่ยอาจเพิ่มการบริโภคของพวกเขา เมื่อพวกเขามองไปที่ข้อมูลนั่นคือสิ่งที่พวกเขาพบ (รูปที่ 4.4) ดังนั้นสิ่งที่ดูเหมือนการรักษาที่ไม่มีผลก็คือการรักษาที่มีผลชดเชยสองครั้ง การเพิ่มขึ้นของการต่อต้านการก่อการร้ายในหมู่ผู้ใช้ที่มีน้ำหนักเบาเป็นตัวอย่างของ ผลบูมเมอแรง ซึ่งการรักษาอาจมีผลตรงกันข้ามกับสิ่งที่ตั้งใจไว้

รูปที่ 4.4: ผลจาก Schultz et al. (2007) แผง (a) แสดงให้เห็นว่าการรักษาบรรทัดฐานเชิงพรรณนามีผลการรักษาโดยเฉลี่ยที่ศูนย์โดยประมาณ อย่างไรก็ตามแผงควบคุม (b) แสดงให้เห็นว่าผลการรักษาโดยเฉลี่ยนี้ประกอบด้วยผลชดเชยสองรายการ สำหรับผู้ใช้จำนวนมากการรักษาจะลดการใช้ แต่สำหรับผู้ใช้ที่มีน้ำหนักเบาการรักษาจะเพิ่มการใช้งาน ในท้ายที่สุดแผง (c) แสดงให้เห็นว่าการรักษาครั้งที่สองซึ่งใช้บรรทัดฐานคำบรรยายและ injunctive มีผลกระทบต่อผู้ใช้จำนวนมาก แต่ลดผลกระทบบูมเมอแรงกับผู้ใช้ที่มีน้ำหนักเบา ดัดแปลงมาจาก Schultz et al. (2007)

พร้อมกับเงื่อนไขแรก Schultz และเพื่อนร่วมงานก็วิ่งไปในสภาพที่สอง ครัวเรือนที่อยู่ในสภาพที่สองได้รับเคล็ดลับการประหยัดพลังงานแบบเดียวกับข้อมูลทั่วไปและข้อมูลเกี่ยวกับการใช้พลังงานในครัวเรือนของตนเมื่อเทียบกับค่าเฉลี่ยสำหรับพื้นที่ใกล้เคียงของพวกเขาโดยมีการเพิ่มขึ้นเพียงเล็กน้อยสำหรับผู้ที่มีการบริโภคต่ำกว่าค่าเฉลี่ยนักวิจัยได้เพิ่ม ) และสำหรับคนที่มีการบริโภคสูงกว่าเกณฑ์เฉลี่ยพวกเขาเพิ่ม :( อีโมติคอนเหล่านี้ได้รับการออกแบบมาเพื่อเรียกสิ่งที่นักวิจัยเรียกว่า บรรทัดฐาน injunctive บรรทัดฐานที่ ไม่เป็นธรรมหมายถึงการรับรู้ถึงสิ่งที่ได้รับการยอมรับโดยทั่วไป (และไม่ผ่านการอนุมัติ) ในขณะที่บรรทัดฐานเชิงพรรณนาหมายถึงการรับรู้ สิ่งที่มักทำ (Reno, Cialdini, and Kallgren 1993)

นักวิทยาศาสตร์ได้เพิ่มไอคอนอีโมติคอนตัวเล็ก ๆ ตัวหนึ่งลง (รูปที่ 4.4) การเปลี่ยนแปลงที่เกิดขึ้นจากทฤษฎีทางจิตวิทยาสังคมเชิงนามธรรม (Cialdini, Kallgren, and Reno 1991) นักวิจัยสามารถที่จะเปลี่ยนโปรแกรมที่ดูเหมือนจะไม่ค่อยมีประโยชน์ในการทำงาน และในเวลาเดียวกันพวกเขาสามารถมีส่วนร่วมในการทำความเข้าใจทั่วไปว่าบรรทัดฐานทางสังคมมีผลต่อพฤติกรรมของมนุษย์อย่างไร

ในตอนนี้คุณอาจสังเกตเห็นว่ามีบางอย่างที่แตกต่างไปเล็กน้อยเกี่ยวกับการทดสอบนี้ โดยเฉพาะอย่างยิ่งการทดลองของชูลท์ซและเพื่อนร่วมงานไม่ได้มีกลุ่มควบคุมในทางเดียวกันกับที่การทดลองแบบสุ่มควบคุมทำได้ การเปรียบเทียบระหว่างการออกแบบนี้กับ Restivo และ van de Rijt แสดงให้เห็นถึงความแตกต่างระหว่างการออกแบบการทดลองสองรูปแบบที่สำคัญ ใน การออกแบบระหว่างวิชา เช่น Restivo และ van de Rijt มีกลุ่มบำบัดและกลุ่มควบคุม ในการออกแบบภายในอาสาสมัครในมืออื่น ๆ พฤติกรรมของผู้เข้าร่วมจะถูกเปรียบเทียบก่อนและหลังการรักษา (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) ในการทดสอบภายในเรื่องนั้นดูเหมือนว่าผู้เข้าร่วมแต่ละคนจะทำหน้าที่เป็นกลุ่มควบคุมของตัวเอง ความแข็งแรงของการออกแบบระหว่างวิชาคือการป้องกันจากสารก่อภูมิแพ้ (ตามที่ได้อธิบายไว้ก่อนหน้านี้) ขณะที่ความแรงของการทดลองภายในอาสาสมัครเพิ่มขึ้นอย่างแม่นยำในการประมาณค่า สุดท้ายนี้เพื่อคาดเดาความคิดที่จะเกิดขึ้นภายหลังเมื่อฉันเสนอคำแนะนำเกี่ยวกับการออกแบบการทดลองแบบดิจิตอลการออกแบบ _mixed จะช่วยเพิ่มความแม่นยำในการออกแบบภายในอาสาสมัครและการป้องกันการสร้างภาพลวงตาระหว่างผู้ออกแบบ (รูปที่ 4.5)

รูปที่ 4.5: การออกแบบการทดลองสามแบบ การทดลองแบบสุ่มควบคุมแบบมาตรฐานใช้การออกแบบ ระหว่างวิชา ตัวอย่างของการออกแบบระหว่างวิชาคือการทดลองของ Restivo and van de Rijt (2012) เกี่ยวกับ barnstars และการมีส่วนร่วมกับวิกิพีเดีย: นักวิจัยแบ่งกลุ่มผู้เข้าร่วมการรักษาและกลุ่มควบคุมออกโดยสุ่มให้กลุ่มผู้เข้าร่วมการรักษาด้วย barnstar และเปรียบเทียบผลลัพธ์สำหรับ สองกลุ่ม ประเภทที่สองของการออกแบบคือการออกแบบ ภายใน - วิชา ทั้งสองการทดลองในชูลทซ์และเพื่อนร่วมงาน (2007) การศึกษาเกี่ยวกับบรรทัดฐานของสังคมและการใช้พลังงานที่แสดงให้เห็นถึงการออกแบบภายในวิชา: นักวิจัยเปรียบเทียบการใช้ไฟฟ้าของผู้เข้าร่วมก่อนและหลังจากที่ได้รับการรักษา การออกแบบภายในอาสาสมัครมีความแม่นยำทางสถิติที่ดีขึ้น แต่จะเปิดกว้างสำหรับ (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) เป็นไปได้ (เช่นการเปลี่ยนแปลงสภาพอากาศระหว่างระยะเวลาการเตรียมการและการรักษา) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) การออกแบบภายในของอาสาสมัครบางครั้งก็เรียกว่าการออกแบบซ้ำ ๆ ในที่สุด การออกแบบ ผสมผสานรวมความแม่นยำที่ดีขึ้นของการออกแบบภายในอาสาสมัครและการป้องกันการรบกวนระหว่างการออกแบบอาสาสมัคร ในการออกแบบผสมผสานนักวิจัยเปรียบเทียบการเปลี่ยนแปลงในผลลัพธ์สำหรับคนในกลุ่มควบคุมและการควบคุม เมื่อนักวิจัยมีข้อมูลการเตรียมการก่อนเช่นในการทดลองแบบดิจิทัลหลายครั้งการออกแบบแบบผสมมักเหมาะที่จะใช้กับการออกแบบระหว่างผู้มีส่วนได้ส่วนเสียเนื่องจากความแม่นยำในการประมาณที่ดีขึ้น

โดยรวมการออกแบบและผลการศึกษาของ Schultz และเพื่อนร่วมงาน (2007) แสดงให้เห็นถึงคุณค่าของการก้าวไปไกลกว่าการทดลองง่ายๆ โชคดีที่คุณไม่จำเป็นต้องเป็นอัจฉริยะที่สร้างสรรค์ในการออกแบบการทดลองเช่นนี้ นักวิทยาศาสตร์ทางสังคมได้พัฒนาแนวคิดสามประการที่จะนำคุณสู่การทดลองที่สมบูรณ์ยิ่งขึ้น: (1) ความถูกต้อง (2) ความไม่สม่ำเสมอของผลการรักษาและ (3) กลไก กล่าวคือหากคุณคำนึงถึงแนวคิดสามประการนี้ขณะที่คุณกำลังออกแบบการทดสอบของคุณคุณจะสร้างการทดสอบที่น่าสนใจและมีประโยชน์มากขึ้น เพื่อแสดงให้เห็นถึงแนวคิดทั้งสามแบบในการดำเนินการนี้ฉันจะอธิบายการทดลองภาคสนามดิจิทัลบางส่วนที่ติดตามได้จากการออกแบบที่หรูหราและน่าตื่นเต้นของ Schultz และเพื่อนร่วมงาน (2007) อย่างที่คุณจะได้เห็นการออกแบบการวิเคราะห์และการแปลความรอบคอบมากขึ้นคุณก็สามารถก้าวไปไกลกว่าการทดลองง่ายๆ