การทดลองวัดตามปกติผลเฉลี่ย แต่ผลที่ได้จะแตกต่างกันสำหรับคนที่แตกต่างกัน
ความคิดที่สำคัญที่สองสำหรับการย้ายที่อยู่นอกเหนือการทดลองง่ายๆคือความแตกต่างของผลการรักษา การทดลองของ Schultz et al. (2007) มีอำนาจแสดงให้เห็นถึงวิธีการรักษาเดียวกันสามารถมีผลกระทบที่แตกต่างกันในชนิดที่แตกต่างกันของผู้คน (รูปที่ 4.4) แต่การวิเคราะห์ความแตกต่างนี้เป็นจริงค่อนข้างผิดปกติสำหรับการทดสอบอายุอนาล็อก ส่วนใหญ่การทดลองอายุอนาล็อกเกี่ยวข้องกับจำนวนเล็ก ๆ ของผู้เข้าร่วมที่จะถือว่าเป็น "เครื่องมือ" ใช้แทนกันได้เพราะเล็ก ๆ น้อย ๆ เกี่ยวกับพวกเขาเป็นที่รู้จักกันรักษาก่อน ในการทดลองดิจิตอล แต่เหล่านี้ข้อ จำกัด ของข้อมูลที่อยู่ร่วมกันน้อยลงเพราะนักวิจัยมีแนวโน้มที่จะมีผู้เข้าร่วมมากขึ้นและทราบข้อมูลเพิ่มเติมเกี่ยวกับพวกเขา ในสภาพแวดล้อมที่แตกต่างกันนี้ข้อมูลที่เราสามารถประมาณความแตกต่างของผลการรักษาเพื่อให้เบาะแสเกี่ยวกับวิธีการทำงานของการรักษาวิธีที่จะสามารถได้รับการปรับปรุงและวิธีที่จะสามารถกำหนดเป้าหมายไปยังผู้ที่ส่วนใหญ่มีแนวโน้มที่จะได้รับประโยชน์
สองตัวอย่างของความแตกต่างของผลการรักษาในบริบทของบรรทัดฐานทางสังคมและการใช้พลังงานที่มาจากการวิจัยเพิ่มเติมเกี่ยวกับรายงานพลังงานหลัก แรก Allcott (2011) ใช้ขนาดของกลุ่มตัวอย่างขนาดใหญ่ (600,000 ครัวเรือน) เพื่อแยกตัวอย่างและประเมินผลกระทบของการรายงานพลังงานหลักโดยช่วงชั้นของการใช้พลังงานการรักษาก่อน ในขณะที่ Schultz et al. (2007) พบความแตกต่างระหว่างผู้ใช้งานหนักและเบา, Allcott (2011) พบว่ายังมีความแตกต่างกันภายในกลุ่มผู้ใช้หนักและเบา ยกตัวอย่างเช่นผู้ใช้งานหนัก (ผู้ที่อยู่ในช่วงชั้นบนสุด) ลดการใช้พลังงานของพวกเขามากเป็นสองเท่าคนที่อยู่ตรงกลางของกลุ่มผู้ใช้หนัก (รูปที่ 4.7) นอกจากนี้การประเมินผลกระทบจากพฤติกรรมการรักษาก่อนยังเผยให้เห็นว่าไม่มีผลบูมเมอแรงแม้สำหรับผู้ใช้ที่มีน้ำหนักเบา (รูปที่ 4.7)
ในการศึกษาที่เกี่ยวข้องกับ Costa and Kahn (2013) สันนิษฐานว่าประสิทธิผลของการรายงานพลังงานหลักอาจแตกต่างกันไปขึ้นอยู่กับอุดมการณ์ทางการเมืองของผู้เข้าร่วมและว่าการรักษาจริงอาจทำให้คนที่มีอุดมการณ์บางอย่างที่จะเพิ่มการใช้ไฟฟ้าของพวกเขา ในคำอื่น ๆ ที่พวกเขาคาดการณ์ว่ารายงานพลังงานหลักอาจจะสร้างผลกระทบบูมเมอแรงสำหรับบางประเภทของคน เพื่อประเมินความเป็นไปได้นี้คอสตาริกาและคาห์นรวมข้อมูล Opower กับข้อมูลที่ซื้อมาจากผู้รวบรวมบุคคลที่สามที่รวมข้อมูลเช่นการลงทะเบียนพรรคการเมืองบริจาคให้กับองค์กรสิ่งแวดล้อมและมีส่วนร่วมในโปรแกรมที่ใช้ในครัวเรือนพลังงานทดแทน ด้วยชุดข้อมูลที่ผสานนี้คอสตาริกาและคาห์นพบว่ารายงานพลังงานหลักผลิตผลกระทบที่คล้ายกันในวงกว้างสำหรับผู้ที่มีอุดมการณ์ที่แตกต่างกัน มีหลักฐานว่ากลุ่มใด ๆ ที่แสดงให้เห็นผลกระทบที่ไม่มีบูมเมอแรง (รูปที่ 4.8)
เหล่านี้เป็นตัวอย่างที่สองแสดงให้เห็นในยุคดิจิตอลเราสามารถย้ายจากการประเมินผลกระทบต่อการรักษาเฉลี่ยในการประเมินความแตกต่างของผลการรักษาเพราะเราสามารถมีผู้เข้าร่วมอื่น ๆ อีกมากมายและเรารู้เพิ่มเติมเกี่ยวกับการเข้าร่วมเหล่านั้น เรียนรู้เกี่ยวกับความแตกต่างของผลการรักษาที่สามารถเปิดใช้งานการกำหนดเป้าหมายของการรักษาที่มีประสิทธิภาพมากที่สุดให้ข้อเท็จจริงที่ช่วยกระตุ้นการพัฒนาทฤษฎีใหม่และให้คำแนะนำเกี่ยวกับกลไกที่เป็นไปได้หัวข้อที่ฉันตอนนี้หัน