عادة ما تقيس التجارب متوسط التأثير ، ولكن التأثير قد لا يكون متماثلاً بالنسبة للجميع.
الفكرة الأساسية الثانية لتجاوز التجارب البسيطة هي عدم التجانس في تأثيرات العلاج . تجربة Schultz et al. (2007) يوضح Schultz et al. (2007) بقوة كيف يمكن أن يكون للعلاج نفسه تأثير مختلف على أنواع مختلفة من الناس (الشكل 4.4). ولكن في معظم التجارب التناظرية ، ركز الباحثون على متوسط آثار العلاج لأن عدد المشاركين قليل وكان قليلًا معروفًا عنها. في التجارب الرقمية ، ومع ذلك ، هناك في كثير من الأحيان العديد من المشاركين وأكثر من المعروف عنهم. في بيئة البيانات المختلفة هذه ، سوف يفتقد الباحثون الذين يستمرون في تقدير متوسط التأثيرات العلاجية فقط الطرق التي يمكن بها التقديرات حول عدم تجانس تأثيرات العلاج أن تقدم أدلة حول كيفية عمل العلاج ، وكيف يمكن تحسينه ، وكيف يمكن استهدافه لأولئك الذين من المرجح أن تستفيد.
هناك مثالان على عدم تجانس تأثيرات العلاج يأتي من بحث إضافي على تقارير الطاقة المنزلية. أولاً ، Allcott (2011) حجم العينة الكبير (600000 أسرة) لتقسيم العينة بشكل أكبر وتقدير تأثير تقرير الطاقة المنزلية باستخدام عشري لاستخدام الطاقة قبل المعالجة. بينما Schultz et al. (2007) وجدت اختلافات بين المستخدمين الثقيلة والخفيفة ، Allcott (2011) أن هناك أيضا اختلافات داخل مجموعة المستخدمين الثقيلة والخفيفة. على سبيل المثال ، قلل المستخدمون الأعظم (أولئك في العشري الأعلى) من استخدامهم للطاقة بمقدار ضعف ما يستخدمه شخص في وسط مجموعة المستخدمين كثيري الاستخدام (الشكل 4.8). علاوة على ذلك ، فإن تقدير تأثير السلوك قبل المعالجة كشف أيضًا أنه لم يكن هناك تأثير يرتد ، حتى بالنسبة لأخف المستخدمين (الشكل 4.8).
في دراسة ذات صلة ، تكهن Costa and Kahn (2013) بأن فعالية تقرير الطاقة المنزلية يمكن أن تختلف باختلاف الأيديولوجية السياسية للمشاركين وأن العلاج قد يؤدي في الواقع إلى جعل الأشخاص الذين لديهم إيديولوجيات معينة تزيد من استهلاكهم للكهرباء. بعبارة أخرى ، توقعوا أن تقارير الطاقة المنزلية قد تخلق تأثيرًا سريعًا لبعض أنواع الأشخاص. لتقييم هذا الاحتمال ، دمج كل من كوستا وكانان بيانات Opower مع البيانات التي تم شراؤها من مجمّع لجهة خارجية تضمنت معلومات مثل تسجيل الأحزاب السياسية ، والتبرعات لمنظمات البيئة ، ومشاركة الأسر في برامج الطاقة المتجددة. مع هذه المجموعة من البيانات المدمجة ، وجد كوستا وكاهن أن تقارير الطاقة المنزلية أنتجت تأثيرات مشابهة للمشاركين ذوي الإيديولوجيات المختلفة. لم يكن هناك أي دليل على أن أي مجموعة أظهرت آثار بوميرانج (الشكل 4.9).
كما يوضح هذان المثالان ، في العصر الرقمي ، يمكننا الانتقال من تقدير متوسط آثار العلاج إلى تقدير عدم تجانس تأثيرات العلاج لأننا يمكن أن يكون لدينا العديد من المشاركين ونعرف المزيد عن هؤلاء المشاركين. يمكن أن يساعد التعرف على عدم تجانس تأثيرات العلاج على استهداف العلاج حيث يكون أكثر فعالية ، وتوفير الحقائق التي تحفز التطور النظري الجديد ، وتوفير تلميحات حول الآليات الممكنة ، والموضوع الذي أنتقل إليه الآن.