Các thử nghiệm thường đo lường hiệu quả trung bình, nhưng hiệu quả có thể không giống nhau đối với tất cả mọi người.
Ý tưởng quan trọng thứ hai cho việc di chuyển ngoài các thí nghiệm đơn giản là tính không đồng nhất của các hiệu ứng điều trị . Thí nghiệm của Schultz et al. (2007) minh họa một cách mạnh mẽ cách thức điều trị tương tự có thể có tác động khác nhau đối với các loại người khác nhau (hình 4.4). Tuy nhiên, trong hầu hết các thí nghiệm tương tự, các nhà nghiên cứu tập trung vào các hiệu quả điều trị trung bình vì có một số ít người tham gia và ít được biết về chúng. Tuy nhiên, trong các thí nghiệm kỹ thuật số, thường có nhiều người tham gia hơn và được biết nhiều hơn về họ. Trong môi trường dữ liệu khác nhau này, các nhà nghiên cứu tiếp tục ước tính hiệu quả điều trị trung bình sẽ bỏ qua những cách thức ước tính về tính không đồng nhất của hiệu quả điều trị. cho những người có nhiều khả năng hưởng lợi nhất.
Hai ví dụ về tính không đồng nhất của hiệu quả điều trị xuất phát từ nghiên cứu bổ sung về Báo cáo năng lượng tại nhà. Đầu tiên, Allcott (2011) sử dụng cỡ mẫu lớn (600.000 hộ gia đình) để chia nhỏ mẫu và ước tính hiệu quả của Báo cáo năng lượng tại nhà bằng cách sử dụng năng lượng trước khi xử lý. Trong khi Schultz et al. (2007) tìm thấy sự khác biệt giữa người dùng nặng và nhẹ, Allcott (2011) nhận thấy rằng cũng có sự khác biệt trong nhóm người dùng nặng và nhẹ. Ví dụ, những người sử dụng nặng nhất (những người trong top decile) đã giảm sử dụng năng lượng của họ gấp đôi so với một người ở giữa nhóm người dùng nặng (hình 4.8). Hơn nữa, ước lượng hiệu quả của hành vi tiền xử lý cũng tiết lộ rằng không có hiệu ứng boomerang, ngay cả đối với những người dùng nhẹ nhất (hình 4.8).
Trong một nghiên cứu liên quan, Costa and Kahn (2013) cho rằng hiệu quả của Báo cáo năng lượng tại nhà có thể thay đổi dựa trên tư tưởng chính trị của người tham gia và việc điều trị có thể thực sự gây ra những người có ý thức hệ nhất định để tăng cường sử dụng điện. Nói cách khác, họ suy đoán rằng Báo cáo năng lượng tại nhà có thể đang tạo hiệu ứng boomerang cho một số loại người. Để đánh giá khả năng này, Costa và Kahn sáp nhập dữ liệu Opower với dữ liệu được mua từ một tập hợp bên thứ ba bao gồm các thông tin như đăng ký đảng chính trị, quyên góp cho các tổ chức môi trường và tham gia các chương trình năng lượng tái tạo. Với bộ dữ liệu đã hợp nhất này, Costa và Kahn đã phát hiện ra rằng Báo cáo năng lượng tại nhà tạo ra các hiệu ứng tương tự rộng rãi cho những người tham gia với các ý thức hệ khác nhau; không có bằng chứng cho thấy bất kỳ nhóm nào thể hiện hiệu ứng boomerang (hình 4.9).
Như hai ví dụ minh họa, trong thời đại kỹ thuật số, chúng ta có thể di chuyển từ ước tính hiệu quả điều trị trung bình đến ước tính tính không đồng nhất của hiệu quả điều trị vì chúng ta có thể có nhiều người tham gia hơn và chúng ta biết nhiều hơn về những người tham gia. Tìm hiểu về tính không đồng nhất của hiệu quả điều trị có thể cho phép nhắm mục tiêu điều trị hiệu quả nhất, cung cấp các sự kiện kích thích phát triển lý thuyết mới và cung cấp gợi ý về các cơ chế có thể, chủ đề mà bây giờ tôi chuyển.