4.4.2 Heterogenität der Behandlungseffekte

Experimente messen normalerweise den durchschnittlichen Effekt, aber der Effekt ist wahrscheinlich nicht für alle gleich.

Die zweite Schlüsselidee, um über einfache Experimente hinauszugehen, ist die Heterogenität der Behandlungseffekte . Das Experiment von Schultz et al. (2007) eindrucksvoll, dass dieselbe Behandlung unterschiedliche Auswirkungen auf verschiedene Arten von Menschen haben kann (Abbildung 4.4). In den meisten analogen Experimenten konzentrierten sich die Forscher jedoch auf durchschnittliche Behandlungseffekte, da nur wenige Teilnehmer anwesend waren und nur wenig darüber bekannt war. In digitalen Experimenten gibt es jedoch oft viel mehr Teilnehmer und mehr ist über sie bekannt. In dieser unterschiedlichen Datenumgebung werden Forscher, die weiterhin nur durchschnittliche Behandlungseffekte schätzen, die Möglichkeiten übersehen, auf die Schätzungen über die Heterogenität von Behandlungseffekten Hinweise darauf liefern können, wie eine Behandlung funktioniert, wie sie verbessert werden kann und wie sie gezielt werden kann denen, die am ehesten davon profitieren.

Zwei Beispiele für die Heterogenität der Behandlungseffekte ergeben sich aus zusätzlichen Untersuchungen zu den Home Energy Reports. Zunächst Allcott (2011) die große Stichprobengröße (600.000 Haushalte), um die Stichprobe weiter zu teilen und die Auswirkung des Home Energy Reports auf das Dezil des Energieverbrauchs vor der Behandlung zu schätzen. Während Schultz et al. (2007) fanden Unterschiede zwischen starken und leichten Nutzern, Allcott (2011) fest, dass es auch innerhalb der Schwer- und Leichtbenutzergruppe Unterschiede gab. Zum Beispiel haben die schwersten Nutzer (die im obersten Dezil) ihren Energieverbrauch doppelt so stark reduziert wie jemand in der Mitte der Gruppe mit schweren Nutzern (Abbildung 4.8). Die Schätzung des Effekts durch das Vorbehandlungsverhalten zeigte auch, dass es selbst für die leichtesten Benutzer keinen Bumerang-Effekt gab (Abb. 4.8).

Abbildung 4.8: Heterogenität der Behandlungseffekte in Allcott (2011) . Die Abnahme des Energieverbrauchs war für Menschen in verschiedenen Dezilen der Ausgangsnutzung unterschiedlich. Angepasst an Allcott (2011) , Abbildung 8.

In einer ähnlichen Studie spekulierten Costa and Kahn (2013) , dass die Wirksamkeit des Heiminergieberichts von der politischen Ideologie eines Teilnehmers abhängen könnte und dass die Behandlung Menschen mit bestimmten Ideologien dazu bringen könnte, ihren Stromverbrauch zu erhöhen. Mit anderen Worten spekulierten sie, dass die Home Energy Reports für manche Menschen einen Bumerang-Effekt erzeugen könnten. Um diese Möglichkeit zu bewerten, haben Costa und Kahn die Opower-Daten mit Daten eines Drittanbieter-Aggregators zusammengeführt, die Informationen wie die Registrierung von politischen Parteien, Spenden an Umweltorganisationen und die Beteiligung von Haushalten an erneuerbaren Energieprogrammen enthalten. Mit diesem zusammengelegten Datensatz fanden Costa und Kahn heraus, dass die Home Energy Reports weitgehend ähnliche Effekte für Teilnehmer mit unterschiedlichen Ideologien ergaben; Es gab keine Hinweise darauf, dass eine Gruppe Bumerang-Effekte aufwies (Abbildung 4.9).

Abbildung 4.9: Heterogenität der Behandlungseffekte in Costa and Kahn (2013) . Der geschätzte durchschnittliche Behandlungseffekt für die gesamte Probe beträgt -2,1% [-1,5%, -2,7%]. Nach der Kombination von Informationen aus dem Experiment mit Informationen über die Haushalte verwendeten Costa and Kahn (2013) eine Reihe statistischer Modelle, um den Behandlungseffekt für sehr spezifische Personengruppen abzuschätzen. Für jede Gruppe werden zwei Schätzungen vorgelegt, da die Schätzungen von den Kovariaten abhängen, die sie in ihren statistischen Modellen enthalten (siehe Modelle 4 und 6 in den Tabellen 3 und 4 in Costa and Kahn (2013) ). Wie dieses Beispiel zeigt, können die Behandlungseffekte für verschiedene Personen unterschiedlich sein, und Schätzungen von Behandlungseffekten, die von statistischen Modellen stammen, können von den Details dieser Modelle abhängen (Grimmer, Messing, and Westwood 2014) . Angepasst von Costa and Kahn (2013) , Tabellen 3 und 4.

Wie diese beiden Beispiele zeigen, können wir im digitalen Zeitalter von der Schätzung der durchschnittlichen Behandlungseffekte zur Schätzung der Heterogenität der Behandlungseffekte übergehen, weil wir viel mehr Teilnehmer haben können und mehr über diese Teilnehmer wissen. Das Erlernen der Heterogenität von Behandlungseffekten kann eine zielgerichtete Behandlung dort ermöglichen, wo sie am effektivsten ist, Fakten liefern, die eine neue Theorieentwicklung stimulieren, und Hinweise auf mögliche Mechanismen geben, zu denen ich mich jetzt bekehre.