4.4.3 Mechanismen

Experimente messen , was passiert ist . Mechanismen erklären , warum und wie es passiert ist .

Die dritte Schlüsselidee, um über einfache Experimente hinauszugehen, sind Mechanismen . Mechanismen sagen uns, warum oder wie eine Behandlung eine Wirkung verursacht hat. Der Prozess der Suche nach Mechanismen wird manchmal auch als Suchen nach intervenierenden Variablen oder vermittelnden Variablen bezeichnet . Obwohl Experimente gut sind, um kausale Effekte abzuschätzen, sind sie oft nicht dazu gedacht, Mechanismen aufzudecken. Digitale Experimente können uns helfen, Mechanismen auf zwei Arten zu identifizieren: (1) sie ermöglichen uns, mehr Prozessdaten zu sammeln und (2) ermöglichen es uns, viele verwandte Behandlungen zu testen.

Da Mechanismen formal schwierig zu definieren sind (Hedström and Ylikoski 2010) , beginne ich mit einem einfachen Beispiel: Limetten und Skorbut (Gerber and Green 2012) . Im achtzehnten Jahrhundert hatten Ärzte ein ziemlich gutes Gefühl, dass, wenn Matrosen Limetten aßen, sie nicht Skorbut bekamen. Skorbut ist eine schreckliche Krankheit, also war dies eine starke Information. Aber diese Ärzte wussten nicht, warum Limetten Skorbut verhinderten. Erst 1932, fast 200 Jahre später, konnten Wissenschaftler zuverlässig nachweisen, dass Vitamin C der Grund dafür war, dass Kalk Skorbut verhinderte (Carpenter 1988, 191) . In diesem Fall ist Vitamin C der Mechanismus, durch den Limetten Skorbut verhindern (Abbildung 4.10). Natürlich ist es auch wissenschaftlich sehr wichtig, den Mechanismus zu identifizieren - viele wissen, warum Dinge passieren. Identifizieren Mechanismen ist auch praktisch sehr wichtig. Sobald wir verstehen, warum eine Behandlung funktioniert, können wir möglicherweise neue Behandlungen entwickeln, die noch besser funktionieren.

Abbildung 4.10: Limetten verhindern Skorbut und der Mechanismus ist Vitamin C.

Leider ist das Isolieren von Mechanismen sehr schwierig. Im Gegensatz zu Limonen und Skorbut funktionieren Behandlungen in vielen sozialen Situationen wahrscheinlich über viele miteinander verbundene Wege. Im Fall sozialer Normen und des Energieverbrauchs haben Forscher jedoch versucht, Mechanismen zu isolieren, indem sie Prozessdaten sammeln und entsprechende Behandlungen durchführen.

Eine Möglichkeit, mögliche Mechanismen zu testen, besteht darin, Prozessdaten darüber zu sammeln, wie die Behandlung mögliche Mechanismen beeinflusst hat. Zum Beispiel erinnern Allcott (2011) daran, dass Allcott (2011) gezeigt hat, dass Home Energy Reports Menschen dazu veranlasst hat, ihren Stromverbrauch zu senken. Aber wie haben diese Berichte den Stromverbrauch gesenkt? Was waren die Mechanismen? In einer Follow-up-Studie schlossen sich Allcott and Rogers (2014) einer Allcott and Rogers (2014) , die über ein Allcott and Rogers (2014) Informationen dazu erhalten hatte, welche Verbraucher ihre Geräte auf energieeffizientere Modelle umgestellt haben. Allcott and Rogers (2014) fest, dass etwas mehr Menschen, die die Home Energy Reports erhielten, ihre Geräte aktualisierten. Dieser Unterschied war jedoch so gering, dass er nur 2% des Energieverbrauchs in den behandelten Haushalten ausmachen konnte. Mit anderen Worten, Geräte-Upgrades waren nicht der dominierende Mechanismus, durch den der Home Energy Report den Stromverbrauch senkte.

Eine zweite Möglichkeit, Mechanismen zu untersuchen, besteht darin, Experimente mit leicht unterschiedlichen Versionen der Behandlung durchzuführen. Zum Beispiel in dem Experiment von Schultz et al. (2007) und allen nachfolgenden Home Energy Report-Experimenten erhielten die Teilnehmer eine Behandlung, die zwei Hauptteile (1) Tipps zur Energieeinsparung und (2) Informationen über ihren Energieverbrauch im Vergleich zu ihren Peers (Abbildung 4.6) enthielt. Daher ist es möglich, dass die Energiespartipps die Ursache waren, nicht die Peer-Informationen. Um die Möglichkeit zu bewerten, dass die Spitzen allein ausreichen könnten, schlossen Ferraro, Miranda, and Price (2011) Partnerschaft mit einem Wasserunternehmen in der Nähe von Atlanta, Georgia, und führten ein ähnliches Experiment zum Wasserschutz mit etwa 100.000 Haushalten durch. Es gab vier Bedingungen:

• eine Gruppe, die Tipps zum Wassersparen erhalten hat
• eine Gruppe, die Tipps zum Wassersparen und einen moralischen Appell erhielt, um Wasser zu sparen
• eine Gruppe, die Tipps zum Wassersparen und einen moralischen Appell erhielt, um Wasser und Informationen über ihren Wasserverbrauch im Vergleich zu ihren Altersgenossen zu sparen
• eine Kontrollgruppe

Die Forscher fanden heraus, dass die Behandlung mit Spitzen nur im kurzen (ein Jahr), mittleren (zwei Jahre) und langen (drei Jahre) Zeitraum keinen Einfluss auf den Wasserverbrauch hatte. Die Tipps plus Appell-Behandlung bewirkten, dass die Teilnehmer den Wasserverbrauch nur kurzfristig reduzieren konnten. Schließlich bewirkten die Tipps plus Appell plus Peer-Information-Behandlung kurz-, mittel- und langfristig eine verminderte Nutzung (Abbildung 4.11). Diese Art von Experimenten mit entbündelten Behandlungen ist ein guter Weg, um herauszufinden, welcher Teil der Behandlung - oder welche Teile zusammen - den Effekt verursachen (Gerber and Green 2012, sec. 10.6) . Zum Beispiel zeigt das Experiment von Ferraro und Kollegen, dass Wasser sparende Tipps allein nicht ausreichen, um den Wasserverbrauch zu senken.

Abbildung 4.11: Ergebnisse von Ferraro, Miranda, and Price (2011) . Die Behandlungen wurden am 21. Mai 2007 gesendet und die Auswirkungen wurden während der Sommer 2007, 2008 und 2009 gemessen. Durch die Entflechtung der Behandlung hofften die Forscher, ein besseres Gefühl für die Mechanismen zu entwickeln. Die reine Spitzenbehandlung hatte im kurzen (ein Jahr), mittleren (zwei Jahre) und langen (drei Jahre) Zeitraum im Wesentlichen keine Wirkung. Die Trinkgelder plus Appell-Behandlung bewirkten, dass die Teilnehmer den Wasserverbrauch nur kurzfristig reduzieren konnten. Der Ratschlag plus Appell plus Peer Information Behandlung führte dazu, dass die Teilnehmer kurz-, mittel- und langfristig den Wasserverbrauch verringerten. Vertikale Balken sind geschätzte Konfidenzintervalle. Siehe Bernedo, Ferraro, and Price (2014) für aktuelle Studienmaterialien. Angepasst von Ferraro, Miranda, and Price (2011) , Tabelle 1.

Idealerweise würde man über die Schichten von Komponenten (Spitzen, Spitzen plus Attraktivität, Spitzen plus Attraktivität plus Gleichheitsinformationen) hinausgehen zu einem vollständigen faktoriellen Design - manchmal auch als ein \(2^k\) faktorielles Design bezeichnet - wo jede mögliche Kombination des drei Elemente werden getestet (Tabelle 4.1). Durch das Testen jeder möglichen Kombination von Komponenten können die Forscher die Wirkung jeder Komponente einzeln und in Kombination vollständig beurteilen. Zum Beispiel zeigt das Experiment von Ferraro und Kollegen nicht, ob Peer-Vergleich allein ausreichend gewesen wäre, um zu langfristigen Verhaltensänderungen zu führen. In der Vergangenheit waren diese vollständigen faktoriellen Designs schwierig durchzuführen, da sie eine große Anzahl von Teilnehmern erfordern und sie erfordern, dass Forscher eine große Anzahl von Behandlungen präzise steuern und liefern können. In manchen Situationen beseitigt das digitale Zeitalter diese logistischen Beschränkungen.

Zusammenfassend sind Mechanismen - die Wege, durch die eine Behandlung wirkt - unglaublich wichtig. Experimente im digitalen Alter können Forschern dabei helfen, Mechanismen zu erkennen, indem sie (1) Prozessdaten sammeln und (2) vollständige faktorielle Designs ermöglichen. Die von diesen Ansätzen vorgeschlagenen Mechanismen können dann direkt durch Experimente getestet werden, die speziell zum Testen von Mechanismen entwickelt wurden (Ludwig, Kling, and Mullainathan 2011; Imai, Tingley, and Yamamoto 2013; Pirlott and MacKinnon 2016) .

Insgesamt bieten diese drei Konzepte - Validität, Heterogenität von Behandlungseffekten und Mechanismen - eine starke Sammlung von Ideen für das Entwerfen und Interpretieren von Experimenten. Diese Konzepte helfen Forschern, über einfache Experimente, die "funktionieren", hinaus zu umfangreicheren Experimenten zu gelangen, die engere Verbindungen zur Theorie haben, die zeigen, wo und warum Behandlungen funktionieren, und die sogar Forschern helfen könnten, wirksamere Behandlungen zu entwickeln. Angesichts dieses konzeptionellen Hintergrunds zu Experimenten werde ich mich nun damit befassen, wie Sie Ihre Experimente tatsächlich durchführen können.