4.4 Jenseits einfache Experimente
Lassen Sie uns über die einfache Experimente bewegen. Drei Konzepte sind für die reiche Experimente: Gültigkeit, Heterogenität der Behandlungseffekte und Mechanismus.
Forscher, die sich auf Experimente neu sind oft konzentrieren sich auf einen ganz bestimmten, eng Frage: diese Behandlung "Arbeit"? Zum Beispiel hat ermutigen einen Anruf von einem Freiwilligen, jemanden zu wählen? Gibt es eine Website-Taste von blau zu grün Steigerung der Klickrate zu ändern? Leider lose Formulierung über das, was "funktioniert" verschleiert die Tatsache, dass eng fokussiert Experimente Sie nicht wirklich sagen, ob eine Behandlung "Werke" in einem allgemeinen Sinn. Vielmehr konzentriert sich eng beantworten Experimente eine viel spezifischere Frage: Was ist die durchschnittliche Wirkung dieser spezifischen Behandlung mit dieser speziellen Implementierung für diese Population der in dieser Zeit? Ich werde Experimente nennen , die auf dieser schmalen Frage einfache Experimente konzentrieren.
Einfache Experimente können wertvolle Informationen liefern, aber sie scheitern viele Fragen zu beantworten, die wichtig und interessant sind wie zum Beispiel: gibt es einige Leute, für die die Behandlung hatte einen größeren oder kleineren Effekt ?; Es ist eine weitere Behandlung, die wirksamer sein würde ?; und wie funktioniert dieses Experiment zu breiteren sozialen Theorien beziehen?
Um den Wert der Bewegung über einfache Experimente zu zeigen, lassen Sie uns eine meiner Lieblings analogen Feldversuche betrachten, eine Studie von P. Wesley Schultz und Kollegen über die Beziehung zwischen sozialen Normen und Energieverbrauch (Schultz et al. 2007) . Schultz und Kollegen hingen doorhangers auf 300 Haushalte in San Marcos, Kalifornien, und diese doorhangers geliefert unterschiedliche Botschaften zur Energieeinsparung zu fördern. Dann gemessen Schultz und Kollegen die Wirkung dieser Nachrichten auf den Stromverbrauch, die beide nach einer Woche bis drei Wochen; siehe Abbildung 4.3 für eine detailliertere Beschreibung des experimentellen Designs.
Abbildung 4.3: Schematische Darstellung der Konstruktion von Schultz et al. (2007) . Der Feldversuch beteiligt Besuch über 300 Haushalte in San Marcos, Kalifornien fünf Mal über einen Zeitraum von acht Wochen. Auf jeder die Forscher besuchen nahm manuell eine Lesung aus dem Stromzähler Haus. Auf zwei der Besuche stellten die Forscher doorhangers auf das Haus einige Informationen über ihren Energieverbrauch bietet. Die Forschungsfrage war, wie der Inhalt dieser Nachrichten den Energieverbrauch auswirken würde.
Das Experiment hatte zwei Bedingungen. Im ersten Zustand erhielt Haushalte allgemeine Energiespartipps (zB Verwendung Fans anstelle von Klimaanlagen) und Informationen über ihre Haushalt des Energieverbrauchs im Vergleich zum Durchschnitt der Energieverbrauch in ihrer Nachbarschaft. Schultz und Kollegen nannte dies den beschreibenden normativen Zustand , weil die Information über den Energieverbrauch in ihrer Nachbarschaft Informationen über typische Verhalten zur Verfügung gestellt (dh eine beschreibende Norm). Wenn Schultz und Kollegen an der daraus resultierenden Energieverbrauch in dieser Gruppe sah, schien die Behandlung keine Wirkung zu haben, entweder in der kurzfristigen oder langfristigen; in anderen Worten, scheinen die Behandlung nicht "Arbeit" (Abbildung 4.4).
Aber glücklicherweise Schultz et al. (2007) hat für diese simple Analyse nicht festsetzen. Vor dem Experiment begann begründete sie , dass starke Nutzer von Strom-Leute über dem Mittelwert könnten ihren Verbrauch zu reduzieren, und dass Lichtstromverbraucher-Personen unter dem Mittelwert-könnten ihren Verbrauch tatsächlich erhöhen. Als sie auf die Daten sah, das ist genau das, was sie (Abbildung 4.4) gefunden. So sah das wie eine Behandlung, die keine Wirkung hatte war tatsächlich eine Behandlung, die zwei gegenläufige Effekte hatte. Die Forscher nannten diese kontraproduktive Erhöhung unter den Licht Benutzer ein Bumerang - Effekt.
Abbildung 4.4: Ergebnisse von Schultz et al. (2007) . Das erste Panel zeigt, dass die beschreibende Norm Behandlung einen geschätzten Null durchschnittlichen Behandlungseffekt hat. Allerdings zeigt die zweite Platte, dass diese durchschnittlichen Behandlungseffekt tatsächlich aus zwei gegenläufigen Effekten zusammensetzt. Für schwere Benutzer verringerte sich die Behandlung Nutzungs aber für leichte Anwender, die Behandlung erhöhte Nutzung. Schließlich zeigt das dritte Panel, dass die zweite Behandlung, die beschreibende und Unterlassungs Normen verwendet werden, hatten in etwa die gleiche Wirkung auf die Heavy-User, aber die Bumerang-Effekt auf Licht Anwender gemildert.
Des Weiteren erwartet Schultz und Kollegen diese Möglichkeit, und im zweiten Zustand entfaltet sie eine etwas andere Behandlung, eine explizit die Bumerang-Effekt zu beseitigen entworfen. Die Haushalte in der zweiten Bedingung erhalten exakt die gleichen Behandlungs allgemeine Energiespartipps und Informationen über ihre Haushalts Energieverbrauch im Vergleich zu der ihre Nachbarschafts mit einem kleinen Zusatz: für Menschen mit unterdurchschnittlichen Verbrauch, die Forscher eine :) hinzugefügt und für Menschen mit überdurchschnittlichem Verbrauch fügten sie eine :(. wurden diese Emoticons entworfen auslösen , was die Forscher Unterlassungs Normen genannt. Unterlassungs Normen Wahrnehmungen beziehen , was allgemein angenommen wird (und abgelehnt) , während deskriptive Normen Wahrnehmungen beziehen , was man gemeinhin geschieht (Reno, Cialdini, and Kallgren 1993) .
Durch das Hinzufügen dieses ein winziges Emoticon, reduziert die Forscher dramatisch die Bumerang-Effekt (Abbildung 4.4). So , indem sie diese einfache Wechsel eine Änderung , die durch eine abstrakte sozialpsychologische Theorie motiviert war (Cialdini, Kallgren, and Reno 1991) -die Forscher waren in der Lage zu machen , ein Programm von einem, der nicht in einem zu arbeiten schien , dass gearbeitet und konnten sie zum allgemeinen Verständnis von beitragen gleichzeitig, wie soziale Normen das menschliche Verhalten beeinflussen.
An diesem Punkt jedoch werden Sie feststellen, dass etwas ein bisschen anders über dieses Experiment ist. Insbesondere wird das Experiment von Schultz und Kollegen nicht wirklich eine Kontrollgruppe in der gleichen Art und Weise haben, die Experimente randomisierten kontrollierten tun. Der Vergleich zwischen diesem Entwurf und der Gestaltung von Restivo und van de Rijt zeigt die Unterschiede zwischen den beiden großen von den Forschern verwendeten Designs. Dazwischen-Themen - Designs, wie Restivo und van de Rijt, gibt es eine Behandlungsgruppe und eine Kontrollgruppe, und Innersubjekt das Verhalten der Teilnehmer - Designs verglichen vor und nach der Behandlung (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . In einem in-Thema Experiment ist es, als ob jeder Teilnehmer als ihre eigene Kontrollgruppe fungiert. Die Stärke der Zwischensubjekt-Designs ist, dass es den Schutz vor Störfaktoren bietet (wie ich weiter oben beschrieben), und die Stärke der Innersubjekt Experimente erhöht Genauigkeit der Schätzungen. Wenn jeder Teilnehmer fungiert als ihre eigene Kontrolle, zwischen-Teilnehmer Variation eliminiert (siehe Technischer Anhang). Um Vorboten ein , die später kommen , wenn ich Beratung über die Gestaltung digitaler Experimente bieten, gibt es eine endgültige Entwurf, genannt ein gemischtes Design, das die verbesserte Präzision der Innersubjektentwürfe und den Schutz vor Verwechslung zwischen Subjekt Designs kombiniert.
Abbildung 4.5: Drei experimentelle Designs. Standard - randomisierte , kontrollierte Experimente verwenden Zwischensubjekt - Designs. Ein Beispiel für ein Zwischensubjekt Design ist Restivo und van de Rijt der (2012) Experiment auf barnstars und Beiträge zur Wikipedia: Forscher zufällig Teilnehmer in Behandlungs- und Kontrollgruppen eingeteilt, erhielten die Teilnehmer in der Behandlungsgruppe eine Barnstar, und verglichen die Ergebnisse für die beiden Gruppen. Eine zweite Art von Design ist ein in-Themen - Design. Die beiden Experimente in Schultz und Kollegen (2007) Studie über die sozialen Normen und Energienutzung zeigen eine in-Themen Design: Forscher den Stromverbrauch der Teilnehmer im Vergleich vor und nach der Behandlung. Innerhalb-Themen - Designs bieten eine bessere statistische Präzision durch die Beseitigung von Subjekt Varianz (siehe Technischer Anhang), aber sie sind offen für mögliche Störfaktoren (zB Wetteränderungen zwischen der Vorbehandlung und Behandlungsdauer) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Innerhalb-Themen-Designs sind manchmal auch Entwürfe genannt Maßnahmen wiederholt. Schließlich kombinieren gemischte Entwürfe der verbesserten Genauigkeit der innerhalb Subjekt - Designs und den Schutz vor Verwechslung zwischen-Themen - Designs. In einem gemischten Design, vergleicht ein Forscher die Veränderung der Ergebnisse für die Menschen in den Behandlungs- und Kontrollgruppen. Wenn bereits Forscher Vorbehandlung Informationen haben, wie es der Fall in vielen digitalen Experimenten ist, gemischte Designs Designs Zwischensubjekt bevorzugt, da der Gewinne in Präzision (siehe Technischer Anhang).
Insgesamt ist das Design und die Ergebnisse von Schultz et al. (2007) zeigen den Wert von über einfache Experimente zu bewegen. Glücklicherweise brauchen Sie kein Genie zu schaffen Experimente so zu sein. Sozialwissenschaftler haben drei Konzepte entwickelt, die Sie in Richtung reicher und kreativer Experimente leiten wird: 1) Gültigkeit, 2) Heterogenität der Behandlungseffekte und 3) Mechanismen. Das heißt, wenn Sie diese drei Ideen im Auge zu behalten, während Sie Ihr Experiment entwerfen, werden Sie natürlich mehr interessante und nützliche Experimente erstellen. Um diese drei Konzepte in Aktion zu verdeutlichen, werde ich eine Reihe von Follow-up teilweise digital Feldversuche beschreiben , die auf das elegante Design und spannende Ergebnisse eingebaut Schultz et al. (2007) . Wie Sie sehen werden, durch mehr sorgfältige Planung, Implementierung, Analyse und Interpretation, auch Sie können über einfache Experimente bewegen.
