4.3 Zwei Dimensionen von Experimenten: Labor-Bereich und Analog-Digital

Laborexperimente bieten Steuerung, Feldexperimente bieten Realismus und digitale Feldexperimente kombinieren Kontrolle und Realismus in großem Umfang.

Experimente kommen in vielen verschiedenen Formen und Größen. Aber trotz dieser Unterschiede haben die Forscher fanden , dass es hilfreich Experimente auf einem Kontinuum zwischen Laborexperimenten und Feldversuche zu organisieren. Nun aber sollten Forscher auch Experimente auf einem Kontinuum zwischen analogen Experimenten und digitale Experimente organisieren. Diese zweidimensionale Design-Raum wird Ihnen helfen, die Stärken und Schwächen verschiedener Ansätze und die Unterbreitung von Vorschlägen der größte Chance (Abbildung 4.1) zu verstehen.

Abbildung 4.1: Schematische Darstellung der Designraum für Experimente. In der Vergangenheit wurden Versuche variiert entlang der lab-Felddimension. Nun, sie unterscheiden sich auch von der Analog-Digital-Dimension. Meiner Meinung nach, ist der Bereich der größte Chance digitalen Feldversuche.

In der Vergangenheit war entlang der Labor-Felddimension der wichtigste Weg, dass die Forscher Experimente durchgeführt. Die Mehrheit der Experimente in den Sozialwissenschaften sind Laborexperimente , bei denen Studenten seltsame Aufgaben in einem Labor für Kurs Kredit durchführen. entwickelt, um zu testen sehr spezifische Theorien über das Sozialverhalten dieser Art von Experiment dominiert Forschung in der Psychologie, weil es Forschern ermöglicht, sehr spezielle Behandlungen zu erstellen. Für bestimmte Probleme, jedoch fühlt sich etwas ein wenig seltsam zu starke Rückschlüsse auf das menschliche Verhalten von so ungewöhnlichen Menschen zeichnen solche ungewöhnliche Aufgaben in einem so ungewöhnlichen Einstellung durchführen. Diese Bedenken haben zu einer Bewegung in Richtung Feldversuchen geführt. Feldversuche kombinieren, um die starke Design der randomisierten Kontrollexperimente mit repräsentativer Teilnehmergruppen häufiger Aufgaben, in natürlicher Einstellungen.

Auch wenn manche Leute als konkurrierende Methoden der Labor- und Feldversuche denken, ist es am besten an sie zu denken als komplementäre Methoden mit unterschiedlichen Stärken und Schwächen. Zum Beispiel, Correll, Benard, and Paik (2007) sowohl ein Laborexperiment verwendet und ein Feldversuch in einem Versuch , die Quellen des zu finden "Mutterschaft Strafe." In den Vereinigten Staaten, verdienen Mütter weniger Geld als Frauen ohne Kinder, auch wenn Vergleichen Frauen mit ähnlichen Fähigkeiten in ähnlichen Jobs zu arbeiten. Es gibt viele mögliche Erklärungen für dieses Muster, und man ist, dass die Arbeitgeber gegen Mütter vorgespannt sind. (Interessanterweise scheint das Gegenteil für Väter um wahr zu sein: sie neigen dazu, mehr zu verdienen als vergleichbare kinderlos Männer). Um eine mögliche Voreingenommenheit gegenüber Müttern zu beurteilen, Correll und Kollegen liefen zwei Experimente: ein im Labor und ein auf dem Feld.

Zunächst wird in einem Laborexperiment Correll und Kollegen erklärte den Teilnehmern, die College-Studenten waren, dass eine in Kalifornien ansässige Start-up-Kommunikations-Unternehmen für eine Person, die eine Beschäftigung suchen dirigierte seine neue East Coast Marketing-Abteilung zu führen. Studenten wurde gesagt, dass das Unternehmen ihre Hilfe bei der Einstellung wollte, und sie wurden gebeten, Bewerbungen von mehreren potenziellen Kandidaten zu überprüfen und die Kandidaten auf einer Reihe von Dimensionen wie ihre Intelligenz, Wärme und Engagement, um zu bewerten zu arbeiten. Des weiteren wurden die Schüler gefragt, ob sie die Klägerin die Einstellung würde empfehlen, und was würden sie als Anfangsgehalt empfehlen. Unbemerkt von den Studenten jedoch wurden die Bewerbungen speziell außer einer Sache zu sein, ähnlich konstruiert: Ein Teil der Bewerbungen signalisierte Mutterschaft (indem sie in einem Eltern-Lehrer-Vereinigung Auflistung Beteiligung) und einige nicht. Correll gefunden, dass die Schüler waren weniger wahrscheinlich, die Einstellung der Mütter zu empfehlen und bot ihnen niedrigere Einstiegsgehalt. Des Weiteren durch eine statistische Analyse sowohl der Ratings und die Einstellung bezogene Entscheidungen, fand Correll, dass Nachteile Mütter weitgehend durch die Tatsache erklärt wurden, dass Mütter wurden in Bezug auf die Kompetenz und das Engagement niedriger bewertet. Mit anderen Worten, argumentiert Correll , dass diese Merkmale sind der Mechanismus , durch den Müttern benachteiligt sind. So erlaubt dieses Laborexperiment Correll und Kollegen einen kausalen Effekt zu messen und eine mögliche Erklärung für diesen Effekt.

Natürlich könnte man über Rückschlüsse auf die gesamte US-Arbeitsmarkt auf die Entscheidungen von einigen hundert Studenten auf Basis skeptisch sein, die wahrscheinlich nie einen Vollzeitjob gehabt haben, lassen die Menschen allein gemietet. Daher Correll und Kollegen, die auch einen komplementären Feldversuch. Die Forscher reagierten auf Hunderte von ausgeschriebene Stelle Öffnungen durch in gefälschten Anschreiben und Lebensläufe zu senden. Ähnlich wie bei den Materialien zu den Studenten gezeigt, signalisiert einige Lebensläufe Mutterschaft und einige nicht. Correll und Kollegen fanden heraus, dass Mütter waren weniger wahrscheinlich als gleich qualifizierte Frauen ohne Kinder für Interviews zu werden zurückgerufen. Mit anderen Worten, echte Arbeitgeber machen Folgeentscheidungen in einer natürlichen Umgebung verhielten sich ähnlich wie die Studenten. Haben sie machen ähnliche Entscheidungen aus dem gleichen Grund? Leider wissen wir nicht. Die Forscher waren nicht in der Lage, die Arbeitgeber zu fragen, die Kandidaten oder zu erklären, ihre Entscheidungen zu bewerten.

Dieses Paar Experimente verrät viel über Labor- und Feldversuche im Allgemeinen. Laborexperimente bieten Forscher in der Nähe totale Kontrolle über die Umgebung, in der die Teilnehmer Entscheidungen treffen. So zum Beispiel im Laborexperiment, Correll konnte, um sicherzustellen, dass alle Bewerbungen in einer ruhigen Umgebung gelesen wurden; im Bereich Experiment haben vielleicht nicht einmal einige der fortgesetzt gelesen. Ferner kann, da die Teilnehmer im Labor Einstellung wissen, dass sie untersucht werden, sind Forscher oft in der Lage, zusätzliche Daten zu sammeln, die ihnen helfen, zu verstehen, warum die Teilnehmer ihre Entscheidungen treffen. Zum Beispiel fragte Correll Teilnehmer im Laborexperiment die Kandidaten auf verschiedenen Dimensionen zu bewerten. Diese Art der Prozessdaten könnten den Forschern helfen , die Mechanismen hinter Unterschiede, wie die Teilnehmer behandeln die Lebensläufe verstehen.

Auf der anderen Seite, diese exakt die gleichen Eigenschaften, die ich nur als Vorteile beschrieben werden auch manchmal als Nachteile. Forscher, die Feldversuche bevorzugen argumentieren, dass die Teilnehmer in Laborexperimenten konnte ganz anders handeln, wenn sie genau beobachtet werden. Zum Beispiel im Laborexperiment Teilnehmer haben könnte das Ziel der Forschung und verändert ihr Verhalten erraten, um nicht voreingenommen zu erscheinen. die Auswirkungen der Mutterschaft auf realen Personalentscheidungen Ferner Forscher, die Feldversuche bevorzugen könnte, dass kleine Unterschiede auf Lebensläufe argumentieren kann nur in einem sehr sauberen, sterilen Laborumgebung ab, und somit wird das Laborexperiment überschätzen. Schließlich viele Befürworter von Feldversuchen kritisieren Laborexperimenten Abhängigkeit von SONDERBARE Teilnehmer: vor allem Studenten aus West, gebildet, industrialisierte, Reich, und Demokratische Länder (Henrich, Heine, and Norenzayan 2010) . Die Versuche von Correll und Kollegen (2007) veranschaulichen die beiden Extreme auf dem Lab-Feld Kontinuum. Zwischen diesen beiden Extremen gibt es eine Vielzahl von Hybrid-Designs einschließlich Ansätze wie bringen Nicht-Studenten in einem Labor oder Feld gehen in, aber immer noch mit Teilnehmern eine ungewöhnliche Aufgabe.

Neben dem lab-Felddimension, die in der Vergangenheit existiert hat, bedeutet, dass das digitale Zeitalter, dass Forscher nun eine zweite Hauptabmessung aufweisen, entlang welcher Experimente variieren: analog-digital. So wie es reine Laborexperimente, reine Feldversuche, und eine Vielzahl von Hybriden dazwischen gibt es reine analoge Experimente, rein digitale Experimente, und eine Vielzahl von Hybriden. Es ist schwierig , eine formale Definition dieser Dimension zu bieten, sondern eine sinnvolle Arbeitsdefinition ist , dass volldigitale Experimente Experimente, die Nutzung der digitalen Infrastruktur machen die Teilnehmer zu rekrutieren, Randomisierung, liefern Behandlungen und Ergebnisse messen. Zum Beispiel Restivo und van de Rijt der (2012) Studium der barnstars und Wikipedia war ein volldigitales Experiment , weil es digitale Systeme für alle vier dieser Schritte verwendet. Ebenso voll analoge Experimente sind Experimente , die Verwendung von digitalen Infrastruktur für jede dieser vier Schritte nicht machen. Viele der klassischen Experimente in der Psychologie sind analoge Experimente. Zwischen diesen beiden Extremen gibt es teilweise digital Experimente , die eine Kombination von analogen und digitalen Systemen für die vier Schritte verwenden.

Entscheidend ist, um die Möglichkeiten, digitale Experimente laufen, sind nicht nur online. Die Forscher können mit digitalen Geräten in der physischen Welt, um teilweise digitale Experimente laufen Behandlungen zu liefern oder die Ergebnisse zu messen. Zum Beispiel könnten Forscher Smartphones verwenden Behandlungen oder Sensoren in der gebauten Umwelt zu liefern Ergebnisse zu messen. In der Tat, wie wir später in diesem Kapitel sehen werden, haben die Forscher bereits nach Hause Stromzähler verwendet Ergebnisse in Experimenten über soziale Normen und Energieverbrauch 8,5 zu messen Millionen Haushalte beteiligt (Allcott 2015) . Da digitale Geräte immer mehr in den Menschen das Leben integriert werden und Sensoren in das integrierte Umwelt einzufügen, um diese Möglichkeiten teilweise digitale Experimente in der physischen Welt dramatisch zunehmen laufen. Mit anderen Worten, sind digitale Experimente nicht nur Online-Experimente.

Digitale Systeme schaffen neue Möglichkeiten für Experimente überall entlang der Labor-Feld Kontinuum. In der reinen Laborexperimenten, zum Beispiel können die Forscher feinere digitale Systeme für das Verhalten der Messung der Teilnehmer verwenden; ein Beispiel für diese Art von verbesserten Messung ist Eye-Tracking-Geräte, die eine genaue und kontinuierliche Maßnahmen Blickort bietet. Das digitale Zeitalter schafft auch die Möglichkeit, Online-Labor-ähnliche Experimente auszuführen. Zum Beispiel haben die Forscher schnell Amazon Mechanical Turk (MTurk) angenommen Teilnehmern für Online-Experimente (Abbildung 4.2) zu rekrutieren. MTurk entspricht "Arbeitgeber", die Aufgaben, die mit "Arbeiter", die abgeschlossen werden müssen, wollen diese Aufgaben für Geld zu vervollständigen. Im Gegensatz zu herkömmlichen Arbeitsmärkte sind jedoch die in der Regel nur beteiligt Aufgaben erfordern ein paar Minuten und die gesamte Interaktion zwischen Arbeitgeber und Arbeitnehmer ist virtuell. Da MTurk imitiert Aspekte der traditionellen Laborexperimenten bezahlten Menschen Aufgaben zu erledigen, die sie für nicht tun würde frei es ist natürlich für bestimmte Arten von Experimenten geeignet. Im Wesentlichen hat MTurk die Infrastruktur für die Verwaltung eines Pools von Teilnehmer-Rekrutierung geschaffen und zahlenden Personen-und Forscher Vorteil dieser Infrastruktur genommen haben in einem immer verfügbaren Pool der Teilnehmer zu erschließen.

Abbildung 4.2: Papers veröffentlichten Daten von Amazon Mechanical Turk (MTurk) mit (Bohannon 2016) . MTurk und anderen Online-Arbeitsmärkte bieten eine bequeme Möglichkeit, Forscher Teilnehmer für Experimente zu rekrutieren.

Digitale Experimente schaffen noch mehr Möglichkeiten für feldartige Experimente. Digitale Feldversuchen kann eine strenge Kontrolle und Prozessdaten bieten, um mögliche Mechanismen zu verstehen (wie Laborversuche) und vielfältiger Teilnehmer wirklichen Entscheidungen in einer natürlichen Umgebung zu machen (wie Feldversuche). Zusätzlich zu dieser Kombination von guten Eigenschaften von früheren Experimenten, digitale Feldexperimenten bieten auch drei Möglichkeiten, die in der analogen Labor und Feldversuche schwierig waren.

Erstens: Während die meisten analogen Labor und Feldversuche Hunderte von Teilnehmern haben, können digitale Feldversuche Millionen Teilnehmer haben. Diese Änderung in der Skala ist, weil einige digitale Experimente Daten bei Null variablen Kosten produzieren kann. Das heißt, sobald die Forscher eine experimentelle Infrastruktur geschaffen haben, die Anzahl der Teilnehmer zu erhöhen typischerweise nicht die Kosten erhöhen. Eine Erhöhung der Anzahl der Teilnehmer um einen Faktor von 100 oder mehr nicht nur eine quantitative Veränderung, es ist eine qualitative Veränderung, weil es Forschern ermöglicht , verschiedene Dinge aus Experimenten zu lernen (zB Heterogenität der Behandlungseffekte) und ganz andere experimentelle Designs laufen ( zB große Gruppe Experimente). Dieser Punkt ist so wichtig, ich werde gegen Ende des Kapitels darauf zurückkommen, wenn ich Beratung über die Erstellung digitaler Experimente bieten.

Zweitens, während die meisten analogen Labor und Feldversuche Teilnehmer behandeln, als nicht zu unterscheiden Widgets, digitale Feldversuchen verwenden oft Hintergrundinformationen über die Teilnehmer in den Entwurf und die Analyse Stadien der Forschung. Diese Hintergrundinformationen, die Vorbehandlung Informationen genannt wird, ist in der digitalen Experimenten oft zur Verfügung , da sie stattfinden , in vollem Umfang gemessen Umgebungen. Zum Beispiel hat ein Forscher an Facebook viel mehr Vorbehandlung Informationen als ein Forscher, der ein Standard-Laborexperiment mit Studenten zu entwerfen. Diese Vorbehandlung Informationen ermöglicht es Forschern, über die Behandlung von Teilnehmern als ununterscheidbar Widgets zu bewegen. Genauer gesagt ermöglicht die Vorbehandlung Informationen effizienter experimentelle Designs-wie Versperren (Higgins, Sävje, and Sekhon 2016) und gezielte Rekrutierung von Teilnehmern (Eckles, Kizilcec, and Bakshy 2016) -und einsichts Analyse-wie Abschätzung der Heterogenität von Behandlungseffekten (Athey and Imbens 2016a) und Kovariable Einstellung für eine verbesserte Präzision (Bloniarz et al. 2016) .

Drittens, während viele analoge Labor- und Feldversuche Behandlungen und messen die Ergebnisse in einer relativ komprimiert Menge an Zeit zu liefern, einige digitale Feldexperimente beinhalten Behandlungen, die auch im Laufe der Zeit gemessen werden kann im Laufe der Zeit und die Auswirkungen geliefert werden können. Zum Beispiel hat Restivo und van de Rijt Experiment , das Ergebnis täglich 90 Tage gemessen, und eines der Experimente werde ich Sie später im Kapitel erzählen (Ferraro, Miranda, and Price 2011) verfolgt die Ergebnisse mehr als 3 Jahren im Grunde keine Kosten. Diese drei Möglichkeiten Größe, Vorbehandlung Informationen und Längs Behandlung und das Ergebnis Daten sind am häufigsten, wenn Experimente ausgeführt werden auf der Always-On-Messungen Systeme (siehe Kapitel 2 für mehr Always-On-Messsysteme).

Während digitale Feldexperimenten bieten viele Möglichkeiten, teilen sie auch einige Schwächen sowohl mit analogen Labor und Feldversuche. Beispielsweise Experimente können nicht verwendet werden, um die Vergangenheit zu untersuchen, und sie können nur die Auswirkungen der Behandlungen abzuschätzen, die manipuliert werden können. Auch, obwohl Experimente zweifellos nützlich sind , Politik zu führen, die genaue Anleitung , die sie anbieten kann , ist etwas eingeschränkt aufgrund von Komplikationen wie Umweltabhängigkeit, Compliance - Probleme, und Gleichgewichtseffekte (Banerjee and Duflo 2009; Deaton 2010) . Schließlich vergrößern digitale Feldversuche, die ethischen Bedenken, die von Feldversuchen geschaffen. Die Befürworter von Feldversuchen Trompete ihre Fähigkeit, unaufdringlich und zufällig in Folge Entscheidungen von Millionen von Menschen gemacht eingreifen. Diese Merkmale bieten bestimmte wissenschaftliche Vorteile, aber sie können auch Feldversuche ethisch-Komplex (denken Sie darüber nach, wie die Forscher Menschen wie "Laborratten" in großem Maßstab Behandlung) zu machen. Weiterhin kann zusätzlich zu möglichen Schäden an Teilnehmer, digitale Feldversuche, die infolge ihres Umfangs, auch Bedenken über die Unterbrechung der Arbeit sozialer Systeme (zB die Sorgen um zu stören Wikipedias Belohnungssystem, wenn Restivo und van der Rijt gab zu viele barnstars) erhöhen können .