4.3 Zwei Dimensionen von Experimenten: Labor-Bereich und Analog-Digital

Laborexperimente bieten Steuerung, Feldexperimente bieten Realismus und digitale Feldexperimente kombinieren Kontrolle und Realismus in großem Umfang.

Experimente gibt es in vielen verschiedenen Formen und Größen. In der Vergangenheit fanden es Forscher hilfreich, Experimente entlang eines Kontinuums zwischen Laborexperimenten und Feldexperimenten zu organisieren. Jetzt sollten die Forscher aber auch Experimente in einem zweiten Kontinuum zwischen analogen Experimenten und digitalen Experimenten organisieren . Dieser zweidimensionale Designraum wird Ihnen helfen, die Stärken und Schwächen verschiedener Ansätze zu verstehen und die Bereiche mit den größten Chancen aufzuzeigen (Abbildung 4.1).

Abbildung 4.1: Schema des Entwurfsraums für Experimente. In der Vergangenheit variierten die Experimente entlang der Laborfelddimension. Jetzt variieren sie auch in der analog-digitalen Dimension. Dieser zweidimensionale Entwurfsraum wird durch vier Experimente veranschaulicht, die ich in diesem Kapitel beschreibe. Meiner Meinung nach sind digitale Feldexperimente die größten Chancen.

Eine Dimension, entlang der Experimente organisiert werden können, ist die Lab-Feld-Dimension. Viele Experimente in den Sozialwissenschaften sind Laborexperimente, in denen Studenten in einem Labor für Kurskosten seltsame Aufgaben ausführen. Diese Art von Experimenten dominiert die Forschung in der Psychologie, weil sie es Forschern ermöglicht, streng kontrollierte Einstellungen zu erstellen, um spezifische Theorien über soziales Verhalten präzise zu isolieren und zu testen. Bei bestimmten Problemen fühlt sich jedoch etwas komisch an, wenn man aus solchen ungewöhnlichen Menschen, die solch ungewöhnliche Aufgaben in einer so ungewöhnlichen Umgebung ausführen, starke Schlüsse über menschliches Verhalten zieht. Diese Bedenken haben zu einer Bewegung hin zu Feldexperimenten geführt . Feldexperimente kombinieren das starke Design von randomisierten Kontrollversuchen mit repräsentativeren Gruppen von Teilnehmern, die häufigere Aufgaben in natürlicher Umgebung durchführen.

Obwohl einige Leute Labor- und Feldexperimente als konkurrierende Methoden betrachten, ist es am besten, sie als komplementär zu betrachten, mit unterschiedlichen Stärken und Schwächen. Zum Beispiel haben Correll, Benard, and Paik (2007) sowohl ein Laborexperiment als auch ein Feldexperiment verwendet, um die Quellen der "Mutterschaftsstrafe" zu finden. In den Vereinigten Staaten verdienen Mütter weniger Geld als kinderlose Frauen, selbst wenn Vergleich von Frauen mit ähnlichen Fähigkeiten, die in ähnlichen Jobs arbeiten. Es gibt viele mögliche Erklärungen für dieses Muster, unter anderem, dass Arbeitgeber gegenüber Müttern voreingenommen sind. (Interessanterweise scheint das Gegenteil bei Vätern der Fall zu sein: Sie neigen dazu, mehr zu verdienen als vergleichbare kinderlose Männer.) Um mögliche Vorurteile gegenüber Müttern zu ermitteln, führten Correll und Kollegen zwei Experimente durch: eines im Labor und eines im Feld.

Zuerst sagten sie in einem Laborversuch Teilnehmern, die Studenten waren, dass ein Unternehmen eine Stellensuche für eine Person durchführte, die ihre neue Marketingabteilung an der Ostküste leitete. Die Studenten erfuhren, dass das Unternehmen ihre Hilfe bei der Einstellung wünschte, und sie wurden gebeten, die Lebensläufe mehrerer potenzieller Kandidaten zu überprüfen und die Kandidaten in einer Reihe von Dimensionen zu bewerten, wie ihre Intelligenz, Herzlichkeit und Einsatzbereitschaft. Weiter wurden die Studenten gefragt, ob sie empfehlen würden, den Bewerber einzustellen und was sie als Einstiegsgehalt empfehlen würden. Was den Studenten jedoch nicht bekannt war, waren die Zusammenfassungen so aufgebaut, dass sie ähnlich waren, mit einer Ausnahme: Einige signalisierten die Mutterschaft (indem sie die Beteiligung an einer Eltern-Lehrer-Vereinigung auflisteten) und andere nicht. Correll und seine Kollegen stellten fest, dass die Studenten die Einstellung der Mütter weniger empfehlen und dass sie ihnen ein niedrigeres Einstiegsgehalt anbieten. Darüber hinaus stellten Correll und Kollegen fest, dass die Benachteiligungen von Müttern durch eine statistische Analyse sowohl der Einstufungen als auch der Einstellungsentscheidungen größtenteils dadurch erklärt wurden, dass sie in Bezug auf Kompetenz und Engagement niedriger eingestuft wurden. Dieses Laborexperiment ermöglichte es Correll und Kollegen, einen kausalen Effekt zu messen und eine mögliche Erklärung für diesen Effekt zu liefern.

Natürlich könnte man skeptisch sein, Schlussfolgerungen über den gesamten US-Arbeitsmarkt zu ziehen, basierend auf den Entscheidungen einiger hundert Studenten, die wahrscheinlich nie einen Vollzeitjob hatten, geschweige denn jemanden einzustellen. Daher führten Correll und Kollegen auch ein ergänzendes Feldexperiment durch. Sie reagierten auf Hunderte beworbene Stellenangebote mit gefälschten Anschreiben und Lebensläufen. Ähnlich den Materialien, die den Studenten gezeigt wurden, signalisierten einige Lebensläufe Mutterschaft und andere nicht. Correll und Kollegen fanden heraus, dass Mütter seltener zu Interviews zurückgerufen wurden als gleich qualifizierte kinderlose Frauen. Mit anderen Worten, echte Arbeitgeber, die in einer natürlichen Umgebung Folgeentscheidungen treffen, verhalten sich ähnlich wie die Studenten. Haben sie aus dem gleichen Grund ähnliche Entscheidungen getroffen? Leider wissen wir nicht. Die Forscher konnten die Arbeitgeber nicht dazu auffordern, die Kandidaten zu bewerten oder ihre Entscheidungen zu erklären.

Dieses Paar von Experimenten zeigt viel über Labor- und Feldexperimente im Allgemeinen. Laborexperimente bieten Forschern nahezu vollständige Kontrolle über die Umgebung, in der die Teilnehmer Entscheidungen treffen. So konnten Correll und Kollegen beispielsweise im Laborexperiment sicherstellen, dass alle Lebensläufe in einer ruhigen Umgebung gelesen wurden. Im Feldversuch wurden möglicherweise einige der Lebensläufe nicht einmal gelesen. Da die Teilnehmer im Labor wissen, dass sie untersucht werden, können die Forscher oft zusätzliche Daten sammeln, die erklären, warum die Teilnehmer ihre Entscheidungen treffen. Zum Beispiel haben Correll und Kollegen die Teilnehmer des Laborexperiments gebeten, die Kandidaten in verschiedenen Dimensionen zu bewerten. Diese Art von Prozessdaten könnte den Forschern helfen, die Mechanismen zu verstehen, die für Unterschiede in der Art und Weise verantwortlich sind, wie Teilnehmer die Lebensläufe behandeln.

Auf der anderen Seite werden diese exakt gleichen Eigenschaften, die ich gerade als Vorteile beschrieben habe, manchmal auch als Nachteile betrachtet. Forscher, die Feldexperimente bevorzugen, argumentieren, dass Teilnehmer an Laborexperimenten sehr unterschiedlich agieren könnten, weil sie wissen, dass sie untersucht werden. Im Laborexperiment hätten die Teilnehmer beispielsweise das Ziel der Forschung erraten und ihr Verhalten geändert, um nicht voreingenommen zu sein. Außerdem könnten Forscher, die Feldexperimente bevorzugen, argumentieren, dass kleine Unterschiede in Lebensläufen nur in einer sehr sauberen, sterilen Laborumgebung auffallen können, und daher wird das Laborexperiment den Einfluss von Mutterschaft auf echte Einstellungsentscheidungen überschätzen. Schließlich kritisieren viele Befürworter von Feldexperimenten die Abhängigkeit von Laborversuchen von WEIRD-Teilnehmern: hauptsächlich Studenten aus westlichen, gebildeten, industrialisierten, reichen und demokratischen Ländern (Henrich, Heine, and Norenzayan 2010a) . Die Experimente von Correll und Kollegen (2007) illustrieren die beiden Extreme im Labor-Feld-Kontinuum. Zwischen diesen beiden Extremen gibt es auch eine Vielzahl von hybriden Designs, einschließlich Ansätze, wie zum Beispiel Nicht-Studenten in ein Labor zu bringen oder ins Feld zu gehen, aber trotzdem Teilnehmer eine ungewöhnliche Aufgabe ausführen lassen.

Zusätzlich zu der Laborfelddimension, die in der Vergangenheit existierte, bedeutet das digitale Zeitalter, dass Forscher nun eine zweite Hauptdimension haben, entlang derer Experimente variieren können: analog-digital. So wie es reine Laborexperimente, reine Feldexperimente und eine Vielzahl von Hybriden dazwischen gibt, gibt es rein analoge Experimente, reine digitale Experimente und eine Vielzahl von Hybriden. Es ist schwierig, eine formale Definition dieser Dimension zu geben, aber eine nützliche Arbeitsdefinition ist, dass vollständig digitale Experimente Experimente sind, die die digitale Infrastruktur nutzen, um Teilnehmer zu rekrutieren, zu randomisieren, Behandlungen durchzuführen und Ergebnisse zu messen. Zum Beispiel war Restivos und van de Rijts (2012) Studie von Barnstars und Wikipedia ein vollständig digitales Experiment, da es digitale Systeme für alle vier dieser Schritte verwendete. In ähnlicher Weise nutzen vollständig analoge Experimente die digitale Infrastruktur für keinen dieser vier Schritte. Viele der klassischen Experimente in der Psychologie sind voll analoge Experimente. Zwischen diesen beiden Extremen gibt es teilweise digitale Experimente , die eine Kombination von analogen und digitalen Systemen verwenden.

Wenn einige Leute an digitale Experimente denken, denken sie sofort an Online-Experimente. Dies ist bedauerlich, da die Möglichkeiten, digitale Experimente durchzuführen, nicht nur online sind. Forscher können teilweise digitale Experimente durchführen, indem sie digitale Geräte in der physischen Welt verwenden, um Behandlungen zu liefern oder Ergebnisse zu messen. Zum Beispiel könnten Forscher Smartphones verwenden, um Behandlungen oder Sensoren in der gebauten Umgebung zu liefern, um die Ergebnisse zu messen. Wie wir später in diesem Kapitel noch sehen werden, haben Forscher bereits (Allcott 2015) verwendet, um die Ergebnisse von Experimenten zum Energieverbrauch von 8,5 Millionen Haushalten zu messen (Allcott 2015) . Da digitale Geräte zunehmend in das Leben der Menschen integriert werden und Sensoren in die gebaute Umwelt integriert werden, werden diese Möglichkeiten, teilweise digitale Experimente in der physischen Welt durchzuführen, dramatisch zunehmen. Mit anderen Worten, digitale Experimente sind nicht nur Online-Experimente.

Digitale Systeme schaffen neue Möglichkeiten für Experimente überall im Labor-Feld-Kontinuum. In reinen Laborexperimenten können Forscher zum Beispiel digitale Systeme zur feineren Messung des Verhaltens der Teilnehmer einsetzen; Ein Beispiel für diese Art von verbesserter Messung ist eine Eye-Tracking-Ausrüstung, die genaue und kontinuierliche Messungen der Blickposition ermöglicht. Das digitale Zeitalter bietet auch die Möglichkeit, Laborexperimente online durchzuführen. Zum Beispiel haben Forscher schnell Amazon Mechanical Turk (MTurk) angenommen, um Teilnehmer für Online-Experimente zu rekrutieren (Abbildung 4.2). MTurk bringt "Arbeitgeber" zusammen, die Aufgaben haben, die mit "Arbeitern" erledigt werden müssen, die diese Aufgaben für Geld erledigen möchten. Im Gegensatz zu herkömmlichen Arbeitsmärkten benötigen die Aufgaben in der Regel nur wenige Minuten und die gesamte Interaktion zwischen Arbeitgeber und Arbeitnehmer ist online. Da MTurk Aspekte von traditionellen Laborexperimenten nachahmt, die Menschen dazu bringen, Aufgaben zu erledigen, die sie nicht umsonst tun würden, ist sie natürlich für bestimmte Arten von Experimenten geeignet. Im Wesentlichen hat MTurk die Infrastruktur für die Verwaltung eines Pools von Teilnehmern geschaffen, die Mitarbeiter rekrutieren und bezahlen, und Forscher haben diese Infrastruktur genutzt, um einen immer verfügbaren Pool von Teilnehmern zu erschließen.

Abbildung 4.2: Veröffentlichungen, die mit Daten von Amazon Mechanical Turk (MTurk) veröffentlicht wurden. MTurk und andere Online-Arbeitsmärkte bieten Forschern eine bequeme Möglichkeit, Teilnehmer für Experimente zu rekrutieren. Angepasst von Bohannon (2016) .

Digitale Systeme schaffen noch mehr Möglichkeiten für feldähnliche Experimente. Insbesondere ermöglichen sie Forschern, die engen Kontroll- und Prozessdaten, die mit Laborexperimenten verbunden sind, mit den verschiedenartigsten Teilnehmern und den natürlichen Einstellungen, die mit Laborexperimenten verbunden sind, zu kombinieren. Darüber hinaus bieten digitale Feldexperimente drei Möglichkeiten, die in analogen Experimenten eher schwierig waren.

Erstens, während die meisten analogen Labor- und Feldexperimente Hunderte von Teilnehmern haben, können digitale Feldexperimente Millionen von Teilnehmern haben. Diese Maßstabsveränderung ist darauf zurückzuführen, dass einige digitale Experimente Daten zu variablen Kosten von null erzeugen können. Das heißt, sobald Forscher eine experimentelle Infrastruktur geschaffen haben, erhöht eine Erhöhung der Teilnehmerzahl typischerweise nicht die Kosten. Die Erhöhung der Teilnehmerzahl um den Faktor 100 oder mehr ist nicht nur eine quantitative Veränderung; Es ist eine qualitative Veränderung, weil es den Forschern ermöglicht, verschiedene Dinge aus Experimenten (zB Heterogenität der Behandlungseffekte) zu lernen und völlig unterschiedliche experimentelle Designs (zB Experimente in großen Gruppen) zu betreiben. Dieser Punkt ist so wichtig, dass ich gegen Ende des Kapitels darauf zurückkommen werde, wenn ich Ratschläge zum Erstellen digitaler Experimente gebe.

Zweitens, während die meisten analogen Labor- und Feldexperimente Teilnehmer als nicht unterscheidbare Widgets behandeln, verwenden digitale Feldexperimente häufig Hintergrundinformationen über Teilnehmer an den Entwurfs- und Analysephasen der Forschung. Diese Hintergrundinformationen, die als Vorbehandlungsinformationen bezeichnet werden , sind häufig in digitalen Experimenten verfügbar, da sie auf immer aktiven Messsystemen ausgeführt werden (siehe Kapitel 2). Zum Beispiel hat eine Forscherin bei Facebook viel mehr Vorbehandlungsinformationen über Menschen in ihrem digitalen Feldexperiment, als eine Universitätsforscherin über die Menschen in ihrem analogen Feldversuch. Diese Vorbehandlung ermöglicht effizientere experimentelle Designs - wie das Blockieren (Higgins, Sävje, and Sekhon 2016) und die gezielte Rekrutierung von Teilnehmern (Eckles, Kizilcec, and Bakshy 2016) - und aufschlussreichere Analysen - wie die Einschätzung der Heterogenität von Behandlungseffekten (Athey and Imbens 2016a) und Kovariaten Anpassung für eine verbesserte Präzision (Bloniarz et al. 2016) .

Drittens, während viele analoge Labor- und Feldexperimente Behandlungen liefern und Ergebnisse in einer relativ komprimierten Zeitmenge messen, finden einige digitale Feldexperimente über viel längere Zeiträume statt. Zum Beispiel hatte das Experiment von Restivo und van de Rijt das Ergebnis 90 Tage lang täglich gemessen, und eines der Experimente, von dem ich später im Kapitel erzählen werde (Ferraro, Miranda, and Price 2011) verfolgte die Ergebnisse über drei Jahre im Grunde genommen Kosten. Diese drei Möglichkeiten - Größe, Vorbehandlungsinformationen und longitudinale Behandlungs- und Ergebnisdaten - ergeben sich am häufigsten, wenn Experimente auf immer verfügbaren Messsystemen durchgeführt werden (siehe Kapitel 2 für mehr Informationen zu immer aktiven Messsystemen).

Während digitale Feldexperimente viele Möglichkeiten bieten, teilen sie auch einige Schwächen mit analogen Labor- und analogen Feldexperimenten. Zum Beispiel können Experimente nicht verwendet werden, um die Vergangenheit zu untersuchen, und sie können nur die Auswirkungen von Behandlungen schätzen, die manipuliert werden können. Auch wenn Experimente zweifellos nützlich sind, um die Politik zu lenken, sind die genauen Leitlinien, die sie bieten können, aufgrund von Komplikationen wie Umweltabhängigkeit, Compliance-Problemen und Gleichgewichtseffekten etwas begrenzt (Banerjee and Duflo 2009; Deaton 2010) . Digitale Feldexperimente verstärken auch die ethischen Bedenken, die durch Feldexperimente entstehen - ein Thema, auf das ich später in diesem Kapitel und in Kapitel 6 eingehen werde.