4.5.1 Verwenden Sie vorhandene Umgebungen

Sie können ohne Codierung oder Partnerschaft Experimente innerhalb bestehende Umgebungen, oft laufen.

Logistisch gesehen besteht der einfachste Weg, ein digitales Experiment durchzuführen, darin, Ihr Experiment über eine vorhandene Umgebung zu legen. Solche Experimente können in einem vernünftigen Umfang durchgeführt werden und erfordern keine Partnerschaft mit einem Unternehmen oder umfangreiche Softwareentwicklung.

Jennifer Doleac und Luke Stein (2013) nutzten beispielsweise einen Online-Marktplatz, der Craigslist ähnlich ist, um ein Experiment durchzuführen, das Rassendiskriminierung misst. Sie bewarben Tausende von iPods, und indem sie die Eigenschaften des Verkäufers systematisch variierten, waren sie in der Lage, die Auswirkung der Rasse auf wirtschaftliche Transaktionen zu untersuchen. Außerdem verwendeten sie den Maßstab ihres Experiments, um abzuschätzen, wann der Effekt größer war (Heterogenität der Behandlungseffekte), und um einige Ideen darüber zu geben, warum der Effekt auftreten könnte (Mechanismen).

Doleac und Steins iPod-Werbung variierte in drei Hauptdimensionen. Zunächst variierten die Forscher die Eigenschaften des Verkäufers, was durch die fotografierte Hand mit dem iPod [weiß, schwarz, weiß mit Tattoo] signalisiert wurde (Abbildung 4.13). Zweitens variierten sie den Preis [$ 90, $ 110, $ 130]. Drittens variierten sie die Qualität des Anzeigentexts [qualitativ hochwertig und von geringer Qualität (z. B. Ausgleichsfehler und Splinefehler)]. So hatten die Autoren ein 3 \(\times\) 3 \(\times\) 2 Design, das auf mehr als 300 lokalen Märkten eingesetzt wurde, von Städten (zB Kokomo, Indiana und North Platte, Nebraska) bis zu Städte (zB New York und Los Angeles).

Abbildung 4.13: Hände im Experiment von Doleac and Stein (2013) . iPods wurden von Verkäufern mit unterschiedlichen Eigenschaften verkauft, um Diskriminierung auf einem Online-Marktplatz zu messen. Reproduziert mit Genehmigung von Doleac and Stein (2013) , Abbildung 1.

Gemittelt über alle Bedingungen waren die Ergebnisse für die weißen Verkäufer besser als für die schwarzen Verkäufer, wobei die tätowierten Verkäufer Zwischenergebnisse hatten. Zum Beispiel erhielten die weißen Verkäufer mehr Angebote und hatten höhere Endverkaufspreise. Jenseits dieser Durchschnittseffekte schätzten Doleac und Stein die Heterogenität der Effekte. Zum Beispiel ist eine Vorhersage aus früheren Theorien, dass Diskriminierung in Märkten, in denen mehr Wettbewerb zwischen Käufern herrscht, geringer wäre. Anhand der Anzahl der Angebote auf diesem Markt als Maß für die Höhe des Käuferwettbewerbs stellten die Forscher fest, dass schwarze Verkäufer in Märkten mit einem niedrigen Wettbewerbsniveau schlechtere Angebote erhalten haben. Darüber hinaus stellten Doleac und Stein durch den Vergleich der Ergebnisse für die Anzeigen mit hochwertigen und qualitativ schlechten Texten fest, dass die Anzeigenqualität nicht die Nachteile von Schwarz- und Tätowierern beeinträchtigt. Unter Berücksichtigung der Tatsache, dass Anzeigen in mehr als 300 Märkten platziert wurden, fanden die Autoren heraus, dass schwarze Verkäufer in Städten mit hohen Kriminalitätsraten und hoher Wohndiskriminierung benachteiligt waren. Keines dieser Ergebnisse gibt uns ein genaues Verständnis, warum schwarze Verkäufer schlechtere Ergebnisse hatten, aber wenn sie mit den Ergebnissen anderer Studien kombiniert werden, können sie beginnen, Theorien über die Ursachen von Rassendiskriminierung in verschiedenen Arten von wirtschaftlichen Transaktionen zu vermitteln.

Ein weiteres Beispiel, das die Fähigkeit von Forschern zeigt, digitale Feldexperimente in bestehenden Systemen durchzuführen, ist die Forschung von Arnout van de Rijt und Kollegen (2014) über die Schlüssel zum Erfolg. In vielen Aspekten des Lebens enden scheinbar ähnliche Menschen mit sehr unterschiedlichen Ergebnissen. Eine mögliche Erklärung für dieses Muster ist, dass sich kleine und im Wesentlichen zufällige Vorteile im Laufe der Zeit festsetzen und wachsen können, ein Prozess, den Forscher kumulativen Vorteil nennen . Um festzustellen, ob kleine Anfangserfolge fest- oder verschwinden, intervenierten van de Rijt und Kollegen (2014) in vier verschiedenen Systemen, die zufällig ausgewählten Teilnehmern Erfolge bescherten, und maßen anschließend die Auswirkungen dieses willkürlichen Erfolgs.

Van de Rijt und seine Kollegen (1) versprachen Geld für zufällig ausgewählte Projekte auf Kickstarter, einer Crowdfunding-Website. (2) positiv bewertete, zufällig ausgewählte Rezensionen zu Epinions, einer Website zur Überprüfung von Produkten; (3) gab zufällig ausgewählten Mitwirkenden an Wikipedia Auszeichnungen; und (4) zufällig ausgewählte Petitionen auf change.org signiert haben. Sie fanden sehr ähnliche Ergebnisse über alle vier Systeme hinweg: In jedem Fall hatten Teilnehmer, die nach dem Zufallsprinzip einen frühen Erfolg hatten, später einen größeren Erfolg als ihre ansonsten völlig ununterscheidbaren Kollegen (Abbildung 4.14). Die Tatsache, dass das gleiche Muster in vielen Systemen auftrat, erhöht die externe Validität dieser Ergebnisse, weil es die Wahrscheinlichkeit verringert, dass dieses Muster ein Artefakt eines bestimmten Systems ist.

Abbildung 4.14: Langzeiteffekte zufällig zufallender Erfolge in vier verschiedenen Sozialsystemen. Arnout van de Rijt und seine Kollegen (2014) (1) versprachen Geld für zufällig ausgewählte Projekte auf Kickstarter, einer Crowdfunding-Website; (2) positiv bewertete, zufällig ausgewählte Rezensionen zu Epinions, einer Website zur Überprüfung von Produkten; (3) gab zufällig ausgewählten Mitwirkenden an Wikipedia Auszeichnungen; und (4) zufällig ausgewählte Petitionen auf change.org signiert haben. Angepasst an Rijt et al. (2014) , Abbildung 2.

Zusammengenommen zeigen diese beiden Beispiele, dass Forscher digitale Feldexperimente durchführen können, ohne mit Unternehmen zusammenarbeiten oder komplexe digitale Systeme aufbauen zu müssen. Darüber hinaus enthält Tabelle 4.2 noch mehr Beispiele, die zeigen, was möglich ist, wenn Forscher die Infrastruktur bestehender Systeme nutzen, um Behandlungsergebnisse zu liefern und / oder Ergebnisse zu messen. Diese Experimente sind für Forscher relativ günstig und bieten einen hohen Grad an Realismus. Sie bieten Forschern jedoch eine begrenzte Kontrolle über die zu messenden Teilnehmer, Behandlungen und Ergebnisse. Für Experimente, die nur in einem System stattfinden, müssen die Forscher darüber besorgt sein, dass die Effekte durch systemspezifische Dynamiken gesteuert werden können (zB die Art, wie Kickstarter die Projekte einordnet oder die Rangliste der Petitionen von change.org). siehe die Diskussion über algorithmisches Confounding in Kapitel 2). Schließlich, wenn Forscher in Arbeitssysteme eingreifen, entstehen knifflige ethische Fragen über möglichen Schaden für Teilnehmer, Nicht-Teilnehmer und Systeme. Wir werden diese ethische Frage in Kapitel 6 näher betrachten und im Anhang von van de Rijt et al. (2014) . Die Kompromisse, die mit der Arbeit in einem bestehenden System verbunden sind, sind nicht für jedes Projekt ideal, und deshalb bauen einige Forscher ihr eigenes experimentelles System auf, wie ich als nächstes illustrieren werde.