4.6.1 Erstellen Null variable Kostendaten

Der Schlüssel zum Ausführen großer Experimente besteht darin, die variablen Kosten auf Null zu reduzieren. Die besten Wege, dies zu tun, sind Automatisierung und das Entwerfen von angenehmen Experimenten.

Digitale Experimente können dramatisch unterschiedliche Kostenstrukturen aufweisen, was es Forschern ermöglicht, Experimente durchzuführen, die in der Vergangenheit unmöglich waren. Eine Möglichkeit, über diesen Unterschied nachzudenken, besteht darin, anzumerken, dass Experimente im Allgemeinen zwei Arten von Kosten haben: Fixkosten und variable Kosten. Fixkosten sind Kosten, die unabhängig von der Anzahl der Teilnehmer unverändert bleiben. Zum Beispiel könnten in einem Laborexperiment Fixkosten die Kosten für die Anmietung von Raum und den Kauf von Möbeln sein. Die variablen Kosten ändern sich dagegen in Abhängigkeit von der Anzahl der Teilnehmer. Zum Beispiel könnten in einem Laborexperiment variable Kosten von zahlenden Mitarbeitern und Teilnehmern kommen. Im Allgemeinen haben analoge Experimente niedrige Fixkosten und hohe variable Kosten, während digitale Experimente hohe Fixkosten und geringe variable Kosten haben (Abbildung 4.19). Obwohl digitale Experimente geringe variable Kosten haben, können Sie viele aufregende Möglichkeiten schaffen, wenn Sie die variablen Kosten bis auf null senken.

Abbildung 4.19: Schema der Kostenstrukturen in analogen und digitalen Experimenten. Im Allgemeinen haben analoge Experimente niedrige Fixkosten und hohe variable Kosten, während digitale Experimente hohe Fixkosten und geringe variable Kosten haben. Durch die unterschiedlichen Kostenstrukturen können digitale Experimente in einem Umfang ablaufen, der mit analogen Experimenten nicht möglich ist.

Es gibt zwei Hauptelemente von variablen Kostenzahlungen an Mitarbeiter und Zahlungen an die Teilnehmer - und jeder von diesen kann mit unterschiedlichen Strategien auf Null gesetzt werden. Die Zahlungen an die Mitarbeiter ergeben sich aus der Arbeit, die die Forschungsassistenten bei der Rekrutierung der Teilnehmer, der Durchführung von Behandlungen und der Messung der Ergebnisse leisten. Das analoge Feldexperiment von Schultz und Kollegen (2007) zum Elektrizitätsverbrauch erforderte beispielsweise, dass Forschungsassistenten zu jedem Haus reisten, um die Behandlung zu liefern und den Stromzähler abzulesen (Abbildung 4.3). All diese Bemühungen der Forschungsassistenten hatten zur Folge, dass die Kosten um einen neuen Haushalt aufgestockt wurden. Auf der anderen Seite, für das digitale Feldexperiment von Restivo und van de Rijt (2012) über die Wirkung von Auszeichnungen auf Wikipedia-Redakteure, könnten Forscher mehr Teilnehmer praktisch ohne Kosten hinzufügen. Eine allgemeine Strategie zur Verringerung der variablen Verwaltungskosten besteht darin, menschliche Arbeit (die teuer ist) durch Computerarbeit (die billig ist) zu ersetzen. Du kannst dich ungefähr fragen: Kann dieses Experiment laufen, während alle in meinem Forschungsteam schlafen? Wenn die Antwort "Ja" lautet, haben Sie eine großartige Automatisierung vorgenommen.

Der zweite Haupttyp der variablen Kosten sind Zahlungen an die Teilnehmer. Einige Forscher haben Amazon Mechanical Turk und andere Online-Arbeitsmärkte genutzt, um die Zahlungen für die Teilnehmer zu reduzieren. Um die variablen Kosten auf Null zu reduzieren, ist jedoch ein anderer Ansatz erforderlich. Lange haben Forscher Experimente entworfen, die so langweilig sind, dass sie die Leute zur Teilnahme bezahlen müssen. Aber was wäre, wenn Sie ein Experiment erstellen könnten, in dem die Leute sein möchten? Das mag weit hergeholt klingen, aber ich gebe Ihnen ein Beispiel aus meiner eigenen Arbeit, und es gibt weitere Beispiele in Tabelle 4.4. Beachten Sie, dass diese Idee des Entwerfens von angenehmen Experimenten einige der Themen in Kapitel 3 bezüglich des Entwerfens angenehmerer Umfragen und in Kapitel 5 bezüglich des Designs der Massenzusammenarbeit wiedergibt. Daher denke ich, dass das Vergnügen der Teilnehmer - was man auch als Nutzererfahrung bezeichnen könnte - ein zunehmend wichtiger Teil des Forschungsdesigns im digitalen Zeitalter wird.

Wenn Sie Experimente mit Daten ohne variable Kosten erstellen möchten, müssen Sie sicherstellen, dass alles vollständig automatisiert ist und die Teilnehmer keine Zahlung benötigen. Um zu zeigen, wie dies möglich ist, beschreibe ich meine Dissertationsforschung über Erfolg und Misserfolg kultureller Produkte.

Meine Dissertation wurde durch die rätselhafte Natur des Erfolgs für kulturelle Produkte motiviert. Hit-Songs, Bestseller-Bücher und Blockbuster-Filme sind viel, viel erfolgreicher als der Durchschnitt. Aus diesem Grund werden die Märkte für diese Produkte oft als "Gewinner-Take-All" -Märkte bezeichnet. Doch gleichzeitig ist es unglaublich unvorhersehbar, welcher Song, welches Buch oder welcher Film erfolgreich sein wird. Der Drehbuchautor William Goldman (1989) fasste elegant akademische Forschungsergebnisse zusammen, indem er sagte, dass "niemand etwas weiß". Die Unberechenbarkeit von Märkten, in denen Gewinner alles nehmen, ließ mich darüber nachdenken, wie viel Erfolg ein Ergebnis ist von Qualität und wie viel ist nur Glück. Oder, etwas anders ausgedrückt, wenn wir parallele Welten erschaffen könnten und sie sich alle unabhängig entwickeln könnten, würden dieselben Lieder in jeder Welt populär werden? Und wenn nicht, was könnte ein Mechanismus sein, der diese Unterschiede verursacht?

Um diese Fragen zu beantworten, haben wir - Peter Dodds, Duncan Watts (mein Dissertationsberater) und ich - eine Reihe von Online-Feldexperimenten durchgeführt. Insbesondere haben wir eine Website mit dem Namen MusicLab aufgebaut, auf der Menschen neue Musik entdecken können, und wir haben sie für eine Reihe von Experimenten genutzt. Wir rekrutierten Teilnehmer, indem wir Bannerwerbung auf einer Teen-Interest-Website (Abbildung 4.20) und durch Erwähnungen in den Medien betrieben. Teilnehmer, die auf unserer Website eintrafen, gaben Einverständniserklärung, füllten einen kurzen Hintergrundfragebogen aus und wurden zufällig einer von zwei experimentellen Bedingungen - unabhängigem und sozialem Einfluss - zugewiesen. Im unabhängigen Zustand trafen die Teilnehmer Entscheidungen darüber, welche Songs zu hören waren, nur die Namen der Bands und der Songs. Beim Anhören eines Liedes wurden die Teilnehmer gebeten, es zu bewerten, woraufhin sie die Möglichkeit hatten (aber nicht die Pflicht), das Lied herunterzuladen. In der sozialen Einflussbedingung hatten die Teilnehmer die gleiche Erfahrung, außer dass sie auch sehen konnten, wie oft jedes Lied von vorherigen Teilnehmern heruntergeladen wurde. Darüber hinaus wurden die Teilnehmer des sozialen Einflusses zufällig einer von acht parallelen Welten zugeordnet, von denen jede unabhängig voneinander entwickelt wurde (Abbildung 4.21). Mit diesem Design haben wir zwei verwandte Experimente durchgeführt. In der ersten präsentierten wir die Lieder den Teilnehmern in einem unsortierten Raster, was ihnen ein schwaches Signal der Popularität gab. Im zweiten Experiment präsentierten wir die Songs in einer Rangliste, die ein viel stärkeres Popularitätssignal lieferte (Abb. 4.22).

Abbildung 4.20: Ein Beispiel für eine Bannerwerbung, mit der meine Kollegen und ich Teilnehmer für die (Salganik, Dodds, and Watts 2006) Experimente (Salganik, Dodds, and Watts 2006) . Reproduziert mit Genehmigung von Salganik (2007) , Abbildung 2.12.

Abbildung 4.21: Experimentelles Design für die (Salganik, Dodds, and Watts 2006) Experimente (Salganik, Dodds, and Watts 2006) . Die Teilnehmer wurden nach dem Zufallsprinzip einer von zwei Bedingungen zugeordnet: unabhängiger und sozialer Einfluss. Teilnehmer an der unabhängigen Bedingung trafen ihre Wahl ohne jegliche Information darüber, was andere Leute getan hatten. Die Teilnehmer des sozialen Einflusses wurden zufällig einer von acht parallelen Welten zugeordnet, wo sie die Popularität von jedem Song ihrer Welt - gemessen an den Downloads früherer Teilnehmer - sehen konnten, aber sie konnten keine Informationen darüber sehen und auch nicht kenne sogar die Existenz von irgendeiner der anderen Welten. Adaptiert von Salganik, Dodds, and Watts (2006) , Figur S1.

Wir fanden heraus, dass die Popularität der Lieder in den Welten unterschiedlich war, was darauf hindeutet, dass Glück eine wichtige Rolle für den Erfolg spielte. Zum Beispiel, in einer Welt kam der Song "Lockdown" von 52Metro als erster von 48 Songs, während er in einer anderen Welt auf Platz 40 landete. Das war genau das gleiche Lied, das gegen die gleichen anderen Songs antrat, aber in einer Welt hatte es Glück und in den anderen nicht. Durch den Vergleich der Ergebnisse zwischen den beiden Experimenten haben wir außerdem herausgefunden, dass der soziale Einfluss die Gewinnertendenz dieser Märkte erhöht, was vielleicht auf die Wichtigkeit von Fähigkeiten hinweist. Aber durch den Blick auf die Welten (was außerhalb dieser Art von parallelen Weltenexperimenten nicht möglich ist), haben wir herausgefunden, dass der soziale Einfluss die Bedeutung von Glück tatsächlich erhöht hat. Darüber hinaus waren es überraschenderweise die Lieder von höchster Anziehungskraft, bei denen das Glück am wichtigsten war (Abb. 4.23).

Abbildung 4.22: Screenshots der sozialen Einflussbedingungen in den (Salganik, Dodds, and Watts 2006) Experimenten (Salganik, Dodds, and Watts 2006) . In der sozialen Einflussbedingung in Experiment 1 wurden die Lieder zusammen mit der Anzahl der vorherigen Downloads den Teilnehmern präsentiert, die in einem rechteckigen Rechteck von 16 \(\times\) 3) angeordnet waren, wobei die Positionen der Lieder für jeden zufällig zugewiesen wurden Teilnehmer. In Experiment 2 wurden Teilnehmern der sozialen Einflussbedingung die Lieder mit Download-Zählungen gezeigt, die in einer Spalte in absteigender Reihenfolge der aktuellen Popularität dargestellt wurden.

Abbildung 4.23: Ergebnisse der MusicLab-Experimente, die die Beziehung zwischen Attraktivität und Erfolg zeigen (Salganik, Dodds, and Watts 2006) . Die \(x\) -Achse ist der Marktanteil des Songs in der unabhängigen Welt, der als Maß für die Attraktivität des Songs dient, und die \(y\) -Achse ist der Marktanteil des gleichen Songs in die acht sozialen Einflusswelten, die als Maß für den Erfolg der Songs dienen. Wir stellten fest, dass die Erhöhung des sozialen Einflusses, den die Teilnehmer erlebten - insbesondere die Veränderung des Layouts von Experiment 1 zu Experiment 2 (Abb. 4.22) - den Erfolg verunsicherte, insbesondere für die Songs mit der höchsten Anziehungskraft. Adaptiert von Salganik, Dodds, and Watts (2006) , Abbildung 3.

MusicLab konnte wegen der Art und Weise, wie es entworfen wurde, im Wesentlichen keine variablen Kosten haben. Erstens war alles voll automatisiert, so dass es laufen konnte, während ich schlief. Zweitens war die Vergütung kostenlose Musik, daher gab es keine variablen Vergütungskosten für die Teilnehmer. Die Verwendung von Musik als Ausgleich zeigt auch, dass es manchmal einen Kompromiss zwischen festen und variablen Kosten gibt. Die Verwendung von Musik erhöhte die Fixkosten, weil ich Zeit damit verbringen musste, die Erlaubnis der Bands zu bekommen und Berichte darüber zu erstellen, wie die Teilnehmer auf ihre Musik reagieren. In diesem Fall war es jedoch richtig, die Fixkosten zu erhöhen, um die variablen Kosten zu senken. Dadurch konnten wir ein Experiment durchführen, das etwa hundertmal größer war als ein Standard-Laborversuch.

Außerdem zeigen die MusicLab-Experimente, dass die variablen Kosten von Null kein Selbstzweck sein müssen; Es kann vielmehr ein Mittel sein, um eine neue Art von Experiment durchzuführen. Beachten Sie, dass wir nicht alle unsere Teilnehmer verwendet haben, um 100 Mal ein Standard-Labor für soziales Einflusslabor durchzuführen. Stattdessen haben wir etwas anderes gemacht, was man sich als Übergang von einem psychologischen zu einem soziologischen Experiment (Hedström 2006) . Anstatt sich auf individuelle Entscheidungen zu konzentrieren, konzentrierten wir unser Experiment auf die Popularität, ein kollektives Ergebnis. Dieser Wechsel zu einem kollektiven Ergebnis bedeutete, dass wir etwa 700 Teilnehmer benötigten, um einen einzigen Datenpunkt zu erzeugen (in jeder der parallelen Welten gab es 700 Personen). Dieser Maßstab war nur aufgrund der Kostenstruktur des Experiments möglich. Wenn Forscher untersuchen möchten, wie sich kollektive Ergebnisse aus individuellen Entscheidungen ergeben, sind Gruppenexperimente wie MusicLab sehr spannend. In der Vergangenheit waren sie logistisch schwierig, aber diese Schwierigkeiten schwinden aufgrund der Möglichkeit von Daten mit variablen Kosten.

Die MusicLab-Experimente zeigen nicht nur die Vorteile von Daten ohne variable Daten, sondern zeigen auch eine Herausforderung bei diesem Ansatz: hohe Fixkosten. In meinem Fall hatte ich das große Glück, für etwa sechs Monate mit einem talentierten Webentwickler namens Peter Hausel zusammenzuarbeiten, um das Experiment zu konstruieren. Dies war nur möglich, weil mein Berater, Duncan Watts, eine Reihe von Zuschüssen erhalten hatte, um diese Art von Forschung zu unterstützen. Die Technologie hat sich seit der Entwicklung von MusicLab im Jahr 2004 verbessert, sodass es jetzt viel einfacher ist, ein solches Experiment zu erstellen. Aber hohe Fixkosten-Strategien sind wirklich nur für Forscher möglich, die diese Kosten irgendwie decken können.

Zusammenfassend können digitale Experimente drastisch unterschiedliche Kostenstrukturen aufweisen als analoge Experimente. Wenn Sie wirklich große Experimente durchführen möchten, sollten Sie versuchen, Ihre variablen Kosten so weit wie möglich und idealerweise bis auf Null zu senken. Sie können dies tun, indem Sie die Mechanik Ihres Experiments automatisieren (z. B. menschliche Zeit durch Computerzeit ersetzen) und Experimente entwerfen, in denen Menschen sein wollen. Forscher, die Experimente mit diesen Merkmalen entwerfen können, werden neue Arten von Experimenten durchführen können in der Vergangenheit nicht möglich. Die Möglichkeit, Experimente mit variablen Kosten zu erstellen, kann jedoch neue ethische Fragen aufwerfen, das Thema, das ich nun behandeln werde.