4.2 Was sind Experimente?
Randomisierte kontrollierte Experimente haben vier Hauptbestandteile: Rekrutierung von Teilnehmern, die Randomisierung der Behandlung, Lieferung der Behandlung und Messung der Ergebnisse.
Randomisierte kontrollierte Experimente haben vier Hauptzutaten: Rekrutierung von Teilnehmern, Randomisierung der Behandlung, Durchführung der Behandlung und Messung der Ergebnisse. Das digitale Zeitalter ändert nichts an der grundsätzlichen Natur des Experimentierens, macht es aber logistisch einfacher. Zum Beispiel war es in der Vergangenheit vielleicht schwierig, das Verhalten von Millionen von Menschen zu messen, aber das passiert jetzt routinemäßig in vielen digitalen Systemen. Forscher, die herausfinden, wie sie diese neuen Möglichkeiten nutzen können, werden in der Lage sein, Experimente durchzuführen, die zuvor unmöglich waren.
Um das alles ein wenig konkreter zu machen - was gleich geblieben ist und was sich geändert hat -, betrachten wir ein Experiment von Michael Restivo und Arnout van de Rijt (2012) . Sie wollten die Wirkung von informellen Peer-Belohnungen auf redaktionelle Beiträge zu Wikipedia verstehen. Insbesondere haben sie die Effekte von Barnstars untersucht , eine Auszeichnung, die jeder Wikipedian jedem anderen Wikipedian geben kann, um harte Arbeit und Due Diligence anzuerkennen. Restivo und van de Rijt haben 100 verdienten Wikipedianern Barnstars gegeben. Dann verfolgten sie die nachfolgenden Beiträge der Empfänger zu Wikipedia in den nächsten 90 Tagen. Zu ihrer Überraschung tendierten die Leute, denen sie Barnstars zuerkannten, dazu, weniger Änderungen vorzunehmen, nachdem sie eine erhalten hatten. Mit anderen Worten, die Barnstars schienen eher entmutigend als ermutigend zu sein.
Glücklicherweise führten Restivo und van de Rijt kein "Störungs- und Beobachtungs" -Experiment; Sie führten ein randomisiertes kontrolliertes Experiment durch. Also haben sie nicht nur 100 Top-Beitragende ausgewählt, um einen Barnstar zu erhalten, sondern auch 100 Top-Beitragende, denen sie keinen geben. Diese 100 dienten als Kontrollgruppe. Und kritisch, wer in der Behandlungsgruppe war und wer in der Kontrollgruppe war, wurde zufällig bestimmt.
Als Restivo und van de Rijt das Verhalten der Kontrollgruppe betrachteten, stellten sie fest, dass ihre Beiträge ebenfalls sanken. Als Restivo und van de Rijt Personen in der Behandlungsgruppe (dh Barnstars) mit Personen in der Kontrollgruppe verglichen, stellten sie fest, dass die Personen in der Behandlungsgruppe etwa 60% mehr beisteuerten. Mit anderen Worten, die Beiträge beider Gruppen waren abgestorben, aber die der Kontrollgruppe waren viel schneller.
Wie diese Studie zeigt, ist die Kontrollgruppe in Experimenten auf eine Art paradox, die kritisch ist. Um die Wirkung der Barnstars genau zu messen, mussten Restivo und van de Rijt Leute beobachten, die keine Barnstars erhalten haben. Forscher, die mit Experimenten nicht vertraut sind, übersehen oft den unglaublichen Wert der Kontrollgruppe. Hätten Restivo und van de Rijt keine Kontrollgruppe gehabt, hätten sie genau die falsche Schlussfolgerung gezogen. Kontrollgruppen sind so wichtig, dass der CEO einer großen Casinogesellschaft erklärt hat, dass es nur drei Möglichkeiten gibt, Mitarbeiter von seinem Unternehmen zu entlassen: für Diebstahl, für sexuelle Belästigung oder für ein Experiment ohne Kontrollgruppe (Schrage 2011) .
Restivo und van de Rijts Studie veranschaulichen die vier Hauptzutaten eines Experiments: Rekrutierung, Randomisierung, Intervention und Ergebnisse. Zusammen ermöglichen diese vier Inhaltsstoffe Wissenschaftlern, über Korrelationen hinauszugehen und den kausalen Effekt von Behandlungen zu messen. Insbesondere bedeutet Randomisierung, dass die Personen in den Behandlungs- und Kontrollgruppen ähnlich sind. Dies ist wichtig, weil es bedeutet, dass jeder Unterschied in den Ergebnissen zwischen den beiden Gruppen der Behandlung und nicht einem Confounder zugeschrieben werden kann.
Die Studie von Restivo und van de Rijt zeigt, dass die Logistik von digitalen Experimenten völlig anders ist als die analoger Experimente. In Restivo und van de Rijts Experiment war es leicht, den Barnstar jedem zu geben, und es war einfach, das Ergebnis - Anzahl der Bearbeitungen - über einen längeren Zeitraum zu verfolgen (da der Bearbeitungsverlauf automatisch von Wikipedia aufgezeichnet wird). Diese Fähigkeit, Behandlungen zu liefern und Ergebnisse ohne Kosten zu messen, ist qualitativ anders als Experimente in der Vergangenheit. Obwohl dieses Experiment 200 Personen umfasste, hätte es mit 2.000 oder sogar 20.000 Menschen laufen können. Die Hauptsache, die die Forscher daran hinderte, ihr Experiment um den Faktor 100 zu vergrößern, waren keine Kosten; es war Ethik. Das heißt, Restivo und van de Rijt wollten nicht unwürdigen Redakteuren Barnstars geben, und sie wollten nicht, dass ihr Experiment die Wikipedia-Community stört (Restivo and Rijt 2012, 2014) . Ich werde auf einige der ethischen Überlegungen zurückkommen, die später in diesem Kapitel und in Kapitel 6 durch Experimente aufgeworfen werden.
Zusammenfassend zeigt das Experiment von Restivo und van de Rijt, dass sich die Logik des Experimentierens zwar nicht verändert hat, die Logistik von Digital-Age-Experimenten jedoch dramatisch anders sein kann. Um die Möglichkeiten, die sich durch diese Veränderungen ergeben, klarer zu isolieren, werde ich als nächstes die Experimente vergleichen, die Forscher jetzt mit den Arten von Experimenten durchführen können, die in der Vergangenheit durchgeführt wurden.
