4.2 Was sind Experimente?

Randomisierte kontrollierte Experimente haben vier Hauptbestandteile: Rekrutierung von Teilnehmern, die Randomisierung der Behandlung, Lieferung der Behandlung und Messung der Ergebnisse.

Randomisierte kontrollierte Experimente kann viele Formen annehmen und können verwendet werden viele Arten von Verhalten zu studieren. Aber in ihrem Kern, randomisierte, kontrollierte Experimente haben vier Hauptbestandteile: Rekrutierung von Teilnehmern, die Randomisierung der Behandlung, Lieferung der Behandlung und Messung der Ergebnisse. Das digitale Zeitalter verändert sich nicht die grundlegende Natur des Experimentierens, aber es tut ihnen logistisch einfacher zu machen. Beispielsweise in der Vergangenheit wäre es schwierig gewesen, das Verhalten von Millionen von Menschen zu messen, aber das ist jetzt geschieht routinemäßig in vielen digitalen Systemen. Forscher, die herausfinden, wie diese neuen Möglichkeiten zu nutzen, werden Experimente ausgeführt werden können, die bisher nicht möglich waren.

Um dies alles ein bisschen konkreter-beide , was gleich geblieben ist und was sich verändert hat-wir Michael Restivo und Arnout van de Rijt betrachten die (2012) . Die Forscher wollten die Wirkung von informellen Peer Belohnungen auf redaktionelle Beiträge zu Wikipedia zu verstehen. Insbesondere untersuchten sie die Auswirkungen von barnstars, eine Auszeichnung , die jeder Wikipedianer zu jedem anderen Wikipedian geben kann harte Arbeit und Due - Diligence - anzuerkennen. Restivo und van de Rijt gab barnstars bis 100 verdient Wikipedianer. Dann Restivo und van de Rijt verfolgt die nachfolgenden Beiträge der Empfänger zu Wikipedia in den nächsten 90 Tagen. Zu ihrer großen Überraschung, die Menschen, denen sie barnstars vergeben neigten dazu, weniger Änderungen nach dem Empfang zu machen. Mit anderen Worten, schien die barnstars eher zu entmutigend als ermutigend Beitrag.

Glücklicherweise Restivo und van de Rijt nicht ausgeführt wurden eine "perturb und beobachten" Experiment; sie wurden einer randomisierten kontrollierten Experiment ausgeführt wird. So, zusätzlich 100 Top-Beitragenden um die Wahl eines Barnstar zu erhalten, sie nahm auch 100 Top-Beitragenden, zu denen sie keinen Barnstar gegeben hat. Diese hundert diente als Kontrollgruppe, und die eine Barnstar bekam und wer tat, war nicht zufällig bestimmt. Wenn Restivo und van de Rijt in der Kontrollgruppe sah fanden sie, dass es auch in Beiträgen einen steilen Abfall hatte. Schließlich, wenn die Forscher Menschen in der Behandlungsgruppe verglichen (dh empfangene barnstars) und Personen in der Kontrollgruppe, fanden sie, dass die Barnstar Redakteure verursacht etwa 60% mehr beizutragen. Doch wurde diese Erhöhung der Beitrags erfolgt im Rahmen einer allgemeinen Rückgang in beiden Gruppen.

Wie diese Studie zeigt, ist die Kontrollgruppe in Experimenten kritisch in einer Weise, die etwas paradox ist. Um Rijt genau die Wirkung von barnstars, Restivo und van der Messung benötigt Menschen zu beobachten, die nicht barnstars erhalten. Viele Male Forscher, die mit Experimenten nicht vertraut sind, nicht den unglaublichen Wert der Kontrollgruppe zu schätzen wissen. Wenn Restivo und van de Rijt keine Kontrollgruppe hätte, hätte sie genau die falsche Schlussfolgerung gezogen. Die Kontrollgruppen sind so wichtig , dass der CEO eines großen Casino - Unternehmen hat gesagt , dass es nur drei Möglichkeiten , die Mitarbeiter können sich von seiner Firma entlassen werden: Diebstahl, sexuelle Belästigung und läuft ein Experiment ohne Kontrollgruppe (Schrage 2011) .

Restivo und van de Rijt Studie zeigt die vier wichtigsten Bestandteile eines Experiments: Rekrutierung, Randomisierung, Intervention und Ergebnisse. Zusammen ermöglichen diese vier Zutaten Wissenschaftler über Korrelationen und messen den kausalen Effekt der Behandlungen zu bewegen. Insbesondere Randomisierung bedeutet, dass, wenn Sie Ergebnisse für die Behandlungs- und Kontrollgruppen vergleichen Sie für diesen Satz von Teilnehmern eine Schätzung des kausalen Wirkung dieser Intervention zu bekommen. Mit anderen Worten, mit einer randomisierten kontrollierten Experiment können Sie sicher sein , dass Unterschiede in den Ergebnissen durch die Intervention verursacht werden und nicht ein Störfaktor, eine Forderung , die ich genau im Technischen Anhang mit der möglichen Ergebnisse Rahmen zu machen.

Zusätzlich ist eine schöne Illustration der Mechanik von Experimenten, Restivo und van de Rijt Studie zeigt auch sein, dass die Logistik von digitalen Experimenten von analogen Experimente völlig unterschiedlich sein können. In Restivo und van de Rijt Experiment, war es leicht, die Barnstar zu jedermann in der Welt zu geben, und es war leicht, das Ergebnis-Zahl der Änderungen-verfolgen, der über einen längeren Zeitraum (weil Bearbeitungsverlauf wird automatisch von Wikipedia aufgezeichnet). Diese Fähigkeit Behandlungen zu liefern und messen die Ergebnisse ohne Kosten ist qualitativ anders als Experimente in der Vergangenheit. Obwohl dieses Experiment 200 Personen beteiligt sind, könnte es mit 2.000 oder 20.000 Menschen wurden ausgeführt. Die Hauptsache, die Forscher aus Aufstockung ihres Experiments um einen Faktor von 100 zu verhindern wurde nicht kosten, war es Ethik. Das heißt, Restivo und van de Rijt wollte nicht barnstars zu undeserving Redakteure zu geben und sie wollten nicht ihr Experiment der Wikipedia - Gemeinschaft zu stören (Restivo and Rijt 2012; Restivo and Rijt 2014) . Also, auch wenn das Experiment von Restivo und van de Rijt relativ einfach ist, es zeigt deutlich, dass einige Dinge über Experimente übernachtet haben die gleiche und einige haben sich geändert. Insbesondere ist die grundlegende Logik des Experimentierens die gleichen, aber die Logistik verändert haben. Als nächstes, um klarer die Möglichkeiten geschaffen durch diese Änderung zu isolieren, werde ich die Experimente vergleichen die Forscher nun auf die Arten von Experimenten zu tun, die in der Vergangenheit getan haben.