4.2 Quelles sont les expériences?

Expériences contrôlées randomisées ont quatre ingrédients principaux: le recrutement des participants, randomisation du traitement, la livraison du traitement, et de mesure des résultats.

expériences contrôlées randomisées peuvent prendre de nombreuses formes et peuvent être utilisés pour étudier de nombreux types de comportement. Mais, à leur base, des expériences contrôlées randomisées ont quatre ingrédients principaux: le recrutement des participants, randomisation du traitement, la livraison du traitement, et de mesure des résultats. L'ère numérique ne change pas la nature fondamentale de l'expérimentation, mais il ne les rendre plus facile sur le plan logistique. Par exemple, dans le passé, il aurait été difficile de mesurer le comportement de millions de personnes, mais qui est maintenant passe régulièrement dans de nombreux systèmes numériques. Les chercheurs qui peuvent comprendre comment exploiter ces nouvelles opportunités seront en mesure de réaliser des expériences qui étaient impossibles auparavant.

Pour faire tout cela un peu plus concret , à la fois ce qui est resté le même et ce qui a changé, nous allons examiner Michael Restivo et Arnout van de Rijt de (2012) . Les chercheurs ont voulu comprendre l'effet des récompenses par les pairs informelles sur les contributions éditoriales à Wikipedia. En particulier, ils ont étudié les effets de EtoileDeGrange, un prix que tout Wikipédien peut donner à tout autre Wikipédien de reconnaître le travail acharné et la diligence raisonnable. Restivo et van de Rijt a donné EtoileDeGrange à 100 wikipédiens méritants. Puis, Restivo et van de Rijt suivi des contributions ultérieures des destinataires à Wikipedia au cours des 90 prochains jours. A leur grande surprise, les gens à qui ils attribués EtoileDeGrange ont tendance à faire moins de modifications après avoir reçu un. En d'autres termes, les EtoileDeGrange semblaient décourager plutôt que d'encourager la contribution.

Heureusement, Restivo et van de Rijt ne sont pas en cours d'exécution d'une expérience "perturberait et observer»; ils ont été en cours d'exécution d'une expérience contrôlée randomisée. Donc, en plus de choisir 100 meilleurs contributeurs pour recevoir un EtoileDeGrange, ils ont également repris 100 meilleurs contributeurs à qui ils ne donnent un EtoileDeGrange. Ces cent ont servi de groupe témoin, et qui a obtenu un EtoileDeGrange et qui n'a pas été déterminée au hasard. Lorsque Restivo et van de Rijt regardé le groupe de contrôle ils ont constaté qu'il y avait une forte baisse des contributions aussi. Enfin, lorsque les chercheurs ont comparé les personnes dans le groupe de traitement (c.-à-reçu EtoileDeGrange) et les personnes dans le groupe de contrôle, ils ont constaté que l'EtoileDeGrange a causé des éditeurs de contribuer environ 60% de plus. Mais, cette augmentation de la contribution avait lieu dans le cadre d'une baisse générale dans les deux groupes.

Comme cette étude montre, le groupe témoin dans les expériences est critique d'une manière qui est assez paradoxal. Afin de mesurer précisément l'effet de EtoileDeGrange, Restivo et van der Rijt nécessaire pour observer les gens qui ne reçoivent pas EtoileDeGrange. Souvent, les chercheurs qui ne sont pas familiers avec les expériences ne parviennent pas à apprécier la valeur incroyable du groupe de contrôle. Si Restivo et van de Rijt ne disposent pas d'un groupe de contrôle, ils ont tiré exactement la mauvaise conclusion. Les groupes témoins sont si importants que le PDG d'une grande entreprise de casino a dit qu'il n'y a que trois façons que les employés peuvent être tirés de son entreprise: le vol, le harcèlement sexuel, et en cours d' exécution d' une expérience sans un groupe de contrôle (Schrage 2011) .

L'étude de Restivo et van de Rijt illustre les quatre principaux ingrédients d'une expérience: le recrutement, la randomisation, l'intervention et les résultats. Ensemble, ces quatre ingrédients permettent aux scientifiques d'aller au-delà des corrélations et de mesurer l'effet causal des traitements. Plus précisément, la randomisation signifie que lorsque vous comparez les résultats pour les groupes de traitement et de contrôle vous obtenez une estimation de l'effet causal de cette intervention pour cet ensemble de participants. En d' autres termes, avec une expérience contrôlée randomisée vous pouvez être sûr que toutes les différences de résultats sont causés par l'intervention et non un facteur de confusion, une demande que je fais précis dans l'annexe technique à l' aide du cadre de résultats potentiels.

En plus d'être une belle illustration de la mécanique des expériences, l'étude de Restivo et van de Rijt montre également que la logistique des expériences numériques peuvent être complètement différent des expériences analogiques. En Restivo et l'expérience de van de Rijt, il était facile de donner le EtoileDeGrange à quiconque dans le monde et il était facile de suivre les résultats-nombre de modifications, sur une longue période de temps (parce que l'histoire d'édition est automatiquement enregistrée par Wikipedia). Cette capacité à fournir des traitements et de mesurer les résultats sans frais est qualitativement contrairement expériences dans le passé. Bien que cette expérience a porté sur 200 personnes, il aurait pu courir avec 2.000 ou 20.000 personnes. La principale chose qui empêche les chercheurs de mise à l'échelle leur expérience par un facteur de 100 n'a pas été le coût, il a été l'éthique. C'est, Restivo et van de Rijt ne voulaient pas donner EtoileDeGrange aux éditeurs qui ne méritent pas et ils ne veulent pas que leur expérience de perturber la communauté Wikipedia (Restivo and Rijt 2012; Restivo and Rijt 2014) . Ainsi, bien que l'expérience de Restivo et van de Rijt est relativement simple, il montre clairement que certaines choses sur les expériences sont restés les mêmes et certains ont changé. En particulier, la logique de base de l'expérimentation est le même, mais la logistique ont changé. Ensuite, afin d'isoler plus clairement les opportunités créées par ce changement, je vais comparer les expériences que les chercheurs peuvent faire maintenant pour les types d'expériences qui ont été faites dans le passé.