4.2 Quelles sont les expériences?
Expériences contrôlées randomisées ont quatre ingrédients principaux: le recrutement des participants, randomisation du traitement, la livraison du traitement, et de mesure des résultats.
Les expériences contrôlées randomisées ont quatre ingrédients principaux: le recrutement des participants, la randomisation du traitement, l'administration du traitement et la mesure des résultats. L'ère numérique ne change pas la nature fondamentale de l'expérimentation, mais elle facilite la logistique. Par exemple, dans le passé, il aurait peut-être été difficile de mesurer le comportement de millions de personnes, mais cela se produit couramment dans de nombreux systèmes numériques. Les chercheurs qui savent comment tirer parti de ces nouvelles opportunités pourront mener des expériences impossibles auparavant.
Pour rendre le tout un peu plus concret - à la fois ce qui est resté le même et ce qui a changé - considérons une expérience de Michael Restivo et Arnout van de Rijt (2012) . Ils voulaient comprendre l'effet des récompenses informelles des pairs sur les contributions éditoriales à Wikipedia. En particulier, ils ont étudié les effets de barnstars , un prix que tout Wikipédien peut donner à tout autre Wikipédien pour reconnaître le travail acharné et la diligence raisonnable. Restivo et van de Rijt ont donné des barnstars à 100 Wikipédiens méritants. Ensuite, ils ont suivi les contributions ultérieures des destinataires à Wikipedia au cours des 90 prochains jours. À leur grande surprise, les gens à qui ils décernaient des barnstars avaient tendance à faire moins de modifications après en avoir reçu un. En d'autres termes, les barnstars semblaient décourager plutôt que d'encourager la contribution.
Heureusement, Restivo et van de Rijt ne menaient pas une expérience de «perturbation et observation»; ils couraient une expérience contrôlée randomisée. Donc, en plus de choisir 100 meilleurs contributeurs pour recevoir une barnstar, ils ont également choisi 100 meilleurs contributeurs à qui ils n'ont pas donné un. Ces 100 servaient de groupe de contrôle. Et, de manière critique, qui était dans le groupe de traitement et qui était dans le groupe de contrôle a été déterminé au hasard.
Lorsque Restivo et van de Rijt ont examiné le comportement des personnes du groupe de contrôle, ils ont constaté que leurs contributions diminuaient également. De plus, lorsque Restivo et van de Rijt ont comparé des personnes du groupe de traitement (c.-à-d. Des barnars reçus) à des personnes du groupe témoin, ils ont trouvé que les personnes du groupe de traitement contribuaient environ 60% de plus. En d'autres termes, les contributions des deux groupes diminuaient, mais celles du groupe témoin le faisaient beaucoup plus vite.
Comme l'illustre cette étude, le groupe témoin dans les expériences est critique d'une manière quelque peu paradoxale. Afin de mesurer avec précision l'effet des barnstars, Restivo et van de Rijt devaient observer des personnes qui n'avaient pas reçu de barnstars. Plusieurs fois, les chercheurs qui ne sont pas familiers avec les expériences ne parviennent pas à apprécier la valeur incroyable du groupe de contrôle. Si Restivo et van de Rijt n'avaient pas eu de groupe de contrôle, ils auraient tiré la mauvaise conclusion. Les groupes de contrôle sont si importants que le PDG d'une grande entreprise de casino a déclaré qu'il n'y avait que trois façons de licencier des employés de son entreprise: pour vol, harcèlement sexuel ou pour mener une expérience sans groupe de contrôle (Schrage 2011) .
L'étude de Restivo et van de Rijt illustre les quatre principaux ingrédients d'une expérience: le recrutement, la randomisation, l'intervention et les résultats. Ensemble, ces quatre ingrédients permettent aux scientifiques d'aller au-delà des corrélations et de mesurer l'effet causal des traitements. Plus précisément, la randomisation signifie que les personnes dans les groupes de traitement et de contrôle seront similaires. Ceci est important car cela signifie que toute différence dans les résultats entre les deux groupes peut être attribuée au traitement et non à un facteur de confusion.
En plus d'être une belle illustration de la mécanique des expériences, l'étude de Restivo et van de Rijt montre également que la logistique des expériences numériques peut être complètement différente de celle des expériences analogiques. Dans l'expérience de Restivo et van de Rijt, il était facile de donner le barnstar à n'importe qui, et il était facile de suivre le nombre de modifications sur une longue période (parce que l'historique des modifications est automatiquement enregistré par Wikipedia). Cette capacité à délivrer des traitements et à mesurer les résultats sans frais est qualitativement différente des expériences passées. Bien que cette expérience ait impliqué 200 personnes, elle aurait pu être menée avec 2 000 ou même 20 000 personnes. La principale chose qui empêchait les chercheurs de multiplier leur expérience par un facteur de 100 n'était pas le coût; c'était l'éthique. C'est-à-dire que Restivo et van de Rijt ne voulaient pas donner de mots-clés à des éditeurs non méritants, et ils ne voulaient pas que leur expérience perturbe la communauté Wikipedia (Restivo and Rijt 2012, 2014) . Je reviendrai sur certaines des considérations éthiques soulevées par les expériences plus loin dans ce chapitre et dans le chapitre 6.
En conclusion, l'expérience de Restivo et van de Rijt montre clairement que si la logique de base de l'expérimentation n'a pas changé, la logistique des expériences numériques peut être radicalement différente. Ensuite, afin d'isoler plus clairement les opportunités créées par ces changements, je vais comparer les expériences que les chercheurs peuvent faire maintenant avec le genre d'expériences qui ont été faites dans le passé.
