4.5.1 Utiliser les environnements existants

Vous pouvez exécuter des expériences à l' intérieur des environnements existants, souvent sans aucun codage ou d'une société.

Du point de vue logistique, la façon la plus simple de réaliser une expérience numérique consiste à superposer votre expérience à un environnement existant. De telles expériences peuvent être menées à une échelle raisonnablement grande et ne nécessitent pas de partenariat avec une entreprise ou un développement logiciel étendu.

Par exemple, Jennifer Doleac et Luke Stein (2013) ont profité d'un marché en ligne similaire à celui de Craigslist pour mener une expérience mesurant la discrimination raciale. Ils ont annoncé des milliers d'iPods, et en changeant systématiquement les caractéristiques du vendeur, ils ont pu étudier l'effet de la course sur les transactions économiques. De plus, ils ont utilisé l'échelle de leur expérience pour estimer quand l'effet était plus grand (hétérogénéité des effets du traitement) et pour donner quelques idées sur la raison pour laquelle l'effet pourrait se produire (mécanismes).

Les publicités iPod de Doleac et Stein variaient selon trois dimensions principales. Tout d'abord, les chercheurs ont varié les caractéristiques du vendeur, ce qui a été signalé par la main photographiée tenant l'iPod [blanc, noir, blanc avec un tatouage] (figure 4.13). Deuxièmement, ils ont modifié le prix demandé [90 $, 110 $, 130 $]. Troisièmement, ils ont varié la qualité du texte d'annonce [haute qualité et de faible qualité (par exemple, les erreurs de cApitalization et les erreurs de Spelin)]. Ainsi, les auteurs avaient un design 3 \(\times\) 3 \(\times\) 2 qui a été déployé sur plus de 300 marchés locaux, allant de villes (par exemple, Kokomo, Indiana et North Platte, Nebraska) à des méga villes (par exemple, New York et Los Angeles).

Figure 4.13: Mains utilisées dans l'expérience de Doleac and Stein (2013) . iPods ont été vendus par des vendeurs avec des caractéristiques différentes pour mesurer la discrimination sur un marché en ligne. Reproduit avec la permission de Doleac and Stein (2013) , figure 1.

En moyenne dans toutes les conditions, les résultats étaient meilleurs pour les vendeurs blancs que pour les vendeurs noirs, les vendeurs tatoués obtenant des résultats intermédiaires. Par exemple, les vendeurs blancs ont reçu plus d'offres et ont eu des prix de vente finale plus élevés. Au-delà de ces effets moyens, Doleac et Stein ont estimé l'hétérogénéité des effets. Par exemple, une prédiction de la théorie antérieure est que la discrimination serait moindre dans les marchés où il y a plus de concurrence entre les acheteurs. En utilisant le nombre d'offres sur ce marché comme mesure de la concurrence des acheteurs, les chercheurs ont constaté que les vendeurs noirs recevaient en effet des offres moins avantageuses sur les marchés peu compétitifs. De plus, en comparant les résultats des publicités avec du texte de haute qualité et de faible qualité, Doleac et Stein ont constaté que la qualité de la publicité n'avait pas d'impact sur le désavantage des vendeurs noirs et tatoués. Enfin, profitant du fait que les publicités ont été placées sur plus de 300 marchés, les auteurs ont constaté que les vendeurs noirs étaient plus défavorisés dans les villes ayant des taux de criminalité élevés et une forte ségrégation résidentielle. Aucun de ces résultats ne nous permet de comprendre exactement pourquoi les vendeurs noirs ont eu de plus mauvais résultats, mais, combinés aux résultats d'autres études, ils peuvent commencer à informer les théories sur les causes de la discrimination raciale dans différents types de transactions économiques.

Un autre exemple qui montre la capacité des chercheurs à mener des expériences sur le terrain dans des systèmes existants est la recherche d'Arnout van de Rijt et ses collègues (2014) sur les clés du succès. Dans de nombreux aspects de la vie, des personnes apparemment similaires se retrouvent avec des résultats très différents. Une explication possible de cette tendance est que de petits avantages, essentiellement aléatoires, peuvent s'accumuler et se développer avec le temps, un processus que les chercheurs appellent l' avantage cumulatif . Afin de déterminer si les petites réussites initiales se stabilisent ou disparaissent, van de Rijt et ses collègues (2014) intervenus dans quatre systèmes différents accordant du succès à des participants choisis au hasard, puis ont mesuré les impacts subséquents de ce succès arbitraire.

Plus précisément, van de Rijt et ses collègues (1) ont promis de l'argent pour des projets choisis au hasard sur Kickstarter, un site de crowdfunding; (2) évalué positivement des revues choisies au hasard sur Epinions, un site Web d'évaluation des produits; (3) a récompensé des contributeurs choisis au hasard à Wikipedia; et (4) signé des pétitions sélectionnées au hasard sur change.org. Ils ont trouvé des résultats très similaires dans les quatre systèmes: dans chaque cas, les participants qui ont eu un succès précoce au hasard ont eu plus de succès que leurs pairs par ailleurs totalement indiscernables (figure 4.14). Le fait que le même motif apparaisse dans de nombreux systèmes augmente la validité externe de ces résultats, car il réduit la possibilité que ce motif soit un artefact d'un système particulier.

Figure 4.14: Effets à long terme de la réussite obtenue au hasard dans quatre systèmes sociaux différents. Arnout van de Rijt et ses collègues (2014) (1) ont promis de l'argent pour des projets sélectionnés au hasard sur Kickstarter, un site de crowdfunding; (2) évalué positivement des revues choisies au hasard sur Epinions, un site Web d'évaluation des produits; (3) a récompensé des contributeurs choisis au hasard à Wikipedia; et (4) signé des pétitions sélectionnées au hasard sur change.org. Adapté de Rijt et al. (2014) , figure 2.

Ensemble, ces deux exemples montrent que les chercheurs peuvent mener des expériences de terrain numériques sans avoir besoin de s'associer avec des entreprises ou de construire des systèmes numériques complexes. De plus, le tableau 4.2 fournit encore plus d'exemples qui montrent l'étendue de ce qui est possible lorsque les chercheurs utilisent l'infrastructure des systèmes existants pour administrer le traitement et / ou mesurer les résultats. Ces expériences sont relativement peu coûteuses pour les chercheurs et offrent un haut degré de réalisme. Mais ils offrent aux chercheurs un contrôle limité sur les participants, les traitements et les résultats à mesurer. De plus, pour les expériences se déroulant dans un seul système, les chercheurs doivent être préoccupés par le fait que les effets pourraient être entraînés par des dynamiques spécifiques au système (par exemple, la façon dont Kickstarter classe les projets ou change.org classe les pétitions; voir la discussion sur la confusion algorithmique au chapitre 2). Enfin, lorsque les chercheurs interviennent dans les systèmes de travail, des questions éthiques délicates se posent quant aux dommages possibles pour les participants, les non-participants et les systèmes. Nous examinerons ces questions éthiques plus en détail au chapitre 6, et il en est fait une excellente discussion dans l'annexe de van de Rijt et al. (2014) . Les compromis qui viennent avec travailler dans un système existant ne sont pas idéaux pour chaque projet, et pour cette raison certains chercheurs construisent leur propre système expérimental, comme je l'illustrerai ensuite.