4.6.1 Créer zéro des données de coûts variables

La clé de l'exécution de grandes expériences est de ramener votre coût variable à zéro. Les meilleures façons d'y parvenir sont l'automatisation et la conception d'expériences agréables.

Les expériences numériques peuvent avoir des structures de coûts radicalement différentes, ce qui permet aux chercheurs de mener des expériences impossibles dans le passé. Une façon de penser à cette différence est de noter que les expériences ont généralement deux types de coûts: les coûts fixes et les coûts variables. Les coûts fixes sont des coûts qui restent inchangés quel que soit le nombre de participants. Par exemple, dans une expérience de laboratoire, les coûts fixes peuvent être les coûts de location d'espace et d'achat de meubles. En revanche, les coûts variables varient en fonction du nombre de participants. Par exemple, dans une expérience de laboratoire, les coûts variables peuvent provenir du personnel payant et des participants. En général, les expériences analogiques ont des coûts fixes faibles et des coûts variables élevés, tandis que les expériences numériques ont des coûts fixes élevés et des coûts variables faibles (figure 4.19). Même si les expériences numériques ont des coûts variables faibles, vous pouvez créer de nombreuses opportunités intéressantes lorsque vous faites passer le coût variable à zéro.

Figure 4.19: Schéma des structures de coûts dans les expériences analogiques et numériques. En général, les expériences analogiques ont des coûts fixes faibles et des coûts variables élevés alors que les expériences numériques ont des coûts fixes élevés et des coûts variables faibles. Les différentes structures de coûts signifient que les expériences numériques peuvent fonctionner à une échelle qui n'est pas possible avec des expériences analogiques.

Il y a deux principaux éléments de coûts variables pour le personnel et les paiements aux participants - et chacun d'eux peut être réduit à zéro en utilisant différentes stratégies. Les paiements au personnel découlent du travail que les assistants de recherche recrutent des participants, fournissent des traitements et mesurent les résultats. Par exemple, l'expérience de terrain de Schultz et ses collègues (2007) sur l'utilisation de l'électricité a obligé les assistants de recherche à se rendre dans chaque maison pour délivrer le traitement et lire le compteur électrique (figure 4.3). Tout cet effort des assistants de recherche signifiait que l'ajout d'un nouveau ménage à l'étude aurait ajouté au coût. D'autre part, pour l'expérience sur le terrain numérique de Restivo et van de Rijt (2012) sur l'effet des prix sur les éditeurs de Wikipédia, les chercheurs pourraient ajouter plus de participants à un coût pratiquement nul. Une stratégie générale pour réduire les coûts administratifs variables consiste à remplacer le travail humain (qui est coûteux) par le travail sur ordinateur (qui est bon marché). En gros, vous pouvez vous demander: cette expérience peut-elle se dérouler pendant que tout le monde dans mon équipe de recherche dort? Si la réponse est oui, vous avez fait un excellent travail d'automatisation.

Le deuxième type de coût variable est le paiement aux participants. Certains chercheurs ont utilisé Amazon Mechanical Turk et d'autres marchés du travail en ligne pour réduire les paiements dont les participants ont besoin. Pour conduire les coûts variables à zéro, cependant, une approche différente est nécessaire. Pendant longtemps, les chercheurs ont conçu des expériences qui sont si ennuyeuses qu'ils doivent payer les gens pour participer. Mais que se passerait-il si vous pouviez créer une expérience dans laquelle les gens veulent être? Cela peut sembler farfelu, mais je vais vous donner un exemple ci-dessous de mon propre travail, et il y a plus d'exemples dans le tableau 4.4. Notez que cette idée de concevoir des expériences agréables fait écho à certains des thèmes du chapitre 3 concernant la conception d'enquêtes plus agréables et au chapitre 5 concernant la conception de la collaboration de masse. Ainsi, je pense que le plaisir des participants - ce que l'on pourrait aussi appeler l'expérience utilisateur - constituera une part de plus en plus importante de la conception de la recherche à l'ère numérique.

Si vous souhaitez créer des expériences avec des données à coût variable nulles, vous devez vous assurer que tout est entièrement automatisé et que les participants n'ont besoin d'aucun paiement. Afin de montrer comment cela est possible, je décrirai mes recherches sur le succès et l'échec des produits culturels.

Ma dissertation était motivée par la nature déroutante du succès des produits culturels. Les chansons à succès, les best-sellers et les films à succès sont beaucoup plus efficaces que la moyenne. Pour cette raison, les marchés de ces produits sont souvent appelés des marchés «gagnant-preneur-tout». Pourtant, en même temps, quelle chanson, livre ou film particulier va réussir est incroyablement imprévisible. Le scénariste William Goldman (1989) résume élégamment de nombreuses recherches universitaires en affirmant que, lorsqu'il s'agit de prédire le succès, «personne ne sait rien». L'imprévisibilité des marchés à tirage complet m'a fait me demander quelle est la part de réussite de la qualité et combien est juste de la chance. Ou, exprimé différemment, si nous pouvions créer des mondes parallèles et les faire tous évoluer indépendamment, les mêmes chansons deviendraient-elles populaires dans chaque monde? Et, sinon, quel pourrait être un mécanisme qui provoque ces différences?

Afin de répondre à ces questions, nous - Peter Dodds, Duncan Watts (mon conseiller en dissertation), et j'ai - couru une série d'expériences sur le terrain en ligne. En particulier, nous avons construit un site Web appelé MusicLab où les gens pouvaient découvrir de nouvelles musiques, et nous l'avons utilisé pour une série d'expériences. Nous avons recruté des participants en lançant des bannières publicitaires sur un site Web destiné aux jeunes (figure 4.20) et en les mentionnant dans les médias. Les participants arrivant sur notre site Web ont fourni un consentement éclairé, rempli un bref questionnaire de base et ont été assignés au hasard à l'une des deux conditions expérimentales - influence indépendante et sociale. Dans l'état indépendant, les participants ont pris des décisions sur les chansons à écouter, en ne donnant que les noms des groupes et des chansons. Tout en écoutant une chanson, les participants ont été invités à noter après quoi ils ont eu l'occasion (mais pas l'obligation) de télécharger la chanson. Dans la condition d'influence sociale, les participants avaient la même expérience, sauf qu'ils pouvaient aussi voir combien de fois chaque chanson avait été téléchargée par les participants précédents. De plus, les participants à la condition d'influence sociale ont été assignés au hasard à l'un des huit mondes parallèles, chacun ayant évolué indépendamment (figure 4.21). En utilisant cette conception, nous avons exécuté deux expériences connexes. Dans le premier, nous avons présenté les chansons aux participants dans une grille non triée, ce qui leur a fourni un faible signal de popularité. Dans la deuxième expérience, nous avons présenté les chansons dans une liste classée, ce qui a fourni un signal de popularité beaucoup plus fort (figure 4.22).

Figure 4.20: Exemple de bannière publicitaire que mes collègues et moi avons utilisé pour recruter des participants aux expériences MusicLab (Salganik, Dodds, and Watts 2006) . Reproduit avec la permission de Salganik (2007) , figure 2.12.

Figure 4.21: Conception expérimentale des expériences MusicLab (Salganik, Dodds, and Watts 2006) . Les participants ont été assignés au hasard à l'une des deux conditions suivantes: l'influence indépendante et sociale. Les participants à la condition indépendante ont fait leurs choix sans aucune information sur ce que les autres avaient fait. Les participants à la condition d'influence sociale ont été assignés au hasard à l'un des huit mondes parallèles, où ils pouvaient voir la popularité - mesurée par les téléchargements des participants précédents - de chaque chanson dans leur monde, mais ils ne pouvaient pas voir même connaître l'existence de, l'un des autres mondes. Adapté de Salganik, Dodds, and Watts (2006) , figure s1.

Nous avons constaté que la popularité des chansons différait à travers les mondes, ce qui suggère que la chance a joué un rôle important dans le succès. Par exemple, dans un monde, la chanson "Lockdown" de 52Metro est arrivée en 1ère place sur 48 chansons, alors que dans un autre monde elle était 40ème. C'était exactement la même chanson rivalisant contre toutes les autres chansons, mais dans un monde c'était chanceux et dans les autres pas. De plus, en comparant les résultats des deux expériences, nous avons constaté que l'influence sociale augmente la nature gagnant-preneur de ces marchés, ce qui suggère peut-être l'importance des compétences. Mais, en regardant à travers les mondes (ce qui ne peut être fait en dehors de ce genre d'expérience de mondes parallèles), nous avons constaté que l'influence sociale augmentait réellement l'importance de la chance. De plus, de manière surprenante, ce sont les chansons du plus haut niveau où la chance compte le plus (figure 4.23).

Figure 4.22: Captures d'écran des conditions d'influence sociale dans les expériences MusicLab (Salganik, Dodds, and Watts 2006) . Dans la condition d'influence sociale de l'expérience 1, les chansons, ainsi que le nombre de téléchargements précédents, ont été présentés aux participants dans une grille rectangulaire de 16 \(\times\) 3, où les positions des chansons ont été assignées au hasard pour chaque participant. Dans l'expérience 2, les participants à la condition d'influence sociale ont montré les chansons, avec le nombre de téléchargements, présentés dans une colonne dans l'ordre décroissant de la popularité actuelle.

Figure 4.23: Résultats des expériences MusicLab montrant la relation entre l'attrait et le succès (Salganik, Dodds, and Watts 2006) . L'axe \(x\) est la part de marché de la chanson dans le monde indépendant, qui sert de mesure de l'attrait de la chanson, et l'axe \(y\) est la part de marché de la même chanson dans les huit mondes d'influence sociale, qui sert de mesure du succès des chansons. Nous avons constaté que l'augmentation de l'influence sociale que subissaient les participants - en particulier, le changement de disposition de l'expérience 1 à l'expérience 2 (figure 4.22) - rendait le succès plus imprévisible, surtout pour les chansons les plus populaires. Adapté de Salganik, Dodds, and Watts (2006) , figure 3.

MusicLab était capable de fonctionner à un coût variable pratiquement nul en raison de la façon dont il a été conçu. Tout d'abord, tout était entièrement automatisé donc il était capable de courir pendant que je dormais. Deuxièmement, la compensation était de la musique gratuite, donc il n'y avait pas de coût de compensation variable pour les participants. L'utilisation de la musique comme compensation illustre également la manière dont il existe parfois un compromis entre les coûts fixes et variables. L'utilisation de la musique a augmenté les coûts fixes parce que j'ai dû passer du temps à obtenir la permission des groupes et à préparer pour eux des rapports sur la réaction des participants à leur musique. Mais dans ce cas, l'augmentation des coûts fixes afin de réduire les coûts variables était la bonne chose à faire; C'est ce qui nous a permis de réaliser une expérience 100 fois plus importante qu'une expérience de laboratoire standard.

De plus, les expériences de MusicLab montrent que le coût variable nul ne doit pas être une fin en soi; au contraire, cela peut être un moyen d'exécuter un nouveau type d'expérience. Remarquez que nous n'avons pas utilisé tous nos participants pour exécuter une expérience de laboratoire d'influence sociale standard 100 fois. Au lieu de cela, nous avons fait quelque chose de différent, que l'on pourrait considérer comme un passage d'une expérience psychologique à une expérience sociologique (Hedström 2006) . Plutôt que de se concentrer sur la prise de décision individuelle, nous avons concentré notre expérience sur la popularité, un résultat collectif. Ce passage à un résultat collectif signifiait que nous avions besoin d'environ 700 participants pour produire un seul point de données (il y avait 700 personnes dans chacun des mondes parallèles). Cette échelle était seulement possible en raison de la structure des coûts de l'expérience. En général, si les chercheurs veulent étudier comment les résultats collectifs découlent de décisions individuelles, les expériences de groupe telles que MusicLab sont très excitantes. Dans le passé, ils ont été difficiles d'un point de vue logistique, mais ces difficultés se sont atténuées en raison de la possibilité de données à coût variable nulles.

En plus d'illustrer les avantages des données à coût variable nulles, les expériences MusicLab montrent également un défi avec cette approche: des coûts fixes élevés. Dans mon cas, j'ai été extrêmement chanceux de pouvoir travailler avec un développeur web talentueux nommé Peter Hausel pendant environ six mois pour construire l'expérience. Cela n'a été possible que parce que mon conseiller, Duncan Watts, avait reçu un certain nombre de subventions pour soutenir ce type de recherche. La technologie s'est améliorée depuis que nous avons construit MusicLab en 2004, il serait donc beaucoup plus facile de construire une expérience comme celle-ci maintenant. Mais, les stratégies à coûts fixes élevés ne sont vraiment possibles que pour les chercheurs qui peuvent en quelque sorte couvrir ces coûts.

En conclusion, les expériences numériques peuvent avoir des structures de coûts radicalement différentes de celles des expériences analogiques. Si vous voulez faire de très grandes expériences, vous devriez essayer de réduire autant que possible votre coût variable et idéalement jusqu'à zéro. Vous pouvez le faire en automatisant la mécanique de votre expérience (par exemple, remplacer le temps humain par le temps de l'ordinateur) et concevoir des expériences dans lesquelles les gens veulent être. Les chercheurs qui peuvent concevoir des expériences avec ces caractéristiques pourront lancer de nouvelles expériences. pas possible dans le passé. Cependant, la possibilité de créer des expériences à coût variable zéro peut soulever de nouvelles questions éthiques, le sujet que je vais maintenant aborder.