4.3 Deux dimensions d'expériences: laboratoire-terrain et analogique-numérique

Expériences de laboratoire offrent un contrôle, des expériences sur le terrain offrent réalisme, et des expériences de terrain numériques combinent le contrôle et le réalisme à l' échelle.

Les expériences viennent dans beaucoup de différentes formes et tailles. Dans le passé, les chercheurs ont trouvé utile d'organiser des expériences sur un continuum entre les expériences en laboratoire et les expériences sur le terrain . Maintenant, cependant, les chercheurs devraient également organiser des expériences le long d'un second continuum entre les expériences analogiques et les expériences numériques . Cet espace de conception bidimensionnel vous aidera à comprendre les forces et les faiblesses des différentes approches et à mettre en évidence les domaines les plus prometteurs (figure 4.1).

Figure 4.1: Schéma de l'espace de conception pour les expériences. Dans le passé, les expériences variaient selon la dimension du champ de laboratoire. Maintenant, ils varient également sur la dimension analogique-numérique. Cet espace de conception bidimensionnel est illustré par quatre expériences que je décris dans ce chapitre. À mon avis, le domaine de la plus grande opportunité est celui des expériences numériques sur le terrain.

Une dimension sur laquelle les expériences peuvent être organisées est la dimension lab-champ. Beaucoup d'expériences dans les sciences sociales sont des expériences de laboratoire où les étudiants de premier cycle effectuent des tâches étranges dans un laboratoire pour le crédit de cours. Ce type d'expérience domine la recherche en psychologie, car il permet aux chercheurs de créer des paramètres hautement contrôlés pour isoler et tester précisément des théories spécifiques sur le comportement social. Pour certains problèmes, cependant, quelque chose semble un peu étrange de tirer des conclusions solides sur le comportement humain de ces personnes inhabituelles effectuant des tâches aussi inhabituelles dans un cadre aussi inhabituel. Ces préoccupations ont conduit à un mouvement vers des expériences sur le terrain . Les expériences sur le terrain combinent la conception solide d'expériences de contrôle randomisées avec des groupes plus représentatifs de participants effectuant des tâches plus communes dans des environnements plus naturels.

Bien que certaines personnes considèrent les expériences de laboratoire et de terrain comme des méthodes concurrentes, il est préférable de les considérer comme complémentaires, avec des forces et des faiblesses différentes. Par exemple, Correll, Benard, and Paik (2007) utilisé une expérience de laboratoire et une expérience sur le terrain pour tenter de trouver les sources de la «pénalité de la maternité». Aux États-Unis, les mères gagnent moins d'argent que les femmes sans enfant. comparer des femmes ayant des compétences similaires et travaillant dans des emplois similaires. Il existe de nombreuses explications possibles à cette tendance, dont l'une est que les employeurs sont biaisés à l'égard des mères. (Fait intéressant, le contraire semble être vrai pour les pères: ils ont tendance à gagner plus que les hommes sans enfants comparables.) Afin d'évaluer les biais possibles contre les mères, Correll et ses collègues ont mené deux expériences: une en laboratoire et une sur le terrain.

D'abord, dans une expérience de laboratoire, ils ont dit aux participants, qui étaient des étudiants de premier cycle, qu'une entreprise menait une recherche d'emploi pour une personne pour diriger son nouveau département de marketing de la côte Est. On a dit aux étudiants que l'entreprise voulait leur aide dans le processus d'embauche et qu'on leur a demandé d'examiner les curriculum vitæ de plusieurs candidats potentiels et de noter les candidats sur plusieurs dimensions, comme leur intelligence, leur chaleur et leur engagement au travail. De plus, on a demandé aux étudiants s'ils recommanderaient d'embaucher le candidat et ce qu'ils recommanderaient comme salaire de départ. À l'insu des étudiants, cependant, les CV ont été spécifiquement construits pour être similaires, sauf pour une chose: certains d'entre eux ont signalé la maternité (en énumérant la participation à une association parent-enseignant) et certains ne l'ont pas fait. Correll et ses collègues ont constaté que les étudiants étaient moins susceptibles de recommander l'embauche des mères et qu'ils leur offraient un salaire de départ inférieur. De plus, grâce à une analyse statistique des notes et des décisions liées à l'embauche, Correll et ses collègues ont constaté que les désavantages des mères s'expliquaient en grande partie par le fait qu'elles étaient moins bien cotées en termes de compétence et d'engagement. Ainsi, cette expérience en laboratoire a permis à Correll et ses collègues de mesurer un effet causal et de fournir une explication possible pour cet effet.

Bien sûr, on peut être sceptique quant à tirer des conclusions sur l'ensemble du marché du travail américain sur la base des décisions de quelques centaines d'étudiants de premier cycle qui n'ont probablement jamais eu d'emploi à temps plein et encore moins d'embauche. Par conséquent, Correll et ses collègues ont également mené une expérience de terrain complémentaire. Ils ont répondu à des centaines d'offres d'emploi annoncées avec de fausses lettres d'accompagnement et des CV. Semblable aux matériaux montrés aux étudiants de premier cycle, certains ont signalé la maternité et certains n'ont pas. Correll et ses collègues ont constaté que les mères étaient moins susceptibles d'être rappelées pour des entrevues que les femmes sans enfants tout aussi qualifiées. En d'autres termes, les vrais employeurs qui prennent des décisions conséquentes dans un cadre naturel se comportent comme les étudiants de premier cycle. Ont-ils pris des décisions similaires pour la même raison? Malheureusement, nous ne savons pas. Les chercheurs n'ont pas été en mesure de demander aux employeurs d'évaluer les candidats ou d'expliquer leurs décisions.

Cette paire d'expériences révèle beaucoup de choses sur les expériences en laboratoire et sur le terrain en général. Les expériences de laboratoire offrent aux chercheurs un contrôle presque total de l'environnement dans lequel les participants prennent des décisions. Ainsi, par exemple, dans l'expérience en laboratoire, Correll et ses collègues ont pu s'assurer que tous les CV étaient lus dans un environnement calme; dans l'expérience sur le terrain, certains CV n'ont peut-être même pas été lus. De plus, étant donné que les participants au laboratoire savent qu'ils sont étudiés, les chercheurs sont souvent en mesure de recueillir des données supplémentaires qui peuvent aider à expliquer pourquoi les participants prennent leurs décisions. Par exemple, Correll et ses collègues ont demandé aux participants à l'expérience en laboratoire d'évaluer les candidats selon différentes dimensions. Ce type de données de processus pourrait aider les chercheurs à comprendre les mécanismes à l'origine des différences dans la façon dont les participants traitent les CV.

D'un autre côté, ces mêmes caractéristiques que je viens de décrire comme des avantages sont aussi parfois considérées comme des inconvénients. Les chercheurs qui préfèrent les expériences sur le terrain affirment que les participants aux expériences de laboratoire pourraient agir très différemment parce qu'ils savent qu'ils sont étudiés. Par exemple, dans l'expérience en laboratoire, les participants ont pu deviner le but de la recherche et modifier leur comportement afin de ne pas paraître biaisé. En outre, les chercheurs qui préfèrent les expériences sur le terrain pourraient argumenter que de petites différences dans les CV ne peuvent ressortir que dans un environnement de laboratoire stérile très propre, et donc l'expérience en laboratoire surestimera l'effet de la maternité sur les décisions d'embauche réelles. Enfin, de nombreux partisans des expériences sur le terrain critiquent la dépendance des expériences de laboratoire sur les participants à WEIRD: principalement des étudiants des pays occidentaux, éduqués, industrialisés, riches et démocratiques (Henrich, Heine, and Norenzayan 2010a) . Les expériences de Correll et ses collègues (2007) illustrent les deux extrêmes du continuum lab-field. Entre ces deux extrêmes, il y a aussi une variété de conceptions hybrides, y compris des approches telles que le fait d'amener des non-étudiants dans un laboratoire ou de se rendre sur le terrain tout en demandant aux participants d'accomplir une tâche inhabituelle.

En plus de la dimension laboratoire-champ qui existait dans le passé, l'ère numérique signifie que les chercheurs ont maintenant une deuxième dimension majeure au cours de laquelle les expériences peuvent varier: analogique-numérique. De même qu'il existe des expériences de laboratoire pur, des expériences sur le terrain pur et une variété d'hybrides entre les deux, il existe des expériences purement analogiques, des expériences numériques pures et une variété d'hybrides. Il est difficile d'offrir une définition formelle de cette dimension, mais une définition de travail utile est que les expériences entièrement numériques sont des expériences qui utilisent l'infrastructure numérique pour recruter des participants, randomiser, fournir des traitements et mesurer les résultats. Par exemple, l'étude de Restivo et van de Rijt (2012) sur les barnstars et Wikipédia était une expérience entièrement numérique, car elle utilisait des systèmes numériques pour ces quatre étapes. De même, les expériences entièrement analogiques n'utilisent pas l'infrastructure numérique pour l'une de ces quatre étapes. Beaucoup d'expériences classiques en psychologie sont des expériences entièrement analogiques. Entre ces deux extrêmes, il existe des expériences partiellement numériques qui utilisent une combinaison de systèmes analogiques et numériques.

Quand certaines personnes pensent à des expériences numériques, elles pensent immédiatement à des expériences en ligne. C'est regrettable parce que les possibilités d'exécuter des expériences numériques ne sont pas seulement en ligne. Les chercheurs peuvent effectuer des expériences partiellement numériques en utilisant des appareils numériques dans le monde physique afin de délivrer des traitements ou de mesurer les résultats. Par exemple, les chercheurs pourraient utiliser des téléphones intelligents pour fournir des traitements ou des capteurs dans l'environnement bâti afin de mesurer les résultats. En fait, comme nous le verrons plus loin dans ce chapitre, les chercheurs ont déjà utilisé des compteurs d'énergie domestique pour mesurer les résultats d'expériences sur la consommation d'énergie impliquant 8,5 millions de ménages (Allcott 2015) . À mesure que les appareils numériques s'intègrent de plus en plus dans la vie des gens et que les capteurs s'intègrent dans l'environnement bâti, ces occasions d'exécuter des expériences partiellement numériques dans le monde physique augmenteront considérablement. En d'autres termes, les expériences numériques ne sont pas seulement des expériences en ligne.

Les systèmes numériques créent de nouvelles possibilités d'expériences partout dans le continuum de laboratoire. Dans les expériences de laboratoire pur, par exemple, les chercheurs peuvent utiliser des systèmes numériques pour une mesure plus fine du comportement des participants; Un exemple de ce type de mesure améliorée est un équipement de suivi de l'œil qui fournit des mesures précises et continues de la localisation du regard. L'ère numérique crée également la possibilité d'exécuter des expériences de laboratoire en ligne. Par exemple, les chercheurs ont rapidement adopté Amazon Mechanical Turk (MTurk) pour recruter des participants pour des expériences en ligne (figure 4.2). MTurk correspond aux «employeurs» qui ont des tâches à accomplir avec les «travailleurs» qui souhaitent accomplir ces tâches pour de l'argent. Contrairement aux marchés du travail traditionnels, cependant, les tâches impliquées ne nécessitent habituellement que quelques minutes et l'interaction complète entre l'employeur et le travailleur est en ligne. Parce que MTurk imite les aspects des expériences de laboratoire traditionnelles - payer les gens pour accomplir des tâches qu'ils ne feraient pas gratuitement - il est naturellement adapté à certains types d'expériences. Pour l'essentiel, MTurk a créé l'infrastructure de gestion d'un groupe de participants - recrutant et rémunérant des personnes - et les chercheurs ont profité de cette infrastructure pour puiser dans un bassin de participants toujours disponible.

Figure 4.2: Documents publiés à l'aide des données d'Amazon Mechanical Turk (MTurk). MTurk et d'autres marchés du travail en ligne offrent aux chercheurs un moyen pratique de recruter des participants pour des expériences. Adapté de Bohannon (2016) .

Les systèmes numériques créent encore plus de possibilités pour des expériences de type champ. En particulier, ils permettent aux chercheurs de combiner les données de contrôle et de processus rigoureuses associées aux expériences en laboratoire avec les participants plus diversifiés et les paramètres plus naturels associés aux expériences en laboratoire. En outre, les expériences sur le terrain numérique offrent également trois opportunités qui ont tendance à être difficile dans les expériences analogiques.

Premièrement, alors que la plupart des expériences analogiques en laboratoire et sur le terrain ont des centaines de participants, les expériences sur le terrain peuvent avoir des millions de participants. Ce changement d'échelle est dû au fait que certaines expériences numériques peuvent produire des données à un coût variable nul. Autrement dit, une fois que les chercheurs ont créé une infrastructure expérimentale, augmenter le nombre de participants n'augmente généralement pas le coût. Augmenter le nombre de participants d'un facteur de 100 ou plus n'est pas seulement un changement quantitatif ; c'est un changement qualitatif , car il permet aux chercheurs d'apprendre différentes choses à partir d'expériences (par exemple, l'hétérogénéité des effets du traitement) et d'exécuter des conceptions expérimentales entièrement différentes (par exemple, des expériences en grands groupes). Ce point est si important, j'y reviendrai vers la fin du chapitre quand je donnerai des conseils sur la création d'expériences numériques.

Deuxièmement, alors que la plupart des expériences analogiques en laboratoire et sur le terrain traitent les participants comme des gadgets indiscernables, les expériences numériques sur le terrain utilisent souvent des informations générales sur les participants aux étapes de conception et d'analyse de la recherche. Ces informations de base, appelées informations de pré-traitement , sont souvent disponibles dans les expériences numériques car elles sont exécutées en plus des systèmes de mesure toujours actifs (voir chapitre 2). Par exemple, un chercheur de Facebook a beaucoup plus d'informations avant le traitement sur les personnes dans son expérience de terrain numérique qu'un chercheur universitaire a sur les personnes dans son expérience de terrain analogique. Ce prétraitement permet des conceptions expérimentales plus efficaces - telles que le blocage (Higgins, Sävje, and Sekhon 2016) et le recrutement ciblé de participants (Eckles, Kizilcec, and Bakshy 2016) - et une analyse plus perspicace - comme l'estimation de l'hétérogénéité des effets du traitement (Athey and Imbens 2016a) et ajustement des covariables pour une meilleure précision (Bloniarz et al. 2016) .

Troisièmement, alors que de nombreuses expériences de laboratoire et de terrain analogiques fournissent des traitements et mesurent les résultats dans un temps relativement réduit, certaines expériences sur le terrain se déroulent sur des échelles de temps beaucoup plus longues. Par exemple, les résultats de l'expérience de Restivo et van de Rijt ont été mesurés quotidiennement pendant 90 jours, et l'une des expériences dont je parlerai plus tard dans le chapitre (Ferraro, Miranda, and Price 2011) suivi les résultats sur trois ans. Coût. Ces trois possibilités - taille, informations de prétraitement, données longitudinales de traitement et de résultats - apparaissent le plus souvent lorsque les expériences sont effectuées sur des systèmes de mesure permanents (voir le chapitre 2 pour plus de détails sur les systèmes de mesure permanents).

Alors que les expériences sur le terrain numérique offrent de nombreuses possibilités, elles partagent également certaines faiblesses avec les expériences de laboratoire analogique et de terrain analogique. Par exemple, les expériences ne peuvent pas être utilisées pour étudier le passé, et elles ne peuvent qu'estimer les effets des traitements qui peuvent être manipulés. En outre, bien que les expériences soient sans aucun doute utiles pour orienter la politique, les indications précises qu'elles peuvent offrir sont quelque peu limitées en raison de complications telles que la dépendance environnementale, les problèmes d'observance et les effets d'équilibre (Banerjee and Duflo 2009; Deaton 2010) . Les expériences numériques sur le terrain amplifient également les préoccupations éthiques créées par les expériences sur le terrain - un sujet que je traiterai plus loin dans ce chapitre et dans le chapitre 6.