4.3 Deux dimensions d'expériences: laboratoire-terrain et analogique-numérique

Expériences de laboratoire offrent un contrôle, des expériences sur le terrain offrent réalisme, et des expériences de terrain numériques combinent le contrôle et le réalisme à l' échelle.

Des expériences dans de nombreuses formes et de tailles différentes. Mais, en dépit de ces différences, les chercheurs ont trouvé utile d'organiser des expériences le long d' un continuum entre les expériences de laboratoire et des expériences sur le terrain. Maintenant, cependant, les chercheurs devraient également organiser des expériences le long d' un continuum entre les expériences analogiques et des expériences numériques. Cet espace de conception en deux dimensions vous aidera à comprendre les forces et les faiblesses des différentes approches et suggérer des domaines les plus prometteurs (figure 4.1).

Figure 4.1: Schéma de l'espace de conception pour des expériences. Dans le passé, des expériences ont varié le long de la dimension en laboratoire champ. Maintenant, elles varient aussi sur la dimension du convertisseur analogique-numérique. À mon avis, le domaine de la plus grande opportunité est des expériences de terrain numériques.

Dans le passé, le principal moyen que les chercheurs ont organisé des expériences était le long de la dimension lab-champ. La majorité des expériences en sciences sociales sont des expériences de laboratoire où les étudiants de premier cycle effectuent des tâches étranges dans un laboratoire pour des crédits de cours. Ce type d'expérience domine la recherche en psychologie, car elle permet aux chercheurs de créer des traitements très spécifiques conçus pour tester des théories très précises sur le comportement social. Pour certains problèmes, cependant, quelque chose se sent un peu étrange de tirer des conclusions solides sur le comportement humain de ces personnes inhabituelles effectuant des tâches inhabituelles dans un tel cadre inhabituel. Ces préoccupations ont conduit à un mouvement vers des expériences de terrain. Des expériences de terrain combinent la forte conception des expériences de contrôle aléatoires avec des groupes plus représentatifs des participants, l'exécution des tâches les plus courantes, dans des contextes plus naturels.

Bien que certaines personnes pensent d'expériences de laboratoire et sur le terrain en tant que méthodes concurrentes, il est préférable de les considérer comme des méthodes complémentaires avec différentes forces et faiblesses. Par exemple, Correll, Benard, and Paik (2007) utilisé à la fois une expérience de laboratoire et une expérience de terrain dans une tentative de trouver les sources de la "peine de la maternité.» Aux États-Unis, les mères gagnent moins d' argent que les femmes sans enfant, même lorsque les femmes comparant avec des compétences similaires qui travaillent dans des emplois similaires. Il y a beaucoup d'explications possibles pour ce modèle, et on est que les employeurs sont biaisés contre les mères. (Fait intéressant, le contraire semble être vrai pour les pères: ils ont tendance à gagner plus que les hommes sans enfants comparables). Afin d'évaluer les biais possibles contre les mères, Correll et ses collègues ont couru deux expériences: l'un dans le laboratoire et un dans le domaine.

Tout d'abord, dans une expérience de laboratoire Correll et ses collègues ont dit les participants, qui étaient étudiants des collèges, qu'une entreprise de communications start-up basée en Californie a conduit une recherche d'emploi pour une personne pour diriger son nouveau département marketing de la côte Est. Les étudiants ont été informés que la compagnie voulait leur aide dans le processus d'embauche et ils ont été invités à examiner les CV de plusieurs candidats potentiels et à évaluer les candidats sur un certain nombre de dimensions telles que leur intelligence, de la chaleur, et l'engagement à travailler. En outre, les étudiants ont demandé s'ils recommanderaient l'embauche du demandeur et ce qu'ils recommanderaient comme un salaire de départ. À l'insu des étudiants, cependant, les CV ont été spécialement conçus pour être similaires, sauf pour une chose: certains des CV signalé la maternité (en énumérant la participation à une association de parents d'élèves) et d'autres non. Correll a constaté que les élèves étaient moins susceptibles de recommander l'embauche des mères et leur offraient bas salaire de départ. En outre, grâce à une analyse statistique des deux évaluations et les décisions relatives à l'embauche, Correll a constaté que les inconvénients des mères ont été largement expliquées par le fait que les mères ont été jugées plus faible en termes de compétence et de l'engagement. En d' autres termes, Correll affirme que ces traits sont le mécanisme par lequel les mères sont désavantagés. Ainsi, cette expérience de laboratoire a permis Correll et ses collègues pour mesurer un effet de causalité et de fournir une explication possible à cet effet.

Bien sûr, on peut être sceptique quant à tirer des conclusions sur le marché du travail américain ensemble sur la base des décisions de quelques centaines de premier cycle qui ont probablement jamais eu un emploi à temps plein, et encore moins embauchés personnes. Par conséquent, Correll et ses collègues ont également mené une expérience sur le terrain complémentaire. Les chercheurs ont répondu à des centaines d'offres d'emploi annoncées en envoyant des lettres et des curriculum vitae de couverture faux. Comme pour les matériaux présentés aux étudiants de premier cycle, certains CV signalé la maternité et certains ne l'ont pas. Correll et ses collègues ont constaté que les mères étaient moins susceptibles d'être rappelés pour des entrevues que les femmes sans enfants également qualifiés. En d'autres termes, les vrais employeurs qui prennent des décisions en conséquence dans un cadre naturel se comportaient un peu comme les étudiants de premier cycle. Ont-ils prendre des décisions similaires pour la même raison? Malheureusement, nous ne savons pas. Les chercheurs ne sont pas en mesure de demander aux employeurs d'évaluer les candidats ou expliquer leurs décisions.

Cette paire d'expériences révèle beaucoup de choses sur terrain et en laboratoire des expériences en général. expériences de laboratoire offrent des chercheurs proches contrôle total de l'environnement dans lequel les participants prennent des décisions. Ainsi, par exemple, dans l'expérience de laboratoire, Correll a pu faire en sorte que tous les CV ont été lus dans un cadre calme; dans l'expérience sur le terrain, certains des CV pourraient ne pas avoir même été lu. En outre, parce que les participants dans le cadre du laboratoire savent qu'ils sont à l'étude, les chercheurs sont souvent en mesure de recueillir des données supplémentaires qui peuvent aider à comprendre pourquoi les participants font leurs décisions. Par exemple, Correll a demandé aux participants à l'expérience de laboratoire pour évaluer les candidats sur différentes dimensions. Ce type de données de processus pourrait aider les chercheurs à comprendre les mécanismes qui expliquent les différences dans la façon dont les participants traitent les curriculum vitae.

D'autre part, ces mêmes caractéristiques exactes que je viens de décrire que des avantages sont parfois considérés comme des inconvénients. Les chercheurs qui préfèrent des expériences sur le terrain affirment que les participants à des expériences de laboratoire pourraient agir très différemment quand ils sont étroitement surveillés. Par exemple, dans le laboratoire d'expérimentation participants auraient pu deviner le but de la recherche et modifié leur comportement afin de ne pas paraître partial. En outre, les chercheurs qui préfèrent des expériences de terrain pourrait soutenir que de petites différences sur les CV ne peuvent se démarquer dans un environnement de laboratoire très propre, stérile, et donc l'expérience de laboratoire seront sur-estimer l'effet de la maternité sur les décisions d'embauche réelle. Enfin, de nombreux partisans d'expériences sur le terrain critiquent les expériences de laboratoire dépendance à l' égard des participants WEIRD: principalement des étudiants de l' Ouest, Educated, Industrialisés, Rich, et ​​les pays démocratiques (Henrich, Heine, and Norenzayan 2010) . Les expériences menées par Correll et ses collègues (2007) illustrent les deux extrêmes du continuum lab-terrain. Entre ces deux extrêmes, il existe une variété de modèles hybrides, y compris des approches telles que apportant non-étudiants dans un laboratoire ou aller sur le terrain, mais ayant encore les participants effectuent une tâche inhabituelle.

En plus de la dimension lab-champ qui a existé dans le passé, l'ère numérique signifie que les chercheurs disposent maintenant d'une deuxième dimension majeure le long de laquelle les expériences peuvent varier: analogique-numérique. Tout comme il y a des expériences pures de laboratoire, des expériences de terrain pures, et une variété d'hybrides entre les deux, il y a des expériences pures analogiques, des expériences numériques pures, et une variété d'hybrides. Il est difficile de donner une définition formelle de cette dimension, mais une définition de travail utile est que des expériences entièrement numériques sont des expériences qui font usage de l' infrastructure numérique pour recruter des participants, randomisation, fournir des traitements et de mesurer les résultats. Par exemple, Restivo et van de Rijt de (2012) étude des EtoileDeGrange et Wikipedia est une expérience entièrement numérique parce qu'il a utilisé des systèmes numériques pour tous les quatre de ces étapes. De même entièrement expériences analogiques sont des expériences qui ne font pas usage de l' infrastructure numérique pour l' une de ces quatre étapes. Bon nombre des expériences classiques en psychologie sont des expériences analogiques. Entre ces deux extrêmes , il y a partiellement des expériences numériques qui utilisent une combinaison de systèmes analogiques et numériques pour les quatre étapes.

Critique, les possibilités de réaliser des expériences numériques ne sont pas seulement en ligne. Les chercheurs peuvent mener des expériences partiellement numériques en utilisant des dispositifs numériques dans le monde physique, afin de fournir des traitements ou mesurer les résultats. Par exemple, les chercheurs pourraient utiliser les téléphones intelligents pour offrir des traitements ou des capteurs dans l'environnement bâti pour mesurer les résultats. En fait, comme nous le verrons plus loin dans ce chapitre, les chercheurs ont déjà utilisé des compteurs d'électricité à domicile pour mesurer les résultats dans des expériences au sujet des normes sociales et la consommation d'énergie impliquant 8,5 millions de ménages (Allcott 2015) . Comme les appareils numériques deviennent de plus en plus intégrés dans la vie des gens et des capteurs deviennent intégrés dans l'environnement bâti, ces possibilités de réaliser des expériences partiellement numériques dans le monde physique va augmenter de façon spectaculaire. En d'autres termes, les expériences numériques ne sont pas seulement des expériences en ligne.

Les systèmes numériques créent de nouvelles possibilités pour des expériences partout le long du continuum lab-terrain. Dans des expériences de laboratoire pures, par exemple, les chercheurs peuvent utiliser des systèmes numériques pour la mesure plus fine du comportement des participants; un exemple de ce type d'amélioration de la mesure est un équipement de suivi oculaire qui fournit des mesures précises et continues de l'emplacement du regard. L'ère numérique crée également la possibilité de réaliser des expériences en laboratoire comme en ligne. Par exemple, les chercheurs ont rapidement adopté Amazon Mechanical Turk (MTurk) pour recruter des participants pour des expériences en ligne (figure 4.2). MTurk correspond à «employeurs» qui ont des tâches qui doivent être accomplies avec les «travailleurs» qui souhaitent compléter ces tâches pour l'argent. Contrairement aux marchés traditionnels du travail, cependant, les tâches impliquées habituellement ne nécessitent que quelques minutes pour remplir et l'ensemble de l'interaction entre l'employeur et le travailleur est virtuel. Parce que imite MTurk aspects des expériences-paiement traditionnels laboratoire de personnes pour accomplir des tâches qu'ils ne feraient pas gratuitement-il est naturellement adapté à certains types d'expériences. Essentiellement, MTurk a créé l'infrastructure pour la gestion d'un bassin de participants-recrutement et de payer des gens-et les chercheurs ont profité de cette infrastructure pour puiser dans une piscine toujours disponible des participants.

Figure 4.2: Documents publiés à l' aide des données d'Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk et d'autres marchés du travail en ligne offrent aux chercheurs un moyen pratique de recruter des participants pour des expériences.

expériences numériques créent encore plus de possibilités pour des expériences sur le terrain comme. expériences sur le terrain numériques peuvent offrir des données de contrôle et de processus serrés pour comprendre les mécanismes possibles (comme des expériences de laboratoire) et plus divers participants qui font de vraies décisions dans un environnement naturel (comme les expériences sur le terrain). En plus de cette combinaison de bonnes caractéristiques d'expériences antérieures, des expériences sur le terrain numérique offrent également trois possibilités qui ont été difficiles dans des expériences en laboratoire et sur le terrain analogiques.

Premièrement, alors que la plupart des expériences en laboratoire et sur le terrain analogiques ont des centaines de participants, des expériences de terrain numériques peuvent avoir des millions de participants. Ce changement d'échelle est parce que certaines expériences numériques peuvent produire des données à zéro coût variable. Autrement dit, une fois que les chercheurs ont créé une infrastructure expérimentale, ce qui augmente le nombre de participants généralement ne pas augmenter le coût. Augmenter le nombre de participants par un facteur de 100 ou plus est non seulement un changement quantitatif, il est un changement qualitatif, car il permet aux chercheurs d'apprendre des choses différentes à partir d' expériences (par exemple, l' hétérogénéité des effets du traitement) et géré entièrement différents modèles expérimentaux ( par exemple, les grandes expériences de groupe). Ce point est si important, je reviendrai vers la fin du chapitre quand j'offre des conseils sur la création d'expériences numériques.

Deuxièmement, alors que la plupart des expériences de laboratoire et sur le terrain analogiques traiter les participants comme des widgets indiscernables, des expériences de terrain numériques utilisent souvent des informations de base sur les participants dans les étapes de conception et d'analyse de la recherche. Cette information d'arrière - plan, qui est appelé l' information pré-traitement, est souvent disponible dans les expériences numériques parce qu'ils se déroulent dans des environnements entièrement mesurées. Par exemple, un chercheur à Facebook a beaucoup plus d'informations pré-traitement que chercheur conception d'une expérience de laboratoire standard avec étudiants de premier cycle. Cette information pré-traitement permet aux chercheurs d'aller au-delà traiter les participants widgets comme indiscernables. Plus précisément, l' information pré-traitement permet plus efficaces conceptions telles expérimentales que le blocage (Higgins, Sävje, and Sekhon 2016) et le recrutement ciblé de participants (Eckles, Kizilcec, and Bakshy 2016) -et analyse-telle plus perspicace que l' estimation de l' hétérogénéité des effets du traitement (Athey and Imbens 2016a) et l' ajustement covariable pour une meilleure précision (Bloniarz et al. 2016) .

Troisièmement, alors que de nombreuses expériences en laboratoire et sur le terrain analogique fournissent des traitements et des résultats de mesure dans une quantité relativement comprimé de temps, quelques expériences de terrain numériques impliquent des traitements qui peuvent être livrés dans le temps et les effets peuvent également être mesurés au fil du temps. Par exemple, l'expérience de Restivo et van de Rijt a le résultat mesuré par jour pendant 90 jours, et l' une des expériences que je vais vous parler plus tard dans le chapitre (Ferraro, Miranda, and Price 2011) suit les résultats sur 3 ans à pratiquement aucune Coût. Ces trois possibilités de taille, l'information pré-traitement et de traitement longitudinal et les résultats des données-sont les plus courantes lorsque des expériences sont exécutées sur le dessus de toujours sur des systèmes de mesures (voir le chapitre 2 pour plus de détails toujours sur les systèmes de mesure).

Bien que les expériences de terrain numériques offrent de nombreuses possibilités, ils partagent aussi quelques faiblesses à la fois avec le laboratoire analogique et expériences sur le terrain. Par exemple, les expériences ne peuvent pas être utilisées pour étudier le passé, et ils ne peuvent estimer les effets des traitements qui peuvent être manipulées. En outre, bien que des expériences sont sans doute utiles pour orienter la politique, la direction exacte qu'ils peuvent offrir est quelque peu limitée en raison de complications telles que la dépendance à l' égard de l' environnement, les problèmes de conformité, et les effets d'équilibre (Banerjee and Duflo 2009; Deaton 2010) . Enfin, des expériences sur le terrain numérique amplifient les préoccupations éthiques créées par des expériences sur le terrain. Les partisans d'expériences sur le terrain trompette leur capacité d'intervenir discrètement et de façon aléatoire dans les décisions corrélatives apportées par des millions de personnes. Ces caractéristiques offrent certains avantages scientifiques, mais ils peuvent aussi faire des expériences sur le terrain éthique complexe (penser que les chercheurs de traiter les gens comme "rats de laboratoire" sur une grande échelle). En outre, en plus de dommages possibles aux participants, des expériences numériques de terrain, en raison de leur taille, peuvent également soulever des préoccupations au sujet de la perturbation du travail des systèmes sociaux (par exemple, des préoccupations au sujet de perturber le système de récompense de Wikipedia si Restivo et van der Rijt a donné trop de EtoileDeGrange) .