4.1 Présentation

Dans les approches abordées jusqu'ici dans ce livre - observer le comportement (chapitre 2) et poser des questions (chapitre 3) - les chercheurs recueillent des données sans changer intentionnellement et systématiquement le monde. L'approche abordée dans ce chapitre - expériences en cours - est fondamentalement différente. Lorsque les chercheurs mènent des expériences, ils interviennent systématiquement dans le monde pour créer des données parfaitement adaptées à la réponse aux questions sur les relations de cause à effet.

Les questions de cause à effet sont très courantes dans la recherche sociale, et les exemples incluent des questions telles que: L'augmentation des salaires des enseignants augmente-t-elle l'apprentissage des élèves? Quel est l'effet du salaire minimum sur les taux d'emploi? Comment la course d'un demandeur d'emploi affecte-t-elle sa chance d'obtenir un emploi? En plus de ces questions explicitement causales, des questions de cause à effet sont parfois implicites dans des questions plus générales sur la maximisation de certaines mesures de performance. Par exemple, la question «De quelle couleur devrait être le bouton de don sur le site Web d'une ONG?» Est vraiment beaucoup de questions sur l'effet de différentes couleurs de bouton sur les dons.

Une façon de répondre aux questions de cause à effet est de rechercher des modèles dans les données existantes. Par exemple, pour revenir à la question sur l'effet des salaires des enseignants sur l'apprentissage des élèves, vous pourriez calculer que les élèves apprennent davantage dans les écoles qui offrent des salaires élevés aux enseignants. Mais cette corrélation montre-t-elle que des salaires plus élevés incitent les étudiants à en apprendre davantage? Bien sûr que non. Les écoles où les enseignants gagnent plus peuvent être différentes de plusieurs façons. Par exemple, les étudiants qui fréquentent des écoles où les salaires des enseignants sont élevés peuvent provenir de familles plus aisées. Ainsi, ce qui ressemble à un effet des enseignants pourrait simplement provenir de la comparaison de différents types d'élèves. Ces différences non mesurées entre les étudiants sont appelées facteurs de confusion et, en général, la possibilité que les facteurs confondants agissent sur la capacité des chercheurs à répondre aux questions de cause à effet en cherchant des modèles dans les données existantes.

Une solution au problème des facteurs de confusion est d'essayer de faire des comparaisons justes en ajustant les différences observables entre les groupes. Par exemple, vous pourriez être en mesure de télécharger des données sur l'impôt foncier à partir d'un certain nombre de sites Web gouvernementaux. Ensuite, vous pourriez comparer la performance des élèves dans les écoles où les prix des maisons sont similaires, mais les salaires des enseignants sont différents, et vous pourriez toujours constater que les élèves apprennent plus dans les écoles avec une rémunération plus élevée des enseignants. Mais il y a encore beaucoup de facteurs de confusion possibles. Peut-être que les parents de ces étudiants diffèrent dans leur niveau d'éducation. Ou peut-être que les écoles diffèrent par leur proximité avec les bibliothèques publiques. Ou peut-être que les écoles avec une rémunération plus élevée des enseignants ont aussi un salaire plus élevé pour les directeurs, et le salaire principal, et non la rémunération des enseignants, est vraiment ce qui augmente l'apprentissage des élèves. Vous pourriez aussi essayer de mesurer et d'ajuster ces facteurs, mais la liste des facteurs de confusion possibles est essentiellement infinie. Dans de nombreuses situations, vous ne pouvez pas mesurer et ajuster pour tous les facteurs de confusion possibles. En réponse à ce défi, les chercheurs ont développé un certain nombre de techniques pour faire des estimations causales à partir de données non expérimentales - j'en ai discuté quelques-unes au chapitre 2 - mais pour certains types de questions, ces techniques sont limitées. alternative.

Les expériences permettent aux chercheurs d'aller au-delà des corrélations dans les données naturelles afin de répondre de manière fiable à certaines questions de cause à effet. À l'ère analogique, les expériences étaient souvent difficiles d'un point de vue logistique et coûteuses. Maintenant, à l'ère numérique, les contraintes logistiques disparaissent progressivement. Non seulement il est plus facile de faire des expériences comme celles du passé, mais il est maintenant possible de faire de nouvelles expériences.

Dans ce que j'ai écrit jusqu'à présent, j'ai été un peu lâche dans mon langage, mais il est important de distinguer deux choses: les expériences et les expériences contrôlées randomisées. Dans une expérience , un chercheur intervient dans le monde et mesure ensuite un résultat. J'ai entendu cette approche décrite comme «perturber et observer». Dans une expérience contrôlée randomisée, un chercheur intervient pour certaines personnes et pas pour d'autres, et le chercheur décide quelles personnes reçoivent l'intervention par randomisation (p. Ex. Les expériences contrôlées randomisées créent des comparaisons équitables entre deux groupes: un qui a reçu l'intervention et un qui n'a pas reçu. En d'autres termes, les expériences contrôlées randomisées sont une solution aux problèmes des facteurs de confusion. Les expériences Perturb-and-observer, cependant, impliquent seulement un seul groupe qui a reçu l'intervention, et donc les résultats peuvent mener les chercheurs à la mauvaise conclusion (comme je le montrerai bientôt). Malgré les différences importantes entre les expériences et les expériences contrôlées randomisées, les chercheurs en sciences sociales utilisent souvent ces termes de façon interchangeable. Je vais suivre cette convention, mais, à certains points, je vais rompre la convention pour souligner la valeur des expériences contrôlées randomisées sur des expériences sans randomisation et un groupe de contrôle.

Les expériences contrôlées randomisées se sont avérées être un moyen puissant d'apprendre sur le monde social, et dans ce chapitre, je vais vous montrer plus sur la façon de les utiliser dans votre recherche. Dans la section 4.2, j'illustrerai la logique de base de l'expérimentation avec un exemple d'expérience sur Wikipédia. Ensuite, dans la section 4.3, je vais décrire la différence entre les expériences en laboratoire et les expériences sur le terrain et les différences entre les expériences analogiques et les expériences numériques. En outre, je ferai valoir que les expériences de terrain numériques peuvent offrir les meilleures caractéristiques des expériences de laboratoire analogique (contrôle serré) et des expériences de terrain analogiques (réalisme), le tout à une échelle qui n'était pas possible auparavant. Ensuite, dans la section 4.4, je vais décrire trois concepts - la validité, l'hétérogénéité des effets du traitement, et les mécanismes - qui sont essentiels pour concevoir des expériences riches. Dans ce contexte, je vais décrire les compromis impliqués dans les deux principales stratégies pour mener des expériences numériques: le faire vous-même ou en partenariat avec les puissants. Enfin, je terminerai par quelques conseils de conception sur la façon de tirer parti de la puissance réelle des expériences numériques (section 4.6.1) et décrirai certaines des responsabilités qui découlent de cette puissance (section 4.6.2).