Les enquêtes ne sont pas libres, et cela est une véritable contrainte.
Jusqu'à présent, j'ai brièvement passé en revue le cadre des erreurs totales de l'enquête, qui fait lui-même l'objet de traitements de longueur de livre (Weisberg 2005; Groves et al. 2009) . Bien que ce cadre soit complet, les chercheurs négligent généralement un facteur important: le coût. Bien que le coût, qui peut être mesuré soit par le temps, soit par l'argent, est rarement discuté explicitement par les chercheurs universitaires, il s'agit d'une contrainte réelle qui ne doit pas être ignorée. En fait, le coût est fondamental pour l'ensemble du processus de recherche par sondage (Groves 2004) : c'est la raison pour laquelle les chercheurs interrogent un échantillon de personnes plutôt qu'une population entière. Un dévouement unique à minimiser l'erreur tout en ignorant complètement le coût n'est pas toujours dans notre meilleur intérêt.
Les limites de l'obsession de réduire les erreurs sont illustrées par le projet phare de Scott Keeter et ses collègues (2000) sur les effets des opérations de terrain coûteuses sur la réduction de la non-réponse dans les enquêtes téléphoniques. Keeter et ses collègues ont mené deux études simultanées, l'une utilisant des procédures de recrutement «standard» et l'autre utilisant des procédures de recrutement «rigoureuses». La différence entre les deux études était la quantité d'efforts déployés pour contacter les répondants et les encourager à participer. Par exemple, dans l'étude avec recrutement «rigoureux», les chercheurs ont appelé les ménages échantillonnés plus fréquemment et sur une plus longue période et ont fait des rappels supplémentaires si les participants refusaient initialement de participer. Ces efforts supplémentaires ont en fait produit un taux de non-réponse plus faible, mais ils ont considérablement accru les coûts. L'étude utilisant des procédures «rigoureuses» était deux fois plus chère et huit fois plus lente. Et, à la fin, les deux études ont produit des estimations essentiellement identiques. Ce projet, ainsi que les réplications subséquentes avec des résultats similaires (Keeter et al. 2006) , devraient vous amener à vous demander: est-ce qu'il vaut mieux deux enquêtes raisonnables ou une enquête vierge? Qu'en est-il de 10 sondages raisonnables ou d'un sondage vierge? Qu'en est-il de 100 sondages raisonnables ou d'un sondage vierge? À un moment donné, les avantages en termes de coûts doivent l'emporter sur les préoccupations vagues et non spécifiques sur la qualité.
Comme je le montrerai dans ce chapitre, bon nombre des opportunités créées par l'ère numérique ne concernent pas les estimations qui ont manifestement moins d'erreurs. Au contraire, ces opportunités concernent l'estimation de quantités différentes et la réalisation d'estimations plus rapides et moins coûteuses, même avec des erreurs éventuellement plus élevées. Les chercheurs qui insistent sur une obsession de minimiser les erreurs au détriment des autres dimensions de la qualité vont passer à côté d'opportunités passionnantes. Compte tenu de ce contexte, nous aborderons maintenant trois domaines principaux de la troisième ère de la recherche par sondage: les nouvelles approches de la représentation (section 3.4), les nouvelles approches de mesure (section 3.5) et les nouvelles stratégies de combinaison des enquêtes avec de grandes sources de données (section 3.6).