3.3.2 mesure

La mesure consiste à déduire ce que vos répondants pensent et font de ce qu'ils disent.

En plus des problèmes de représentation, le cadre d'erreur total de l'enquête montre que la deuxième source majeure d'erreurs est la mesure : comment nous faisons des inférences à partir des réponses que les répondants donnent à nos questions. Il s'avère que les réponses que nous recevons, et donc les inférences que nous faisons, peuvent dépendre de manière critique - et parfois de façon surprenante - de la manière exacte dont nous demandons. Peut-être rien n'illustre mieux ce point important qu'une blague dans le merveilleux livre Asking Questions de Norman Bradburn, Seymour Sudman et Brian Wansink (2004) :

Deux prêtres, un dominicain et un jésuite, discutent si elle est un péché de fumer et de prier en même temps. Après avoir échoué à parvenir à une conclusion, chacun va hors de consulter son supérieur respectif. dit The Dominican, "Qu'est-ce que votre mot à dire supérieur?"

Le jésuite répond: «Il a dit qu'il allait bien."

"C'est drôle», répond le dominicain, "Mon superviseur a dit qu'il était un péché."

Le jésuite a dit: «Qu'est-ce que vous lui demandez?" Répond The Dominican, "je lui ai demandé si elle était mal à fumer tout en priant." "Oh" dit le jésuite, "j'ai demandé si elle était OK pour prier en fumant."

Au-delà de cette blague spécifique, les chercheurs de l'enquête ont documenté de nombreuses façons systématiques que ce que vous apprenez dépend de la façon dont vous demandez. En fait, la question à la base de cette blague a un nom dans la communauté de la recherche par sondage: effets de forme de question (Kalton and Schuman 1982) . Pour voir comment les effets de formulaire de question peuvent avoir un impact sur les enquêtes réelles, considérez ces deux questions d'enquête très similaires:

• "Combien vous d' accord avec l'énoncé suivant: Les individus sont plus à blâmer que les conditions sociales de la criminalité et l' anarchie dans ce pays."
• "Combien vous d' accord avec l'énoncé suivant: Les conditions sociales sont plus à blâmer que les individus pour le crime et l' anarchie dans ce pays."

Bien que les deux questions semblent mesurer la même chose, elles ont produit des résultats différents dans une expérience d'enquête réelle (Schuman and Presser 1996) . Lorsqu'on leur a demandé un sens, environ 60% des répondants ont déclaré que les individus étaient plus responsables de la criminalité, mais lorsqu'on leur a demandé l'inverse, environ 60% ont déclaré que les conditions sociales étaient plus à blâmer (figure 3.3). En d'autres termes, la petite différence entre ces deux questions pourrait amener les chercheurs à une conclusion différente.

Figure 3.3: Résultats d'une expérience d'enquête montrant que les chercheurs peuvent obtenir des réponses différentes en fonction de la façon exacte dont ils ont posé la question. Une majorité de répondants ont convenu que les individus sont plus à blâmer que les conditions sociales pour le crime et l'anarchie. Et une majorité de répondants étaient d'accord avec le contraire: les conditions sociales sont plus responsables que les individus. Adapté de Schuman and Presser (1996) , tableau 8.1.

En plus de la structure de la question, les répondants peuvent également donner des réponses différentes, selon les mots spécifiques utilisés. Par exemple, afin de mesurer les opinions sur les priorités gouvernementales, les répondants ont lu l'invite suivante:

"Nous sommes confrontés à de nombreux problèmes dans ce pays, dont aucun ne peut être résolu facilement ou à peu de frais. Je vais nommer quelques-uns de ces problèmes, et pour chacun d'eux, je voudrais que vous me disiez si vous pensez que nous dépensons trop d'argent sur elle, trop peu d'argent, soit environ la bonne quantité ".

Ensuite, la moitié des répondants ont été interrogés sur le «bien-être» et la moitié ont été interrogés sur «l'aide aux pauvres». Bien qu'ils puissent sembler deux expressions différentes pour la même chose, ils ont donné des résultats très différents (figure 3.4); Les Américains déclarent être beaucoup plus favorables à «l'aide aux pauvres» qu'à «l'aide sociale» (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figure 3.4: Les résultats d'une enquête montrent que les répondants appuient beaucoup plus «l'aide aux pauvres» que le «bien-être». Ceci est un exemple d'effet de formulation de question selon lequel les réponses reçues par les chercheurs dépendent exactement des mots utilisés. leurs questions. Adapté de Huber and Paris (2013) , tableau A1.

Comme le montrent ces exemples sur les effets de forme de question et les effets de formulation, les réponses que les chercheurs reçoivent peuvent être influencées par la façon dont ils posent leurs questions. Ces exemples amènent parfois les chercheurs à s'interroger sur la manière «correcte» de poser les questions de leur enquête. Bien que je pense qu'il y a des façons clairement erronées de poser une question, je ne pense pas qu'il y ait toujours une seule bonne façon de procéder. Autrement dit, il n'est évidemment pas préférable de poser des questions sur le «bien-être» ou «l'aide aux pauvres»; ce sont deux questions différentes qui mesurent deux choses différentes sur les attitudes des répondants. Ces exemples amènent parfois les chercheurs à conclure que les enquêtes ne devraient pas être utilisées. Malheureusement, parfois il n'y a pas de choix. Au lieu de cela, je pense que la bonne leçon à tirer de ces exemples est que nous devrions construire nos questions avec soin et nous ne devrions pas accepter les réponses sans critique.

Concrètement, cela signifie que si vous analysez des données d'enquête recueillies par quelqu'un d'autre, assurez-vous d'avoir lu le questionnaire. Et si vous créez votre propre questionnaire, j'ai quatre suggestions. Premièrement, je vous suggère d'en lire plus sur la conception des questionnaires (p. Ex., Bradburn, Sudman, and Wansink (2004) ); il y a plus à cela que ce que j'ai pu décrire ici. Deuxièmement, je suggère que vous copiiez mot pour mot des questions d'enquêtes de haute qualité. Par exemple, si vous voulez interroger les répondants sur leur race / appartenance ethnique, vous pouvez copier les questions qui sont utilisées dans les enquêtes gouvernementales à grande échelle, telles que le recensement. Bien que cela puisse ressembler à du plagiat, la copie de questions est encouragée dans la recherche par sondage (aussi longtemps que vous citez le sondage original). Si vous copiez des questions à partir d'enquêtes de grande qualité, vous pouvez être certain qu'elles ont été testées et vous pouvez comparer les réponses à votre enquête aux réponses d'autres enquêtes. Troisièmement, si vous pensez que votre questionnaire pourrait contenir des effets de question ou des effets de formulaire de questions importants, vous pourriez mener une enquête où la moitié des répondants recevraient une version de la question et la moitié l'autre (Krosnick 2011) . Enfin, je vous suggère de tester vos questions auprès de certaines personnes de votre base de sondage. les chercheurs de l'enquête appellent ce processus le pré-test (Presser et al. 2004) . Mon expérience est que le pré-test d'enquête est extrêmement utile.