3.3.2 Medición

La medición se trata de hacer inferencias a partir de lo que los encuestados dicen lo que sus encuestados piensan y hacen.

La segunda categoría del marco de error total de la encuesta es la medición; se trata de cómo podemos hacer inferencias a partir de las respuestas que los encuestados dan a nuestras preguntas. Resulta que las respuestas que recibimos, y por lo tanto las inferencias que hacemos, pueden depender críticamente formas-en-y en ocasiones sorprendentes exactamente cómo nos preguntamos. Quizás nada ilustra este importante punto mejor que una broma en el maravilloso libro de Norman Hacer preguntas Bradburn, Seymour Sudman, y Brian Wansink (2004) :

Dos sacerdotes, un dominicano y un jesuita, están discutiendo si se trata de un pecado de fumar y orar al mismo tiempo. Después de no poder llegar a una conclusión, cada uno va a consultar a su respectivo superior. El dice Dominicana ", lo que hizo tu digamos superior?"

El jesuita responde: "Dijo que estaba bien."

"Eso es gracioso", responde la República Dominicana, "Mi supervisor dijo que era un pecado."

El jesuita dijo, "¿Qué le pide?", Responde la Dominicana ", le pregunté si estaba bien fumar mientras rezaba." "Oh", dijo el jesuita, "Me preguntó si estaba bien para rezar mientras se fuma."

Hay muchos ejemplos de anomalías como la experimentada por los dos sacerdotes. De hecho, el mismo problema en la raíz de esta broma tiene un nombre en la comunidad de investigación de la encuesta: interrogación efectos de formulario (Kalton and Schuman 1982) . Para ver cómo los efectos de formulario cuestión podrían afectar encuestas reales, considere estas dos preguntas de la encuesta de aspecto muy similares:

• "¿Cuánto está usted de acuerdo con la siguiente afirmación: Los individuos son más culpable que las condiciones sociales de la delincuencia y la ilegalidad en este país."
• "¿Cuánto está usted de acuerdo con la siguiente afirmación: Las condiciones sociales son más culpables que los individuos de la delincuencia y la ilegalidad en este país."

Aunque ambas preguntas parecen medir la misma cosa, que producen diferentes resultados en un experimento real de encuesta (Schuman and Presser 1996) . Cuando se le preguntó de una manera, alrededor del 60% de los encuestados informó que los individuos eran más culpables de la delincuencia, pero cuando se le preguntó la otra manera alrededor del 60% informó que las condiciones sociales eran más culpables (Figura 3.2). En otras palabras, la pequeña diferencia entre las dos preguntas podría llevar a los investigadores a una conclusión diferente.

Figura 3.2: Los resultados de un experimento de encuesta (Schuman and Presser 1996, Table 8.1) . Los investigadores pueden obtener diferentes respuestas dependiendo de exactamente cómo se hizo la pregunta. Este es un ejemplo de un efecto de forma de pregunta (Kalton and Schuman 1982) .

Además de la estructura de la pregunta, los encuestados también pueden dar diferentes respuestas basadas en las palabras específicas utilizadas. Por ejemplo, con el fin de medir las opiniones acerca de las prioridades gubernamentales, los encuestados se leyeron el mensaje siguiente:

"Nos enfrentamos a muchos problemas en este país, ninguno de los cuales se pueden resolver fácilmente oa bajo costo. Voy a nombrar algunos de estos problemas, y por cada uno me gustaría que me dijera si le parece que estamos gastando demasiado dinero en eso, muy poco dinero, o sobre la cantidad correcta ".

". La ayuda para los pobres" A continuación, la mitad de los encuestados se les preguntó sobre el "bienestar" y la otra mitad se les preguntó por bien estos pueden parecer como dos frases diferentes para la misma cosa, que provocaron resultados muy diferentes (Figura 3.3); Estadounidenses informan que ser mucho más apoyo de "ayuda a los pobres" de "bienestar" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Mientras que los investigadores del estudio consideran que estos efectos palabras para que sean anomalías, también podrían considerarlos resultados de la investigación. Es decir, hemos aprendido algo sobre la opinión pública de este resultado.

Figura 3.3: Resultados de Huber and Paris (2013) . Los encuestados son mucho más apoyo de "ayuda a los pobres" que "bienestar". Este es un ejemplo de un efecto de redacción de la pregunta por lo que las respuestas que reciben los investigadores dependen exactamente qué palabras que utilizan en sus preguntas.

Como estos ejemplos acerca de efectos forma de pregunta y efectos redacción muestran, las respuestas que reciben los investigadores pueden ser influenciados de manera sutil sobre la base de la forma en que piden a sus preguntas. Esto no quiere decir que las encuestas no deben ser utilizados; a menudo no hay otra opción. Por el contrario, los ejemplos ilustran que debemos construir nuestras preguntas con cuidado y no debemos aceptar sin crítica respuestas.

Lo más concretamente, esto significa que si usted está analizando los datos de la encuesta recogidos por otra persona, asegúrese de que ha leído el cuestionario real. Y, si va a crear su propio cuestionario, tengo tres sugerencias. En primer lugar, le sugiero que lea más sobre el diseño del cuestionario (por ejemplo, Bradburn, Sudman, and Wansink (2004) ); hay más a él que he sido capaz de describir aquí. En segundo lugar, sugiero que copie-palabra por palabra-preguntas de las encuestas de alta calidad. Aunque esto suena como el plagio, la copia de las preguntas se anima en la investigación de la encuesta (siempre y cuando se cite la encuesta original). Si copia las preguntas de las encuestas de alta calidad, usted puede estar seguro de que han sido probados y se pueden comparar las respuestas a la encuesta a las respuestas de alguna otra encuesta. Por último, le sugiero que pre-test a sus preguntas con algunas personas de su población trama (Presser et al. 2004) ; mi experiencia es que la pre-prueba siempre revela cuestiones sorprendentes.