3.3.2 Medición

La medición se trata de inferir lo que sus encuestados piensan y hacen a partir de lo que dicen.

Además de los problemas de representación, el marco de error total de la encuesta muestra que la segunda fuente principal de errores es la medición : cómo hacemos inferencias a partir de las respuestas que los encuestados dan a nuestras preguntas. Resulta que las respuestas que recibimos, y por lo tanto las inferencias que hacemos, pueden depender críticamente, y de maneras a veces sorprendentes, de exactamente cómo preguntamos. Tal vez nada ilustra este punto importante mejor que una broma en el maravilloso libro Preguntas frecuentes de Norman Bradburn, Seymour Sudman y Brian Wansink (2004) :

Dos sacerdotes, un dominicano y un jesuita, están discutiendo si se trata de un pecado de fumar y orar al mismo tiempo. Después de no poder llegar a una conclusión, cada uno va a consultar a su respectivo superior. El dice Dominicana ", lo que hizo tu digamos superior?"

El jesuita responde: "Dijo que estaba bien."

"Eso es gracioso", responde la República Dominicana, "Mi supervisor dijo que era un pecado."

El jesuita dijo, "¿Qué le pide?", Responde la Dominicana ", le pregunté si estaba bien fumar mientras rezaba." "Oh", dijo el jesuita, "Me preguntó si estaba bien para rezar mientras se fuma."

Más allá de esta broma específica, los investigadores de la encuesta han documentado muchas formas sistemáticas de que lo que aprenda depende de cómo pregunte. De hecho, el mismo problema en la raíz de esta broma tiene un nombre en la comunidad de investigación de encuestas: los efectos de la forma de pregunta (Kalton and Schuman 1982) . Para ver cómo los efectos de las formas de las preguntas pueden afectar las encuestas reales, considere estas dos preguntas de encuestas muy parecidas:

• "¿Cuánto está usted de acuerdo con la siguiente afirmación: Los individuos son más culpable que las condiciones sociales de la delincuencia y la ilegalidad en este país."
• "¿Cuánto está usted de acuerdo con la siguiente afirmación: Las condiciones sociales son más culpables que los individuos de la delincuencia y la ilegalidad en este país."

Aunque ambas preguntas parecen medir lo mismo, produjeron resultados diferentes en un experimento de encuesta real (Schuman and Presser 1996) . Cuando se les preguntó de una manera, alrededor del 60% de los encuestados informaron que las personas eran más culpables del delito, pero cuando se les preguntó de otra manera, alrededor del 60% informaron que las condiciones sociales eran más culpables (figura 3.3). En otras palabras, la pequeña diferencia entre estas dos preguntas podría llevar a los investigadores a una conclusión diferente.

Figura 3.3: Resultados de un experimento de encuesta que muestra que los investigadores pueden obtener diferentes respuestas dependiendo de cómo hicieron la pregunta. La mayoría de los encuestados estuvo de acuerdo en que los individuos son más culpables que las condiciones sociales para el crimen y la anarquía. Y la mayoría de los encuestados estuvo de acuerdo con lo contrario: que las condiciones sociales son más responsables que las personas. Adaptado de Schuman and Presser (1996) , tabla 8.1.

Además de la estructura de la pregunta, los encuestados también pueden dar respuestas diferentes, dependiendo de las palabras específicas utilizadas. Por ejemplo, para medir las opiniones sobre las prioridades gubernamentales, se lesyó a los encuestados el siguiente mensaje:

"Nos enfrentamos a muchos problemas en este país, ninguno de los cuales se pueden resolver fácilmente oa bajo costo. Voy a nombrar algunos de estos problemas, y por cada uno me gustaría que me dijera si le parece que estamos gastando demasiado dinero en eso, muy poco dinero, o sobre la cantidad correcta ".

Luego, a la mitad de los encuestados se les preguntó sobre el "bienestar" y a la otra mitad se les preguntó acerca de "ayuda para los pobres". Si bien estos podrían parecer dos frases diferentes para la misma cosa, obtuvieron resultados muy diferentes (figura 3.4); Los estadounidenses informan que apoyan mucho más la "ayuda a los pobres" que el "bienestar" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figura 3.4: Resultados de una encuesta que muestra que los encuestados apoyan mucho más la "ayuda a los pobres" que el "bienestar". Este es un ejemplo de efecto de redacción de preguntas por el cual las respuestas que reciben los investigadores dependen exactamente de qué palabras usan. sus preguntas. Adaptado de Huber and Paris (2013) , cuadro A1.

A medida que se muestran estos ejemplos sobre los efectos de las formas de pregunta y los efectos de redacción, las respuestas que reciben los investigadores pueden verse influidas por la forma en que formulan sus preguntas. Estos ejemplos a veces llevan a los investigadores a preguntarse sobre la forma "correcta" de hacer las preguntas de su encuesta. Si bien creo que hay algunas maneras claramente incorrectas de hacer una pregunta, no creo que siempre haya una sola forma correcta. Es decir, obviamente no es mejor preguntar sobre "bienestar" o "ayuda para los pobres"; Estas son dos preguntas diferentes que miden dos cosas diferentes sobre las actitudes de los encuestados. Estos ejemplos también a veces llevan a los investigadores a concluir que las encuestas no deben ser utilizadas. Desafortunadamente, a veces no hay otra opción. En cambio, creo que la lección correcta para extraer de estos ejemplos es que debemos construir nuestras preguntas cuidadosamente y no debemos aceptar las respuestas de manera acrítica.

Más concretamente, esto significa que si está analizando datos de encuestas recopilados por otra persona, asegúrese de haber leído el cuestionario en sí. Y si está creando su propio cuestionario, tengo cuatro sugerencias. Primero, sugiero que lea más sobre el diseño del cuestionario (p. Ej., Bradburn, Sudman, and Wansink (2004) ); hay más en esto de lo que he podido describir aquí. En segundo lugar, sugiero que copie palabra por palabra las preguntas de encuestas de alta calidad. Por ejemplo, si desea preguntar a los encuestados sobre su raza / origen étnico, puede copiar las preguntas que se utilizan en las encuestas gubernamentales a gran escala, como el censo. Aunque esto podría sonar como plagio, se alienta la copia de preguntas en la investigación de encuestas (siempre que cite la encuesta original). Si copia preguntas de encuestas de alta calidad, puede estar seguro de que se han probado y puede comparar las respuestas a su encuesta con las respuestas de otras encuestas. En tercer lugar, si cree que su cuestionario podría contener efectos de redacción de preguntas o efectos de formulario de pregunta importantes, podría ejecutar un experimento de encuesta donde la mitad de los encuestados recibe una versión de la pregunta y la mitad recibe la otra versión (Krosnick 2011) . Finalmente, sugiero que haga una prueba piloto de sus preguntas con algunas personas de su población marco; Los investigadores de la encuesta llaman a este proceso prueba previa (Presser et al. 2004) . Mi experiencia es que las pruebas preliminares de la encuesta son extremadamente útiles.