3.3.2 Mesura
La mesura es tracta d'inferir el que pensen els seus enquestats i fan el que diuen.
A més dels problemes de representació, el marc d'error de l'enquesta total mostra que la segona font principal d'errors és la mesura : com fem inferències de les respostes que els enquestats donen a les nostres preguntes. Resulta que les respostes que rebem i, per tant, les inferències que fem, poden dependre de manera crític -i, de vegades, sorprenent- d'exactament com demanem. Potser res il·lustra aquest punt important més que una broma al meravellós llibre Preguntes per part de Norman Bradburn, Seymour Sudman i Brian Wansink (2004) :
Dos sacerdots, un dominicà i un jesuïta, estan discutint si es tracta d'un pecat de fumar i pregar al mateix temps. Després de no poder arribar a una conclusió, cada un va a consultar al seu respectiu superior. El diu Dominicana ", el que va fer el teu diguem superior?"
El jesuïta respon: "Va dir que estava bé."
"Això és graciós", respon la República Dominicana, "El meu supervisor va dir que era un pecat."
El jesuïta va dir, "Què li demana?", Respon la Dominicana ", li vaig preguntar si estava bé fumar mentre resava." "Oh", va dir el jesuïta, "Em va preguntar si estava bé per resar mentre es fuma."
Més enllà d'aquesta broma específica, els investigadors de l'enquesta han documentat moltes maneres sistemàtiques que el que aprèn depèn de com ho fa. De fet, el mateix tema a l'arrel d'aquesta broma té un nom a la comunitat investigadora de l'enquesta: efectes de forma de pregunta (Kalton and Schuman 1982) . Per veure com els efectes de la forma de preguntes poden afectar les enquestes reals, considereu aquestes dues preguntes de cerca semblants:
- "Quant està vostè d'acord amb la següent afirmació: Els individus són més culpable que les condicions socials de la delinqüència i la il·legalitat en aquest país."
- "Quant està vostè d'acord amb la següent afirmació: Les condicions socials són més culpables que tots els individus de la delinqüència i la il·legalitat en aquest país."
Tot i que ambdues preguntes semblen mesurar el mateix, produeixen resultats diferents en un experiment d'enquesta real (Schuman and Presser 1996) . Quan es va preguntar d'una manera, al voltant del 60% dels enquestats informar que els individus eren més culpables del delicte, però quan se'ls va preguntar per la seva banda, al voltant del 60% va informar que les condicions socials eren més culpables (figura 3.3). En altres paraules, la petita diferència entre aquestes dues preguntes podria portar als investigadors a una conclusió diferent.
Figura 3.3: Resultats d'un experiment d'enquesta que demostra que els investigadors poden obtenir respostes diferents segons exactament com van fer la pregunta. La majoria dels enquestats van acordar que els individus són més culpables que les condicions socials per la delinqüència i l'anarquia. I la majoria dels enquestats van coincidir amb el contrari: que les condicions socials són més responsables que els individus. Adaptada de Schuman and Presser (1996) , taula 8.1.
A més de l'estructura de la pregunta, els enquestats també poden donar respostes diferents, depenent de les paraules específiques utilitzades. Per exemple, per mesurar opinions sobre prioritats governamentals, els enquestats van llegir el següent missatge:
"Ens enfrontem a molts problemes en aquest país, cap dels quals es poden resoldre fàcilment oa baix cost. Vaig a nomenar alguns d'aquests problemes, i per cada un m'agradaria que em digués si li sembla que estem gastant massa diners en això, molt pocs diners, o sobre la quantitat correcta ".
A continuació, es va preguntar a la meitat dels enquestats sobre el "benestar" i es va preguntar a la meitat sobre "ajuda per als pobres". Si bé aquestes semblaven dues frases diferents per la mateixa cosa, van obtenir resultats molt diferents (figura 3.4); Els nord-americans informen que són molt més solidaris de "ajuda als pobres" que "benestar" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .
Figura 3.4: resultats d'una enquesta d'experiments que mostren que els enquestats són molt més solidaris de "ajuda als pobres" que "el benestar". Aquest és un exemple d'efecte de redacció de preguntes en què les respostes que reben els investigadors depenen exactament de quines paraules utilitzen en les seves preguntes. Adaptat de Huber and Paris (2013) , taula A1.
Com que aquests exemples sobre els efectes de la forma de preguntes i els efectes de redacció mostren, les respostes que reben els investigadors es poden veure influïdes per la forma en què fan les seves preguntes. Aquests exemples de vegades fan que els investigadors es preguntin sobre la manera "correcta" de fer preguntes a les seves enquestes. Encara que crec que hi ha maneres clarament equivocades de fer una pregunta, no crec que sempre hi hagi una sola manera correcta. És a dir, no és òbviament millor preguntar sobre "benestar" o "ajuda per als pobres"; Aquestes són dues preguntes diferents que mesuren dues coses diferents sobre les actituds dels enquestats. Aquests exemples també a vegades condueixen els investigadors a concloure que les enquestes no s'han d'utilitzar. Malauradament, de vegades no hi ha cap opció. En lloc d'això, crec que la lliçó correcta que es pot extreure d'aquests exemples és que hauríem de construir acuradament les nostres preguntes i no acceptarem respostes sense criteri.
De manera més concreta, això vol dir que si esteu analitzant dades d'enquestes recollides per algú més, assegureu-vos que heu llegit el qüestionari real. I si està creant el seu propi qüestionari, tinc quatre suggeriments. En primer lloc, suggereixo que llegeixi més sobre el disseny del qüestionari (per exemple, Bradburn, Sudman, and Wansink (2004) ); hi ha més d'això que he pogut descriure aquí. En segon lloc, us suggerim que copieu paraules per a preguntes de paraules d'enquestes d'alta qualitat. Per exemple, si voleu demanar als enquestats sobre la seva raça / origen ètnic, podeu copiar les preguntes que s'utilitzen en enquestes governamentals a gran escala, com ara el cens. Tot i que això pot semblar un plagi, es recomana la còpia de les preguntes en la investigació d'enquestes (sempre que citeu l'enquesta original). Si copia preguntes d'enquestes d'alta qualitat, pot estar segur que han estat provades i podeu comparar les respostes a la vostra enquesta a les respostes d'altres enquestes. En tercer lloc, si creieu que el vostre qüestionari podria contenir efectes de redacció de preguntes importants o efectes de forma de pregunta, podeu executar un experiment d'enquesta on la meitat dels enquestats reben una versió de la pregunta i la meitat reben l'altra versió (Krosnick 2011) . Finalment, us suggerim que proveu les proves amb algunes persones de la vostra població marc; Els investigadors de l'enquesta anomenen a aquest procés les pre-proves (Presser et al. 2004) . La meva experiència és que la pre-assaig de l'enquesta és summament útil.
