3.3.2 Misurazione

La misurazione consiste nel dedurre ciò che i tuoi intervistati pensano e fanno da ciò che dicono.

Oltre ai problemi di rappresentazione, il quadro complessivo degli errori dell'indagine mostra che la seconda fonte principale di errori è la misurazione : come ricaviamo inferenze dalle risposte che gli intervistati danno alle nostre domande. Si scopre che le risposte che riceviamo, e quindi le deduzioni che facciamo, possono dipendere in modo critico - ea volte in modo sorprendente - da come esattamente chiediamo. Forse nulla illustra questo punto importante meglio di uno scherzo nel meraviglioso libro Asking Questions di Norman Bradburn, Seymour Sudman e Brian Wansink (2004) :

Due preti, un domenicano e un gesuita, stanno discutendo se si tratta di un peccato a fumare e pregare allo stesso tempo. Dopo aver fallito per raggiungere una conclusione, ciascuna va a consultare il suo rispettivo superiore. Il domenicano dice: "Che cosa ha fatto dire la vostra superiore?"

Il gesuita risponde: "Ha detto che andava bene."

"Che strano" il domenicano risponde: "Il mio capo ha detto che era un peccato."

Il gesuita ha detto, "Cosa hai chiesto di lui?" Il domenicano risponde: "Gli ho chiesto se era bene a fumare mentre pregava." "Oh", ha detto il gesuita, "ho chiesto se era OK per pregare, mentre il fumo."

Al di là di questo specifico scherzo, i ricercatori del sondaggio hanno documentato in molti modi sistematici che ciò che apprendi dipende da come lo chiedi. In effetti, il vero problema alla radice di questo scherzo ha un nome nella comunità di ricerca del sondaggio: effetti di una forma di domanda (Kalton and Schuman 1982) . Per vedere come gli effetti della forma della domanda possono avere un impatto sui sondaggi reali, prendi in considerazione queste due domande di indagine dall'aspetto molto simile:

• "Quanto sei d'accordo con la seguente affermazione: Gli individui sono più per colpa di condizioni sociali per il crimine e l'illegalità in questo paese."
• "Quanto sei d'accordo con la seguente affermazione: le condizioni sociali sono più per colpa di individui per il crimine e l'illegalità in questo paese."

Sebbene entrambe le domande sembrino misurare la stessa cosa, hanno prodotto risultati diversi in un vero esperimento di indagine (Schuman and Presser 1996) . Quando è stato chiesto in un modo, circa il 60% degli intervistati ha riferito che gli individui erano più responsabili della criminalità, ma quando gli è stato chiesto diversamente, circa il 60% ha riferito che le condizioni sociali erano più da incolpare (figura 3.3). In altre parole, la piccola differenza tra queste due domande potrebbe portare i ricercatori a una conclusione diversa.

Figura 3.3: Risultati di un esperimento di sondaggio che mostrano che i ricercatori possono ottenere risposte diverse a seconda di come hanno fatto la domanda. La maggioranza degli intervistati concorda sul fatto che gli individui sono più colpevoli delle condizioni sociali per il crimine e l'illegalità. E la maggioranza degli intervistati concorda con l'opposto: che le condizioni sociali sono più responsabili dei singoli. Adattato da Schuman and Presser (1996) , tabella 8.1.

Oltre alla struttura della domanda, gli intervistati possono anche dare risposte diverse, a seconda delle parole specifiche utilizzate. Ad esempio, al fine di misurare le opinioni sulle priorità governative, i rispondenti hanno letto il seguente messaggio:

"Siamo di fronte a molti problemi in questo paese, nessuno dei quali possono essere risolti facilmente o economico. Io vado per citarne alcuni di questi problemi, e per ciascuno di essi mi piacerebbe che tu mi dica se si pensa che stiamo spendendo troppi soldi su di esso, troppo poco denaro, o circa la giusta quantità ".

Successivamente, a metà degli intervistati è stato chiesto del "benessere" e alla metà è stato chiesto "aiuti per i poveri". Sebbene possano sembrare due frasi diverse per la stessa cosa, hanno ottenuto risultati molto diversi (figura 3.4); Gli americani riferiscono di essere molto più solidali con "aiuti ai poveri" che "benessere" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figura 3.4: Risultati di esperimenti di sondaggio che dimostrano che gli intervistati sono molto più favorevoli all '"aiuto ai poveri" che al "benessere". Questo è un esempio di un effetto di formulazione di domande in base al quale le risposte che i ricercatori ricevono dipendono esattamente da quali parole usano le loro domande. Adattato da Huber and Paris (2013) , tabella A1.

Come mostrano questi esempi sugli effetti dei formulari di domanda e sugli effetti della formulazione, le risposte che i ricercatori ricevono possono essere influenzate dal modo in cui fanno le loro domande. Questi esempi a volte portano i ricercatori a chiedersi quale sia il modo "corretto" di porre domande ai loro sondaggi. Mentre penso che ci siano alcuni modi chiaramente sbagliati per fare una domanda, non credo ci sia sempre un solo modo corretto. Cioè, non è ovviamente meglio chiedere di "benessere" o "aiuto per i poveri"; queste sono due domande diverse che misurano due cose diverse sugli atteggiamenti degli intervistati. Questi esempi a volte portano i ricercatori a concludere che i sondaggi non dovrebbero essere utilizzati. Sfortunatamente, a volte non c'è scelta. Invece, penso che la lezione giusta da trarre da questi esempi è che dovremmo costruire attentamente le nostre domande e non dovremmo accettare le risposte in modo acritico.

Più concretamente, questo significa che se stai analizzando i dati del sondaggio raccolti da qualcun altro, assicurati di aver letto il questionario vero e proprio. E se stai creando il tuo questionario, ho quattro suggerimenti. Innanzitutto, ti suggerisco di leggere di più sulla progettazione del questionario (ad esempio, Bradburn, Sudman, and Wansink (2004) ); c'è di più a questo che sono stato in grado di descrivere qui. Secondo, ti suggerisco di copiare parole per domande di parole da sondaggi di alta qualità. Ad esempio, se si desidera chiedere agli intervistati la loro razza / appartenenza etnica, è possibile copiare le domande utilizzate nelle indagini governative su larga scala, come il censimento. Sebbene questo possa sembrare un plagio, le domande di copia sono incoraggiate nella ricerca di sondaggi (purché si citi il ​​sondaggio originale). Se copi domande da sondaggi di alta qualità, puoi essere certo che sono stati testati e puoi confrontare le risposte al tuo sondaggio con le risposte di alcuni altri sondaggi. Terzo, se ritieni che il tuo questionario contenga effetti di formulazione di domande importanti o effetti di moduli di domande, puoi eseguire un esperimento di sondaggio in cui metà degli intervistati riceve una versione della domanda e metà riceve l'altra versione (Krosnick 2011) . Infine, ti suggerisco di testare le tue domande con alcune persone della tua popolazione; i ricercatori dell'indagine chiamano questo processo pre-test (Presser et al. 2004) . La mia esperienza è che il pre-test del sondaggio è estremamente utile.