3.3.2 Misurazione

La misurazione è di fare inferenze da ciò che i tuoi intervistati dicono di che cosa i vostri intervistati pensano e fanno.

La seconda categoria di quadro dell'errore sondaggio totale è di misura; si tratta di come possiamo fare inferenze dalle risposte che gli intervistati danno alle nostre domande. Si scopre che le risposte che riceviamo, e quindi le inferenze che facciamo, possono dipendere modi-on-critica e a volte sorprendenti esattamente come noi chiediamo. Forse nulla illustra questo importante punto di meglio di una battuta nella splendida libro Fare domande di Norman Bradburn, Seymour Sudman, e Brian Wansink (2004) :

Due preti, un domenicano e un gesuita, stanno discutendo se si tratta di un peccato a fumare e pregare allo stesso tempo. Dopo aver fallito per raggiungere una conclusione, ciascuna va a consultare il suo rispettivo superiore. Il domenicano dice: "Che cosa ha fatto dire la vostra superiore?"

Il gesuita risponde: "Ha detto che andava bene."

"Che strano" il domenicano risponde: "Il mio capo ha detto che era un peccato."

Il gesuita ha detto, "Cosa hai chiesto di lui?" Il domenicano risponde: "Gli ho chiesto se era bene a fumare mentre pregava." "Oh", ha detto il gesuita, "ho chiesto se era OK per pregare, mentre il fumo."

Ci sono molti esempi di anomalie come quella vissuta da due sacerdoti. In effetti, proprio la questione alla radice di questo scherzo ha un nome nella comunità di ricerca sondaggio: question effetti forma (Kalton and Schuman 1982) . Per vedere come gli effetti forma di domanda potrebbero avere un impatto sondaggi reali, prendere in considerazione questi due molto simili domande del sondaggio Looking:

• "Quanto sei d'accordo con la seguente affermazione: Gli individui sono più per colpa di condizioni sociali per il crimine e l'illegalità in questo paese."
• "Quanto sei d'accordo con la seguente affermazione: le condizioni sociali sono più per colpa di individui per il crimine e l'illegalità in questo paese."

Anche se entrambe le domande sembrano misurare la stessa cosa, hanno prodotto risultati diversi in un esperimento vero e proprio sondaggio (Schuman and Presser 1996) . Quando è stato chiesto in un modo, circa il 60% degli intervistati ha riferito che gli individui erano più la colpa per il crimine, ma quando abbiamo chiesto l'altro modo circa il 60% ha riferito che le condizioni sociali erano più per colpa (Figura 3.2). In altre parole, la piccola differenza tra le due questioni potrebbe portare i ricercatori a una conclusione diversa.

Figura 3.2: I risultati di un esperimento di sondaggio (Schuman and Presser 1996, Table 8.1) . I ricercatori possono ottenere risposte diverse a seconda esattamente come hanno fatto la domanda. Questo è un esempio di un effetto forma di domanda (Kalton and Schuman 1982) .

Oltre alla struttura della domanda, gli intervistati anche possono dare risposte diverse in base alle parole specifiche utilizzate. Ad esempio, al fine di misurare opinioni su priorità governative, gli intervistati sono stati letti il ​​seguente messaggio:

"Siamo di fronte a molti problemi in questo paese, nessuno dei quali possono essere risolti facilmente o economico. Io vado per citarne alcuni di questi problemi, e per ciascuno di essi mi piacerebbe che tu mi dica se si pensa che stiamo spendendo troppi soldi su di esso, troppo poco denaro, o circa la giusta quantità ".

". Gli aiuti per i poveri" Avanti, la metà degli intervistati è stato chiesto di "benessere" e la metà è stato chiesto circa Anche se questi possono sembrare due frasi diverse per la stessa cosa, hanno suscitato risultati molto diversi (Figura 3.3); Gli americani riferiscono di essere molto più favorevole di "aiuti ai poveri" di "benessere" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Mentre i ricercatori di indagine considerano questi effetti formulazione di essere anomalie, si potrebbe anche prendere in considerazione le scoperte della ricerca. Cioè, abbiamo imparato qualcosa su di opinione pubblica da questo risultato.

Figura 3.3: I risultati di Huber and Paris (2013) . Gli intervistati sono molto più favorevoli di "aiuti ai poveri" di "benessere". Questo è un esempio di un effetto formulazione delle domande per cui le risposte che i ricercatori ricevono dipendono esattamente quali parole che usano nelle loro domande.

Come questi esempi sulla questione degli effetti di forma e gli effetti formulazione mostrano, le risposte che i ricercatori ricevono possono essere influenzati in modo sottile in base a come porre le loro domande. Questo non significa che le indagini non dovrebbero essere usati; spesso non c'è scelta. Piuttosto, gli esempi illustrano che dovremmo costruire con attenzione le nostre domande e non dovremmo accettare acriticamente le risposte.

La maggior parte concretamente, questo significa che se si analizzano i dati dell'indagine raccolti da qualcun altro, assicurarsi di aver letto il questionario vero e proprio. E, se si sta creando il proprio questionario, ho tre suggerimenti. In primo luogo, vi consiglio di leggere di più sul design questionario (per esempio, Bradburn, Sudman, and Wansink (2004) ); non vi è più ad esso che sono stato in grado di descrivere qui. In secondo luogo, vi suggerisco di copiare-parola per parola-domande dei sondaggi di alta qualità. Anche se questo suona come plagio, domande copia è incoraggiati nella ricerca sondaggio (a patto che si citi l'indagine originale). Se si copia domande provenienti da indagini di alta qualità, si può essere certi che essi sono stati testati e si possono confrontare le risposte al sondaggio a risposte da qualche altra indagine. Infine, vi consiglio di controllare la validità della prova le tue domande con alcune persone della tua popolazione telaio (Presser et al. 2004) ; la mia esperienza è che il pre-test rivela sempre problemi sorprendenti.