3.3.2 Medição

Medição é inferir o que seus entrevistados pensam e fazem a partir do que eles dizem.

Além dos problemas de representação, a estrutura total do erro de pesquisa mostra que a segunda maior fonte de erros é a medição : como fazemos inferências a partir das respostas que os respondentes dão às nossas perguntas. Acontece que as respostas que recebemos e, portanto, as inferências que fazemos, podem depender de maneira crítica - e, às vezes, surpreendentes - de exatamente como pedimos. Talvez nada ilustre esse ponto importante melhor do que uma piada no maravilhoso livro Asking Questions de Norman Bradburn, Seymour Sudman e Brian Wansink (2004) :

Dois padres, um dominicano e um jesuíta, estão discutindo se é um pecado para fumar e orar ao mesmo tempo. Depois de não conseguir chegar a uma conclusão, cada um vai para consultar o seu respectivo superior. O dominicano diz: "O que fez a sua opinião superior?"

O jesuíta responde: "Ele disse que estava bem."

"Isso é engraçado" o dominicano responde: "Meu supervisor disse que era um pecado."

O jesuíta disse: "O que você perguntar a ele?" O Dominicana responde: "Perguntei-lhe se ele estava bem a fumar enquanto orava." "Ah", disse o jesuíta, "Eu perguntei se era OK para rezar, enquanto fumar."

Além dessa piada específica, os pesquisadores da pesquisa documentaram muitas formas sistemáticas de que o que você aprende depende de como você pergunta. Na verdade, a questão que está na raiz dessa piada tem um nome na comunidade de pesquisa de (Kalton and Schuman 1982) : efeitos de forma de pergunta (Kalton and Schuman 1982) . Para ver como os efeitos do formulário de perguntas podem afetar as pesquisas reais, considere estas duas perguntas de pesquisa de aparência muito semelhante:

• "Quanto você concorda com a seguinte afirmação: Indivíduos são mais culpados do que as condições sociais para o crime e ilegalidade neste país."
• "Quanto você concorda com a seguinte afirmação: As condições sociais são mais culpados do que os indivíduos para o crime e ilegalidade neste país."

Embora ambas as questões pareçam medir a mesma coisa, elas produziram resultados diferentes em um experimento de pesquisa real (Schuman and Presser 1996) . Quando perguntados de uma forma, cerca de 60% dos entrevistados relataram que os indivíduos eram mais culpados pelo crime, mas, quando perguntados de outra forma, cerca de 60% relataram que as condições sociais eram mais responsáveis ​​(figura 3.3). Em outras palavras, a pequena diferença entre essas duas perguntas poderia levar os pesquisadores a uma conclusão diferente.

Figura 3.3: Resultados de um experimento de pesquisa mostrando que os pesquisadores podem obter respostas diferentes dependendo exatamente de como eles fizeram a pergunta. A maioria dos entrevistados concordou que os indivíduos são mais culpados do que as condições sociais por crime e ilegalidade. E a maioria dos entrevistados concordou com o oposto: que as condições sociais são mais responsáveis ​​do que os indivíduos. Adaptado de Schuman and Presser (1996) , tabela 8.1.

Além da estrutura da questão, os entrevistados também podem dar respostas diferentes, dependendo das palavras específicas utilizadas. Por exemplo, para medir opiniões sobre prioridades governamentais, os entrevistados foram lidos no seguinte prompt:

"Estamos confrontados com muitos problemas neste país, nenhum dos quais podem ser resolvidos facilmente ou barata. Vou citar alguns desses problemas, e para cada um que eu gostaria que você me diga se você acha que está gastando muito dinheiro com isso, muito pouco dinheiro, ou sobre a quantidade certa. "

Em seguida, metade dos inquiridos foram questionados sobre “bem-estar” e metade foi questionada sobre “ajuda para os pobres”. Embora estas possam parecer duas frases diferentes para a mesma coisa, provocaram resultados muito diferentes (figura 3.4); Os americanos relatam serem muito mais favoráveis ​​à “ajuda aos pobres” do que ao “bem-estar” (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figura 3.4: Resultados de experimentos de pesquisa mostrando que os entrevistados são muito mais favoráveis ​​à “ajuda aos pobres” do que ao “bem-estar”. Esse é um exemplo de um efeito de formulação de pergunta pelo qual as respostas que os pesquisadores recebem dependem exatamente de quais palavras elas usam. suas perguntas. Adaptado de Huber and Paris (2013) , tabela A1.

Como mostram esses exemplos sobre efeitos de formulários de perguntas e efeitos de redação, as respostas que os pesquisadores recebem podem ser influenciadas por como eles fazem suas perguntas. Esses exemplos, às vezes, levam os pesquisadores a se perguntarem sobre a maneira “correta” de fazer as perguntas da pesquisa. Embora eu ache que há algumas maneiras claramente erradas de fazer uma pergunta, não acho que haja sempre um único caminho correto. Isto é, não é obviamente melhor perguntar sobre “bem-estar” ou “ajuda para os pobres”; Estas são duas perguntas diferentes que medem duas coisas diferentes sobre as atitudes dos respondentes. Esses exemplos também às vezes levam os pesquisadores a concluir que as pesquisas não devem ser usadas. Infelizmente, às vezes não há escolha. Em vez disso, acho que a lição certa a ser tirada desses exemplos é que devemos construir nossas perguntas com cuidado e não devemos aceitar as respostas de forma não crítica.

Mais concretamente, isso significa que, se você estiver analisando dados de pesquisa coletados por outra pessoa, certifique-se de ter lido o questionário real. E se você estiver criando seu próprio questionário, tenho quatro sugestões. Primeiro, sugiro que você leia mais sobre o design do questionário (por exemplo, Bradburn, Sudman, and Wansink (2004) ); existe mais do que eu pude descrever aqui. Em segundo lugar, sugiro que você copie - palavra por palavra - perguntas de pesquisas de alta qualidade. Por exemplo, se você quiser perguntar aos entrevistados sobre sua raça / etnia, você pode copiar as perguntas que são usadas em pesquisas do governo em larga escala, como o censo. Embora isso possa soar como plágio, as perguntas de cópia são incentivadas na pesquisa de pesquisa (contanto que você cite a pesquisa original). Se você copiar perguntas de pesquisas de alta qualidade, poderá ter certeza de que elas foram testadas e comparar as respostas da pesquisa com as respostas de outras pesquisas. Em terceiro lugar, se você acha que seu questionário pode conter efeitos importantes de formulação de perguntas ou efeitos de questionários, você poderia realizar um experimento de pesquisa em que metade dos respondentes recebesse uma versão da pergunta e metade recebesse a outra versão (Krosnick 2011) . Finalmente, sugiro que você teste suas perguntas com algumas pessoas da sua população de quadros; pesquisadores da pesquisa chamam este processo de pré-teste (Presser et al. 2004) . Minha experiência é que o pré-teste de pesquisa é extremamente útil.