3.3.2 Измерение

Измерение о том , чтобы выводы из того, что ваши респонденты говорят , что ваши респонденты думают и делают.

Вторая категория общей структуры ошибок обследования является измерение; она имеет дело с тем, как мы можем сделать выводы из ответов, которые респонденты дают на наши вопросы. Оказывается, что ответы, которые мы получаем, и, следовательно, выводы, которые мы делаем, может зависеть критически и в иногда удивительные способы, как именно мы спрашиваем. Пожалуй , ничто не иллюстрирует это важный момент лучше , чем шутка в замечательной книге Задавать вопросы Норман Bradburn, Seymour Sudman, и Брайан Wansink (2004) :

Два священника, доминиканский и иезуитский, обсуждают, является ли это грехом курить и молиться в то же время. После неудачной попытки прийти к выводу, каждый уходит проконсультироваться его вышестоящего. Доминиканский говорит: «Что же ваш начальник сказал?"

Иезуит отвечает: "Он сказал, что это было в порядке."

"Это смешно" Доминиканскую отвечает: "Мой руководитель сказал, что это грех."

Иезуит сказал: "Что вы спросили?" Доминиканский отвечает: "Я спросил его, если это было в порядке курить во время молитвы." "О", сказал иезуит, "Я спросил, если это было в порядке, чтобы молиться во время курения."

Есть много примеров аномалий, как один, испытываемой двумя священниками. На самом деле, сама проблема в корне этой шутке есть имя в опросе исследовательского сообщества: формы эффектов вопрос (Kalton and Schuman 1982) . Чтобы увидеть, как форма вопрос эффекты могут повлиять на реальные опросы, считают эти две очень похожие вопросы выглядящий обследования:

• "Насколько вы согласны со следующим утверждением: Лица , более виноваты , чем социальные условия для совершения преступлений и беззакония в этой стране."
• "Насколько вы согласны с утверждением , социальные условия являются более виноваты , чем физических лиц за преступления и беззакония в этой стране."

Хотя оба вопроса , по всей видимости измерить то же самое, что они получают разные результаты в режиме реального обследования эксперимента (Schuman and Presser 1996) . Когда его спросили , в одну сторону, около 60% респондентов сообщили , что люди были больше виноваты в преступлении, но когда спросил другую сторону около 60% сообщили о том , что социальные условия были более виноваты (Рисунок 3.2). Другими словами, небольшая разница между этими двумя вопросами может привести исследователей к другому выводу.

Рисунок 3.2: Результаты обследования , проведенного эксперимента (Schuman and Presser 1996, Table 8.1) . Исследователи могут получить разные ответы в зависимости от того, как именно они задают вопрос. Это пример формы вопроса эффекта (Kalton and Schuman 1982) .

В дополнение к структуре вопроса, респонденты также могут давать разные ответы, основанные на конкретных слов, используемых. Например, для того, чтобы измерить мнения о правительственных приоритетов, респонденты были прочитать следующую строку:

"Мы столкнулись со многими проблемами в этой стране, ни один из которых может быть решена легко и недорого. Я собираюсь назвать некоторые из этих проблем, и для каждого из них я хотел бы, чтобы вы сказали мне, считаете ли вы, что мы тратить слишком много денег на него, слишком мало денег, или о правильном количестве ".

". Помощи для бедных" Далее, половина респондентов спрашивали о "благополучии" и половина были заданы вопросы о Хотя это может показаться, что две разные фразы для одного и того же, они вызвали очень разные результаты (Рисунок 3.3); Американцы сообщают о том , гораздо более благоприятной «помощи бедным слоям населения" , чем "благополучие" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . В то время как исследователи считают эти исследования формулировку эффектов быть аномалии, они могли бы также рассмотреть вопрос о их результатах исследований. То есть, мы узнали что-то об общественном мнении из этого результата.

Рисунок 3.3: Результаты Huber and Paris (2013) . Респонденты гораздо больше поддерживают «помощи бедным слоям населения", чем "благополучие". Это пример формулировка вопроса эффект, при котором ответы, которые получают исследователи зависят от того, какие слова они используют в своих вопросах.

Как показывают эти примеры вопрос относительно формы эффектов и формулировки эффектов показывают, что ответы, которые получают исследователи могут влиять на тонкие способы, основанные на том, как они задают интересующие их вопросы. Это не означает, что обследования не должны использоваться; часто нет выбора. Скорее всего, эти примеры показывают, что мы должны тщательно строить наши вопросы, и мы не должны принимать ответы некритично.

Наиболее конкретно, это означает, что если вы анализируете данные обследования, собранные кем-то другим, убедитесь, что вы прочитали фактический вопросник. И, если вы создаете свой собственный вопросник, у меня есть три предложения. Во- первых, я предлагаю вам прочитать больше о разработке вопросника (например, Bradburn, Sudman, and Wansink (2004) ); есть больше, чем я был в состоянии описать здесь. Во-вторых, я предлагаю вам скопировать слово в слово-вопросы из обследований высокого качества. Хотя это звучит как плагиат, копирование вопросов рекомендуется в исследовании обследования (до тех пор, как вы привести первоначальный обзор). При копировании на вопросы обследований высокого качества, вы можете быть уверены, что они были проверены, и вы можете сравнить ответы на ваш опрос на ответах, полученных от какого-либо другого обследования. Наконец, я предлагаю вам предварительно проверить свои вопросы с некоторыми людьми из вашего кадра населения (Presser et al. 2004) и (Presser et al. 2004) ; мой опыт показывает, что предварительное тестирование всегда выявляет неожиданные проблемы.