3.3.2 Вимірювання

Вимірювання про те , щоб висновки з того, що ваші респонденти говорять , що ваші респонденти думають і роблять.

Друга категорія загальної структури помилок обстеження є вимір; вона має справу з тим, як ми можемо зробити висновки з відповідей, які респонденти дають на наші запитання. Виявляється, що відповіді, які ми отримуємо, і, отже, висновки, які ми робимо, може залежати критично і в іноді дивовижні способи, як саме ми запитуємо. Мабуть , ніщо не ілюструє це важливий момент краще , ніж жарт в чудовій книзі Ставити запитання Норман Bradburn, Seymour Sudman, і Брайан Wansink (2004) :

Два священика, домініканський та єзуїтський, обговорюють, чи є це гріхом курити і молитися в той же час. Після невдалої спроби прийти до висновку, кожен йде проконсультуватися його вищого. Домініканський каже: «Що ж ваш начальник сказав?"

Єзуїт відповідає: "Він сказав, що це було в порядку."

"Це смішно" Домініканську відповідає: "Мій керівник сказав, що це гріх."

Єзуїт сказав: "Що ви запитали?" Домініканський відповідає: "Я запитав його, якщо це було в порядку курити під час молитви." "О", сказав єзуїт, "Я запитав, якщо це було в порядку, щоб молитися під час куріння."

Є багато прикладів аномалій, як один, яку випробовують двома священиками. Насправді, сама проблема в корені цьому жарті є ім'я в опитуванні дослідницького співтовариства: форми ефектів питання (Kalton and Schuman 1982) . Щоб побачити, як форма питання ефекти можуть вплинути на реальні опитування, вважають ці дві дуже схожі питання виглядає обстеження:

• "Наскільки ви згодні з таким твердженням: Особи , більш винні , ніж соціальні умови для вчинення злочинів і беззаконня в цій країні."
• "Наскільки ви згодні з твердженням , соціальні умови є більш винні , ніж фізичних осіб за злочини і беззаконня в цій країні."

Хоча обидва питання , по всій видимості виміряти те ж саме, що вони отримують різні результати в режимі реального обстеження експерименту (Schuman and Presser 1996) . Коли його запитали , в одну сторону, близько 60% респондентів повідомили , що люди були більше винні в злочині, але коли запитав інший бік близько 60% повідомили про те , що соціальні умови були більш винні (Малюнок 3.2). Іншими словами, невелика різниця між цими двома питаннями може привести дослідників до іншого висновку.

Малюнок 3.2: Результати обстеження , проведеного експерименту (Schuman and Presser 1996, Table 8.1) . Дослідники можуть отримати різні відповіді в залежності від того, як саме вони задають питання. Це приклад форми питання ефекту (Kalton and Schuman 1982) .

На додаток до структури питання, респонденти також можуть давати різні відповіді, засновані на конкретних слів, використовуваних. Наприклад, для того, щоб виміряти думки про урядових пріоритетів, респонденти були прочитати наступний рядок:

"Ми зіткнулися з багатьма проблемами в цій країні, жоден з яких може бути вирішена легко і недорого. Я збираюся назвати деякі з цих проблем, і для кожного з них я хотів би, щоб ви сказали мені, чи вважаєте ви, що ми витрачати надто багато грошей на нього, надто мало грошей, або про правильний кількості ".

". Допомоги для бідних" Далі, половина респондентів запитували про "добробут" і половина були задані питання про Хоча це може здатися, що дві різні фрази для одного і того ж, вони викликали дуже різні результати (Малюнок 3.3); Американці повідомляють про те , набагато сприятливішою «допомоги бідним верствам населення" , ніж "благополуччя" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . У той час як дослідники вважають ці дослідження формулювання ефектів бути аномалії, вони могли б також розглянути питання про їх результати досліджень. Тобто, ми дізналися щось про громадську думку з цього результату.

Малюнок 3.3: Результати Huber and Paris (2013) . Респонденти набагато більше підтримують «допомоги бідним верствам населення", ніж "благополуччя". Це приклад формулювання питання ефект, при якому відповіді, які отримують дослідники залежать від того, які слова вони використовують в своїх питаннях.

Як показують ці приклади питання щодо форми ефектів і формулювання ефектів показують, що відповіді, які отримують дослідники можуть впливати на тонкі способи, засновані на тому, як вони задають свої запитання. Це не означає, що обстеження не повинні використовуватися; часто немає вибору. Швидше за все, ці приклади показують, що ми повинні ретельно будувати наші питання, і ми не повинні приймати відповіді некритично.

Найбільш конкретно, це означає, що якщо ви аналізуєте дані обстеження, зібрані кимось іншим, переконайтеся, що ви прочитали фактичний запитальник. І, якщо ви створюєте свій власний запитальник, у мене є три пропозиції. По- перше, я пропоную вам прочитати більше про розробку запитальника (наприклад, Bradburn, Sudman, and Wansink (2004) ); є більше, ніж я був в стані описати тут. По-друге, я пропоную вам скопіювати слово в слово-питання з обстежень високої якості. Хоча це звучить як плагіат, копіювання питань рекомендується в дослідженні обстеження (до тих пір, як ви привести початковий огляд). При копіюванні на питання обстежень високої якості, ви можете бути впевнені, що вони були перевірені, і ви можете порівняти відповіді на ваш опитування на відповідях, отриманих від якого-небудь іншого обстеження. Нарешті, я пропоную вам попередньо перевірити свої питання з деякими людьми з вашого кадру населення (Presser et al. 2004) і (Presser et al. 2004) ; мій досвід показує, що попереднє тестування завжди виявляє несподівані проблеми.