3.3.2 Вимірювання
Вимірювання полягає у визначенні того, що думають ваші респонденти та які вони роблять.
На додаток до проблем представництва, загальна похибка опитування показує, що другим основним джерелом помилок є вимірювання : як ми робимо висновки з відповідей, які респонденти дають на наше питання. Виявляється, що відповіді, які ми отримуємо, і, отже, висновки, які ми робимо, можуть критично залежати, а іноді і дивними способами - точно, як ми запитуємо. Мабуть, ніщо не відображає цей важливий момент краще, ніж жарт у чудовій книзі "Запитані запитання " Нормана Бредберна, Сеймура Судмана та Брайана Венсінка (2004) :
Два священика, домініканський та єзуїтський, обговорюють, чи є це гріхом курити і молитися в той же час. Після невдалої спроби прийти до висновку, кожен йде проконсультуватися його вищого. Домініканський каже: «Що ж ваш начальник сказав?"
Єзуїт відповідає: "Він сказав, що це було в порядку."
"Це смішно" Домініканську відповідає: "Мій керівник сказав, що це гріх."
Єзуїт сказав: "Що ви запитали?" Домініканський відповідає: "Я запитав його, якщо це було в порядку курити під час молитви." "О", сказав єзуїт, "Я запитав, якщо це було в порядку, щоб молитися під час куріння."
Окрім цього специфічного жарту дослідники досліджень задокументували багато систематичних способів того, що те, що ви навчитеся, залежить від того, як ви запитуєте. Справді, саме питання в корені цього жарту має назву в опитуванні дослідницької спільноти: ефекти форми запитань (Kalton and Schuman 1982) . Щоб подивитися, як ефекти форми запита можуть вплинути на реальні обстеження, розглянемо ці два дуже схожі запитання:
- "Наскільки ви згодні з таким твердженням: Особи , більш винні , ніж соціальні умови для вчинення злочинів і беззаконня в цій країні."
- "Наскільки ви згодні з твердженням , соціальні умови є більш винні , ніж фізичних осіб за злочини і беззаконня в цій країні."
Хоча обидві питання, як видно, вимірюють одне і те ж, вони давали різні результати в реальному дослідницькому експерименті (Schuman and Presser 1996) . Коли його запитали , в одну сторону, близько 60% респондентів повідомили , що люди були більше винні в злочині, але коли його запитали , в іншу сторону, близько 60% повідомили про те , що соціальні умови були більш винні (рисунок 3.3). Іншими словами, невелика різниця між цими двома питаннями може привести дослідників до іншого висновку.
Малюнок 3.3. Результати експерименту, що показує, що дослідники можуть отримати різні відповіді залежно від того, як вони задавали це питання. Більшість респондентів погодилися з тим, що більше людей винні, ніж соціальні умови для злочинів та беззаконня. І більшість респондентів погодилися з зворотним: соціальні умови є більш відповідальними, ніж приватні особи. Адаптовано з Schuman and Presser (1996) , таблиця 8.1.
Окрім структури питання, респонденти також можуть давати різні відповіді залежно від конкретних слів, які використовуються. Наприклад, для того, щоб виміряти думку про пріоритети уряду, респонденти прочитали наступне:
"Ми зіткнулися з багатьма проблемами в цій країні, жоден з яких може бути вирішена легко і недорого. Я збираюся назвати деякі з цих проблем, і для кожного з них я хотів би, щоб ви сказали мені, чи вважаєте ви, що ми витрачати надто багато грошей на нього, надто мало грошей, або про правильний кількості ".
Далі половину респондентів запитували про "добробут", а половину запитували про "допомогу бідним". Хоча це може здатися двома різними фразами для однієї і тієї ж речі, вони отримали дуже різні результати (малюнок 3.4); Американці повідомляють, що вони набагато більше підтримують "допомогу бідним", ніж "добробут" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .
Малюнок 3.4: Результати дослідницьких експериментів, які показують, що респонденти значно більше підтримують "допомогу бідним", ніж "добробут". Це приклад формулювання питання, за яким відповіді дослідників отримують залежно від того, які слова вони використовують їхні питання. Адаптовано з Huber and Paris (2013) , таблиця A1.
Оскільки ці приклади ефектів формулювання запитань та ефектів формулювання показують, відповіді, які отримують дослідники, можуть впливати на те, як вони задають свої питання. Ці приклади іноді призводять дослідників до питання про "правильний" спосіб запитати свої питання опитування. Хоча я думаю, що є кілька явно неправильних способів задавати питання, я не думаю, що завжди є єдиний правильний шлях. Тобто очевидно, що краще не питати про "добробут" або "допомогу для бідних"; це два різні питання, які вимірюють дві різні речі щодо ставлення респондентів. Ці приклади іноді призводять дослідників до висновку, що обстеження не слід використовувати. На жаль, іноді вибору немає. Натомість я вважаю правильним урок, який можна зробити з цих прикладів, - ми повинні ретельно продумати свої питання, і ми не повинні приймати відповіді критично.
Більш конкретно, це означає, що якщо ви аналізуєте дані опитування, зібрані кимось іншим, переконайтеся, що ви прочитали фактичну анкету. І якщо ви створюєте власну анкету, у мене є чотири пропозиції. По-перше, я пропоную вам більше дізнатись про дизайн анкети (наприклад, Bradburn, Sudman, and Wansink (2004) ); тут більше, ніж я міг описати тут. По-друге, я пропоную вам скопіювати слово на запитання з високоякісних опитувань. Наприклад, якщо ви хочете попросити респондентів про свою расу / етнічну приналежність, ви можете скопіювати питання, які використовуються у масштабних державних опитуваннях, таких як перепис. Хоча це може звучати як плагіат, у дослідницьких дослідженнях рекомендується копіювати запитання (доки ви наводите оригінальне опитування). Якщо ви копіюєте запитання з високоякісних опитувань, ви можете бути впевнені, що вони були перевірені, і ви можете порівняти відповіді з опитуваннями на відповідь деяких інших опитувань. По-третє, якщо ви вважаєте, що ваша анкета може містити важливі ефекти формулювання запитань або ефекти форми запитань, можна провести експеримент із опитування, в якому половина респондентів одержують одну версію питання, а половина отримує іншу версію (Krosnick 2011) . Нарешті, я пропоную вам пілот-тестування ваших питань з деякими людьми з вашої структури населення; Дослідження дослідників називають цей процес попереднім тестуванням (Presser et al. 2004) . Мій досвід полягає в тому, що попереднє тестування опитування надзвичайно корисно.
