3.3.2 Мерење

Мерењето е за заклучување на она што вашите испитаници мислат и прават од она што го велат.

Покрај проблемите со застапеноста, рамката за грешка на вкупниот преглед покажува дека вториот главен извор на грешки е мерење : како да правиме заклучоци од одговорите што испитаниците ги даваат на нашите прашања. Излегува дека одговорите што ги добиваме, а со тоа и заклучоците што ги донесуваме, може да зависат критично и понекогаш на изненадувачки начини - токму онака како што бараме. Можеби ништо не ја илустрира оваа важна точка подобро од шега во прекрасната книга Поставувајќи прашања од Норман Бредбурн, Сејмур Судман и Брајан Венсинк (2004) :

Двајца свештеници, Доминиканка и лицемер, се разговара дали е грев да пушат и да се моли во исто време. Откако не успеа да дојде до заклучок, секој оди надвор да се консултираат соодветните својот претпоставен. Доминиканската вели: "Што ви се чувствувате кажеш?"

Лицемер одговори: "Тој рече дека тоа е во ред."

"Тоа е смешно" Доминиканската одговара: "Мојот претпоставен рече дека тоа е грев."

Лицемер рече: "Што си го прашам?" Доминиканската одговара: "Го прашав дали тоа е во ред да пушат додека се моли." "О", рече лицемер ", го прашав дали тоа е во ред да се молат, а пушењето".

Надвор од оваа специфична шега, истражувачите од истражувањето документираа многу систематски начини дека она што го учат зависи од тоа како прашувате. Всушност, самото прашање во коренот на оваа шега има име во истражувањето на истражувачката заедница: ефекти на прашалник (Kalton and Schuman 1982) . За да видите како ефектите од прашалниците може да влијаат на вистинските истражувања, размислете за овие две многу слични изгледни прашања:

• "Колку се согласувате со следната изјава: Поединците се повеќе виновен од социјални услови за криминал и беззаконие во оваа земја."
• "Колку се согласувате со следната изјава: општествени услови се повеќе виновен од физички лица за сторено кривично дело и беззаконие во оваа земја."

Иако двете прашања се чини дека го измерат истото, тие произведуваат различни резултати во вистински анкетен експеримент (Schuman and Presser 1996) . На прашањето на еден начин, околу 60% од испитаниците изјавиле дека поединци се повеќе виновни за криминал, но кога биле прашани на друг начин, околу 60% пријавиле дека повеќе се виновни социјалните услови (слика 3.3). Со други зборови, малата разлика помеѓу овие две прашања може да доведе до поинаков заклучок на истражувачите.

Слика 3.3: Резултати од истражувачки експеримент покажува дека истражувачите можат да добијат различни одговори во зависност од тоа како точно го поставувале прашањето. Мнозинството од испитаниците се согласија дека поединците се повеќе виновни од социјалните услови за криминал и беззаконие. И мнозинството од испитаниците се согласија со спротивното: дека социјалните услови се поодговорни од поединците. Прилагодени од Schuman and Presser (1996) , табела 8.1.

Покрај структурата на прашањето, испитаниците исто така можат да дадат различни одговори, во зависност од специфичните зборови што се користат. На пример, за да се измерат мислењата за владините приоритети, испитаниците беа прочитани следното упатство:

"Ние се соочуваме со многу проблеми во оваа земја, ниту еден од нив може да се реши лесно и ефтино. Одам да се името, некои од овие проблеми, и за секој еден би сакал да ми каже дали мислите дека ние сме трошење премногу пари за тоа, многу малку пари, или за правото сума. "

Потоа, половина од испитаниците беа запрашани за "благосостојба", а половина беа запрашани за "помош за сиромашните". Додека овие може да изгледаат како две различни фрази за истото, тие предизвикаа многу различни резултати (слика 3.4); Американците известуваат дека се многу поподдржливи на "помош на сиромашните" отколку на "благосостојбата" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Слика 3.4: Резултати од истражувачки експерименти кои покажуваат дека испитаниците многу повеќе ја поддржуваат "помошта за сиромашните" отколку "благосостојбата". Ова е пример за ефект на формулирање прашања со кој одговорите што ги добиваат истражувачите зависат точно од кои зборови ги користат нивните прашања. Адаптиран од Huber and Paris (2013) , табела А1.

Како што покажуваат овие примери за ефектите од формата на прашањата и ефектите на текстот, одговорите што ги добиваат истражувачите може да бидат под влијание на тоа како тие поставуваат прашања. Овие примери понекогаш ги наведуваат истражувачите да се прашуваат за "точниот" начин да ги постават прашањата за анкетата. Додека мислам дека постојат некои јасно погрешни начини да се постави прашање, јас не мислам дека секогаш постои еден единствен правилен начин. Тоа е, не е очигледно подобро да се праша за "благосостојба" или "помош за сиромашните"; ова се две различни прашања кои мерат две различни работи во врска со ставовите на испитаниците. Овие примери, исто така, понекогаш ги наведуваат истражувачите да заклучат дека анкетите не треба да се користат. За жал, понекогаш нема избор. Наместо тоа, мислам дека вистинската лекција што треба да се извлече од овие примери е дека треба внимателно да ги конструираме нашите прашања и не треба да прифаќаме некритички одговори.

Поконкретно, тоа значи дека ако ги анализирате податоците од анкетата собрани од некој друг, осигурајте се дека сте го прочитале вистинскиот прашалник. И ако создавате свој прашалник, имам четири предлози. Прво, предлагам да прочитате повеќе за дизајнот на прашалникот (на пример, Bradburn, Sudman, and Wansink (2004) ); има повеќе на ова отколку што сум бил во можност да се опише тука. Второ, предлагам да копирате збор за збор-прашања од висококвалитетни анкети. На пример, ако сакате да ги прашате испитаниците за нивната раса / етничка припадност, можете да ги копирате прашањата што се користат во големите анкети на владата, како што е пописот. Иако ова може да звучи како плагијат, прашањата за копирање се охрабруваат во анкетата за истражување (се додека го цитирате оригиналното истражување). Ако ги копирате прашањата од висококвалитетни анкети, можете да бидете сигурни дека тие биле тестирани, и можете да ги споредувате одговорите на вашата анкета со одговорите од некои други истражувања. Трето, ако мислите дека вашиот прашалник може да содржи важни прашања за формулирањето на прашањата или ефектите од прашалникот, можете да го извршите анкетата за истражување, каде што половина од испитаниците добиваат една верзија на прашањето, а половина добиваат друга верзија (Krosnick 2011) . Конечно, предлагам да пилот-тестирате ги вашите прашања со некои луѓе од вашата рамка; истражувачите го нарекуваат овој процес пред-тестирање (Presser et al. 2004) . Моето искуство е дека истражувањето пред-тестирање е исклучително корисно.