3.3.2 измерване

Измерването е за определяне на това, което вашите респонденти мислят и правят от това, което казват.

В допълнение към проблемите на представителството, общата рамка за грешки в изследването показва, че вторият основен източник на грешки е измерването : как правим изводи от отговорите, които респондентите дават на нашите въпроси. Оказва се, че отговорите, които получаваме, и следователно изводите, които правим, могат да зависят критично - и понякога изненадващи начини - точно как го питаме. Може би нищо не илюстрира този важен момент по-добре от шега в прекрасната книга Asking Questions от Норман Брадбърн, Сеймур Судман и Брайън Уансинк (2004) :

Двама свещеници, доминиканец и йезуит, които обсъждаме дали това е грях да се пуши и да се моли в същото време. След като се проваля да стигне до заключение, всеки отива да се консултира съответния си ръководител. Доминиканската казва: "Това, което направихме си превъзходно речем?"

Йезуитът отговаря: "Той каза, че е добре."

"Това е смешно" Доминиканската отговаря: "Моят ръководител заяви, че е грях."

Йезуитът каза: "Какво искат от Него!" Доминиканската отговаря: "Аз го попитах дали е добре да се пуши по време на молитвата." "О", каза йезуитът, "Аз попитах дали това е ОК, за да се молят, докато се пуши."

Отвъд тази конкретна шега, изследователите са документирали много систематични начини, според които това, което научавате, зависи от това как питате. Всъщност, самият въпрос в основата на тази шега има име в изследователската общност на изследването: ефекти на формата на въпроса (Kalton and Schuman 1982) . За да видите как ефектите от формата на въпросите могат да повлияят на реални проучвания, разгледайте тези два много подобни проучвателни въпроса:

• "Колко сте съгласни със следното изявление: лицата са по-виновни от социалните условия за престъпност и беззаконие в тази страна."
• "Колко сте съгласни със следното твърдение: социални условия са по-виновни от частни лица за престъпността и беззаконието в тази страна."

Макар че и двата въпроса изглеждат да измерват едно и също нещо, те дават различни резултати в реален експеримент на изследването (Schuman and Presser 1996) . Попитани по един начин, около 60% от респондентите съобщават, че хората са по-виновни за престъпността, но когато са попитани обратното, около 60% съобщават, че социалните условия са по-виновни (фигура 3.3). С други думи, малката разлика между тези два въпроса може да доведе до различно заключение на изследователите.

Фигура 3.3: Резултати от експеримент на изследване, показващ, че изследователите могат да получат различни отговори, в зависимост от това как точно са задали въпроса. Мнозинството от респондентите се съгласиха, че хората са виновни повече от социалните условия за престъпност и беззаконие. И мнозинството от анкетираните се съгласиха с обратното: социалните условия са по-отговорни от лицата. Адаптирано от Schuman and Presser (1996) , таблица 8.1.

В допълнение към структурата на въпроса респондентите могат да дават различни отговори, в зависимост от използваните конкретни думи. Например, за да се измери мнението за правителствените приоритети, респондентите бяха прочетени по следния начин:

"Ние сме изправени пред много проблеми в тази страна, никой от които не могат да бъдат решени лесно или евтино. Отивам да назове някои от тези проблеми, както и за всеки един Бих искал да ми кажете дали мислите, ние да харчите твърде много пари за него, твърде малко пари, или за точното количество. "

След това половината от респондентите са били запитани за "благосъстоянието" и половината са били попитани за "помощ за бедните". Макар че те изглеждат като две различни фрази за едно и също нещо, те предизвикват много различни резултати (фигура 3.4); Американците заявяват, че подкрепят много повече "помощта за бедните", отколкото "благоденствието" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Фигура 3.4: Резултатите от експерименти с проучвания, които показват, че анкетираните подкрепят много повече "помощта за бедните", отколкото "благосъстоянието". Това е пример за формулиране на въпрос, при който отговорите, които получават изследователите, зависят точно от думите, които използват техните въпроси. Адаптиран от Huber and Paris (2013) , таблица А1.

Тъй като примерите за ефектите от формулировката на въпросите и ефектите от формулирането показват, отговорите, които изследователите получават, могат да бъдат повлияни от начина, по който те задават своите въпроси. Тези примери понякога карат изследователите да се чудят за "правилния" начин да зададат своите въпроси за проучването. Докато мисля, че има ясни грешни начини за задаване на въпрос, не мисля, че винаги има един единствен правилен начин. Това означава, че очевидно не е по-добре да попитаме за "благосъстояние" или "помощ за бедните"; това са два различни въпроса, които измерват две различни неща за нагласите на респондентите. Тези примери понякога карат изследователите да заключат, че проучванията не трябва да се използват. За съжаление, понякога няма избор. Вместо това мисля, че правилният урок, който трябва да извлечем от тези примери, е, че трябва да изградим внимателно нашите въпроси и не бива да приемаме безкритични отговори.

Най-конкретно, това означава, че ако анализирате данни от проучвания, събрани от някой друг, уверете се, че сте прочели реалния въпросник. И ако създавате собствен въпросник, имам четири предложения. Първо, предлагам да прочетете повече за дизайна на въпросника (напр. Bradburn, Sudman, and Wansink (2004) ); има повече за това, отколкото мога да опиша тук. Второ, предлагам да копирате думата за въпроси от висококачествени проучвания. Например, ако искате да попитате респондентите за тяхната раса / етническа принадлежност, можете да копирате въпросите, които се използват при мащабни правителствени проучвания, като преброяването. Въпреки, че това може да звучи като плагиатство, копирането на въпроси се насърчава в изследванията на проучванията (стига да цитирате оригиналното изследване). Ако копирате въпроси от висококачествени проучвания, можете да сте сигурни, че те са тествани и можете да сравните отговорите на вашето проучване с отговори от някои други проучвания. Трето, ако смятате, че въпросникът ви може да съдържа важни ефекти от формулирането на въпроси или ефекти от формата на въпрос, можете да проведете експеримент, при който половината от респондентите получават една версия на въпроса и половината получават друга версия (Krosnick 2011) . И накрая, предлагам да пилотирате вашите въпроси с някои хора от вашата кампания; изследователите на изследването наричат ​​този процес предварително тестване (Presser et al. 2004) . Моят опит е, че предварителното тестване на изследването е изключително полезно.