3.3.2 Мерење

Мерење се односи на закључивање онога што ваши испитаници мисле и раде од онога што кажу.

Поред проблема представљања, оквир укупне грешке у истраживању показује да је други главни извор грешака мерење : како изводимо закључке из одговора које испитаници дају на наша питања. Испоставља се да одговори које добијамо, а самим тим и закључци које доносимо, могу зависити критички - а понекад и изненађујуће - на тачно како тражимо. Можда ништа не показује ову важну тачку боље од шале у књизи Питања за Питање Нормана Брадбурна, Сеимур Судмана и Бриан Вансинк (2004) :

Два свештеника, доминикански и језуита, разматрају да ли је грех да пуше и да се моли у исто време. Након неуспеха да се постигне закључак, сваки одлази да се консултује Својим претпостављеног. Доминиканска каже, "Шта је ваш претпостављени реч?"

Језуита одговара: "Он је рекао да је у реду."

"То је смешно" Доминиканска одговара: "Мој надзорник је рекао да је то грех."

Језуита је рекао, "Шта сте га питали?" Доминиканска одговара: "Питао сам га да ли је у реду да пушим док се моли." "О", рекао је језуита, "упитао сам да ли је у реду да се моле док пушења."

Поред ове специфичне шале, истраживачи истраживања су документовали много системских начина да оно што научите зависи од тога како вас питате. У ствари, само питање у корену ове шале има име у истраживачкој заједници: ефекти формулара (Kalton and Schuman 1982) . Да бисте видели како ефекти у облику питања могу утицати на праве анкете, узмите у обзир ова два веома слична питања истраживања:

• "Колико сте сагласни са следећом изјавом: Појединци су криви него социјалних услова за криминал и безакоње у овој земљи."
• "Колико се слажете са следећом изјавом: Социјални услови су криви него појединцима за криминал и безакоње у овој земљи."

Иако су оба питања мјерила исту ствар, направили су различите резултате у правом експерименту истраживања (Schuman and Presser 1996) . Када су упитани у једном смеру, око 60% испитаника је навело да су појединци више криви за злочин, али када је питан на други начин, око 60% је пријавило да су криви социјални увјети (слика 3.3). Другим речима, мала разлика између ова два питања могла би довести истраживаче на другачији закључак.

Слика 3.3: Резултати истраживачког експеримента показују да истраживачи могу добити различите одговоре у зависности од тачно како су поставили питање. Већина испитаника сложила се да су појединци више криви од социјалних услова за криминал и безакоње. А већина испитаника се сложила с супротно: да су социјални услови одговорнији од појединаца. Прилагођено од Schuman and Presser (1996) , табела 8.1.

Поред структуре питања, испитаници могу такође дати различите одговоре, у зависности од специфичних ријечи које се користе. На пример, ради мерења мишљења о владиним приоритетима, испитаници су прочитани сљедећи упит:

"Суочени смо са многим проблемима у овој земљи, од којих нико не може решити лако и јефтино. Ја ћу навести неке од ових проблема, као и за сваки од њих желео бих да ми кажете да ли да трошимо превише новца на њега, премало новца, или о правој висини. "

Затим, половина испитаника је питана о "добробити", а половина је питана о "помоћи сиромашнима". Иако се то може изгледати као две различите фразе за исту ствар, они су изазвали веома различите резултате (слика 3.4); Американци кажу да много више подржавају "помоћ сиромашнима" него "добробит" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Слика 3.4: Резултати анкете истраживања показују да испитаници много подржавају "помоћ сиромашним" него "добробит". Ово је примјер ефекта усмјеравања питања гдје одговори које истраживачи добијају зависе од тачно које ријечи користе њихова питања. Прилагођено од Huber and Paris (2013) , табела А1.

Пошто ови примери о ефектима формирања питања и ефектима говора показују, на одговоре које истраживачи добијају могу утицати како они постављају своја питања. Ови примери понекад воде истраживаче да се питају о "тачном" начину постављања питања истраживања. Иако мислим да има неких погрешних начина да постављате питање, мислим да увек постоји један једини правилан начин. То јест, очигледно није боље питати за "добробит" или "помоћ сиромашнима"; ово су два различита питања која мјере двије различите ствари о ставовима испитаника. Ови примери понекад воде истраживаче да закључе да истраживања не треба користити. Нажалост, понекад нема избора. Умјесто тога, мислим да је права поука коју треба извући из ових примера да пажљиво конструирамо своја питања и не би требали прихватити одговоре некритички.

Већ конкретно, то значи да ако анализирате податке истраживања које је прикупио неко други, проверите да ли сте прочитали стварни упитник. И ако стварате сопствени упитник, имам четири сугестије. Прво, предлажем да прочитате више о дизајну упитника (нпр. Bradburn, Sudman, and Wansink (2004) ); ту је више него што сам овде могао описати. Друго, предлажем да копирате ријеч за ријеч питања из висококвалитетних анкета. На пример, ако желите да питате испитанике о њиховој расној / етничкој припадности, могли бисте копирати питања која се користе у великим владиним истраживањима, као што је попис. Иако би ово звучало као плагијат, копирање питања се охрабрује у истраживању истраживања (све док цитирате изворни преглед). Ако копирате питања из висококвалитетних истраживања, можете бити сигурни да су тестирани, а можете упоређивати одговоре на вашу анкету са одговорима из неких других анкета. Треће, ако мислите да ваш упитник може садржати ефекте ефеката или питања у облику питања, могли бисте покренути истраживачки експеримент у којем половина испитаника добија једну верзију питања и половину добија другу верзију (Krosnick 2011) . На крају, предлажем да тестирате своја питања са неким људима из ваше популације; истраживачи истраживања називају овај процес пре-тестирања (Presser et al. 2004) . Моје искуство је да је испитивање пре-тестирања изузетно корисно.