3.3.2 Matavimo

Matavimas yra apie tai, ką jūsų respondentai galvoja ir daro iš to, ką jie sako.

Be atstovavimo problemų, bendra apklausų klaidų sistema rodo, kad antrasis pagrindinis klaidų šaltinis yra matavimas : kaip mes darome išvadas iš respondentų atsakymų į mūsų klausimus. Pasirodo, kad atsakymai, kuriuos mes gauname, ir todėl mūsų padarytos išvados gali priklausyti kritiškai ir kartais stebina būdus - tiksliai taip, kaip mes prašome. Galbūt niekas iliustruoja šį svarbų dalyką geriau negu pokštas nuostabioje knygoje Norman Bradburn, Seymour Sudman ir Brian Wansink (2004) klausia klausimų :

Du kunigai, Dominikos ir jėzuitų, diskutuoja, ar tai nuodėmė rūkyti ir melstis tuo pačiu metu. Po nesugeba padaryti išvadą, kiekvienas užgęsta pasikonsultuoti jo atitinkamą pranašesnis. Dominikos sako: "Ką tau padarė savo aukščiausios nuomonę?"

Jėzuitų reaguoja: "Jis sakė, kad tai buvo gerai."

"Tai juokinga" Dominikos atsako: "Mano vadovas sakė, kad tai buvo nuodėmė."

Jėzuitų tarė: "Ką jūs paprašykite jį?" Dominikonų atsako: "Aš paklausiau jo, jei ji buvo gerai rūkyti melsdamas." "O" sakė jėzuitas, "Aš paklausiau, ar jis buvo gerai melstis, o rūkymas."

Be šio konkretaus pokšto, apklausos tyrėjai dokumentavo daug sisteminių būdų, kuriuos mokydamiesi priklauso tai, kaip jūs klausiate. Tiesą sakant, pats šio pokšto šaknies klausimas turi pavadinimą tyrimo bendruomenėje: klausimo formos efektai (Kalton and Schuman 1982) . Norėdami sužinoti, kaip klausimo formos efektai gali turėti įtakos tikroms apklausoms, apsvarstykite šiuos du labai panašius tyrimo klausimus:

• "Kiek jūs sutinkate su šiuo teiginiu: Asmenys yra labiau kaltas nei socialinių sąlygų nusikalstamumo ir nusikaltimo šioje šalyje."
• "Kiek jūs sutinkate su šiuo teiginiu: Socialinės sąlygos yra labiau kaltas nei asmenų nusikalstamumo ir nusikaltimo šioje šalyje."

Nors abu klausimai, matyt, matuoja tą patį, jie pateikė skirtingus rezultatus (Schuman and Presser 1996) tyrimo eksperimentuose (Schuman and Presser 1996) . Kada paprašyta vieno kelio, apie 60% respondentų teigė, kad kaltinimai buvo labiau kaltinami asmenimis , tačiau kai kitu klausimu paprašyta, apie 60% teigė, kad kaltinama daugiau socialinių sąlygų (3.3 pav.). Kitaip tariant, nedidelis šių dviejų klausimų skirtumas gali paskatinti mokslininkus padaryti kitokią išvadą.

3.3 pav. Tyrimo eksperimento rezultatai rodo, kad mokslininkai gali gauti skirtingus atsakymus, priklausomai nuo to, kaip jie užduoti klausimą. Dauguma respondentų sutiko, kad asmenys yra labiau kaltinami nei socialinės sąlygos nusikalstamumui ir neteisėtumui. Dauguma respondentų sutiko priešingai: socialinės sąlygos yra atsakingesnės už asmenis. Pritaikyta Schuman and Presser (1996) , 8.1 lentelė.

Be klausimo struktūros, respondentai taip pat gali pateikti skirtingus atsakymus, priklausomai nuo konkrečių vartojamų žodžių. Pavyzdžiui, norint įvertinti nuomones apie vyriausybės prioritetus respondentai skaito tokį greitį:

"Mes susiduriame su daugeliu problemų šioje šalyje, nė vienas iš jų gali būti išspręsta lengvai arba nebrangiai. Aš ruošiuosi pavadinti kai kurias iš šių problemų, ir kiekvieną iš jų norėčiau jums pasakyti, ar manote, kad mes praleisti daug pinigų ant jo, per mažai pinigų, arba maždaug tiek kiek reikia. "

Tada pusė respondentų buvo pakviestos apie "gerovę", o pusė buvo paprašyta apie "pagalbą neturtingiesiems". Nors tai gali atrodyti kaip dvi skirtingos tos pačios frazės, jie atskleidė labai skirtingus rezultatus (3.4 pav.); Amerikiečiai teigia, kad daug labiau remia "pagalbą neturtingiesiems" nei "gerovę" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

3.4 paveikslėlis. Apklausos eksperimentų rezultatai rodo, kad respondentai labiau remia "pagalbą skurstantiesiems" nei "gerovę". Tai yra klausimų formulavimo poveikio pavyzdys, pagal kurį mokslininkų atsakymai priklauso nuo to, kokie žodžiai jie vartoja jų klausimai. Pritaikyta Huber and Paris (2013) , Lentelė A1.

Kadangi šie pavyzdžiai apie klausimo formos poveikį ir formuluotės poveikį rodo, kad mokslininkų gautus atsakymus gali įtakoti tai, kaip jie užduočia savo klausimus. Šie pavyzdžiai kartais skatina mokslininkus stebėti "teisingą" būdą užduoti jų apklausos klausimus. Nors manau, kad yra keletas aiškiai neteisingų būdų užduoti klausimą, nemanau, kad visada yra vienintelis teisingas kelias. Tai nėra akivaizdžiai geriau paklausti apie "gerovę" ar "pagalbą neturtingiesiems"; Tai yra du skirtingi klausimai, pagal kuriuos vertinami du skirtingi dalykai apie respondentų požiūrį. Šie pavyzdžiai kartais taip pat leidžia mokslininkams nuspręsti, kad apklausos neturėtų būti naudojamos. Deja, kartais nėra kito pasirinkimo. Vietoj to, manau, kad tinkama pamoka iš šių pavyzdžių yra ta, kad turėtume atidžiai išdėstyti savo klausimus ir neturėtume nekritikuoti atsakymų.

Tai ypač akivaizdu, tai reiškia, kad jei analizuojate kito asmens surinktus tyrimo duomenis, įsitikinkite, kad perskaitėte faktinį klausimyną. Ir jei sukursite savo klausimyną, turiu keturis pasiūlymus. Pirma, aš siūlau jums daugiau sužinoti apie klausimyno kūrimą (pvz., Bradburn, Sudman, and Wansink (2004) ); yra daugiau nei aš galėjau čia apibūdinti. Antra, siūlau jums kopijuoti žodžius žodžiu klausimams iš aukštos kokybės apklausų. Pvz., Jei norite paklausti respondentų apie jų rasę / etninę kilmę, galite nukopijuoti klausimus, kurie naudojami didelės apimties vyriausybės apklausose, pvz., Surašyme. Nors tai gali atrodyti kaip plagija, klausimyno kopijavimas yra skatinamas apklausos tyrimuose (kol nurodysite originalų tyrimą). Jei kopijuosite klausimus iš aukštos kokybės apklausų, galite būti tikri, kad jie buvo išbandyti ir jūs galite palyginti atsakymus į savo apklausą su kitų apklausų atsakymais. Trečia, jei manote, kad jūsų klausimynas gali turėti svarbių klausimų formuluotės ar klausimyno formos efektų, galite atlikti apklausos eksperimentą, kai pusė respondentų gauna vieną klausimyno versiją, o pusė gauna kitą versiją (Krosnick 2011) . Pagaliau, aš siūlau bandyti išbandyti savo klausimus su kai kuriais žmonėmis iš jūsų rėmo gyventojų; tyrimo tyrėjai šį procesą iš anksto išbando (Presser et al. 2004) . Mano patirtis yra tai, kad išankstinis testavimas iš tyrimo yra labai naudingas.