3.3.2 Mjerenje

Mjerenje je zaključivanje onoga što vaši ispitanici misle i rade od onoga što kažu.

Pored problema prikazivanja, ukupni okvir pogreške ankete pokazuje da je drugi glavni izvor pogrešaka mjerenje : kako donosimo zaključke iz odgovora koje ispitanici daju naša pitanja. Ispada da odgovori koje primamo, a time i zaključci koje činimo, mogu kritički ovisiti - i ponekad iznenađujuće - upravo onako kako to pitamo. Možda ništa ne ilustrira ovu važnu točku bolje nego šala u prekrasnoj knjizi Pitanja Pitanja Normana Bradburn, Seymour Sudman i Brian Wansink (2004) :

Dva svećenika, dominikanac i isusovac, raspravljaju da li je to grijeh pušiti i moliti u isto vrijeme. Nakon što nije uspio doći do zaključka, svaki odlazi konzultirati njegov odgovarajući nadređeni. Dominikanski kaže: "Što je vaš vrhunsku rekao?"

Isusovačka odgovara: "On je rekao da je u redu."

"To je smiješno" dominikanski odgovara: "Moj nadređeni rekao da je to grijeh."

Isusovačka je rekao: "Što ste ga pitali?" Dominikanski odgovara: "Pitao sam ga je li to bilo u redu pušiti dok je molio." "Oh", rekao je isusovac, "Pitao sam se je li u redu da se moli dok pušenje."

Osim ove specifične šale, istraživači su dokumentirali mnoge sustavne načine da ono što naučite ovisi o tome kako pitate. Zapravo, sam problem u korijenu ove šale ima ime u istraživačkoj zajednici istraživanja: efekti pitanja (Kalton and Schuman 1982) . Da biste vidjeli kako efekti obrasca pitanja utječu na realne ankete, razmotrite ova dva vrlo slična pitanja ankete:

• "Koliko se slažete sa sljedećom tvrdnjom: Pojedinci su više krivi od socijalnih uvjeta za kriminal i bezakonja u ovoj zemlji."
• "Koliko se slažete sa sljedećom tvrdnjom: Socijalni uvjeti su više krivi od pojedinaca za kriminal i bezakonja u ovoj zemlji."

Iako se čini da su oba pitanja mjerila ista stvar, u stvarnom istraživanju (Schuman and Presser 1996) dali su različite rezultate. Kada ih je pitao na jedan način, oko 60% ispitanika navelo je da pojedinci više krive za zločin, no kada ih se pita drugačije, oko 60% prijavilo je da više krive društvene uvjete (slika 3.3). Drugim riječima, mala razlika između ta dva pitanja mogla bi voditi istraživače na drugačiji zaključak.

Slika 3.3: Rezultati eksperimenta koji pokazuju da istraživači mogu dobiti različite odgovore, ovisno o načinu na koji su postavili pitanje. Većina ispitanika složila se da pojedinci više krive nego socijalni uvjeti za kriminal i bezakonje. I većina ispitanika složila se s suprotno: da su socijalni uvjeti odgovorniji od pojedinaca. Prilagođen od Schuman and Presser (1996) , tablica 8.1.

Pored strukture pitanja, ispitanici mogu dati različite odgovore, ovisno o konkretnim riječima. Na primjer, kako bi se mogle izmjeriti mišljenja o vladinim prioritetima, ispitanici su pročitali sljedeći upit:

"Mi smo suočeni s brojnim problemima u ovoj zemlji, od kojih nitko ne može riješiti lako i jeftino. Idem da spomenemo neke od tih problema, a za svaku od njih volio bih da mi kažete da li mislite da trošimo previše novca na to, premalo novca, ili u dovoljnoj mjeri. "

S druge strane, polovica ispitanika upitana je o "dobrobiti", a polovica je upitana o "pomoći siromašnima". Iako se to mogu činiti kao dvije različite fraze za istu stvar, izazivale su vrlo različite rezultate (slika 3.4); Amerikanci navode kako su mnogo više podupirali "pomoć siromašnima" nego "dobrobit" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Slika 3.4: Rezultati iz pokusnih istraživanja pokazuju da ispitanici mnogo više podupiru "pomoć siromašnima" nego "dobrobit". Ovo je primjer efekta pitanja u tekstu, pri čemu odgovori koje dobivaju istraživači ovise o tome točno koje riječi koriste u njihova pitanja. Prilagođeno iz Huber and Paris (2013) , tablici A1.

Kao što navedeni primjeri o efektima upitnog oblika i efektima tekstova pokazuju da odgovori na koje dobivaju istraživači mogu utjecati na način na koji postavljaju svoja pitanja. Ti primjeri ponekad vode istraživačima da se pitaju za "točan" način postavljanja pitanja ankete. Iako mislim da postoje neki jasno pogrešni načini za postavljanje pitanja, mislim da ne postoji uvijek jedan ispravan način. To jest, nije očito bolje pitati o "blagostanju" ili "pomoći siromašnima"; to su dva različita pitanja koja mjere dvije različite stvari o stavovima ispitanika. Ti primjeri ponekad vode istraživače zaključiti da se ankete ne bi trebale koristiti. Nažalost, ponekad nema izbora. Umjesto toga, mislim da je prava lekcija izvučena iz ovih primjera da moramo pažljivo izraditi naša pitanja i ne bismo trebali prihvatiti odgovore nekritično.

Konkretnije, to znači da ako analizirate podatke ankete koje je prikupio netko drugi, provjerite jeste li pročitali stvarni upitnik. A ako izrađujete vlastiti upitnik, imam četiri prijedloga. Prvo, predlažem vam da pročitate više o dizajnu upitnika (npr. Bradburn, Sudman, and Wansink (2004) ); ovdje je više nego što sam ovdje mogao opisati. Drugo, predlažem vam da kopirate riječ za pitanja iz upitnika visoke kvalitete. Na primjer, ako želite postaviti ispitanike o svojoj rasnoj / etničkoj pripadnosti, mogli biste kopirati pitanja koja se koriste u velikim istraživanjima vlade, kao što je popis. Iako ovo može zvučati poput plagiranja, pitanja kopiranja potiču se u istraživanjima (sve dok citirate izvornu anketu). Ako kopirate pitanja iz visokokvalitetnih anketa, možete biti sigurni da su testirani, a odgovore na anketu možete usporediti s odgovorima iz nekih drugih anketa. Treće, ako mislite da vaš upitnik može sadržavati važne efekte formulacije pitanja ili efekte upitnog oblika, možete pokrenuti eksperiment anketiranja u kojem polovica ispitanika prima jednu verziju pitanja i polovicu primanja druge verzije (Krosnick 2011) . Konačno, predlažem vam da testirate svoje pitanje s nekim ljudima iz okvira vašeg okvira; istraživači ovo istraživanje nazivaju procesom prije testiranja (Presser et al. 2004) . Moje iskustvo je da je predtestiranje istraživanja vrlo korisna.