3.3.2 Mjerenje

Mjerenje se odnosi na zaključivanje onoga što vaši ispitanici misle i rade od onoga što kažu.

Osim problema predstavljanja, okvir ukupne greške u istraživanju pokazuje da je drugi glavni izvor grešaka merenje : kako izvodimo zaključke iz odgovora koje ispitanici daju na naša pitanja. Ispostavlja se da odgovori koje dobijamo, a samim tim i zaključci koje donosimo, mogu zavisiti kritički - a ponekad i iznenađujuće - na tačno kako tražimo. Možda ništa ne pokazuje ovu važnu tačku bolje od šale u knjizi Pitanja Pitanja Normana Bredburna, Seymur Sudmana i Brian Wansink (2004) :

Dva sveštenika, Dominikanac i jezuita, razmatraju da li je grijeh da puše i da se moli u isto vrijeme. Nakon što nije do zaključka, svaki se ugasi da se konsultuje Svojim nadređeni. Dominikanska kaže: "Šta je tvoj nadređeni rekli?"

Jezuitskog odgovara: "On je rekao da je to u redu."

"To je smiješno" Dominikanskoj odgovara, "Moj pretpostavljeni rekao da je to grijeh."

Jezuitskog je rekao, "Šta ste ga pitali?" Dominikanska odgovara, "Pitao sam ga da li je to bilo u redu da puše dok se moli." "Oh", rekao je jezuita, "Pitao sam da li je to bilo u redu da se moli dok puši."

Pored ove specifične šale, istraživači istraživanja su dokumentovali mnogo sistemskih načina na koje ono što uči zavisi od toga kako vas pitate. Zapravo, sam problem u korenu ove šale ima ime u istraživačkoj zajednici: efekti oblika pitanja (Kalton and Schuman 1982) . Da biste videli kako efekti u obliku pitanja mogu uticati na prave ankete, uzmite u obzir ova dva veoma slićna istraživanja:

• "Koliko se slažete sa sljedećim izjavu: Pojedinci su više krivi od socijalnih uslova za kriminal i bezakonje u ovoj zemlji."
• "Koliko se slažete sa sljedećom izjavom: Socijalni uvjeti su više krivi od pojedinaca za kriminal i bezakonje u ovoj zemlji."

Iako oba pitanja izgledaju da mjere istu stvar, oni su proizveli različite rezultate u pravom eksperimentu istraživanja (Schuman and Presser 1996) . Na jedan način, oko 60% ispitanika je navelo da su pojedinci više krivi za zločin, ali kada je pitan na drugi način, oko 60% je prijavilo da su krivi socijalni uvjeti (slika 3.3). Drugim rečima, mala razlika između ova dva pitanja mogla bi dovesti istraživače na drugačiji zaključak.

Slika 3.3: Rezultati istraživačkog eksperimenta pokazuju da istraživači mogu dobiti različite odgovore u zavisnosti od tačno kako su postavili pitanje. Većina ispitanika složila se da su pojedinci više krivi od socijalnih uslova za kriminal i bezakonje. A većina ispitanika se složila s suprotno: socijalni uslovi su odgovorniji od pojedinaca. Prilagođeno od Schuman and Presser (1996) , tabela 8.1.

Pored strukture pitanja, ispitanici mogu takođe dati različite odgovore, u zavisnosti od specifičnih riječi koje se koriste. Na primer, da bi se izmerili mišljenja o vladinim prioritetima, ispitanici su pročitani sledeći poziv:

"Suočeni smo sa mnogim problemima u ovoj zemlji, od kojih nijedna se može lako i jeftino riješiti. Ja ću navesti neke od tih problema, a za svaki Želim da mi kažete da li mislite da trošimo previše novca na to, premalo novca, ili o pravu količinu. "

Zatim, pola ispitanika je postavljeno pitanje o "dobrobiti", a polovina je pitana o "pomoći siromašnima". Iako bi to moglo izgledati kao dve različite fraze za istu stvar, oni su izazvali veoma različite rezultate (slika 3.4); Amerikanci kažu da su mnogo više podržavali "pomoć siromašnim" nego "dobrobit" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Slika 3.4: Rezultati ankete istraživanja pokazuju da ispitanici mnogo više podržavaju "pomoć siromašnim" nego "dobrobit". Ovo je primjer efekta usmjeravanja pitanja gdje odgovori koje istraživači dobijaju zavise od tačno koje riječi koriste njihova pitanja. Prilagođeno od Huber and Paris (2013) , tabela A1.

Pošto ovi primeri o efektima formi pitanja i efektima govora pokazuju, na odgovore koje istraživači dobijaju mogu uticati kako oni postavljaju svoja pitanja. Ovi primeri ponekad vode istraživače da se pitaju o "tačnom" načinu da postavljaju pitanja o istraživanju. Iako mislim da postoje neki pogrešni načini postavljanja pitanja, mislim da uvek ne postoji jedan jedini ispravan način. To jest, očigledno nije bolje pitati o "blagostanju" ili "pomoći siromašnima"; ovo su dva različita pitanja koja mjere dvije različite stvari o stavovima ispitanika. Ovi primeri ponekad vode istraživače da zaključuju da ankete ne treba koristiti. Nažalost, ponekad nema izbora. Umjesto toga, mislim da je prava pouka koju treba izvući iz ovih primjera da pažljivo konstruišemo svoja pitanja i ne bi trebali prihvatiti odgovore nekritički.

Konkretno, to znači da ako analizirate podatke istraživanja koje je prikupio neko drugi, uverite se da ste pročitali stvarni upitnik. A ako kreirate sopstveni upitnik, imam četiri sugestije. Prvo, predlažem da pročitate više o dizajnu upitnika (npr. Bradburn, Sudman, and Wansink (2004) ); tu je još više nego što sam ovde mogao opisati. Drugo, predlažem da kopirate riječ za riječ pitanja iz visokokvalitetnih istraživanja. Na primjer, ako želite pitati ispitanike o njihovoj rasnoj / etničkoj pripadnosti, mogli biste kopirati pitanja koja se koriste u velikim vladinim istraživanjima, kao što je popis. Iako bi ovo zvučalo kao plagijat, kopiranje pitanja se ohrabruje u istrazivanju istraživanja (sve dok citirate izvorni pregled). Ako kopirate pitanja iz visokokvalitetnih istraživanja, možete biti sigurni da su testirani i možete upoređivati ​​odgovore na vašu anketu sa odgovorima iz nekih drugih anketa. Treće, ako mislite da vaš upitnik može sadržati značajne efekte za upitanje ili efekte pitanja, možete pokrenuti istraživački eksperiment u kojem polovina ispitanika dobija jednu verziju pitanja i polovinu dobija drugu verziju (Krosnick 2011) . Na kraju, predlažem da probate svoja pitanja sa nekim ljudima iz vaše populacije; istraživači istraživanja nazivaju ovaj pre-testiranje procesa (Presser et al. 2004) . Moje iskustvo je da je pre-ispitivanje istraživanja izuzetno korisno.