3.3.2 Merjenje

Merjenje je ugotoviti, kaj vaši anketiranci mislijo in počnejo od tistega, kar pravijo.

Poleg problemov zastopanja, okvir celotne napake v anketi kaže, da je drugi glavni vir napak merjenje : kako sklepamo iz odgovorov, ki jih anketiranci dajejo našim vprašanjem. Izkazalo se je, da so odgovori, ki jih prejmemo, in zato sklepi, ki jih izdelamo, kritično in včasih presenetljivo odvisni od tega, kako vprašamo. Morda nič to ilustrira to pomembno točko kot šala v čudoviti knjigi Vprašanje vprašanj Normana Bradburna, Seymurja Sudmana in Brian Wansink (2004) :

Dve duhovniki, dominikanski in jezuit, razpravljamo, ali je to greh, da kadijo in molijo ob istem času. Po tem, da se odloči, vsak ugasne, da se posvetuje z njegovo zadevni nadrejeni. Dominikanska pravi: "Kaj je vaše boljše mnenje?"

Jezuit odziva, "je rekel, da je v redu."

"To je smešno," Dominikanska odgovori: "Moj nadzornik dejal, da je greh."

Jezuit je rekel: "Kaj si ga vprašal?" Dominikanska odgovarja, «sem ga vprašal, če je bilo v redu, da kadite molitvi.« »Oh,« je rekel jezuit, «sem vprašal, če je v redu, da bi molili, medtem ko kajenje."

Poleg te posebne šale so raziskovalci raziskovanja dokumentirali številne sistematične načine, da je tisto, kar se učite, odvisno od tega, kako vprašate. Pravzaprav je samo vprašanje, ki je osnova te šale, v raziskovalni skupini raziskav: ime vprašanj (Kalton and Schuman 1982) . Če si želite ogledati, kako bi lahko učinek vprašalnika vplivali na prave raziskave, upoštevajte ta dva zelo podobna vprašanja:

• "Koliko se strinjate z naslednjo izjavo: Posamezniki so bolj krivi kot socialnih pogojev za kriminal in brezpravje v tej državi."
• "Koliko se strinjate z naslednjo izjavo: Socialne razmere so bolj krivi kot posameznikom za kriminal in brezpravje v tej državi."

Čeprav se zdi, da obe vprašanji merita isto stvar, sta v resničnem raziskovalnem poskusu naredila različne rezultate (Schuman and Presser 1996) . Na vprašanje, na kakšen način, približno 60% anketirancev je poročalo, da so posamezniki bolj krivi za kazniva dejanja, medtem ko jih je po drugi strani vprašanih, približno 60% poročalo, da so krivi socialni pogoji (slika 3.3). Z drugimi besedami, majhna razlika med tema dvema vprašanjema bi lahko vodila raziskovalce do drugačnega zaključka.

Slika 3.3: Rezultati raziskovalnega eksperimenta, ki kažejo, da lahko raziskovalci dobijo različne odgovore, odvisno od tega, kako natančno so postavili vprašanje. Večina vprašanih se je strinjala, da so posamezniki bolj krivi kot socialni pogoji za kriminal in brezpravje. In večina vprašanih se je strinjala z nasprotno: socialni pogoji so bolj odgovorni kot posamezniki. Prilagojeno od Schuman and Presser (1996) , tabela 8.1.

Poleg strukture vprašanja lahko anketiranci podajo tudi različne odgovore, odvisno od uporabljenih besed. Na primer, za merjenje mnenj o vladnih prednostnih nalogah so anketiranci prebrali naslednji poziv:

"Soočamo se s številnimi težavami v tej državi, od katerih nobena ne bo mogoče rešiti enostavno in poceni. Bom naštejemo nekatere od teh težav, in za vsakega od Rad bi, da mi poveste, ali mislite, da smo porabili preveč denarja za to, premalo denarja, ali pa pravo mero. "

Nato je bila polovica anketirancev vprašana o "dobrem počutju", polovica pa je bila vprašana o "pomoči za revne". Čeprav se ti morda zdijo kot dva različna fraza za isto stvar, so izzvali zelo različne rezultate (slika 3.4); Američani poročajo, da veliko bolj podpirajo "pomoč revnim" kot "dobrobit" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Slika 3.4: Rezultati anketnih poskusov, ki kažejo, da anketiranci veliko bolj podpirajo "pomoč revnim" kot "dobrobit". To je primer učinkih besedila, pri katerem so odgovori, ki jih dobijo raziskovalci, odvisni od točno tistih besed, ki jih uporabljajo njihova vprašanja. Prilagojena od Huber and Paris (2013) , tabela A1.

Kot kažejo ti primeri o učinkih in učinkih, na odgovore, ki jih dobijo raziskovalci, lahko vplivajo njihova vprašanja. Ti primeri včasih vodijo raziskovalce, da se sprašujejo o "pravilnem" načinu zastavljanja njihovih anketnih vprašanj. Čeprav mislim, da obstaja nekaj očitno napačnih načinov za postavitev vprašanja, mislim, da ni vedno en sam pravilen način. To pomeni, da ni očitno bolje vprašati o "blaginji" ali "pomoči za revne"; to sta dve različni vprašanji, ki merita dve različni stvari glede odnosa anketirancev. Ti primeri tudi včasih vodijo raziskovalce k sklepanju, da raziskav ne bi smeli uporabljati. Na žalost včasih ni izbire. Namesto tega mislim, da je prava lekcija, ki naj bi izhajala iz teh primerov, tista, da moramo skrbno postaviti svoja vprašanja in nekritično ne bi smeli sprejemati odgovorov.

To najbolj konkretno pomeni, da če analizirate podatke anket, ki jih zbere nekdo drug, se prepričajte, da ste prebrali dejanski vprašalnik. In če ustvarjate svoj vprašalnik, imam štiri predloge. Prvič, predlagam, da preberete več o zasnovi vprašalnika (npr Bradburn, Sudman, and Wansink (2004) ); tu je še več, kot sem lahko opisal tukaj. Drugič, predlagam, da kopirate besedo za besedna vprašanja iz visokokakovostnih raziskav. Na primer, če želite vprašati anketirance o svoji rasi / etnični pripadnosti, bi lahko kopirali vprašanja, ki se uporabljajo v velikih vladnih anketah, kot je popis. Čeprav se to lahko zdi kot plagiatorstvo, se kopiranje vprašanj spodbuja pri raziskovanju (dokler citirate izvirno raziskavo). Če kopirate vprašanja iz visokokakovostnih raziskav, ste lahko prepričani, da so bili preizkušeni in lahko odgovore na anketo primerjate z odgovori nekaterih drugih anket. Tretjič, če menite, da vaš vprašalnik lahko vsebuje pomembne učinke ali vprašanja vprašanj, lahko opravite raziskovalni poskus, kjer polovica vprašanih prejme eno različico vprašanja in polovico prejme drugo različico (Krosnick 2011) . Na koncu predlagam, da poskusite preizkusiti vaša vprašanja z nekaterimi ljudmi iz vašega okvira; raziskovalni raziskovalci imenujejo to pre-testiranje procesa (Presser et al. 2004) . Moja izkušnja je, da je predhodno testiranje raziskav izredno koristno.