3.3.2 mõõtmine

Mõõtmine tähendab seda, mida teie vastajad mõtlevad ja teevad sellest, mida nad ütlevad.

Lisaks representatsiooniprobleemidele näitab kogu küsitluste viga raamistik, et teine ​​suur vigu põhjustav põhjus on mõõtmine : kuidas me teeme järeldusi vastustest, mis vastused meie küsimustele annavad. Selgub, et vastused, mida me saame, ja seega ka meie järeldused, võivad sõltuda kriitilisest ja mõnikord ka üllatavalt - täpselt, kuidas me küsime. Võib-olla pole see oluline punkt parem kui naljakas raamatu nalja. Norman Bradburni, Seymour Sudmani ja Brian Wansinki (2004) küsimuste küsimine :

Kaks preestrid, Dominikaani ja jesuiitide, arutavad, kas see on patt suitsetada ja palvetada samal ajal. Pärast ei jõua järeldusele, iga kustub konsulteerida oma vastavate parem. Dominikaani ütleb: "Mida teie ülemus öelda?"

Jesuiitide vastab: "Ta ütles, et see oli igav."

"See on naljakas" Dominikaani vastab: "Minu juhendaja ütles, et see oli patt."

Jesuiitide ütles: "Mis sa temalt küsida?" Dominiiklaste vastab: "Ma küsisin, kas see oli igav suitsetada samal ajal palvetades." "Oh," ütles jesuiitide "Ma küsisin, kas see oli OK palvetama suitsetamise ajal."

Selle konkreetse nali kõrval on küsitlusuurijad dokumenteerinud mitmeid süstemaatilisi viise, kuidas õppimine sõltub sellest, kuidas te küsite. Tegelikult on just selle nalja juurte küsimus uurimiskogukonnal nimega: küsimuste vormi efektid (Kalton and Schuman 1982) . Et näha, kuidas küsimuste vormiefektid võivad mõjutada tõelisi uuringuid, arvesta need kaks väga sarnast vaadeldavat küsitluse küsimust:

• "Kui palju sa nõus järgmise väitega: Inimesed on rohkem süüdi kui sotsiaalsete tingimuste kuritegevuse ja seadusetuse selles riigis."
• "Kui palju sa nõus järgmise avalduse: Sotsiaalsed tingimused on rohkem süüdi kui üksikisikute kuritegevuse ja seadusetuse selles riigis."

Kuigi mõlemad küsimused mõjutavad sama asja, andsid nad reaalse uuringu eksperimendi tulemusi (Schuman and Presser 1996) . Kui küsiti ühel viisil, teatas umbes 60% vastanutest, et kuritegevusega on süüdi rohkem inimesi , kuid kui küsiti teisel viisil, siis umbes 60% teatasid, et sotsi- aalsed tingimused on rohkem süüdi (joonis 3.3). Teisisõnu võib väike erinevus nende kahe küsimuse vahel viia teadlaste teise järelduseni.

Joonis 3.3: uuringu eksperimendi tulemused, mis näitavad, et teadlased saavad vastuseid sõltuvalt sellest, kuidas nad küsimust küsisid. Enamik vastanutest leppisid kokku, et kuriteo ja seaduserikkumise eest on üksikisikud süüdi rohkem kui sotsiaalsed tingimused. Enamik vastanutest nõustusid vastupidi: sotsiaalsed tingimused on vastutustundlikumad kui üksikisikud. Adamant Schuman and Presser (1996) , tabel 8.1.

Lisaks küsimuse ülesehitusele võivad vastanutest erinevad vastused sõltuvalt konkreetsetest sõnadest. Näiteks, et hinnata arvamusi valitsuse prioriteetide kohta, luges vastajaid järgmiselt:

"Me seisame silmitsi paljude probleemidega selles riigis, millest ükski ei saa lahendada lihtsalt ja odavalt. Ma lähen nimetada mõned neist probleemidest ja iga üks ma tahan, et sa mulle öelda, kas te arvate, et me kulutame liiga palju raha ta liiga vähe raha või parasjagu. "

Järgmisena küsiti pooled vastanutest "heaolu kohta" ja poolele küsiti "abi vaestele". Kuigi need võivad tunduda kahte erinevat fraasi sama asja, tekitasid nad väga erinevaid tulemusi (joonis 3.4); Ameeriklased teatavad, et nad toetavad vaestele antavat abi kui "heaolu" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Joonis 3.4: küsitlustulemuste tulemused, mis näitavad, et vastajad toetavad vaesematele inimestele palju paremat kui "heaolu". See on näide küsimuste sõnastusest, mille kohaselt teadlaste vastused sõltuvad täpselt, milliseid sõnu nad kasutavad nende küsimused. Kohandatud Huber and Paris (2013) , tabel A1.

Nagu need näited küsimusformatsiooni mõjudest ja sõnastusmõjudest näitavad, saavad teadlaste saadud vastused mõjutada seda, kuidas nad oma küsimusi esitavad. Need näited viivad mõnikord teadlaste huvi küsimuse "õige" viisi küsimise kohta. Kuigi ma arvan, et küsimuse esitamiseks on selgelt valed viisid, ma ei arva, et alati on üks õige viis. See ei ole ilmselt parem küsida "heaolu" või "abi vaestele"; need on kaks erinevat küsimust, mis mõõta kahte erinevat asja vastajate hoiakute kohta. Need näited viivad mõnikord ka teadlaste järelduseni, et uuringuid ei tohiks kasutada. Kahjuks pole mõnikord valikut. Selle asemel arvan, et nendest näidetest lähtuv õige õppetund on see, et me peaksime oma küsimused hoolikalt üles ehitama ja me ei peaks vastuseid kriitikat vastu võtma.

Täpsemalt tähendab see seda, et kui te analüüsite kellegi teise poolt kogutud küsitlusandmeid, veenduge, et olete lugenud tegelikku küsimustikku. Ja kui loote oma küsimustiku, on mul neli soovitust. Esiteks soovitan teil lugeda küsimustike disaini kohta (nt Bradburn, Sudman, and Wansink (2004) ); sellel on rohkem, kui ma siin siin kirjeldaksin. Teiseks, ma soovitaksin, et teeksite kõrgekvaliteediliste uuringute jaoks sõna-küsimustele koopiaid. Näiteks kui soovite küsida vastajatelt nende rassi / etnilise päritolu kohta, võite kopeerida küsimused, mida kasutatakse suurtes valitsuse küsitlustes, näiteks loendus. Kuigi see võib tunduda nagu plagiaat, küsitletakse küsitlustes küsitavaid küsimusi kopeerimisega (niikaua kui viidate esialgsele uuringule). Kvaliteetsete uuringute küsimuste kopeerimisel võite olla kindel, et neid on testitud, ja võite võrrelda oma küsitluse vastuseid teiste küsitluste vastustega. Kolmandaks, kui arvate, et teie küsimustik võib sisaldada olulisi küsimuste sõnastamise efekte või küsimuste vormi mõjusid, võiksite korraldada uuringusuuringu, kus pool vastajatest saab ühe versiooni ja pool saab teist versiooni (Krosnick 2011) . Lõpetuseks soovitan teil katsetada oma küsimusi mõnede inimestega teie raampoppkonnast; uuringu uurijad nimetavad selle protsessi eelkontrolliks (Presser et al. 2004) . Minu kogemus on see, et uuringu eelkontroll on väga kasulik.