3.3.2 Measurement

Meitsjen is oergeunstich wat jo respondinten tinke en dwaan fan wat se sizze.

Neist problemen fan fertsjintwurdiging lit it totale surveyfearrametramt sjen dat de twadde grutte boarne fan flater mjittings is : hoe't wy ynfaersjes útfiere fan de antwurden dy't respondinten jouwe oan ús fragen. It docht bliken dat de antwurden dy't wy ûntfange, en dêrmei de ynfiningen dy't wy meitsje, kinne kritysk ôfhannelje - en yn somtiden ferrassende wizen - krekt hoe't wy freegje. Faaks neat yllustrearret dit wichtige punt better as in grap yn it prachtige boek Asking Fragen troch Norman Bradburn, Seymour Sudman, en Brian Wansink (2004) :

Twa prysters, in Dominikaanske en in jezuyt, binne besprekken oft it is in sûnde te smoke en bidden tagelyk. Nei failing te berikken in konklúzje, elk giet ôf te rieplachtsjen syn oanbelangjende superieur. De Dominikaanske seit, "wat diene jo superieure sizze?"

De jezuyt reagearret, "Hy sei it wie goed."

"Dat is grappich" de Dominikaanske antwurden, "Myn begelieder sei it wie in sûnde."

De jezuyt sei, "Wat hawwe jo freegje him?" De Dominikaanske antwurden, "Ik frege him oft it wie alright te smoke wylst bidden." "Oh" sei de jezuyt, "ik frege oft it wie OK om bidden wylst smoken."

Njonken dizze spesifike spraak hawwe ûndersikers fan ûndersikers in soad systematyske wizen dokumentearre dat wat jo leare hinget ôf hoe't jo freegje. Yn 't feit hat it heule probleem by de woartel fan' e wok in namme yn 'e ûndersyksgeheegenskommisje: (Kalton and Schuman 1982) effekten (Kalton and Schuman 1982) . Om te sjen hoe fragen formulier effekten kinne realisearje oer echte ûndersiken, tinke jo dizze twa tige fergelykjende ûndersyksfragen:

• "Hoefolle iens mei de folgjende útspraak: Partikulieren binne mear te skuld as sosjale betingsten foar kriminaliteit en lawlessness yn dit lân."
• "Hoefolle iens mei de folgjende útspraak: Sosjale betingsten binne mear te skuld as partikulieren foar kriminaliteit en lawlessness yn dit lân."

Hoewol beide fragen ferskynden itselde ding, makken se ferskate resultaten yn in echte eksperimint eksperiment (Schuman and Presser 1996) . As ien gefolch frege hat, hawwe sa'n 60% fan respondinten melde dat persoanen mear wiene om skuld te meitsjen, mar doe't de oare manier frege, ûngefear 60% rapporteare dat maatskiplike omstannichheden mear wurden wiene (figuer 3.3). Mei oare wurden: it lyts ferskil tusken dizze twa fragen kin ûndersikers liede ta in oare konklúzje.

Figure 3.3: Resultaten út in ûndersyks eksperimint dat sjen litte dat ûndersikers ferskate antwurden krije kinne, ôfhinklik fan krekt hoe't se de fraach stelle. In mearderheid fan respondinten fermelde dat persoanen mear blame as sosjale betingsten foar misdied en wetens. En in mearderheid fan respondinten fermindere it tsjinoerstelde: dat maatskiplike betingsten binne mear ferantwurdliker as partikulieren. Adaptearre fan Schuman and Presser (1996) , tabel 8.1.

Neist de struktuer fan 'e fraach kinne respondinten ek ferskate antwurden jaan, ôfhinklik fan de spesifike wurden dy't brûkt binne. Bygelyks om 'e mieningen oer bestjoersrjochte prioriteiten te mjitte, binne de respondinten de folgjende prompt lêzen:

"Wy wurde konfrontearre mei in soad problemen yn dit lân, net ien fan dat kin oplost wurde maklik of goedkeap. Ik gean te neamen oantal fan dizze problemen, en foar elk ik graach jo om sis my oft jo tinke wy útjaan tefolle jild op is, te min jild, of oer it rjochter bedrach. "

Neidat de helte fan 'e respondinten frege waard oer "wolwêzen", en de helte waard frege oer "help foar de earm". Wylst dizze likegoed as twa ferskillende útdrukkings foar deselde ding sjogge, ferskynden se hiel ferskillende resultaten (s. 3.4); Amerikanen rapporteare hoe folle mear stypje fan "help foar de earm" as "wolwêzen" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figure 3.4: Resultaten út in ûndersyksekseksjes dy't sjen dat respondinten binne folle mear stypje fan "help foar de earm" as "wolwêzen". Dit is in foarbyld fan in fraachfoarmingsfaktor wêrby't de antwurden dy't ûndersikers ûntfange hingje fan hokker wurden dy't se brûke yn harren fragen. Oanpast út Huber and Paris (2013) , tabel A1.

As dizze foarbylden oer fraachformulier effekten en wurdearring effekten sjen litte, kinne de antwurden dy't ûndersikers krije kinne beynfloede wurde troch hoe't se harren fragen stelle. Dizze foarbylden liede somtiden ûndersikers te wûnderjen oer de "krekte" manier om har ûndersyksfragen te freegjen. Wyls ik tinke dat der in pear dúdlike manieren binne om in fraach te freegjen, tink ik net dat der altyd ien iensich korrekte manier is. Dat is, it is fansels net better om te freegjen oer "wolwêzen" of "help foar de earm"; Dizze binne twa ferskillende fragen dy't twa ferskillende dingen mjitte oer respondinten 'attitude. Dizze foarbylden geane soms ek ûndersikers út om te fertellen dat ûndersiken net brûkt wurde moatte. Spitigernôch, somtiden is der gjin kar. Yn 't lêst tink ik dat de krekte lessen fan dizze foarbylden te tekenjen is dat wy ús fragen sertanisearje moatte en wy moatte ûntritrik net akseptearje.

Meast konkreet, dit betsjut dat as jo analyze fan gegevensgegevens sammele wurde troch in oaren, soargje derfoar dat jo de echte fragelist lêze hawwe. En as jo jo eigen fragelist skeppe, haw ik fjouwer suggestjes. Earst, ik suggerearje dat jo mear oer fragelist ûntwerp lêze (bgl Bradburn, Sudman, and Wansink (2004) ); Der is mear dat as ik hjir beskreaun haw. Twad, ik jouwe dat jo kopiearje foar wurdfragen út heechweardige ûndersiken. Bygelyks as jo antwurden hawwe oer harren ras / etnisiteit, kinne jo de fragen kopiearje dy't brûkt wurde yn grutskalige regearingskommisjes, lykas de folkstelling. Hoewol dit sa kin as plagiaat lûd wurde, wurde kopiearjen fragen stimulearre yn oersjochûndersyk (sa lang as jo de orizjinele survey fine). As jo ​​fragen fan heechweardige opfettings kopiearje, kinne jo der wis fan wêze dat se besprutsen binne, en jo kinne de reaksjes opnij oan jo oersicht fergelykje foar responsen fan wat oare surveys. Tredde, as jo tinke dat jo fragelist in wichtige fraachformulier effekten of fraachformulier effekten befetsje kinne, kinne jo in oersicht eksperimint útfiere wêr't de helte fan de respondinten ien ferzje fan 'e fraach krije en de helte (Krosnick 2011) de oare ferzje (Krosnick 2011) . Uteinlik advisearje ik dat jo jo fragen mei guon minsken út jo ramtbefolking pilotje testje; Untdekkers ûndersiikje dizze proses foar foarpresje (Presser et al. 2004) . Myn ûnderfining is dat ûndersiik foarôfprate tessten tige bysûnder is.