3.3.2 Pagsukat

Pagsukat ay tungkol sa inferring kung ano ang iyong mga respondents sa tingin at gawin mula sa kung ano ang sinasabi nila.

Bilang karagdagan sa mga suliranin ng pagkatawan, ang kabuuang balangkas ng error sa survey ay nagpapakita na ang pangalawang pangunahing pinagkukunan ng mga pagkakamali ay pagsukat : kung paano namin gumawa ng mga inference mula sa mga sagot na ibinibigay ng mga respondent sa aming mga tanong. Ito ay lumalabas na ang mga sagot na natatanggap natin, at sa gayon ang mga inferences na ginagawa natin, ay maaaring nakasalalay nang critically-at kung minsan ay kamangha-mangha na mga paraan-kung ano mismo ang hinihiling natin. Marahil ay walang nakapagpapakita ng mas mahalagang puntong ito kaysa isang joke sa kahanga-hangang aklat na Mga Tanong sa Pagtatanong ni Norman Bradburn, Seymour Sudman, at Brian Wansink (2004) :

Dalawang pari, isang Dominican at isang Heswita, ay pagtalakay kung ito ay isang kasalanan sa usok at manalangin nang sabay-sabay. Pagkatapos bagsak upang maabot ang isang konklusyon, ang bawat napupunta off upang kumonsulta kanyang kani superior. Ang Dominican nagsasabing, "Ano ang ginawa ng inyong superior say?"

Ang mga Heswita ay tumugon, "Sinabi niya ito ay tama."

"Iyan ay nakatatawa" ang Dominican sagot, "Ang aking supervisor sinabi ito ay isang kasalanan."

Ang mga Heswita sinabi, "Ano ang ginawa mo sa kanya?" Ang Dominican sumagot, "Tinanong ko siya kung ito ay tama sa usok habang nagdarasal." "Oh" sabi ng Heswita, "Tinanong ko kung ito ay OK upang manalangin habang paninigarilyo."

Higit pa sa tukoy na biro na ito, sinaliksik ng mga mananaliksik ng survey ang maraming sistematikong paraan na ang iyong natututunan ay depende sa kung paano mo hinihiling. Sa katunayan, ang tunay na isyu sa ugat ng joke na ito ay may pangalan sa komunidad na pananaliksik sa pananaliksik: mga epekto sa form na tanong (Kalton and Schuman 1982) . Upang makita kung paano maaaring maapektuhan ng mga epekto sa form sa tanong ang tunay na mga survey, isaalang-alang ang dalawang kaparehong katulad na mga tanong sa survey:

• "Magkano sumasang-ayon ka sa mga sumusunod na pahayag: Ang mga indibidwal ay mas dapat sisihin sa panlipunang mga kondisyon para sa krimen at kawalan ng batas sa bansang ito."
• "Magkano ang sumasang-ayon ka sa mga sumusunod na pahayag: Social kondisyon ay mas dapat sisihin sa mga indibidwal para sa krimen at kawalan ng batas sa bansang ito."

Kahit na ang parehong mga katanungan ay lumilitaw upang masukat ang parehong bagay, gumawa sila ng iba't ibang mga resulta sa isang tunay na eksperimento sa pagsusuri (Schuman and Presser 1996) . Nang tanungin ang isang paraan, halos 60% ng mga respondent ang nag-ulat na ang mga indibidwal ay higit na sisihin sa krimen, ngunit kapag tinanong sa iba pang paraan, halos 60% ang nag-ulat na ang mga kalagayan sa lipunan ay mas sisihin (tayahin 3.3). Sa ibang salita, ang maliit na pagkakaiba sa pagitan ng dalawang tanong na ito ay maaaring humantong sa mga mananaliksik sa ibang konklusyon.

Figure 3.3: Mga resulta mula sa isang eksperimentong survey na nagpapakita na ang mga mananaliksik ay maaaring makakuha ng iba't ibang mga sagot depende sa eksakto kung paano nila tinanong ang tanong. Ang karamihan ng mga sumasagot ay sumang-ayon na ang mga indibidwal ay higit na masisi kaysa mga kondisyon ng lipunan para sa krimen at kawalan ng batas. At ang karamihan ng mga sumasagot ay sumang-ayon sa kabaligtaran: ang mga kondisyong panlipunan ay mas may pananagutan kaysa sa mga indibidwal. Inangkop mula sa Schuman and Presser (1996) , talahanayan 8.1.

Bilang karagdagan sa istraktura ng tanong, ang mga respondent ay maaari ring magbigay ng iba't ibang mga sagot, depende sa tiyak na mga salita na ginamit. Halimbawa, upang sukatin ang mga opinyon tungkol sa mga priyoridad ng pamahalaan, nabasa ang mga sumasagot sa sumusunod na prompt:

"Kami ay nahaharap sa maraming mga problema sa bansang ito, wala sa kung saan ay maaaring malutas sa madaling o inexpensively. Pupunta ako upang pangalanan ang ilan sa mga problemang ito, at sa bawa't isa'y Gusto ko mong sabihin sa akin kung sa tingin mo kami ay paggastos ng masyadong maraming pera sa mga ito, masyadong maliit na pera, o tungkol sa tamang dami. "

Susunod, kalahati ng mga respondents ay tinanong tungkol sa "kapakanan" at kalahati ay tinanong tungkol sa "tulong para sa mga mahihirap." Habang ang mga ito ay maaaring mukhang tulad ng dalawang magkakaibang parirala para sa parehong bagay, nakakuha sila ng ibang mga resulta (figure 3.4); Ang mga Amerikano ay nag-uulat na mas suportado ng "tulong sa mga mahihirap" kaysa sa "kapakanan" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Figure 3.4: Mga resulta mula sa isang eksperimentong pagsusuri na nagpapakita na ang mga respondent ay mas suportado ng "tulong sa mga mahihirap" kaysa sa "kapakanan." Ito ay isang halimbawa ng isang epekto sa pananalita na kung saan ang mga sagot na natatanggap ng mga mananaliksik ay nakasalalay sa eksaktong mga salita na ginagamit nila sa ang kanilang mga katanungan. Inangkop mula sa Huber and Paris (2013) , talahanayan A1.

Habang ang mga halimbawang ito tungkol sa mga epekto ng form na pang-tanong at mga epekto ng mga salita sa pagsasalita, ang mga sagot na natanggap ng mga mananaliksik ay maaaring maimpluwensyahan ng kung paano nila tinatanong ang kanilang mga tanong. Ang mga halimbawa na ito kung minsan ay humantong sa mga mananaliksik upang magtaka tungkol sa "tamang" paraan upang itanong ang kanilang mga katanungan sa survey. Habang sa tingin ko may ilang mga malinaw na maling paraan upang magtanong, sa palagay ko ay walang palaging isang solong tamang paraan. Iyon ay, hindi malinaw na mas mahusay na magtanong tungkol sa "kapakanan" o "aid para sa mga mahihirap"; ang mga ito ay dalawang magkakaibang tanong na sumusukat sa dalawang magkakaibang bagay tungkol sa mga saloobin ng mga sumasagot. Ang mga halimbawang ito ay paminsan-minsan ay humantong sa mga mananaliksik upang tapusin na ang mga survey ay hindi dapat gamitin. Sa kasamaang palad, kung minsan walang pagpipilian. Sa halip, sa palagay ko ang tamang aral na nakuha mula sa mga halimbawang ito ay dapat nating maingat na maitayo ang ating mga tanong at hindi natin dapat tanggapin ang mga tugon na walang pasubali.

Karamihan sa mga concretely, nangangahulugan ito na kung sinusuri mo ang data ng survey na nakolekta ng ibang tao, siguraduhing nabasa mo ang aktwal na palatanungan. At kung nililikha mo ang iyong sariling questionnaire, mayroon akong apat na mungkahi. Una, iminumungkahi ko na magbasa ka nang higit pa tungkol sa disenyo ng questionnaire (halimbawa, Bradburn, Sudman, and Wansink (2004) ); Mayroong higit pa sa mga ito kaysa sa ako ay magagawang upang ilarawan dito. Ikalawa, iminumungkahi ko na kopyahin mo-salita para sa salitang-tanong mula sa mataas na kalidad na mga survey. Halimbawa, kung nais mong tanungin ang mga sumasagot tungkol sa kanilang lahi / etnisidad, maaari mong kopyahin ang mga tanong na ginagamit sa mga malalaking survey ng gobyerno, tulad ng sensus. Bagaman ito ay maaaring tunog tulad ng panunulad, ang mga katanungan sa pagkopya ay hinihikayat sa pagsasaliksik sa pananaliksik (hangga't binanggit mo ang orihinal na survey). Kung kopyahin mo ang mga tanong mula sa mataas na kalidad na mga survey, maaari mong siguraduhin na sila ay sinubukan, at maaari mong ihambing ang mga tugon sa iyong survey sa mga tugon mula sa ilang ibang mga survey. Ikatlo, kung sa palagay mo ay maaaring maglaman ang iyong questionnaire ng mahahalagang tanong sa paggamit ng mga salita o mga epekto sa form na tanong, maaari kang magpatakbo ng eksperimento sa survey kung saan kalahati ang natanggap ng isang respondent na bersyon ng tanong at kalahati ay tumanggap ng iba pang bersyon (Krosnick 2011) . Sa wakas, iminumungkahi ko na pilyo-subukan ang iyong mga tanong sa ilang mga tao mula sa iyong populasyon ng frame; Sinasabi ng mga mananaliksik na survey ang prosesong ito ng pre-testing (Presser et al. 2004) . Ang aking karanasan ay ang pagsisiyasat ng pre-testing ay lubhang kapaki-pakinabang.