3.3.2 meranie

Meranie znamená odvodiť, čo si respondenti myslí a robia z toho, čo hovoria.

Okrem problémov s reprezentáciou celkový prehľad o chybovom rámci ukazuje, že druhým hlavným zdrojom chýb je meranie : ako vyvodzujeme závery z odpovedí, ktoré respondenti kladú na naše otázky. Ukazuje sa, že odpovede, ktoré dostávame, a teda aj závery, ktoré robíme, môžu závisieť kriticky - a niekedy aj prekvapujúco - na tom, ako presne žiadame. Snáď nič lepšie ilustruje tento dôležitý bod ako vtip v nádhernej knihe Asking Questions Norman Bradburn, Seymour Sudman a Brian Wansink (2004) :

Dvaja kňazi, dominikánsky a jezuita, diskutujeme o tom, či sa jedná o hriech fajčiť a modliť sa v rovnakom čase. Potom, čo nedokázal dospieť k záveru, každý zhasne konzultovať jeho príslušný nadriadený. Dominikánsky hovorí: "Čo robil váš lepšie slovo?"

Jezuita odpovie, "Povedal, že to bolo v poriadku."

"To je smiešne," dominikánsky odpovie: "Môj nadriadený hovorí, že je to hriech."

uviedol jezuita, "Čo ste sa ho opýtať?" Dominikánsky odpovie, "Spýtal som sa ho, či to bolo v poriadku fajčiť zatiaľ čo sa modlia." "Aha" uviedol jezuita, "spýtal som sa, či to bolo v poriadku, aby sa modlili, kým fajčenie."

Okrem tohto špecifického vtipu výskumníci prieskumu zdokumentovali mnoho systematických spôsobov, ako sa to, čo sa naučíte, závisí od toho, ako sa spýtate. V skutočnosti samotná otázka, ktorá je základom tohto vtipu, má názov v prieskumnej komunite výskumu: efekty otázok (Kalton and Schuman 1982) . Ak chcete zistiť, aké efekty formu dotazu môžu mať vplyv na skutočné prieskumy, zvážte tieto dve veľmi podobné otázky týkajúce sa prieskumov:

• "Do akej miery súhlasíte s nasledujúcim tvrdením: Jednotlivci sú na vine než sociálne podmienky kriminality a bezprávia v tejto krajine."
• "Do akej miery súhlasíte s nasledujúcim tvrdením: Sociálne podmienky sú viac než na vine jednotlivcov za zločin a bezprávia v tejto krajine."

Hoci sa zdá, že obidve otázky merajú to isté, v reálnom prieskumnom experimente (Schuman and Presser 1996) sa dosiahli rôzne výsledky. Pri otázke na jednej strane asi 60% respondentov uviedlo, že jednotlivci majú väčšiu zodpovednosť za zločin, ale keď sa ich opýtalo inak, asi 60% uviedlo, že sociálne podmienky sú viac viny (obrázok 3.3). Inými slovami, malý rozdiel medzi týmito dvoma otázkami by mohol viesť výskumníkov k inému záveru.

Obrázok 3.3: Výsledky z prieskumného experimentu ukazujúce, že výskumníci môžu získať rôzne odpovede podľa toho, ako presne položili otázku. Väčšina respondentov súhlasila s tým, že jednotlivci majú viac zodpovednosti ako sociálne podmienky pre trestnú činnosť a nezákonnosť. A väčšina respondentov súhlasila s tým, že sociálne podmienky sú zodpovednejšie ako jednotlivci. Adaptované od Schuman and Presser (1996) , tabuľka 8.1.

Okrem štruktúry otázky respondenti môžu tiež odpovedať rôzne v závislosti od konkrétnych slov. Napríklad, aby sme mohli zmerať názory na vládne priority, respondenti si prečítali nasledovné výzvy:

"Čelíme mnohými problémami v tejto krajine, z ktorých žiaden možno ľahko a lacno vyriešiť. Chystám sa vymenovať niektoré z týchto problémov, a pre každú z nich by som rád, aby ste mi povedať, či si myslíte, míňame príliš veľa peňazí na to, príliš málo peňazí, alebo tak akurát. "

Ďalej, polovica respondentov bola požiadaná o "blaho" a polovica bola požiadaná o "pomoc pre chudobných". Zatiaľ čo tieto môžu vyzerať ako dve rôzne frázy pre rovnakú vec, vyvolali veľmi odlišné výsledky (obrázok 3.4); Američania hlásia, že oveľa viac podporujú "pomoc chudobným" ako "blaho" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Obrázok 3.4: Výsledky z prieskumných experimentov, ktoré ukazujú, že respondenti oveľa viac podporujú "pomoc pre chudobných" ako "blaho". Je to príklad efektu formulácie otázok, podľa ktorého odpovede, ktoré dostávajú výskumní pracovníci, závisia od toho, ktoré slová používajú ich otázky. Prispôsobené z Huber and Paris (2013) , tabuľka A1.

Ako vyplýva z týchto príkladov efektov formulácie otázok a efektov formulácie, odpovede, ktoré dostávajú výskumní pracovníci, môžu byť ovplyvnené tým, ako sa ich otázky kladú. Tieto príklady niekedy vedú výskumníkov k otázke o "správnom" spôsobe, ako sa pýtať na otázky prieskumu. Aj keď si myslím, že existujú jasne nesprávne spôsoby, ako položiť otázku, nemyslím si, že vždy existuje jeden správny spôsob. To znamená, že nie je zrejme lepšie sa pýtať na "blaho" alebo "pomoc chudobným"; ide o dve rôzne otázky, ktoré merajú dve odlišné veci o postojoch respondentov. Tieto príklady niekedy vedú výskumníkov k záveru, že prieskumy by sa nemali používať. Bohužiaľ niekedy nie je na výber. Namiesto toho si myslím, že správnou ponaučkou z týchto príkladov je, že by sme mali starostlivo vytvárať naše otázky a nemali by sme akceptovať odpovede nekriticky.

Najkonkrétnejšie to znamená, že ak analyzujete údaje z prieskumov získaných niekým iným, uistite sa, že ste si prečítali skutočný dotazník. A ak vytvárate svoj vlastný dotazník, mám štyri návrhy. Najskôr navrhujem, aby ste si prečítali viac o otázkach návrhu (napr Bradburn, Sudman, and Wansink (2004) ); je tu viac, než som tu opísal. Po druhé, navrhujem, aby ste kopírovali slovo pre slovné otázky z vysoko kvalitných prieskumov. Ak chcete napríklad požiadať respondentov o ich rasu alebo etnickú príslušnosť, môžete skopírovať otázky, ktoré sa používajú vo veľkých vládnych prieskumoch, ako je napríklad sčítanie ľudu. Hoci to môže znieť ako plagiátorstvo, kopírovanie otázok je podporované pri výskume prieskumu (pokiaľ uvediete pôvodný prieskum). Ak kopírujete otázky z vysoko kvalitných prieskumov, môžete si byť istí, že boli testované a môžete porovnať odpovede na prieskum s odpoveďami z niektorých ďalších prieskumov. Po tretie, ak si myslíte, že váš dotazník môže obsahovať dôležité efekty formulovania otázok alebo efekty formulára otázky, môžete spustiť prieskumný experiment, kde polovica respondentov dostane jednu verziu otázky a polovica dostane druhú verziu (Krosnick 2011) . Nakoniec navrhujem, aby ste svoje otázky skúšali s niektorými ľuďmi z vašej rámcovej populácie; výskumní pracovníci nazývajú tento proces pred testovaním (Presser et al. 2004) . Moja skúsenosť spočíva v tom, že predbežné testovanie je mimoriadne užitočné