3.3.2 měření

Měření se týká toho, co respondenti myslí a dělají z toho, co říkají.

Kromě problémů s reprezentací ukazuje celkový rámec chyby zjišťování, že druhým hlavním zdrojem chyb je měření : jak vyvozujeme závěry z odpovědí, které respondenti dávají našim otázkám. Ukazuje se, že odpovědi, které dostáváme, a tedy i závěry, které děláme, mohou kriticky - a někdy i překvapivě - záviset přesně na tom, jak se ptáme. Snad to nic neznamená lépe než vtip v úžasné knize Asking Questions od Normana Bradburna, Seymoura Sudmana a Briana Wansinka (2004) :

Dva kněží, dominikánský a jezuita, diskutujeme o tom, zda se jedná o hřích kouřit a modlit se ve stejnou dobu. Poté, co nedokázal dospět k závěru, každý zhasne konzultovat jeho příslušný nadřízený. Dominikánský říká: "Co dělal váš lepší slovo?"

Jezuita odpoví, "Řekl, že to bylo v pořádku."

"To je legrační," dominikánský odpoví: "Můj nadřízený říká, že je to hřích."

uvedl jezuita, "Co jste se ho zeptat?" Dominikánský odpoví, "Zeptal jsem se ho, jestli to bylo v pořádku kouřit zatímco se modlí." "Aha" uvedl jezuita, "zeptal jsem se, jestli to bylo v pořádku, aby se modlili, zatímco kouření."

Kromě tohoto specifického vtipu výzkumníci průzkumu zdokumentovali mnoho systematických způsobů, jak to, co se učíte, závisí na tom, jak se ptáte. Ve skutečnosti se samotná otázka v kořeni tohoto vtipku jmenuje ve výzkumné komunitě průzkumu: efekty otázky dotazu (Kalton and Schuman 1982) . Chcete-li zjistit, jak mohou efekty dotazníku ovlivňovat reálná zjišťování, zvažte tyto dvě velmi podobné otázky týkající se průzkumu:

• "Do jaké míry souhlasíte s následujícím tvrzením: Jednotlivci jsou na vině než sociální podmínky kriminality a bezpráví v této zemi."
• "Do jaké míry souhlasíte s následujícím tvrzením: Sociální podmínky jsou více než na vině jednotlivců za zločin a bezpráví v této zemi."

Ačkoli se zdá, že oba otázky měří stejnou věc, v reálném průzkumném experimentu (Schuman and Presser 1996) různé výsledky. Jednou ze způsobů dotazování asi 60% respondentů uvedlo, že jednotlivci mají více trestných činů za zločin, ale když se naopak obrátili na dotaz, asi 60% uvedlo, že sociální viny jsou více vinu (obrázek 3.3). Jinými slovy, malý rozdíl mezi těmito dvěma otázkami by mohl vést výzkumníky k jinému závěru.

Obrázek 3.3: Výsledky výzkumného šetření ukazují, že výzkumníci mohou získat různé odpovědi v závislosti na tom, jak přesně kladli otázku. Většina respondentů se shodla na tom, že jednotlivci mají víc víc než sociální podmínky pro trestnou činnost a bezpráví. A většina respondentů souhlasila s opakem: že sociální podmínky jsou zodpovědnější než jednotlivci. Přizpůsobeno od Schuman and Presser (1996) , tabulka 8.1.

Navíc k struktuře otázky mohou respondenti odpovědět různými odpověďmi v závislosti na použitých konkrétních slovech. Například, aby bylo možné měřit názory na vládní priority, byli respondenti čtení následujícího pořádku:

"Čelíme mnoha problémy v této zemi, z nichž žádný lze snadno a levně vyřešit. Chystám se jmenovat některé z těchto problémů, a pro každou z nich bych rád, abyste mi říct, zda si myslíte, utrácíme příliš mnoho peněz na to, příliš málo peněz, nebo tak akorát. "

Dále byla polovina respondentů dotazována na "blaho" a polovina byla požádána o "pomoc chudým." Zatímco tito mohou vypadat jako dvě různé fráze pro tutéž věc, vyvolali velmi odlišné výsledky (obr. 3.4); Američané říkají, že mnohem více podporují "pomoc chudým" než "blaho" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Obr. 3.4: Výsledky experimentů z průzkumů, které ukazují, že respondenti mnohem více podporují "pomoc chudým" než "blaho". Jedná se o příklad efektu formulace otázek, kdy odpovědi, které dostávají výzkumní pracovníci, závisí přesně na tom, jaké slova používají jejich otázky. Přizpůsoben od Huber and Paris (2013) , tabulka A1.

Jak tyto příklady o efektech a efektech formulace dotazu ukazují, odpovědi, které dostávají výzkumní pracovníci, mohou být ovlivněny tím, jak se na ně kladou otázky. Tyto příklady někdy vedou výzkumníky k tomu, aby se zajímali o "správný" způsob, jak se zeptat na otázky týkající se průzkumu. Zatímco si myslím, že existují některé jasně nesprávné způsoby, jak položit otázku, nemyslím si, že existuje vždy jedna správná cesta. To znamená, že není očividně lepší se ptát na "blaho" nebo "pomoc chudým"; to jsou dvě různé otázky, které měří dvě různé věci o postojích respondentů. Tyto příklady někdy vedou výzkumníky k závěru, že průzkumy by se neměly používat. Bohužel, někdy neexistuje žádná volba. Místo toho si myslím, že správnou poučením z těchto příkladů je, že bychom měli pečlivě vytvářet naše otázky a neměli bychom přijímat odpovědi nekriticky.

Konkrétněji to znamená, že pokud analyzujete údaje ze zjišťování shromážděné někým jiným, ujistěte se, že jste si přečetli skutečný dotazník. A pokud vytváříte svůj vlastní dotazník, mám čtyři návrhy. Nejprve navrhuji, abyste si Bradburn, Sudman, and Wansink (2004) více o návrhu dotazníku (např. Bradburn, Sudman, and Wansink (2004) ); je to víc, než jsem zde popsal. Za druhé, navrhuji, abyste kopírovali slovo pro otázky ze slov z vysoce kvalitních průzkumů. Pokud chcete například požádat respondenty o jejich rasu / etnickou příslušnost, můžete zkopírovat otázky, které se používají ve velkých vládních průzkumech, jako je například sčítání lidu. Ačkoli to může znít jako plagiátorství, kopírování otázky je podporováno v průzkumu výzkumu (pokud jste citovali původní průzkum). Pokud kopírujete otázky z vysoce kvalitních průzkumů, můžete si být jisti, že byly testovány, a můžete porovnat odpovědi na váš průzkum s odpověďmi z některých dalších průzkumů. Zatřetí, pokud si myslíte, že váš dotazník může obsahovat významné efekty formulace dotazu nebo efekty formátu dotazu, můžete spustit průzkumný pokus, kde polovina respondentů obdrží jednu verzi otázky a polovina obdrží druhou verzi (Krosnick 2011) . Nakonec navrhuji, abyste pilotoval své otázky s některými lidmi z vaší rámcové populace; výzkumníci nazývají tento proces před testováním (Presser et al. 2004) . Moje zkušenost je, že předběžné testování průzkumu je velmi užitečné.