3.3.2 Pomiar

Pomiar jest o co wnioskować z tego co twoi respondenci powiedzieć, co się respondenci myśleć i robić.

Druga kategoria całkowitej ramach błędu badania jest pomiar; zajmuje się, jak możemy wnioskować z odpowiedzi, że respondenci dają na nasze pytania. Okazuje się, że odpowiedzi, które otrzymujemy, a tym samym do wniosków, których dokonujemy, może zależeć krytycznie iw niekiedy zaskakujących sposobów na dokładnie jak pytamy. Być może nic nie ilustruje to ważny punkt lepszy niż żart w cudownej książce zadawanie pytań przez Normana Bradburn Seymour Sudman i Brian Wansink (2004) :

Dwóch księży, dominikanin i jezuita, dyskutują, czy to jest grzech palić i modlić się w tym samym czasie. Po nieudanej próbie wyciągnięcia wniosków, każdy gaśnie skonsultować jego właściwego przełożonego. Dominikanin mówi: "Co zrobił swoją doskonałą powiedzenia?"

Jezuita odpowiada: "On powiedział, że to było w porządku."

"To zabawne" dominikanin odpowiada: "Mój przełożony powiedział, że to grzech."

Jezuita powiedział: "Co mu zadać?" Dominikańska odpowiada: "Zapytałem go, czy to w porządku, palić podczas modlitwy." "Oh" powiedział jezuita "Zapytałem, czy to było OK, aby modlić się podczas palenia."

Istnieje wiele przykładów nieprawidłowości, takich jak ta, której doświadczył dwóch księży. W rzeczywistości, bardzo problemem u podstaw tego żartu ma imię w społeczności badawczej badania: efekty Formularz zapytania (Kalton and Schuman 1982) . Aby zobaczyć, jak efekty Formularz zapytania może wpłynąć na prawdziwych badań, należy rozważyć te dwie bardzo podobne pytania ankietowe przyszłości:

• "Ile zgadzasz się z następującym stwierdzeniem: Osoby są bardziej winni niż warunki społeczne dla zbrodni i bezprawia w tym kraju."
• "Ile zgadzasz się z następującym stwierdzeniem: Warunki socjalne są bardziej winni niż osoby o zbrodni i bezprawia w tym kraju."

Mimo, że oba pytania wydają się zmierzyć samo, one produkowane różne wyniki eksperymentu rzeczywistego badania (Schuman and Presser 1996) . Pytany w jedną stronę, około 60% respondentów stwierdziło, że ludzie byli bardziej winni zbrodni, ale kiedy zapytałem w drugą stronę około 60% podało, że warunki socjalne były bardziej winne (rysunek 3.2). Innymi słowy, mała różnica między tymi dwoma pytaniami mogą doprowadzić badaczy do innego wniosku.

Rysunek 3.2: Wyniki eksperymentu badania (Schuman and Presser 1996, Table 8.1) . Naukowcy mogą uzyskać różne odpowiedzi w zależności od dokładnie, w jaki sposób zadał pytanie. Jest to przykład efektu Formularz zapytania (Kalton and Schuman 1982) .

Dodatkowo do konstrukcji kwestii badani mogą również dają różne odpowiedzi, na podstawie określonych słów używanych. Na przykład, w celu zmierzenia opinie o priorytetach rządowych, respondenci przeczytać następujący komunikat:

"Mamy do czynienia z wieloma problemami w tym kraju, z których żaden nie może być rozwiązane łatwo i niedrogo. Zamierzam wymienić niektóre z tych problemów, a dla każdego z nich chciałbym Ci powiedzieć, czy uważasz, że spędzasz zbyt dużo pieniędzy na to zbyt mało pieniędzy, albo o właściwej wysokości. "

". Pomocy dla ubogich" Następnie połowa respondentów pytano o "dobro", a druga połowa pytano o ile mogą one wydawać się dwóch różnych wyrażeń dla tej samej rzeczy, to wywołało bardzo różne wyniki (rysunek 3.3); Amerykanie raportu jest znacznie bardziej wspierać "pomoc dla ubogich" niż "dobra" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . Podczas badania naukowcy uważają te efekty sformułowań, jakich należy anomalie, mogli również wziąć pod uwagę ich wyniki badań. Oznacza to, że nauczyliśmy się czegoś o opinii publicznej od tego wyniku.

Rysunek 3.3: Wyniki z Huber and Paris (2013) . Respondenci są znacznie bardziej wspierać "pomoc dla ubogich" niż "dobra". Jest to przykład efektu pytanie czym sformułowanie odpowiedzi, że naukowcy otrzymują dokładnie, które zależą od słów, których używają w swoich pytaniach.

Jako przykłady te o skutkach Formularz zapytania i efektami brzmienia pokazać, odpowiedzi, że naukowcy otrzymują można wpływać w subtelny sposób, w oparciu o jaki proszą ich pytania. To nie znaczy, że badania nie powinny być stosowane; Często nie ma wyboru. Raczej przykłady ilustrują, że powinniśmy konstruować nasze pytania ostrożnie i nie należy przyjmować bezkrytycznie odpowiedzi.

Najbardziej konkretnie, oznacza to, że jeśli analizy danych pomiarowych zebranych przez kogoś innego, upewnij się że przeczytałeś rzeczywistego kwestionariusza. A jeśli tworzysz własną ankietę, mam trzy propozycje. Po pierwsze, proponuję przeczytać więcej na temat projektu kwestionariusza (np Bradburn, Sudman, and Wansink (2004) ); to coś więcej, niż udało mi się tutaj opisać. Po drugie, I sugerują, że copy-dosłownie-pytania z badań wysokiej jakości. Choć brzmi to jak plagiat, pytania Kopiowanie jest promowana w badaniach ankietowych (tak długo, jak cytują oryginalnego badania). Jeśli skopiujesz pytania z badań wysokiej jakości, można mieć pewność, że zostały one przetestowane i można porównać odpowiedzi do ankiety do odpowiedzi z innego badania. Na koniec proponuję wstępnie przetestować swoje pytania z kilkoma osobami z twojej populacji ramki (Presser et al. 2004) ; Moje doświadczenie jest to, że wstępne badania zawsze ujawnia problemy zaskakujące.