3.3.2 Pomiar
Pomiary polegają na wnioskowania, co respondenci myślą i robią z tego, co mówią.
Oprócz problemów związanych z reprezentacją, całkowity system błędów w ankiecie pokazuje, że drugim ważnym źródłem błędów jest pomiar : w jaki sposób wyciągamy wnioski z odpowiedzi udzielonych przez respondentów na nasze pytania. Okazuje się, że odpowiedzi, które otrzymujemy, a co za tym idzie wnioskowane przez nas wnioski, mogą zależeć krytycznie - i czasami zaskakująco - od tego, jak dokładnie o to pytamy. Być może nic nie ilustruje tego ważnego punktu lepiej niż żart ze wspaniałej książki Zadawanie pytań Normana Bradburna, Seymour Sudman i Briana Wansinka (2004) :
Dwóch księży, dominikanin i jezuita, dyskutują, czy to jest grzech palić i modlić się w tym samym czasie. Po nieudanej próbie wyciągnięcia wniosków, każdy gaśnie skonsultować jego właściwego przełożonego. Dominikanin mówi: "Co zrobił swoją doskonałą powiedzenia?"
Jezuita odpowiada: "On powiedział, że to było w porządku."
"To zabawne" dominikanin odpowiada: "Mój przełożony powiedział, że to grzech."
Jezuita powiedział: "Co mu zadać?" Dominikańska odpowiada: "Zapytałem go, czy to w porządku, palić podczas modlitwy." "Oh" powiedział jezuita "Zapytałem, czy to było OK, aby modlić się podczas palenia."
Poza tym żartem, badacze badania udokumentowali wiele systematycznych sposobów, że to, czego się uczysz, zależy od tego, jak pytasz. W rzeczywistości, sama kwestia u podstaw tego żartu ma swoją nazwę w społeczności badawczej: efekty pytań (Kalton and Schuman 1982) . Aby zobaczyć, w jaki sposób efekty formularzy zapytania mogą wpływać na prawdziwe ankiety, rozważ te dwa bardzo podobne pytania ankietowe:
- "Ile zgadzasz się z następującym stwierdzeniem: Osoby są bardziej winni niż warunki społeczne dla zbrodni i bezprawia w tym kraju."
- "Ile zgadzasz się z następującym stwierdzeniem: Warunki socjalne są bardziej winni niż osoby o zbrodni i bezprawia w tym kraju."
Chociaż oba pytania wydają się mierzyć to samo, to przyniosły różne wyniki w prawdziwym eksperymencie badawczym (Schuman and Presser 1996) . Pytani w jedną stronę, około 60% respondentów stwierdziło, że osoby winne są bardziej za przestępstwo, ale gdy zapytano go w inny sposób, około 60% stwierdziło, że bardziej obwiniane są warunki społeczne (rys. 3.3). Innymi słowy, niewielka różnica między tymi dwoma pytaniami może skłonić badaczy do innego wniosku.
Rysunek 3.3: Wyniki eksperymentu z ankiety pokazujące, że naukowcy mogą uzyskać różne odpowiedzi w zależności od tego, jak dokładnie zadali pytanie. Większość respondentów zgodziła się, że osoby są bardziej winne niż warunki społeczne za przestępstwa i bezprawie. I większość respondentów zgodziła się z przeciwną: że warunki społeczne są bardziej odpowiedzialne niż jednostki. Adaptacja z Schuman and Presser (1996) , tabela 8.1.
Oprócz struktury pytania respondenci mogą również udzielić różnych odpowiedzi, w zależności od użytych słów. Na przykład, aby zmierzyć opinie na temat priorytetów rządowych, respondenci zostali odczytani następująco:
"Mamy do czynienia z wieloma problemami w tym kraju, z których żaden nie może być rozwiązane łatwo i niedrogo. Zamierzam wymienić niektóre z tych problemów, a dla każdego z nich chciałbym Ci powiedzieć, czy uważasz, że spędzasz zbyt dużo pieniędzy na to zbyt mało pieniędzy, albo o właściwej wysokości. "
Następnie połowa respondentów była pytana o "dobrostan", a połowa pytana była o "pomoc dla ubogich". Chociaż mogą one wydawać się dwiema różnymi frazami na to samo, wywołały one bardzo różne wyniki (rysunek 3.4); Amerykanie twierdzą, że dużo bardziej wspierają "pomoc biednym" niż "dobrobyt" (Smith 1987; Rasinski 1989; Huber and Paris 2013) .
Rysunek 3.4: Wyniki eksperymentów przeprowadzonych w ankiecie pokazujących, że respondenci znacznie bardziej wspierają "pomoc dla ubogich" niż "dobrostan". Jest to przykład efektu sformułowania pytania, w którym odpowiedzi, które otrzymują badacze, zależą od tego, które dokładnie słowa wykorzystują w ich pytania. Zaadaptowane z Huber and Paris (2013) , tabela A1.
Jak pokazują te przykłady dotyczące efektów pytań i efektów słowotwórczych, odpowiedzi, które otrzymują badacze, mogą mieć wpływ na to, jak zadają pytania. Te przykłady czasami prowadzą naukowców do zastanawiania się nad "poprawnym" sposobem zadawania pytań w ankiecie. Chociaż wydaje mi się, że istnieje kilka wyraźnie niewłaściwych sposobów zadawania pytań, nie sądzę, że zawsze istnieje jeden właściwy sposób. Oznacza to, że lepiej nie pytać o "dobrobyt" czy "pomoc dla ubogich"; są to dwa różne pytania, które mierzą dwie różne rzeczy dotyczące postaw respondentów. Te przykłady czasami prowadzą naukowców do wniosku, że ankiety nie powinny być używane. Niestety, czasami nie ma wyboru. Zamiast tego uważam, że właściwą lekcją na podstawie tych przykładów jest ostrożne konstruowanie naszych pytań i nie powinniśmy przyjmować odpowiedzi bezkrytycznie.
Najogólniej oznacza to, że jeśli analizujesz dane z ankiety zebrane przez kogoś innego, upewnij się, że przeczytałeś aktualny kwestionariusz. A jeśli tworzysz własny kwestionariusz, mam cztery sugestie. Po pierwsze, sugeruję, abyś przeczytał więcej na temat projektowania kwestionariuszy (np. Bradburn, Sudman, and Wansink (2004) ); jest w tym coś więcej, niż byłem w stanie opisać tutaj. Po drugie, proponuję, abyś kopiował słowo na słowo-pytania z wysokiej jakości ankiet. Na przykład, jeśli chcesz zapytać respondentów o ich rasę / pochodzenie etniczne, możesz skopiować pytania używane w ankietach rządowych na dużą skalę, takich jak spis ludności. Chociaż może to brzmieć jak plagiat, w badaniach ankietowych zachęca się do kopiowania pytań (o ile cytujesz oryginalną ankietę). Jeśli kopiujesz pytania z wysokiej jakości ankiet, możesz mieć pewność, że zostały przetestowane i możesz porównać odpowiedzi z ankiety z odpowiedziami z innych ankiet. Po trzecie, jeśli uważasz, że Twoja ankieta może zawierać ważne efekty lub efekty pytań, możesz przeprowadzić eksperyment ankietowy, w którym połowa respondentów otrzyma jedną wersję pytania, a połowa otrzyma drugą wersję (Krosnick 2011) . Na koniec sugeruję, abyś przetestował swoje pytania na pilotażach u niektórych osób z twojej populacji ramek; Badacze badający ankietę nazywają ten proces wstępnym testowaniem (Presser et al. 2004) . Z mojego doświadczenia wynika, że wstępne sprawdzenie ankiety jest niezwykle pomocne.
