3.3.2 Ölçüm

Ölçme, katılımcılarınızın söylediklerinden ne düşündüklerini ve yaptıklarıyla ilgili çıkarım yapmakla ilgilidir.

Temsil problemlerine ek olarak, toplam anket hatası çerçevesi, ikinci büyük hata kaynağının ölçüm olduğunu göstermektedir : katılımcıların sorularımıza verdikleri cevaplardan nasıl çıkarımlar yapıyoruz. Aldığımız cevapların ve dolayısıyla elde ettiğimiz çıkarımların, tam olarak nasıl sorduğumuzla ilgili olarak eleştirel ve bazen de şaşırtıcı yollara bağlı olduğu ortaya çıkıyor. Belki de hiçbir şey Norman Bradburn Seymour Sudman ve Brian Wansink tarafından Soru Sorma harika kitapta bir şaka daha bu önemli bir nokta daha iyi göstermektedir (2004) :

Iki papaz, bir Dominik ve bir Cizvit, duman ve aynı anda dua etmek günah olup olmadığını tartışıyoruz. Bir sonuca ulaşmak için başarısız olduktan sonra, her yaptığı kendi üstün danışmak söner. Dominik "Üstün söz ne yaptık?" Diyor

Cizvit "O tamam olduğunu söyledi.", Yanıt

"Bu komik" Dominik, cevap "Benim gözetmen günah olduğunu söyledi."

Cizvit "Ona ne sordun?" Dominik yanıtlar, dedi ki, "o dua ederken duman yolunda olup olmadığını sordum." "Ah" Cizvit, "dedi o sigara süre dua Tamam olup olmadığını sordum."

Bu özel şakanın ötesinde, anket araştırmacıları, öğrendiklerinizle ilgili sorduğunuz sorulara bağlı olarak birçok sistematik yolu belgelemişlerdir. Aslında, bu şakanın kökündeki konunun anket araştırma topluluğunda bir adı vardır: soru formu etkileri (Kalton and Schuman 1982) . Soru formu etkilerinin gerçek anketleri nasıl etkileyebileceğini görmek için, bu iki benzer görünümlü anket sorularını düşünün:

• "Ne kadar aşağıdaki deyimi ile katılıyorum: Bireyler bu ülkede suç ve kanunsuzluk sosyal koşullardan daha suçlu daha fazladır."
• "Eğer şu deyimi ile ne kadar katılıyorum: Sosyal koşullar bu ülkede suç ve kanunsuzluk için bireylerden daha sorumlu daha fazladır."

Her iki soru da aynı şeyi ölçmekle birlikte, gerçek bir araştırma deneyinde farklı sonuçlar üretti (Schuman and Presser 1996) . Bir yol sorulduğunda, katılımcıların yaklaşık% 60'ı bireylerin suç nedeniyle suçlandıklarını bildirmiştir, ancak başka bir şekilde sorulduğunda, yaklaşık% 60'ı sosyal koşulların daha çok suçlandığını bildirmiştir (şekil 3.3). Başka bir deyişle, bu iki soru arasındaki küçük fark, araştırmacıları farklı bir sonuca götürebilir.

Şekil 3.3: Araştırmacıların, soruyu tam olarak nasıl istediklerine bağlı olarak farklı cevaplar alabildiklerini gösteren bir deney denemesi sonuçları. Katılımcıların çoğunluğu, bireylerin suç ve kanunsuzluk için sosyal koşullardan daha çok suçlandıklarına karar vermiştir. Ve katılımcıların çoğunluğu tam tersine karar verdi: sosyal koşulların bireylerden daha sorumlu olduğu. Schuman and Presser (1996) uyarlanmış, tablo 8.1.

Sorunun yapısına ek olarak, katılımcılar ayrıca, kullanılan belirli kelimelere bağlı olarak farklı cevaplar verebilirler. Örneğin, hükümet öncelikleri hakkındaki görüşleri ölçmek için, katılımcılara aşağıdaki istemi okudu:

"Biz kolayca ve düşük maliyetli çözülebilir hiçbiri bu ülkede pek çok sorun ile karşı karşıyayız. Ben bu sorunların bazılarını isim gidiyorum ve her biri için ben biz bunun üzerinde çok az para çok fazla para harcama, ya da doğru miktarda hakkında düşünüyorum olmadığını Bana söylemek istiyorum. "

Daha sonra, katılımcıların yarısına “refah” sorulmuş ve yarısına “yoksullara yardım” sorulmuştur. Bunlar aynı şey için iki farklı kalıp gibi görünebilirken, çok farklı sonuçlar ortaya çıkarmıştır (şekil 3.4); Amerikalılar “yoksullara yardım” dan “refah” dan çok daha fazla destek aldıklarını belirtmektedir (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

Şekil 3.4: Katılımcıların “yoksullara yardım” dan “refah” dan çok daha fazla destekleyici olduğunu gösteren bir anket deneyinden elde edilen sonuçlar. Bu, araştırmacıların aldıkları cevapların tam olarak hangi sözcükleri kullandıklarına bağlı olarak bir soru ifadesi etkisinin bir örneğidir. onların soruları. Huber and Paris (2013) , tablo A1'den uyarlanmıştır.

Soru formu etkileri ve ifadeler ile ilgili bu örneklerin gösterdiği gibi, araştırmacıların aldıkları cevaplar, sorularını nasıl sorduklarından etkilenebilir. Bu örnekler bazen araştırmacılara anket sorularını sormanın “doğru” yolunu merak etmelerine yol açar. Bir soru sormanın açık bir şekilde yanlış yolları olduğunu düşünürken, her zaman tek bir doğru yol olduğunu düşünmüyorum. Yani, “refah” ya da “yoksullara yardım” dan sormak açıkçası daha iyi değildir; Bunlar, katılımcıların tutumları hakkında iki farklı şeyi ölçen iki farklı soru. Bu örnekler bazen araştırmacılara anketlerin kullanılmaması gerektiği sonucunu doğurmaktadır. Ne yazık ki bazen başka seçenek yok. Bunun yerine, bu örneklerden çıkarılacak doğru dersin, sorularımızı dikkatlice inşa etmemiz gerektiğine ve cevapları eleştirel olarak kabul etmememiz gerektiğine inanıyorum.

En somut olarak, bu, başka biri tarafından toplanan anket verilerini analiz ediyorsanız, gerçek anketi okuduğunuzdan emin olun. Ve eğer kendi anketinizi oluşturuyorsanız, dört önerim var. İlk olarak, anket tasarımı hakkında daha fazla bilgi edinmenizi öneririm (örneğin, Bradburn, Sudman, and Wansink (2004) ); Burada açıklayabildiğimden daha fazlası var. İkincisi, yüksek kalitedeki anketlerden soru - kelime kelimelerini - kopyalamanızı öneririm. Örneğin, katılımcılara ırk / etnik kökenleri hakkında soru sormak isterseniz, nüfus sayımı gibi büyük ölçekli hükümet anketlerinde kullanılan soruları kopyalayabilirsiniz. Bu, intihal gibi gelse de, anket araştırmasında soruları kopyalamak (orijinal araştırmayı yaptığınız müddetçe) teşvik edilir. Yüksek kaliteli anketlerden soruları kopyalarsanız, test edildiklerinden emin olabilirsiniz ve ankete verilen yanıtları diğer anketlerden gelen yanıtlarla karşılaştırabilirsiniz. Üçüncüsü, anketinizin önemli soru cümleleri veya soru formu etkileri içerdiğini düşünüyorsanız, ankete katılanların yarısının sorunun bir sürümünü aldığını ve diğer sürümün yarısını aldığını gösteren bir deneme denemesi yapabilirsiniz (Krosnick 2011) . Son olarak, sorularınızı çerçeve popülasyonunuzdaki bazı kişilerle pilot olarak test etmenizi öneririm; Anket araştırmacıları bu süreci ön test olarak adlandırmaktadır (Presser et al. 2004) . Benim deneyimim, anket ön testinin son derece yararlı olmasıdır.