आपल्या उत्तरप्रेमी काय विचार करतात आणि काय करतात त्यावरून ते काय करतात ते मोजावेचे मोजमाप आहे.
प्रतिनिधित्वाच्या समस्यांखेरीज, सर्व्हे सर्वे त्रुटी फ्रेमवर्कमुळे असे दिसून येते की त्रुटींचे दुसरे प्रमुख स्त्रोत मापन आहे : उत्तर कसे देते याचे उत्तरे आपल्या प्रश्नांना देतात हे निष्कर्ष बाहेर पडले की आम्हाला मिळत असलेल्या उत्तरांमुळे आणि म्हणून आम्ही जे संदर्भ देत आहोत, ते गांभीर्याने-आणि कधीकधी आश्चर्यकारक प्रकारे अवलंबून असू शकतात-आपण ज्या पद्धतीने विचारतो त्यानुसार. नॉर्मन ब्रेडबर्न, सेमॉर साड्मन, आणि ब्रायन वान्सिंक (2004) यांच्या विस्मयकारक पुस्तकाचे प्रश्न विचारण्यातील विनोदापेक्षा कदाचित हा मुद्दा महत्त्वाचा नाही.
दोन याजक, एक डोमिनिकन आणि एक Jesuit, धूम्रपान आणि त्याच वेळी प्रार्थना करणे हे पाप आहे की नाही हे चर्चा करत आहेत. एक निष्कर्ष पोहोचण्याचा अपयश केल्यानंतर, प्रत्येक त्याच्या संबंधित वरिष्ठ सल्ला बंद ला. डोमिनिकन म्हणतो, "काय वरिष्ठ म्हणता?"
Jesuit, प्रतिसाद, "तो ठीक आहे."
"त्या मजेदार आहे" डोमिनिकन उत्तर, "माझे पर्यवेक्षक पाप आहे."
Jesuit, म्हणाला, "तू त्याला काय मागू केले?" डोमिनिकन उत्तर, "तो प्रार्थना करीत असताना धुम्रपान करण्याची ठीक होते तर मी त्याला विचारले." "अगं" Jesuit, म्हणाला, "धूम्रपान करताना प्रार्थना ठीकठाक तर मी विचारले."
या विशिष्ट विनोदापेक्षा, सर्वेक्षण संशोधकांनी आपण जे काही शिकता ते अनेक पद्धतशीर मार्गांनी दस्तऐवजीकरण केले आहे हे आपण कसे विचारता यावर अवलंबून आहे. किंबहुना, या विनोदाच्या मुळाशी हा मुद्दा सर्वेक्षणाचे समाजातील नाव आहे: प्रश्न फॉर्म इफेक्ट्स (Kalton and Schuman 1982) . प्रश्न संसाधने प्रभाव वास्तविक सर्वेक्षणांवर कसा परिणाम करू शकतात हे पाहण्यासाठी, या दोन समान तत्सम सर्वेक्षण प्रश्नांचा विचार करा:
जरी दोन्ही प्रश्न एकाच गोष्टीचे मोजमाप करत असले तरी प्रत्यक्ष सर्वेक्षण प्रयोग (Schuman and Presser 1996) मध्ये त्यांनी वेगवेगळ्या परिणामांची निर्मिती केली. एका मार्गाने विचारले असता, सुमारे 60% सर्वेक्षणात असे आढळून आले की व्यक्ती अधिक गुन्हेगारीला जबाबदार आहेत, परंतु इतर मार्गाने विचारल्यावर सुमारे 60% नोंदवले गेले की सामाजिक स्थिती अधिक होती (आकृती 3.3). दुसऱ्या शब्दांत, या दोन प्रश्नांतील लहान फरक संशोधकांना एक वेगळे निष्कर्ष काढू शकतात.
प्रश्नांच्या संरचनेखेरीज उत्तरदायी वापरलेल्या विशिष्ट शब्दांवर आधारित उत्तरे देखील उत्तर देऊ शकतात. उदाहरणार्थ, सरकारी प्राधान्यांबद्दलच्या मते मोजण्यासाठी, उत्तरदारांना खालील सूचना वाचायला मिळतात:
"आम्ही काहीही सहज किंवा कमी खर्चात निराकरण केले जाऊ शकते या देशात अनेक समस्या, सह चेहर्याचा आहेत. मी या समस्या काही नाव आहे, आणि प्रत्येक एक मी तुम्हाला आम्ही खूप थोडे पैसे त्यावर खूप पैसा खर्च करत, किंवा योग्य प्रमाणात विचार की नाही हे मला सांगणार. "
पुढे, अर्ध्याहून अधिक प्रतिसादकांना "कल्याण" विषयी विचारण्यात आले आणि अर्ध्या लोकांना "गरिबांसाठी मदत" बद्दल विचारले गेले. परंतु हे एकाच गोष्टीसाठी दोन वेगवेगळ्या शब्दांसारखे वाटतील, त्यांनी खूप वेगळे परिणाम (चित्रात 3.4) प्राप्त केले; अमेरिकन "कल्याण" पेक्षा "गरिबांना मदत" अधिक समर्थक असल्याचे अहवाल (Smith 1987; Rasinski 1989; Huber and Paris 2013) .
प्रश्न फॉर्म प्रभाव आणि शब्दशैली प्रभाव दर्शविणार्या या उदाहरणांप्रमाणे, संशोधकांना मिळणारे उत्तर त्यांच्या प्रश्नांवर ते कसे विचारतात यावरून प्रभावित होऊ शकतात. ही उदाहरणे काहीवेळा संशोधकांना त्यांचे सर्वेक्षणाचे प्रश्न विचारण्याचे "योग्य" पद्धतीचे आश्चर्य वाटते. मला वाटतं एखादा प्रश्न विचारण्याचे स्पष्टपणे चुकीचे मार्ग आहेत, मला नेहमीच एक योग्य मार्ग दिसत नाही. म्हणजेच "कल्याण" किंवा "गरिबांसाठी मदत" याबाबत विचारणे चांगले नाही; हे दोन वेगवेगळे प्रश्न आहेत जे उत्तरकक्षांच्या स्वभावाच्या दोन भिन्न गोष्टी मोजतात. ही उदाहरणे देखील कधीकधी संशोधकांना असे निष्कर्ष काढतात की सर्वेक्षणांचा वापर केला जाऊ नये. दुर्दैवाने, काहीवेळा पर्याय नसतो. त्याऐवजी, मला असे वाटते की या उदाहरणांमधून योग्य धडा रेखाटणे म्हणजे आपण आपले प्रश्न काळजीपूर्वक तयार केले पाहिजे आणि आपण अनिश्चिततेने प्रतिसाद स्वीकारू नये.
अधिक दृढ, याचा अर्थ असा की जर आपण एखाद्या व्यक्तीद्वारे गोळा केलेले सर्वेक्षण डेटाचे विश्लेषण करत असाल तर, आपण वास्तविक प्रश्नावली वाचलेली असल्याची खात्री करा. आणि आपण आपल्या स्वतःच्या प्रश्नावली तयार करत असल्यास, मला चार सूचना आहेत. प्रथम, मी सुचवितो की आपण प्रश्नावलीच्या डिझाइनबद्दल अधिक वाचून घ्या (उदा. Bradburn, Sudman, and Wansink (2004) ); मी येथे वर्णन करण्यास सक्षम केले आहे पेक्षा अधिक आहे. द्वितीय, मी सुचवितो की उच्च-गुणवत्तेच्या सर्वेक्षणातून आपण शब्द-प्रश्नांसाठी कॉपी-वर्ड. उदाहरणार्थ, जर आपण उत्तरदायींना त्यांच्या वंश / जातीबद्दल विचारायचे असल्यास, आपण जनगणना सारख्या मोठ्या प्रमाणात सरकारी सर्वेक्षणात वापरले जाणारे प्रश्न कॉपी करू शकता. जरी ही कदाचित वाड्ःमयचौर्य असल्यासारखे वाटू शकते, सर्वेक्षणातील संशोधनास कॉपी करुन प्रोत्साहन दिले जाते (जोपर्यंत आपण मूळ सर्वेक्षणाचा उल्लेख करतो). जर आपण उच्च दर्जाच्या सर्वेक्षणातील प्रश्नांची प्रतिलिपी केली, तर आपण याची खात्री करू शकता की त्यांची चाचणी केली गेली आहे आणि आपण इतर सर्वेक्षणातून प्रतिसादांवर आपल्या सर्वेक्षणाशी तुलना करू शकता. थर्ड, आपण जर आपल्या प्रश्नावलीमध्ये महत्वाचे प्रश्न शब्दरचना प्रभाव किंवा प्रश्न फॉर्म प्रभाव असू शकतात, तर आपण एक सर्वेक्षण प्रयोग चालवू शकता जेथे अर्ध्या उत्तरप्रेषक प्रश्नाची एक आवृत्ती प्राप्त करतात आणि अर्धा इतर आवृत्ती (Krosnick 2011) प्राप्त करतात. शेवटी, मी सुचवितो की आपण आपल्या फ्रेम लोकसंख्येतील काही लोकांबरोबर आपल्या प्रश्नांची चाचणी घ्या; सर्वेक्षण संशोधक या प्रक्रियेस पूर्व-चाचणी (Presser et al. 2004) . माझे अनुभव असे आहे की सर्वेक्षण पूर्व-परीक्षण अतिशय उपयुक्त आहे.