मापन भनेको तपाईको उत्तरदायीहरूले के सोच्ने कुरा सोच्न र के गर्ने भन्ने बारे अनुमान छ।
प्रतिनिधित्वको समस्याको बावजुद, कुल सर्वेक्षण त्रुटी ढाँचाले त्रुटिको दोस्रो प्रमुख स्रोत मापन गर्दछ : हामी उत्तरदायी हाम्रा प्रश्नहरूको जवाफ दिने जवाफबाट कसरी इन्स्टान्स गर्छौं। यसले हामीलाई फर्काउँछ कि हामीले प्राप्त गरेका जवाफहरू, र यसैले हामीले गरेका छनोटहरू, आलोचनात्मक र कहिलेकाहीँ अचम्मलाग्दो तरिकामा निर्भर हुन सक्छ - हामी कसरी सोच्दछौं। शायद केहि पनि उल्लेखनीय छ कि यो महत्वपूर्ण बिंदु अद्भुत किताब मा मजाक देखि बेहतर छ नर्मन ब्रैडबर्न, सेमोर सुडमैन, र ब्रायन व्यानसिंक (2004) द्वारा प्रश्न सोध्दै :
दुई पूजाहारीहरू, एक डोमिनिकन र एक जेसुइट, यो धूम्रपान र एकै समयमा प्रार्थना गर्न एक पाप छ कि छैन भनेर छलफल गर्दै हुनुहुन्छ। एक निष्कर्षमा पुग्न असफल भएपछि प्रत्येक आफ्नो सम्बन्धित उच्च परामर्श गर्न बन्द जान्छ। डोमिनिकन "आफ्नो उच्च भन्छन् के गरे?", भन्छन्
यो जेसुइट प्रतिक्रिया, "उहाँले यो ठीक थियो।"
"त्यो हास्यास्पद छ" डोमिनिकन, जवाफ "मेरो पर्यवेक्षक भने यसलाई पाप थियो।"
यो जेसुइट, "के तपाईं उसलाई मागे?" डोमिनिकन जवाफ "यो प्रार्थना गर्दा धूम्रपान गर्न ठीक थियो भने म उसलाई सोधे।" "ओह" को जेसुइट भन्नुभयो, "यो धूम्रपान गर्दा प्रार्थना गर्न ठीक थियो भने मैले सोधें।" भने
यस विशिष्ट मजाक को बावजूद, सर्वेक्षण शोधकर्ताहरु ले तपाईं कसरि पूछताछ मा निर्भर गर्दछ कि धेरै व्यवस्थित तरिका को दस्तावेज गरेको छ। वास्तव मा, यो मजाक को मूल मा धेरै मुद्दा सर्वेक्षण शोध समुदाय मा एक नाम छ: प्रश्न प्रपत्र प्रभाव (Kalton and Schuman 1982) । कसरी प्रश्न फाराम प्रभावहरू वास्तविक सर्वेक्षणहरूमा असर पर्न सक्छ, यी दुई धेरै समान-सर्वेक्षण सर्वेक्षणका प्रश्नहरू विचार गर्नुहोस्:
यद्यपि दुबै प्रश्नहरूले एउटै कुराको मापदण्ड देखाउँछन्, तिनीहरूले वास्तविक सर्वेक्षण प्रयोगमा विभिन्न परिणामहरू प्रस्तुत गरेका थिए (Schuman and Presser 1996) । एक तरिका सोध्दा, लगभग 60% उत्तरदायीहरूले रिपोर्ट गरेका थिए कि व्यक्तिलाई अपराधको दोषी ठहरिन्थ्यो, तर जब अर्को तरिकाले सोधे, लगभग 60% रिपोर्ट गरे कि सामाजिक अवस्था दोषी थिए (चित्र 3.3)। अन्य शब्दहरूमा, यी दुई प्रश्नहरू बीचको सानो भिन्नताले शोधकर्ताहरूलाई फरक निष्कर्षमा ल्याउन सक्छ।
प्रश्नको संरचनाको अतिरिक्त, उत्तरदायी विशेष शब्दहरूको आधारमा उत्तरदायीहरूले फरक जवाफ दिन सक्छन्। उदाहरणका लागि, सरकारी प्राथमिकताहरूको बारेमा रायहरूलाई उपाय गर्न, उत्तरदायीहरू निम्न प्रलोभन पढेका थिए:
"हामी कुनै पनि जो सजिलै वा inexpensively हल गर्न सकिन्छ यो देशमा धेरै समस्या, सामना छन्। म यी समस्याहरू केही नाम लागिरहेको छु, र हरेक एक को लागि म तपाईं हामी, यसलाई पनि धेरै पैसा खर्च गर्दै हुनुहुन्छ पनि सानो पैसा, वा सही रकम सोच्न कि तिमी मलाई बताउन चाहन्छु। "
त्यसपछि, उत्तरदायी आधाका बारे "कल्याण" को बारे मा सोधिने थिए र आधा "गरीबहरुको लागि सहायता" को बारे मा सोधिन्छ। हुनत यो त्यहि कुरा को लागी दुई फरक वाक्यांश जस्तो लाग्दछ, उनि धेरै भिन्न परिणामहरु को अनुमान लगाए (आंकडा 3.4); अमेरिकियों को "कल्याण को सहायता" को "कल्याण" (Smith 1987; Rasinski 1989; Huber and Paris 2013) तुलना मा अधिक सहयोग को प्रतिवेदन दिइन्छ।
यस प्रश्नका रूपमा प्रश्न फाराम प्रभाव र शब्द प्रभाव प्रभावको बारेमा, शोधकर्ताहरूले प्राप्त गर्ने जवाफहरूले उनीहरुको प्रश्न सोध्न कसरी प्रभावित हुन सक्छ। यी उदाहरणहरू कहिलेकाहीँ शोधकर्ताहरूको नेतृत्वमा उनीहरूको सर्वेक्षण प्रश्नहरू सोध्न "सही" तरिकाको बारेमा अचम्म लाग्छ। जब मैले सोधेँ कि त्यहाँ केही प्रश्नहरू सोध्न केही स्पष्ट तरिकाहरू छन्, मलाई सोच्दैन कि त्यहाँ सधै एक सही तरिका हो। त्यो हो, यो स्पष्ट रूप देखि "कल्याण" वा "गरीबहरूको लागि सहायता" को बारेमा सोध्न राम्रो छैन; यी दुइटा फरक प्रश्नहरू छन् जुन दुई अलग-अलग चीजहरू प्रतिक्रियावादीहरूको मनोवृत्तिको बारेमा उपाय गर्छन्। यी उदाहरणहरू कहिलेकाहीँ शोधकर्ताहरूको नेतृत्व गर्ने निष्कर्ष निकाल्नका लागि सर्वेक्षणहरू प्रयोग हुँदैन। दुर्भाग्यवश, कहिलेकाहीँ कुनै विकल्प छैन। बरु, मलाई लाग्छ कि यी उदाहरणहरूबाट आकर्षित गर्ने सही पाठ भनेको हो कि हामीले हाम्रो प्रश्नहरू सावधानीपूर्वक निर्माण गर्नुपर्छ र हामीले अनिश्चित प्रतिक्रियाहरू स्वीकार गर्नुपर्दैन।
सबैभन्दा ठुलो कुरा, यसको अर्थ हो कि यदि तपाईं कसैको द्वारा एकत्रित सर्वेक्षण डेटा को विश्लेषण गर्दै हुनुहुन्छ भने, तपाइँले वास्तविक प्रश्नप्रचार पढ्नु भएको निश्चित गर्नुहोस्। र यदि तपाईं आफ्नो आफ्नै प्रश्नावली सिर्जना गर्दै हुनुहुन्छ भने, मेरो चार सुझाव छ। पहिलो, म सुझाव दिन्छु कि तपाईं प्रश्नावली डिजाइन को बारे मा अधिक पढें (उदाहरणार्थ, Bradburn, Sudman, and Wansink (2004) ); त्यहाँ यहाँ वर्णन गर्न सक्षम भएको भन्दा बढी छ। दोस्रो, म सुझाव दिन्छु कि तपाईं उच्च-गुणस्तर सर्वेक्षणबाट शब्द-प्रश्नहरूको लागि प्रतिलिपि-शब्द। उदाहरणका लागि, यदि तपाईं आफ्नो जाति / जातिको बारेमा उत्तरदायीहरूलाई सोध्न चाहानुहुन्छ भने, तपाईले ती प्रश्नहरू प्रतिलिपि गर्न सक्नुहुनेछ जुन ठूलो मात्रामा सरकारी सर्वेक्षणहरूमा प्रयोग गरिन्छ। यद्यपि यो साहित्यिक साहित्यिक जस्तो लाग्न सक्छ, प्रश्नहरू प्रतिलिपि गर्न सर्वेक्षण अनुसन्धानमा प्रोत्साहित गरिन्छ (जबसम्म तपाईले मूल सर्वेक्षणलाई उल्लेख गर्दछ)। यदि तपाईं उच्च गुणस्तर सर्वेक्षणबाट प्रश्नहरू प्रतिलिपि गर्नुहुन्छ भने, तपाइँ निश्चित हुन सक्नुहुनेछ कि उनीहरूको परीक्षण गरिएको छ, र तपाइँ अन्य सर्वेक्षणहरूको प्रतिक्रियाहरूको लागि तपाइँको सर्वेक्षणको प्रतिक्रियाहरूको तुलना गर्न सक्नुहुन्छ। तेस्रो, यदि तपाईले सोच्नुहुन्छ कि तपाइँको प्रश्नप्रदकले महत्त्वपूर्ण प्रश्न शब्द प्रभाव वा प्रश्न फारम प्रभाव हुन सक्छ, तपाइँ एक सर्वेक्षण प्रयोग गर्न सक्नुहुन्छ जहाँ आधा उत्तरदायीहरूले प्रश्नको एक संस्करण प्राप्त गर्दछ र आधाले अन्य संस्करण (Krosnick 2011) प्राप्त गर्दछ। अन्तमा, म सुझाव दिन्छु कि तपाईंले आफ्नो फ्रेम आबादीका केही मान्छेसँग आफ्ना प्रश्नहरू पायलट-परीक्षण गर्नुहुन्छ; सर्वेक्षण शोधकर्ताहरूले यो प्रक्रिया पूर्व-परीक्षण (Presser et al. 2004) फोन गर्दछ। मेरो अनुभव भनेको सर्वेक्षण पूर्व परीक्षण धेरै उपयोगी छ।