તમારા પ્રતિસાદીઓ શું વિચારે છે અને શું કહે છે તેનાથી માપે છે તેવું અનુમાન કરવું.
પ્રતિનિધિત્વની સમસ્યાઓ ઉપરાંત, કુલ સર્વેક્ષણ ભૂલ ફ્રેમવર્ક બતાવે છે કે ભૂલોનો બીજો મોટો સ્રોત માપ છે : અમે અમારા પ્રશ્નોના જવાબ આપનારા જવાબોમાંથી કેવી રીતે અનુમાન લગાવવીએ છીએ તે તારણ કાઢે છે કે જે જવાબો આપણને પ્રાપ્ત થાય છે, અને તેથી આપણે બનાવેલ અનુમાનો, વિવેચનાત્મક રીતે અને ક્યારેક આશ્ચર્યજનક રીતે - અમે કેવી રીતે પૂછીએ છીએ તેની પર આધાર રાખી શકીએ છીએ. કદાચ કંઈ આ મહત્વપૂર્ણ બિંદુ અદ્ભુત પુસ્તક પૂછવા નોર્મન Bradburn, સીમોર Sudman, અને બ્રાયન Wansink દ્વારા પ્રશ્નો એક મજાક કરતાં વધુ સારી સમજાવે (2004) :
બે પાદરીઓ, ડોમિનિકન અને એક જેસ્યુટ, ચર્ચા કરી રહ્યા છે કે કેમ તે એક પાપ ધૂમ્રપાન અને તે જ સમયે પ્રાર્થના છે. નિષ્કર્ષ સુધી પહોંચવામાં નિષ્ફળતાને પછી, દરેક બોલ જાય તેના સંબંધિત ચઢિયાતી સંપર્ક કરવા. ડોમિનિકન કહે છે, "શું તમારા શ્રેષ્ઠ કહ્યું?"
જેસ્યુટ જવાબ આપે છે, "તેમણે જણાવ્યું હતું કે તે આર ઓલરાઇટ હતી."
"તે રમૂજી છે" ડોમિનિકન જવાબો, "મારા અવેક્ષક જણાવ્યું હતું કે તે એક પાપ હતું."
જેસ્યુટ જણાવ્યું હતું કે, "શું તમે તેની પાસે માંગણી નહોતી?" ડોમિનિકન જવાબો "હું તેમને પૂછવામાં જો તે જ્યારે પ્રાર્થના ધૂમ્રપાન ઓલરાઇટ હતો." "ઓહ" જેસ્યુટ જણાવ્યું હતું કે, "હું પૂછવામાં જો તે ધૂમ્રપાન પ્રાર્થના કરવા બરાબર હતું."
આ ચોક્કસ મજાક ઉપરાંત, સર્વેક્ષણ સંશોધકોએ તમે જે શીખ્યા છો તે ઘણા વ્યવસ્થિત રીતોનું દસ્તાવેજીકરણ કર્યું છે તમે કેવી રીતે પૂછો તેના આધારે હકીકતમાં, આ મજાકના મૂળમાં આ મુદ્દો સર્વેક્ષણ સંશોધન સમુદાયમાં એક નામ ધરાવે છે: પ્રશ્ન ફોર્મ અસરો (Kalton and Schuman 1982) . પ્રશ્ન ફોર્મની અસરો પ્રત્યક્ષ સર્વેક્ષણોને કેવી રીતે અસર કરી શકે છે તે જોવા માટે, આ બન્ને સમાન દેખાતા સર્વેક્ષણ પ્રશ્નોનો વિચાર કરો:
તેમ છતાં બંને પ્રશ્નો સમાન વસ્તુ માપવા લાગે છે, તેઓ વાસ્તવિક સર્વેક્ષણ પ્રયોગ (Schuman and Presser 1996) માં વિવિધ પરિણામો ઉત્પન્ન કર્યા હતા. એક રસ્તે પૂછવામાં આવ્યું ત્યારે લગભગ 60% ઉત્તરદાતાઓએ નોંધ્યું હતું કે વ્યક્તિઓ ગુના માટે જવાબદાર છે, પરંતુ જ્યારે બીજી રીતે પૂછવામાં આવ્યું ત્યારે આશરે 60% લોકોએ નોંધ્યું હતું કે સામાજીક સ્થિતિ વધુ દોષી છે (આંકડા 3.3). બીજા શબ્દોમાં કહીએ તો, આ બે પ્રશ્નો વચ્ચેનો નાનો તફાવત સંશોધકોને એક અલગ તારણ પર લઈ શકે છે.
પ્રશ્નનો માળખું ઉપરાંત, ઉત્તરદાતાઓ ઉપયોગમાં લેવાતા ચોક્કસ શબ્દોના આધારે અલગ જવાબો પણ આપી શકે છે. ઉદાહરણ તરીકે, સરકારી પ્રાથમિકતાઓ વિશે અભિપ્રાયો માપવા માટે, ઉત્તરદાતાઓને નીચેના પ્રોમ્પ્ટ વાંચવામાં આવ્યા હતા:
"અમે જે કંઈ સરળતાથી અથવા inexpensively હલ કરી શકાય છે આ દેશમાં અનેક સમસ્યાઓ સાથે સામનો કરવામાં આવે છે. હું આ સમસ્યાઓ અમુક નામ જાઉં છું, અને દરેક એક માટે હું તમને મને કહેવું છે કે શું તમને લાગે છે કે અમે તેના પર ખૂબ થોડા પૈસા પણ ખૂબ પૈસા ખર્ચીને કરી રહ્યાં છો, અથવા જમણી જથ્થો વિશે માંગો છો. "
ત્યારબાદ, અડધા લોકોએ "કલ્યાણ" વિશે પૂછ્યું હતું અને અર્ધ "ગરીબો માટે સહાય" વિશે પૂછવામાં આવ્યું હતું. જ્યારે આ સમાન વસ્તુ માટે બે અલગ અલગ શબ્દસમૂહો જેવા લાગે, તેઓ ખૂબ જ અલગ પરિણામો (આંકડા 3.4) ની શોધ કરી; અમેરિકનો "કલ્યાણ" કરતાં "ગરીબોને સહાય" કરતા વધુ સમર્થક હોવાનો અહેવાલ આપે છે (Smith 1987; Rasinski 1989; Huber and Paris 2013) .
પ્રશ્ન ફોર્મની અસરો અને શબ્દોની અસરો વિશેના આ ઉદાહરણો દર્શાવે છે કે સંશોધકોના જવાબો તેઓ કેવી રીતે તેમના પ્રશ્નો પૂછે છે તેનાથી પ્રભાવિત થઈ શકે છે. આ ઉદાહરણો કેટલીકવાર સંશોધકોને તેમના સર્વેક્ષણ પ્રશ્નો પૂછવા માટે "સાચા" માર્ગ વિશે આશ્ચર્ય પામે છે. જ્યારે મને લાગે છે કે કોઈ પ્રશ્ન પૂછવાની કેટલીક સ્પષ્ટ રીતે ખોટી રીત છે, મને નથી લાગતું કે હંમેશા એક જ સાચો માર્ગ છે. એટલે કે, "કલ્યાણ" અથવા "ગરીબો માટે સહાય" વિશે પૂછવું તે સ્પષ્ટ નથી; આ બે જુદા જુદા પ્રશ્નો છે જે ઉત્તરદાતાઓના વલણ વિશે બે જુદી જુદી વસ્તુઓને માપતા હોય છે. આ ઉદાહરણો કેટલીકવાર સંશોધકોને પરિપૂર્ણ કરવા માટે દોરી જાય છે કે સર્વેક્ષણનો ઉપયોગ ન કરવો જોઇએ. કમનસીબે, ક્યારેક કોઈ પસંદગી નથી. તેના બદલે, મને લાગે છે કે આ ઉદાહરણોમાંથી દોરવા માટેના યોગ્ય પાઠ એ છે કે આપણે અમારા પ્રશ્નોને કાળજીપૂર્વક બનાવીએ અને આપણે પ્રત્યુત્તરોને uncertically સ્વીકારી ન જોઈએ.
સૌથી નિષ્ઠાપૂર્વક, આનો અર્થ એ છે કે જો તમે કોઈ બીજા દ્વારા એકત્રિત કરેલ સર્વેક્ષણ ડેટાનું વિશ્લેષણ કરી રહ્યા હોવ, તો ખાતરી કરો કે તમે વાસ્તવિક પ્રશ્નાવલિ વાંચી છે. અને જો તમે તમારી પોતાની પ્રશ્નાવલી બનાવી રહ્યા હો, તો મારી પાસે ચાર સૂચનો છે. પ્રથમ, હું સૂચવે છે કે તમે પ્રશ્નાવલિ ડિઝાઇન વિશે વધુ વાંચો (દા.ત., Bradburn, Sudman, and Wansink (2004) ); આ માટે હું અહીં વર્ણવવા માટે સમર્થ હોવા કરતાં વધુ છે. બીજું, હું સૂચવે છે કે તમે હાઇ-ક્વોલિટી સર્વેક્ષણોમાંથી શબ્દ-પ્રશ્નો માટે નકલ-શબ્દ. ઉદાહરણ તરીકે, જો તમે ઉત્તરદાતાઓને તેમની જાતિ / વંશીયતા વિશે પૂછવા માગો છો, તો તમે મોટા પાયે સરકારી સર્વેક્ષણ જેમ કે વસતિ ગણતરીમાં ઉપયોગમાં લેવાતા પ્રશ્નોની નકલ કરી શકો છો. તેમ છતાં આ સાહિત્યચોરીની જેમ ધ્વનિ કરી શકે છે, સર્વેક્ષણના સંશોધનમાં પ્રશ્નોના નકલને પ્રોત્સાહન આપવામાં આવે છે (જ્યાં સુધી તમે મૂળ સર્વેક્ષણનો ઉલ્લેખ કરતા હો) જો તમે ઉચ્ચ ગુણવત્તાની સર્વેક્ષણોમાંથી પ્રશ્નોની નકલ કરો છો, તો તમે ખાતરી કરી શકો છો કે તેઓની પરીક્ષણ કરવામાં આવી છે, અને તમે કોઈ અન્ય સર્વેક્ષણોના પ્રતિસાદો માટે તમારા સર્વેક્ષણની તુલના કરી શકો છો. ત્રીજું, જો તમને લાગતું હોય કે તમારી પ્રશ્નાવલિમાં મહત્વપૂર્ણ પ્રશ્ન શબ્દોની અસર અથવા પ્રશ્ન ફોર્મની અસર હોઇ શકે છે, તો તમે એક સર્વેક્ષણ પ્રયોગ ચલાવી શકો છો જ્યાં અડધા પ્રતિવાદીઓ પ્રશ્નનો એક સંસ્કરણ પ્રાપ્ત કરે છે અને અર્ધ અન્ય સંસ્કરણ પ્રાપ્ત કરે છે (Krosnick 2011) . છેલ્લે, હું સૂચવે છે કે તમે તમારી ફ્રેમ વસ્તીના કેટલાક લોકો સાથે તમારા પ્રશ્નોનું પાયલોટ-પરીક્ષણ કરો છો; મોજણી સંશોધકો આ પ્રક્રિયાને પૂર્વ-પરીક્ષણ (Presser et al. 2004) . મારો અનુભવ એ છે કે સર્વેક્ષણ પૂર્વ-પરીક્ષણ અત્યંત ઉપયોગી છે.