కొలత మీ ప్రతివాదులు ఏమి ఆలోచిస్తున్నారో మరియు వారు చెప్పేదాని నుండి ఏమి చేస్తారో ఊహించడమే.
ప్రాతినిధ్య సమస్యలతో పాటు, మొత్తం సర్వే లోపం ఫ్రేమ్, లోపాల యొక్క రెండవ అతిపెద్ద వనరు కొలత అని చూపిస్తుంది : ప్రతివాదులు మా ప్రశ్నలకు సమాధానాలు ఇచ్చే సమాధానాలను ఎలా తయారు చేస్తారు. మేము అందుకున్న సమాధానాలు, అందువల్ల మనం చేసిన అనుమానాలు విమర్శనాత్మకంగా మరియు కొన్ని సార్లు ఆశ్చర్యపరిచే మార్గాల్లో-మేము అడిగే దానికి అనుగుణంగా ఉంటాయి. నార్మన్ బ్రాడ్బర్న్, సేమౌర్ సుద్మాన్, మరియు బ్రియాన్ వన్సింక్ (2004) చేత అద్భుతమైన పుస్తకం అడిగిన ప్రశ్నలలో ఒక జోక్ కంటే ఈ ముఖ్యమైన అంశాన్ని ఏదీ వివరిస్తుంది:
రెండు పూజారులు, ఒక డొమినికన్ మరియు ఒక జెసూట్, పొగ మరియు అదే సమయంలో ప్రార్థన ఒక పాపం అని చర్చిస్తున్నారు. ఒక ముగింపు చేరుకోవడానికి విఫలమైన తర్వాత, ప్రతి ఒక్కరూ తన సంబంధిత ఉన్నతాధికారి సంప్రదించండి ఆఫ్ వెళుతుంది. డొమినికన్ చెప్పారు, "మీ ఉన్నతమైన సే ఏమి?"
జెసూట్ స్పందిస్తుంది, "అతను దానిని ఆల్రైట్ ఉంది అన్నారు."
"ఆ ఫన్నీ వార్తలు" డొమినికన్ సమాధానమిచ్చాడు, "నా సూపర్వైజర్ అది పాపపరిహారార్థమైన చెప్పాడు."
, "మీరు అతనిని అడగండి లేదు?" డొమినికన్ ప్రత్యుత్తరాలు ", జెసూట్ చెప్పాడు" దీనిని ప్రార్ధిస్తూ అయితే పొగ ఆల్రైట్ ఉంది ఉంటే నేను అడిగాడు. "ఓహ్" జెసూట్ చెప్పాడు "దీనిని ధూమపానం అయితే ప్రార్థన OK ఉంటే నేను అడిగిన."
ఈ నిర్దిష్ట జోక్కి మించి, సర్వే పరిశోధకులు అనేక పద్ధతుల పద్ధతులను డాక్యుమెంట్ చేసారు, మీరు తెలుసుకోవలసినది మీరు అడిగే దానిపై ఆధారపడి ఉంటుంది. నిజానికి, ఈ జోక్ యొక్క మూలంలో చాలా సమస్య ఏమిటంటే సర్వే రీసెర్చ్ కమ్యూనిటీలో ఒక ప్రశ్న ఉంది : ప్రశ్న రూపం ప్రభావాలు (Kalton and Schuman 1982) . ప్రశ్నార్థక ప్రభావాలు నిజమైన సర్వేలను ఎలా ప్రభావితం చేస్తాయో చూడడానికి, ఈ రెండు ఇదే రకమైన సారూప్య ప్రశ్నలను పరిశీలిద్దాం:
ఇదే విషయాన్ని కొలిచేందుకు రెండు ప్రశ్నలు కనిపిస్తే, వారు నిజమైన సర్వే ప్రయోగంలో వివిధ ఫలితాలను (Schuman and Presser 1996) . ఒక మార్గం అడిగినప్పుడు, ప్రతివాదులు 60 శాతం మంది వ్యక్తులకు నేర కారణమని ఆరోపించారు, కానీ మరో విధంగా అడిగినప్పుడు, 60% మంది సామాజిక పరిస్థితులు ఆరోపిస్తున్నారు (సంఖ్య 3.3). మరో మాటలో చెప్పాలంటే, ఈ రెండు ప్రశ్నలకు మధ్య గల చిన్న వ్యత్యాసం, పరిశోధకులు విభిన్న నిర్ధారణకు దారి తీయవచ్చు.
ప్రశ్న నిర్మాణానికి అదనంగా, ప్రతివాదులు కూడా నిర్దిష్ట జవాబులను బట్టి వివిధ జవాబులను ఇవ్వవచ్చు. ఉదాహరణకు, ప్రభుత్వ ప్రాధాన్యతలను గురించి అభిప్రాయాలను కొలవడానికి, ప్రతివాదులు ఈ క్రింది ప్రాంప్ట్ను చదివారు:
"మేము సులభంగా లేదా తక్కువ ధరతో పరిష్కరించవచ్చు వీటిలో ఏది ఈ దేశంలో అనేక సమస్యలు, ఎదుర్కొంటోంది. నేను ఈ సమస్యలు కొన్ని పేరు వెళుతున్న, మరియు ప్రతి ఒక కోసం నేను మీరు మేము చాలా తక్కువ డబ్బు అది విపరీతంగా డబ్బు ఖర్చు చేస్తున్నారు, లేదా కుడి మొత్తాన్ని గురించి అనుకుంటున్నాను లేదో మీరు నాకు చెప్పండి అవ్వాలనుకుంటే. "
తరువాత, ప్రతివాదులు సగం "సంక్షేమ" గురించి అడిగారు మరియు సగం "పేదలకు సహాయం" గురించి అడిగారు. ఇదే విషయంలో ఇవి రెండు వేర్వేరు పదబంధాలలాగా కనిపిస్తుండగా, వారు వేర్వేరు ఫలితాలను (సంఖ్య 3.4) తీసుకున్నారు; "సంక్షేమం" కంటే "పేదలకు సహాయం" (Smith 1987; Rasinski 1989; Huber and Paris 2013) అమెరికన్లకు మరింత మద్దతు (Smith 1987; Rasinski 1989; Huber and Paris 2013) .
ప్రశ్నార్థక ప్రభావాలు మరియు పదాలు ప్రభావాల గురించి ఈ ఉదాహరణలు చూపినప్పుడు, పరిశోధకులు అందుకున్న సమాధానాలు వారి ప్రశ్నలను ఎలా అడిగినా ప్రభావితమవుతాయి. ఈ ఉదాహరణలు కొన్నిసార్లు వారి సర్వే ప్రశ్నలను అడిగే "సరైన" మార్గం గురించి ఆశ్చర్యపడేలా పరిశోధకులను నడిపిస్తాయి. నేను ఒక ప్రశ్న అడగడానికి కొన్ని స్పష్టంగా తప్పు మార్గాలు ఉన్నాయని నేను భావిస్తున్నాను, అయితే ఒకే ఒక్క సరైన మార్గాన్ని నేను ఎప్పుడూ అనుకోను. అంటే, "సంక్షేమ" లేదా "పేదలకు సహాయం" గురించి అడగటం స్పష్టంగా లేదు; ఈ రెండు వేర్వేరు ప్రశ్నలకు సమాధానంగా ప్రతివాది యొక్క వైఖరులు గురించి రెండు వేర్వేరు విషయాలు ఉన్నాయి. ఈ ఉదాహరణలు కూడా కొన్నిసార్లు పరిశోధకులు సర్వేలను ఉపయోగించరాదని నిర్ధారించడానికి దారి తీస్తుంది. దురదృష్టవశాత్తు, కొన్నిసార్లు ఎంపిక లేదు. బదులుగా, నేను ఈ ఉదాహరణల నుండి గీసిన పాఠం ఏమిటంటే మనం మా ప్రశ్నలను జాగ్రత్తగా నిర్మించాలని మరియు మేము విమర్శలను స్పృహించకూడదు.
చాలా స్పష్టంగా, అనగా మీరు మరొకరు సేకరించిన సర్వే డేటాను విశ్లేషించి ఉంటే, మీరు అసలు ప్రశ్నావళిని చదివారని నిర్ధారించుకోండి. మీరు మీ సొంత ప్రశ్నాపత్రాన్ని సృష్టిస్తున్నట్లయితే, నాకు నాలుగు సూచనలుంటాయి. మొదటిది, మీరు ప్రశ్నాపత్రాల రూపకల్పన గురించి మరింత చదవండి (ఉదా., Bradburn, Sudman, and Wansink (2004) ); నేను ఇక్కడ వర్ణించగలిగారు కంటే ఎక్కువ ఉంది. రెండవది, అధిక-నాణ్యత సర్వేల నుండి పద-ప్రశ్నలకు మీరు కాపీ-పదాన్ని సూచిస్తున్నారని నేను సూచిస్తున్నాను. ఉదాహరణకు, మీరు వారి జాతి / జాతి గురించి ప్రతివాదులు అడగాలనుకుంటే, జనాభా గణన వంటి పెద్ద ఎత్తున ప్రభుత్వ సర్వేల్లో ఉపయోగించే ప్రశ్నలను మీరు కాపీ చేయవచ్చు. ఇది ప్లాగైరిజమ్ వంటి ధ్వని అయినప్పటికీ, ప్రశ్నలను కాపీ చేయడం సర్వే పరిశోధనలో ప్రోత్సహించబడుతుంది (మీరు అసలు సర్వేను సూచిస్తున్నంత వరకు). మీరు అధిక-నాణ్యత సర్వేల నుండి ప్రశ్నలను కాపీ చేస్తే, వారు పరీక్షించబడ్డారని మీరు నిర్థారించుకోవచ్చు మరియు కొన్ని ఇతర సర్వేల నుండి ప్రతిస్పందనలకు మీ సర్వేకి ప్రతిస్పందనలను పోల్చవచ్చు. మూడవది, మీ ప్రశ్నావళి ముఖ్యమైన ప్రశ్నార్థక ప్రభావాలను లేదా ప్రశ్న రూపం ప్రభావాలను కలిగి ఉంటుందని మీరు అనుకుంటే, మీరు ఒక సర్వే ప్రయోగాన్ని అమలు చేయగలరు, ఇక్కడ సగం ప్రతివాదులు ప్రశ్న యొక్క ఒక సంస్కరణను పొందుతారు మరియు సగం ఇతర సంస్కరణను పొందుతారు (Krosnick 2011) . చివరగా, మీ ఫ్రేమ్ జనాభా నుండి కొందరు వ్యక్తులతో మీ ప్రశ్నలను పైలెట్గా పరీక్షించాలని నేను సూచిస్తున్నాను; సర్వే పరిశోధకులు ఈ ప్రక్రియను ప్రీ-టెస్టింగ్ (Presser et al. 2004) . నా అనుభవం సర్వే ముందు పరీక్ష చాలా సహాయకారిగా ఉంటుంది.