3.3.2 اندازه گیری

اندازه گیری در مورد آنچه که پاسخ دهندگان شما فکر می کنند و از آنچه که می گویند انجام می شود.

علاوه بر مشکلات نمایندگی، چارچوب خطای کل نظرسنجی نشان می دهد که دومین منبع عمده اشتباهات اندازه گیری است : چگونگی نتیجه گیری از پاسخ هایی که پاسخ دهندگان به سوالات ما می دهند. به نظر می رسد که پاسخ هایی که دریافت می کنیم، و بنابراین نتیجه گیری هایی که می توان انجام دادیم، می تواند به صورت انتقادی- و گاهی شگفت انگیز - به نحو دقیقی از ما بپرسد. شاید هیچ چیز این نکته مهم را بهتر از شوخی در کتاب شگفت انگیز سوالات متداول Norman Bradburn، Seymour Sudman و Brian Wansink (2004) نکرده است:

دو کشیش، یک دومینیکن و یسوعیون، در حال بحث است که آیا یک گناه به دود و دعا در همان زمان است. پس از شکست به رسیدن به نتیجه، هر خاموش می رود به مشورت مربوطه برتر خود را. دومینیکن گوید، "چه می گویند برتر خود را؟"

یسوعیون پاسخ می دهد، "او گفت که خوب بود."

"این خنده دار" پاسخ دومینیکن، "سرپرست من گفت: این یک گناه بود."

یسوعیون گفت: "چه پرسی؟" پاسخ دومینیکن، "من از او پرسیدم اگر خوب به دود در حالی که دعا بود." "آه گفت:« یسوعیون، "من پرسید که آیا خوب بود به دعا در حالی که سیگار کشیدن است."

علاوه بر این شوخی خاص، محققان نظرسنجی بسیاری از روش های سیستماتیک را تایید کرده اند که آنچه شما یاد می گیرید بستگی دارد به اینکه چگونه از شما بپرسید. در حقیقت، موضوع اصلی در ریشه این شوخی، نامی است در جامعه تحقیقاتی: اثرات شکل سوال (Kalton and Schuman 1982) . برای این که چگونه اثرات شکل نامه ممکن است بر روی نتایج واقعی تاثیر گذار باشد، این دو سؤال نظر سنجی بسیار مشابه را در نظر بگیرید:

• "چقدر شما با بیانیه زیر موافق: افراد بیش از شرایط اجتماعی برای جرم و جنایت و بی قانونی در این کشور مقصر هستند."
• "چقدر شما با بیانیه زیر موافق: شرایط اجتماعی هستند بیشتر از افراد برای جرم و جنایت و بی قانونی در این کشور سرزنش می کنند."

اگرچه هر دو سؤال به نظر میرسد برای اندازه گیری یکسان، نتایج مختلفی در یک آزمایش واقعی انجام دادند (Schuman and Presser 1996) . در صورتي که يکي از راه هاي درخواست شده، حدود 60 درصد از پاسخ دهندگان گزارش دادند که افراد به جرم جرم بيشتري مرتکب شده اند، اما حدود 60 درصد از آنها گزارش دادند که شرايط اجتماعي بيش از همه مورد سرزنش قرار گرفته است (شکل 3.3). به عبارت دیگر، تفاوت کوچک بین این دو سوال می تواند محققان را به نتیجه گیری متفاوت منتهی کند.

شکل 3.3: نتایج حاصل از یک آزمایش نظر سنجی نشان می دهد که محققان می توانند پاسخ های متفاوتی را که بسته به اینکه دقیقا چگونه از این سوال پرسیدند، دریافت می کنند. اکثریت پاسخ دهندگان توافق کردند که افراد بیشتر نسبت به شرایط اجتماعی جرایم و بی قانونی متهم هستند. و اکثریت پاسخ دهندگان با مخالفت موافق بودند: شرایط اجتماعی مسئولیت بیشتری نسبت به افراد دارند. متناسب با Schuman and Presser (1996) ، جدول 8.1.

علاوه بر ساختار این سؤال، پاسخ دهندگان همچنین می توانند پاسخ های متفاوتی را با توجه به کلمات خاص مورد استفاده قرار دهند. به عنوان مثال، برای سنجش نظرات در مورد اولویت های دولت، پاسخ دهندگان سریعا خواندند:

"ما با بسیاری از مشکلات در این کشور، هیچ یک از که می تواند به راحتی و یا ارزان حل مواجه شده است. من قصد دارم به نام برخی از این مشکلات، و برای هر یک من می خواهم شما را به من بگویید که آیا شما فکر می کنم که ما در حال صرف پول بیش از حد بر روی آن، پول خیلی کم، و یا در مورد مقدار مناسب. "

بعد، نیمی از پاسخ دهندگان از "رفاه" خواسته شد و نیمی از آنها درباره "کمک به فقرا" خواسته شد. در حالی که ممکن است دو عنصر متفاوت برای همین موضوع به نظر برسند، نتایج بسیار متفاوتی به دست آوردند (شکل 3.4). آمریکایی ها گزارش دادند که "کمک به فقرا" بیشتر از "رفاه" حمایت می کنند (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

شکل 3.4: نتایج حاصل از یک آزمایش تجربی که نشان می دهد پاسخ دهندگان بیشتر از "کمک به فقرا" از "رفاه" حمایت می کنند. این یک مثال از یک اثر سوالی است که در آن پاسخ هایی که محققان دریافت می کنند بستگی دقیقا به کدام کلمات را که در آنها استفاده می شود سوالات خود را اقتباس از Huber and Paris (2013) ، جدول A1.

همانطور که این مثال ها در مورد اثرات فرم سوالات و اثرات بیان شده نشان می دهد، پاسخ هایی که محققان دریافت می کنند، می توانند تحت تأثیر آنها از سوالاتشان باشد. این نمونه ها بعضی اوقات پژوهشگران را به سمت روش صحیح سوق دادن سوالات بررسی سوق می دهند. در حالی که من فکر می کنم روش های روشنی اشتباه برای پرسیدن سوال وجود دارد، من فکر نمی کنم همیشه یک راه صحیح وجود داشته باشد. بدین معنی نیست که بهتر است از "رفاه" یا "کمک به فقرا" بپرسید؛ این ها دو پرسش متفاوت هستند که دو چیز متفاوت را در مورد نگرش پاسخ دهندگان اندازه گیری می کنند. این مثالها بعضی اوقات محققان را به نتیجه می رسانند که نباید مورد استفاده قرار گیرد. متاسفانه گاهی اوقات انتخابی وجود ندارد. در عوض، من فکر می کنم درس درست این مثال ها این است که ما باید سوالات خود را با دقت بررسی کنیم و نباید انتقادات و انتقادات را بپذیریم.

به طور خاص، این به این معنی است که اگر شما تجزیه و تحلیل داده های بررسی توسط جمع آوری شده توسط شخص دیگری، مطمئن شوید که شما خواندن پرسشنامه واقعی است. و اگر شما در حال ایجاد پرسشنامه خود هستید، من چهار پیشنهاد دارم. ابتدا پیشنهاد می کنم بیشتر درباره طراحی پرسشنامه (به عنوان مثال، Bradburn, Sudman, and Wansink (2004) )؛ این بیشتر از این است که من توانستم در اینجا توضیح دهم. دوم، من پیشنهاد می کنم که شما از نظر کیفیت بالا از نظرسنجی های با کیفیت استفاده کنید. به عنوان مثال، اگر می خواهید از پاسخ دهندگان در مورد نژاد / قومیت خود بپرسید، می توانید سوالاتی را که در نظرسنجی های دولتی دولتی مانند سرشماری استفاده می شود، کپی کنید. اگرچه این ممکن است به عنوان سرقت ادبی شبیه باشد، اما در تحقیق تحقیقاتی (در صورتیکه به نظرسنجی اصلی مراجعه کنید) سوالات کپی را تشویق کنید. اگر سوالاتی را از نظرسنجی های با کیفیت بالا کپی کنید، می توانید مطمئن باشید که آنها مورد آزمایش قرار گرفته اند و شما می توانید پاسخ ها را به نظرسنجی خود را به پاسخ های دیگر نظرسنجی ها مقایسه کنید. سوم، اگر شما فکر می کنید که پرسشنامه شما ممکن است شامل عوارض و یا عوارض فرمول سوال باشد، شما می توانید یک آزمایش نظرسنجی انجام دهید که در آن نیمی از پاسخ دهندگان یک نسخه از سوال را دریافت می کنند و نیمی از نسخه دیگر را دریافت می کنند (Krosnick 2011) . در نهایت، من پیشنهاد می کنم که شما سوالات خود را با برخی از افرادی که از جمعیت شما فرمت هستند، آزمایش کنید. محققان نظرسنجی پیش آزمون این فرایند را مورد بررسی قرار می دهند (Presser et al. 2004) . تجربه من این است که پیش آزمون قبل از بررسی بسیار مفید است.