3.3.2 מדידה
מדידה היא לגבי ביצוע מסקנות ממה המשיבים שלך לומר באיזו המשיבים שלך חושבים ועושים.
הקטגוריה השנייה של מסגרת שגיאת סקר הכוללת היא מדידה; הוא עוסק כיצד נוכל להסיק מן התשובות שנתנו המשיבים לשאלות שלנו. מתברר כי את התשובות שאנו מקבלים, ולכן את המסקנות שאנחנו עושים, יכולות לסמוך ביקורתיים-וב לפעמים בדרכים-על מפתיע בדיוק איך אנחנו שואלים. אולי דבר ממחיש את הנקודה החשובה הזאת טוב יותר מאשר בדיחה בספר נפלא שאילת שאלות על ידי נורמן Bradburn, סימור Sudman, ובריאן Wansink (2004) :
שני כמרים, הדומיניקנית ישועי, דנים אם זה חטא לעשן ולהתפלל בעת ובעונה אחת. לאחר שלא הצליח להגיע למסקנה, כל יוצא להתייעץ מעולה בהתאמה שלו. הדומיניקנית אומרת, "מה אמר הממונה עליך?"
הישועי מגיב, "הוא אמר שזה בסדר."
"זה מצחיק" את הדומיניקנית משיבה, "המנחה שלי אמרה שזה חטא."
הישועי אמר, "מה אתה שואל אותו?" הדומיניקנית משיבה, "שאלתי אותו אם זה היה בסדר לעשן בזמן התפילה." "אה" אמר הישועי, "שאלתי אם זה בסדר להתפלל בזמן העישון."
ישנן דוגמאות רבות של אנומליות כמו זו שחווה שני הכמרים. למעשה, הנושא מאוד בשורש הבדיחה הזאת יש שם דעה בקהילת חקר סקר: תופעות טופס השאלה (Kalton and Schuman 1982) . כדי לראות כיצד תופעות טופס שאלה עשויות להשפיע על סקרים אמיתיים, לשקול שתי שאלות סקר מבט דומות מאוד הבאים:
- "כמה אתה מסכים עם המשפט הבא: אנשים הם אשמים יותר תנאים סוציאליים עבור הפשע והפקרות במדינה הזאת."
- "כמה אתה מסכים עם המשפט הבא: תנאים חברתיים הם אשמים יותר אנשים על הפשע והפקרות במדינה הזאת."
למרות שתי השאלות המופיעות למדוד את אותו הדבר, הם הניבו תוצאות שונות בניסוי סקר אמיתי (Schuman and Presser 1996) . כשנשאל דרך אחת, כ -60% מהמשיבים דיווחו כי אנשים היו יותר אשמים בפשע, אך כאשר ביקש דרך אחרת כ -60% דיווחו כי התנאים החברתיים היו יותר להאשים (איור 3.2). במילים אחרות, ההבדל הקטן בין שתי השאלות יכול להוביל חוקרים למסקנה שונה.
איור 3.2: תוצאות מניסוי סקר (Schuman and Presser 1996, Table 8.1) . חוקרים יכולים לקבל תשובות שונות בהתאם בדיוק איך הם התבקשו על השאלה. זוהי דוגמא של השפעת טופס שאלה (Kalton and Schuman 1982) .
בנוסף למבנה של השאלה, המשיב גם יכול לתת תשובות שונות המבוססים על הדברים הספציפיים בשימוש. לדוגמא, על מנת למדוד דעות על סדר עדיפויות ממשלתיות, משיבים היו לקרוא את ההודעה הבאה:
"אנחנו מתמודדים עם בעיות רבות במדינה הזאת, שאף אחד מהם לא ניתן לפתור בקלות או בזול. אני הולך שם חלק מהבעיות האלה, ולכל אחד הייתי רוצה שתגיד לי אם אתה חושב שאנחנו מבזבזים יותר מדי כסף על זה, פחות מדי כסף, או על הסכום הנכון. "
". סיוע לעניים" בא, מחצית מהנשאלים התבקשה על "רווחה" וחצי התבקשו על בעוד אלה אולי נראים כמו שני ביטויים שונים על אותו הדבר, הם עוררו תוצאות שונות מאוד (איור 3.3); אמריקאים מדווחים להיות הרבה יותר תומכים של "סיוע לעניים" מ "רווחה" (Smith 1987; Rasinski 1989; Huber and Paris 2013) . בעוד החוקרים סקר לשקול כל מילה ומילה תופעות אלה להיות חריגות, הם יכולים גם לשקול אותם ממצאי המחקר. כלומר, למדנו משהו על דעת הקהל מן התוצאה הזאת.
איור 3.3: תוצאות מ Huber and Paris (2013) . משיבים הם הרבה יותר תומכים של "סיוע לעניים" מ "רווחה". זוהי דוגמא של שפעת שאלת ניסוח לפיו את התשובות כי חוקר לקבל תלויות בדיוק אילו מילות הם משתמשים ב שאלותיהם.
כפי שדוגמאות אלה על תופעות שאלת טופס ואפקטי ניסוח להראות, את התשובות כי חוקר לקבל יכולות להיות מושפעות בדרכים עדינות המבוססות על איך הוא לשאול את שאלותיהם. אין זה אומר כי סקרים לא אמורים לשמש; לעתים קרובות אין ברירה. במקום זאת, הדוגמות אלו ממחישות כי אנחנו צריכים לבנות על שאלותינו בקפידה ואנחנו לא צריכים לקבל תגובות ביקורתיות.
רוב קונקרטי, משמעות הדבר היא שאם אתה מנתח נתוני הסקר נאספו על ידי מישהו אחר, לוודא כי קראת את השאלון בפועל. כמו כן, אם אתה יוצר שאלון משלך, יש לי שלוש הצעות. ראשית, אני מציע לך לקרוא עוד על עיצוב השאלון (למשל, Bradburn, Sudman, and Wansink (2004) ); יש יותר מזה אני כבר יכול לתאר כאן. שנית, אני מציע לך להעתיק מילה-מילה שאלות מסקרים באיכות גבוהה. אמנם זה נשמע כמו פלגיאט, שאלות ההעתקה עודד במחקר סקר (כל עוד אתה לצטט את הסקר המקורי). אם תעתיק שאלות מסקרות באיכות גבוהה, אתה יכול להיות בטוח שהם נבדקו ואתה יכול להשוות את התגובות לסקר שלך לתגובות מכמה סקר אחר. לבסוף, אני מציע לך מראש לבדוק השאלות שלך עם כמה אנשי אוכלוסיית המסגרת (Presser et al. 2004) ; הניסיון שלי הוא כי תמיד בבדיקה מוקדמת מגלה בעיות מפתיעות.
