3.3.2 מדידה

המדידה היא על מסיק מה המשיבים שלך חושבים לעשות מה שהם אומרים.

בנוסף לבעיות הייצוג, מסגרת השגיאה הכוללת של הסקר מראה שמקור השגיאות העיקרי השני הוא המדידה : כיצד אנו יוצרים מסקנות מהתשובות שהמשיבים נותנים לשאלות שלנו. מתברר שהתשובות שאנו מקבלים, ולכן ההשלכות שאנו עושים, יכולות להיות תלויים בצורה ביקורתית - ובדרכים מפתיעות לפעמים - על איך בדיוק אנחנו שואלים. אולי שום דבר לא ממחיש את הנקודה החשובה הזאת יותר מאשר בדיחה בספר הנפלא שאלות שאלות מאת נורמן בראדבורן, סימור סודמן ובריאן וואנסינק (2004) :

שני כמרים, הדומיניקנית ישועי, דנים אם זה חטא לעשן ולהתפלל בעת ובעונה אחת. לאחר שלא הצליח להגיע למסקנה, כל יוצא להתייעץ מעולה בהתאמה שלו. הדומיניקנית אומרת, "מה אמר הממונה עליך?"

הישועי מגיב, "הוא אמר שזה בסדר."

"זה מצחיק" את הדומיניקנית משיבה, "המנחה שלי אמרה שזה חטא."

הישועי אמר, "מה אתה שואל אותו?" הדומיניקנית משיבה, "שאלתי אותו אם זה היה בסדר לעשן בזמן התפילה." "אה" אמר הישועי, "שאלתי אם זה בסדר להתפלל בזמן העישון."

מעבר לבדיחה הספציפית הזאת, חוקרי הסקר תיעדו דרכים שיטתיות רבות, שמה שאתה לומד תלוי איך אתה שואל. למעשה, עצם הבעיה בשורש הבדיחה הזאת יש שם בקהילת המחקר של הסקר: שאלת טופס שאלה (Kalton and Schuman 1982) . כדי לראות כיצד השפעת טופס השאלה עשויה להשפיע על סקרים אמיתיים, שקלו את שתי השאלות האלה, שהן דומות מאוד למחקר:

• "כמה אתה מסכים עם המשפט הבא: אנשים הם אשמים יותר תנאים סוציאליים עבור הפשע והפקרות במדינה הזאת."
• "כמה אתה מסכים עם המשפט הבא: תנאים חברתיים הם אשמים יותר אנשים על הפשע והפקרות במדינה הזאת."

למרות ששתי השאלות נמדדות למדידת אותו הדבר, הן הניבו תוצאות שונות בניסוי סקר אמיתי (Schuman and Presser 1996) . בתשובה לשאלה אחת, כ -60% מהנשאלים דיווחו כי אנשים אשם יותר בפשע, אך כאשר נשאלו בדרך אחרת, כ -60% דיווחו כי התנאים החברתיים מאשימים יותר (איור 3.3). במילים אחרות, ההבדל הקטן בין שתי השאלות הללו עלול להוביל את החוקרים למסקנה אחרת.

איור 3.3: תוצאות ממחקר ניסויי, המציג כי חוקרים יכולים לקבל תשובות שונות בהתאם לאופן שבו הם שאלו את השאלה. רוב המשיבים הסכימו כי אנשים אשם יותר מאשר תנאים חברתיים עבור פשע וחוסר חוק. ורוב המשיבים הסכימו עם ההפך: כי התנאים החברתיים הם אחראים יותר מאשר יחידים. הסתגלות Schuman and Presser (1996) , טבלה 8.1.

בנוסף למבנה של השאלה, המשיבים יכולים גם לתת תשובות שונות, בהתאם למילים הספציפיות בשימוש. לדוגמה, כדי למדוד דעות על סדרי עדיפויות ממשלתיים, נקראו המשיבים את ההנחיה הבאה:

"אנחנו מתמודדים עם בעיות רבות במדינה הזאת, שאף אחד מהם לא ניתן לפתור בקלות או בזול. אני הולך שם חלק מהבעיות האלה, ולכל אחד הייתי רוצה שתגיד לי אם אתה חושב שאנחנו מבזבזים יותר מדי כסף על זה, פחות מדי כסף, או על הסכום הנכון. "

למחצית מהנשאלים נשאל על "רווחה" ומחציתם נשאלים על "סיוע לעניים". אמנם אלה עשויים להיראות כמו שני משפטים שונים עבור אותו דבר, אך הם הניבו תוצאות שונות מאוד (איור 3.4); האמריקנים מדווחים על תמיכה רבה יותר (Smith 1987; Rasinski 1989; Huber and Paris 2013) לעניים "מאשר (Smith 1987; Rasinski 1989; Huber and Paris 2013) " (Smith 1987; Rasinski 1989; Huber and Paris 2013) .

תרשים: 3.4 תוצאות מ ניסויי הסקר מראים כי המשיבים תומכים הרבה יותר ב "סיוע לעניים" מאשר "רווחה". זוהי דוגמה לשאלה הנוגעת לשאלה, כאשר התשובות שהחוקרים מקבלים תלויים בדיוק באילו מילים הם משתמשים את השאלות שלהם. הסתגלו מ Huber and Paris (2013) , טבלה A1.

כאשר הדוגמאות האלה על השפעות טופס השאלה ועל השפעות הניסויים מראות, התשובות שהחוקרים מקבלים יכולות להיות מושפעות על ידי האופן שבו הן שואלות את שאלותיהן. דוגמאות אלה לפעמים להוביל חוקרים לתהות על הדרך "נכונה" לשאול שאלות הסקר שלהם. בעוד אני חושב שיש כמה דרכים מוטעות בבירור לשאול שאלה, אני לא חושב שיש תמיד אחת נכונה נכונה. כלומר, אין זה טוב יותר לשאול על "רווחה" או "סיוע לעניים"; אלה שתי שאלות שונות שמודדות שני דברים שונים על עמדות המרואיינים. דוגמאות אלה גם לעיתים מובילות את החוקרים למסקנה שאין להשתמש בסקרים. למרבה הצער, לפעמים אין ברירה. במקום זאת, אני חושב שהלקח הנכון לצייר מדוגמאות אלה הוא שעלינו לבנות את שאלותינו בקפידה ולא לקבל תגובות בצורה לא ביקורתית.

באופן קונקרטי ביותר, זה אומר שאם אתה מנתח את נתוני הסקר שנאספו על ידי מישהו אחר, ודא שיש לך לקרוא את השאלון בפועל. ואם אתה יוצר שאלון משלך, יש לי ארבע הצעות. ראשית, אני מציע שתקרא עוד על עיצוב שאלון (לדוגמה, Bradburn, Sudman, and Wansink (2004) ); יש לזה יותר ממה שיכולתי לתאר כאן. שנית, אני מציע לך להעתיק מילה עבור שאלות מילה מתוך סקרים באיכות גבוהה. לדוגמה, אם אתה רוצה לשאול את המשיבים על גזע / מוצא אתני שלהם, אתה יכול להעתיק את השאלות המשמשים סקרים ממשלתיים בקנה מידה גדול, כגון המפקד. למרות שהדבר עשוי להישמע כמו גניבה ספרותית, מומלץ להעתיק שאלות במדגם הסקר (כל עוד אתה מצטט את הסקר המקורי). אם אתה מעתיק שאלות מסקרים איכותיים, תוכל להיות בטוח שהן נבדקו, ואתה יכול להשוות את התגובות לסקר שלך לתשובות מסקרים אחרים. שלישית, אם אתם סבורים שהשאלון שלכם עשוי לכלול השפעות משמעותיות של שאלת שאלה או שאלת טופס שאלה, תוכלו לערוך ניסוי סקר שבו מחצית מהמשיבים מקבלים גרסה אחת של השאלה ומחציתם מקבלים את הגרסה האחרת (Krosnick 2011) . לבסוף, אני מציע לך לבדוק את השאלות שלך עם כמה אנשים מאוכלוסיית המסגרת שלך. חוקרי הסקר קוראים לתהליך זה בדיקה מוקדמת (Presser et al. 2004) . הניסיון שלי הוא כי בדיקות טרום הסקר הוא מאוד מועיל.