3.3 מסגרת שגיאת סקר הכוללת
שגיאות שגיאה = ייצוג בסקר סה"כ + טעויות מדידה.
אומדנים שמגיעים ממחקרים מדגמיים הם לרוב בלתי מושלמים. כלומר, יש בדרך כלל הבדל בין האומדן המיוצר על ידי סקר מדגם (למשל, הגובה הממוצע המשוער של תלמידים בבית ספר) לבין הערך האמיתי באוכלוסייה (למשל, הגובה הממוצע בפועל של תלמידים בבית ספר). לפעמים השגיאות הללו כל כך קטנות, כי הם חשובים, אבל לפעמים, למרבה הצער, הם יכולים להיות גדולים וכתוצאה מכך. בניסיון להבין, למדוד ולהקטין את השגיאות, החוקרים יצרו בהדרגה מסגרת מושגית אחת לשגיאות (Groves and Lyberg 2010) להתרחש בסקרי מדגם: מסגרת השגיאה הכוללת של הסקר (Groves and Lyberg 2010) . למרות פיתוח מסגרת זו החלה בשנות ה -40, אני חושב שזה מציע לנו שני רעיונות מועילים למחקר הסקר בעידן הדיגיטלי.
ראשית, מסגרת השגיאה הכוללת של הסקר מבהירה כי קיימים שני סוגים של טעויות: הטיה ושונות . בערך, הטיה היא שגיאה שיטתית והשונות היא שגיאה אקראית. במילים אחרות, דמיינו 1,000 סיבובים של אותו סקר מדגם ולאחר מכן מסתכלים על התפלגות האומדנים מ -1,000 סיבוכים אלו. ההטיה היא ההפרש בין הממוצע של אומדנים משוכפלים אלה לבין הערך האמיתי. השונות היא שונות האומדנים. כל השאר להיות שווה, היינו רוצים הליך ללא הטיה שונות קטנה. למרבה הצער, עבור בעיות אמיתיות רבות, כאלה ללא הטיה, תהליכי שונות קטנים אינם קיימים, אשר מעמיד את החוקרים במצב הקשה של ההחלטה כיצד לאזן את הבעיות שנוצרו על ידי הטיה ושונות. יש חוקרים המעדיפים באופן אינסטינקטיבי נהלים לא משוחדים, אבל התמקדות חד-משמעית בהטיה יכולה להיות טעות. אם המטרה היא לייצר אומדן שהוא קרוב ככל האפשר לאמת (כלומר, עם השגיאה הקטנה ביותר האפשרית), אז אולי עדיף לך עם הליך בעל הטיה קטנה ושונות קטנה יותר מאשר עם ללא הטיה, אך יש שונות גדולה (איור 3.1). במילים אחרות, מסגרת השגיאה הכוללת של הסקר מראה כי בעת הערכת נהלי מחקר הסקר, עליך לשקול הן את ההטיה והן את השונות.
איור 3.1: הטיה ושונות. באופן אידיאלי, החוקרים היו נוקטים נוהל לא-משואף. במציאות, לעתים קרובות הם צריכים לקבל החלטות היוצרות מחלוקת בין הטיה לבין שונות. למרות שחלק מהחוקרים מעדיפים באופן אינסטינקטיבי נהלים לא משוחדים, לפעמים ההליך הקטן, ההעדפות הקטנה יכול לייצר הערכות מדויקות יותר מאשר הליך לא משוחק שיש לו שונות גבוהה.
התובנה המרכזית השנייה מתוך מסגרת השגיאה הכוללת של הסקר, שתארגן חלק גדול מפרק זה, היא שישנם שני מקורות לטעויות: בעיות הקשורות עם מי אתה מדבר ( ייצוג ) ובעיות הקשורות למה שאתה לומד מאותן שיחות ( מדידה ). לדוגמה, ייתכן שתעניין בהערכת עמדות לגבי פרטיות מקוונת בקרב מבוגרים החיים בצרפת. ביצוע הערכות אלה דורש שני סוגים שונים של היקש. ראשית, מן התשובות שהמשיבים נותנים, אתה צריך להסיק את העמדות שלהם לגבי פרטיות באינטרנט (שהיא בעיה של מדידה). שנית, מן העמדות הנסקרות בקרב המשיבים, עליך להסיק את העמדות באוכלוסייה כולה (שהיא בעיה של ייצוג). דגימה מושלמת עם שאלות סקר רע יפיק הערכות רעות, כמו דגימה רע עם שאלות הסקר המושלם. במילים אחרות, אומדנים טובים דורשים גישות קול למדידה וייצוג. לאור הרקע הזה, אסקור כיצד חוקרי הסקר חשבו על ייצוג ומדידה בעבר. לאחר מכן, אני אראה כיצד רעיונות לגבי ייצוג ומדידה יכולים להנחות את מחקר הסקר הדיגיטלי.
