הערות מתמטיות

בנספח זה, אתאר את הרעיונות מהפרק בצורה קצת יותר מתמטית. המטרה כאן היא לעזור לך לקבל נוח עם הסימון מסגרת מתמטית בשימוש על ידי חוקרים הסקר, כך שתוכל לעבור כמה חומר טכני יותר שנכתבו על נושאים אלה. אני יתחיל על ידי הצגת דגימה הסתברות, ולאחר מכן לעבור דגימה הסתברות עם היענות, ולבסוף, הדגימה לא הסתברות.

דגימות הסתברות

כדוגמה פעילה, הבה נבחן את המטרה של אמידת שיעור האבטלה בארה"ב. תן \(U = \{1, \ldots, k, \ldots, N\}\) תהיה אוכלוסיית היעד ותן \(y_k\) לפי הערך של משתנה התוצאה עבור האדם \(k\) . בדוגמה זו \(y_k\) הוא אם האדם \(k\) הוא מובטל. בסופו של דבר, \(F = \{1, \ldots, k, \ldots, N\}\) הם אוכלוסיית המסגרת, אשר לשם הפשטות מניחה שהיא זהה לאוכלוסיית היעד.

עיצוב הדגימה הבסיסי הוא דגימה אקראית פשוטה ללא תחליף. במקרה זה, כל אדם סביר באותה מידה להיכלל במדגם \(s = \{1, \ldots, i, \ldots, n\}\) . כאשר הנתונים נאספים עם עיצוב הדגימה, החוקרים יכולים להעריך את שיעור האבטלה באוכלוסייה עם ממוצע המדגם:

\[ \hat{\bar{y}} = \frac{\sum_{i \in s} y_i}{n} \qquad(3.1)\]

שבו \(\bar{y}\) הוא שיעור האבטלה באוכלוסייה ו \(\hat{\bar{y}}\) הוא אומדן שיעור האבטלה ( \(\hat{ }\) הוא נפוץ המשמש לציון אומדן).

במציאות, חוקרים לעיתים רחוקות להשתמש דגימה אקראית פשוטה ללא תחליף. עבור מגוון רחב של סיבות (שאחת מהן אני מתאר בעוד רגע), החוקרים לעיתים קרובות ליצור דוגמאות עם הסתברויות שוויונית של הכללה. לדוגמה, חוקרים עשויים לבחור אנשים בפלורידה עם הסתברות גבוהה יותר להכללה מאשר אנשים בקליפורניה. במקרה זה, ממוצע המדגם (eq 3.1) עשוי להיות אומדן טוב. במקום זאת, כאשר יש הסתברויות לא שוות של הכללה, החוקרים משתמשים

\[ \hat{\bar{y}} = \frac{1}{N} \sum_{i \in s} \frac{y_i}{\pi_i} \qquad(3.2)\]

שם \(\hat{\bar{y}}\) הוא אומדן של שיעור אבטלה \(\pi_i\) הוא אדם \(i\) של הסתברות של הכללה. לאחר תרגול רגיל, אני אקרא את האומדן ב eq. 3.2 אומדן הורביץ-תומפסון. האומדן של Horvitz-Thompson הוא שימושי ביותר משום שהוא מוביל לאומדנים לא משוחדים עבור כל דגם הדגימה של ההסתברות (Horvitz and Thompson 1952) . בגלל האומדן Horvitz-Thompson עולה לעתים קרובות כל כך, זה מועיל לשים לב כי ניתן לכתוב מחדש כמו

\[ \hat{\bar{y}} = \frac{1}{N} \sum_{i \in s} w_i y_i \qquad(3.3)\]

שבו \(w_i = 1 / \pi_i\) . כמו eq. 3.3 מגלה, אומדן הורביץ-תומפסון הוא מדד מדגם משוקלל שבו המשקולות קשורים באופן הפוך להסתברות הבחירה. במילים אחרות, ככל שמדובר פחות במדגם, כך גדל משקל האדם באומדן.

כפי שתואר לעיל, חוקרים לעתים קרובות מדגם אנשים עם הסתברויות שוויונית של הכללה. דוגמה אחת לתכנון שיכול להוביל להסתברות לא שוויונית של הכללה היא דגימה מרובדת , שחשובה להבנה משום שהיא קשורה קשר הדוק לנוהל האמידה הנקרא פוסט-ריבוד . בשנת דגימה מרובדת, חוקרים מחלק את אוכלוסיית היעד לתוך \(H\) קבוצות זרות וממצות הדדיים. קבוצות אלה נקראות שכבות \(U_1, \ldots, U_h, \ldots, U_H\) כ- \(U_1, \ldots, U_h, \ldots, U_H\) . בדוגמה זו, השכבות הן מדינות. הגדלים של הקבוצות מסומנים כ- \(N_1, \ldots, N_h, \ldots, N_H\) . חוקרת עשויה לרצות להשתמש בדגימה מרובדת כדי לוודא שיש לה מספיק אנשים בכל מדינה כדי להפוך את האבטלה ברמת המדינה לאבטלה.

לאחר \(n_h\) האוכלוסייה לשכבות , נניח שהחוקר בוחר מדגם אקראי פשוט ללא החלפת גודל \(n_h\) , באופן עצמאי מכל שכבות. יתר על כן, נניח שכל מי שנבחר במדגם הופך למגיב (אני אטפל באי-תגובה בחלק הבא). במקרה זה, ההסתברות של הכללה היא

\[ \pi_i = \frac{n_h}{N_h} \mbox{ for all } i \in h \qquad(3.4)\]

מאחר שהסתברויות אלה יכולות להשתנות מאדם לאדם, בעת ביצוע אומדן מתכנון הדגימה, החוקרים צריכים לשקול את כל המשיבים על ידי היפוך ההסתברות שלהם להכללה תוך שימוש באומדן Horvitz-Thompson (eq 3.2).

למרות שהאומדן של Horvitz-Thompson אינו מוטה, החוקרים יכולים להפיק אומדנים מדויקים יותר (כלומר, שונות נמוכה יותר) על ידי שילוב המדגם עם מידע עזר . חלק מהאנשים מוצאים את זה מפתיע שזה נכון גם כאשר יש דגימה הסתברות מושלם. טכניקות אלה באמצעות מידע עזר חשובים במיוחד כי, כפי שאני אראה מאוחר יותר, מידע עזר הוא קריטי עבור ביצוע הערכות מדגימות הסתברות עם היענות דגימות שאינם הסתברות.

אחת הטכניקות הנפוצות לשימוש במידע עזר היא פוסט-ריבוד . תארו לעצמכם, למשל, שחוקר יודע את מספר הגברים והנשים בכל אחת מ -50 המדינות; אנו יכולים לציין את גודל הקבוצות האלה בתור \(N_1, N_2, \ldots, N_{100}\) . כדי לשלב מידע עזר זה עם המדגם, החוקר יכול לפצל את המדגם לתוך \(H\) קבוצות (במקרה זה 100), לבצע אומדן עבור כל קבוצה, ולאחר מכן ליצור ממוצע משוקלל של הקבוצה אלה פירושו:

\[ \hat{\bar{y}}_{post} = \sum_{h \in H} \frac{N_h}{N} \hat{\bar{y}}_h \qquad(3.5)\]

בערך, אומדן ב eq. 3.5 עשויה להיות מדויקת יותר, משום שהיא משתמשת בנתוני האוכלוסייה הידועים - \(N_h\) כדי לאמוד אומדנים אם נבחרה מדגם לא מאוזן. אחת הדרכים לחשוב על זה היא שלאחר ריבוד הוא כמו ריבוד מקרוב לאחר הנתונים כבר נאספו.

לסיכום, סעיף זה תיאר כמה דגימות דגימה: דגימה אקראית פשוטה ללא תחליפים, דגימה עם הסתברות לא שוויונית, ודגימה מרובדת. היא גם תיארה שני רעיונות מרכזיים לגבי האמידה: אומדן הורביץ-תומפסון ופוסט-ריבוד. להגדרה פורמלית יותר של דגמי דגימה הסתברותיים, ראו פרק 2 של Särndal, Swensson, and Wretman (2003) . לקבלת טיפול פורמלי ומלא יותר בדגימה מרובדת, ראה סעיף 3.7 של Särndal, Swensson, and Wretman (2003) . לתיאור טכני של המאפיינים של אומדן Horvitz-Thompson, ראה Horvitz and Thompson (1952) , Overton and Stehman (1995) , או סעיף 2.8 של @ sarndal_model_2003. לקבלת טיפול פורמלי יותר פוסט-ריבוד, ראו Holt and Smith (1979) , Smith (1991) , Little (1993) או סעיף 7.6 של Särndal, Swensson, and Wretman (2003) .

הסתברות דגימה ללא תגובה

כמעט לכל הסקרים האמיתיים אין תגובה; כלומר, לא כל אחד באוכלוסיית המדגם עונה על כל שאלה. ישנם שני סוגים עיקריים של היענות: פריט שאינו תגובה ואי- תגובה יחידה . בסעיף תגובה, חלק מהמשיבים אינם עונים על כמה פריטים (למשל, לעתים המשיבים אינם רוצים לענות על שאלות שהם רואים רגישים). ביחידה שאינה מגיבה, חלק מהאנשים שנבחרו לאוכלוסיית המדגם אינם מגיבים כלל לסקר. שתי הסיבות השכיחות ביותר לאי-היענות היחידה הן שלא ניתן ליצור קשר עם האדם שנדגם, ואיש המדגם פונה אליו אך מסרב להשתתף. בסעיף זה, אני יתמקד ביחידה שאינה מגיבה; הקוראים המעוניינים בפריט אי-תגובה צריכים לראות את ליטל ורובין (2002) .

לעתים קרובות החוקרים חושבים על סקרים עם אי-תגובה יחידה כתהליך דו-שלבי. בשלב הראשון, החוקר בוחר מדגם \(s\) כך שלכל אדם יש הסתברות של הכללה \(\pi_i\) (שם \(0 < \pi_i \leq 1\) ). לאחר מכן, בשלב השני, אנשים שנבחרו לתוך המדגם מגיבים עם הסתברות \(\phi_i\) (שם \(0 < \phi_i \leq 1\) ). תהליך דו-שלבי זה מסתיים במערך הסופי של המשיבים \(r\) . הבדל חשוב בין שני השלבים הללו הוא שהחוקרים שולטים בתהליך בחירת המדגם, אך הם אינם שולטים באלו מבין אותם אנשים שנדגמו הופכים למגיבים. לשים את שני התהליכים יחד, את ההסתברות שמישהו יהיה המשיב

\[ pr(i \in r) = \pi_i \phi_i \qquad(3.6)\]

למען הפשטות, אני אשקול את המקרה שבו העיצוב המדגם המקורי הוא דגימה אקראית פשוטה ללא תחליף. אם חוקר בוחר מדגם של גודל \(n_s\) , המניב \(n_s\) \(n_r\) , ואם החוקר מתעלם מאי-תגובה ומשתמש בממוצע של המשיבים, אזי ההטיה של האומדן תהיה:

\[ \mbox{bias of sample mean} = \frac{cor(\phi, y) S(y) S(\phi)}{\bar{\phi}} \qquad(3.7)\]

שם \(cor(\phi, y)\) הוא המתאם באוכלוסייה בין הנטייה התגובה ואת התוצאה (למשל, האבטלה מעמד), \(S(y)\) הוא סטיית אוכלוסיית התקן של התוצאה (למשל, אבטלה \(S(\phi)\) היא סטיית התקן הסטנדרטית של נטיית התגובה, ו \(\bar{\phi}\) היא תוחלת התגובה של האוכלוסייה (Bethlehem, Cobben, and Schouten 2011, sec. 2.2.4) .

Eq. 3.7 מראה כי היעדר תגובה לא יביא להטיה אם מתקיים אחד מהתנאים הבאים:

• אין שינוי במצב האבטלה \((S(y) = 0)\) .
• אין וריאציה של נטיית תגובה \((S(\phi) = 0)\) .
• אין קורלציה בין נטיית התגובה לבין מצב האבטלה \((cor(\phi, y) = 0)\) .

למרבה הצער, אף אחד מהמצבים האלה לא נראה סביר. נראה כי אין כל שינוי במצב התעסוקתי או שלא תהיה שונות בתגובות התגובה. לכן, המונח מפתח eq. 3.7 הוא המתאם: \(cor(\phi, y)\) . לדוגמה, אם אנשים אשר מובטלים נוטים להגיב, שיעור התעסוקה המשוער יהיה מוטה כלפי מעלה.

הטריק כדי לבצע הערכות כאשר אין תגובה היא להשתמש במידע עזר. לדוגמה, דרך אחת שבה ניתן להשתמש במידע עזר היא פוסט-ריבוד (נזכר ב- eq 3.5 מלמעלה). מתברר כי ההטיה של מעריך הפוסט-ריבוד היא:

\[ bias(\hat{\bar{y}}_{post}) = \frac{1}{N} \sum_{h=1}^H \frac{N_h cor(\phi, y)^{(h)} S(y)^{(h)} S(\phi)^{(h)}}{\bar{\phi}^{(h)}} \qquad(3.8)\]

\(cor(\phi, y)^{(h)}\) \(S(y)^{(h)}\) , \(S(\phi)^{(h)}\) , ו - \(\bar{\phi}^{(h)}\) מוגדרים כנ"ל אך מוגבלים לאנשים בקבוצה \(h\) (Bethlehem, Cobben, and Schouten 2011, sec. 8.2.1) . לפיכך, ההטיה הכללית תהיה קטנה אם ההטיה בכל קבוצה לאחר הריבוד היא קטנה. ישנן שתי דרכים שאני אוהב לחשוב על הטיה קטנה בכל קבוצה שלאחר הריבוד. ראשית, אתה רוצה לנסות ליצור קבוצות הומוגניות שבהן יש וריאציה קטנה בנטיית תגובה ( \(S(\phi)^{(h)} \approx 0\) ) והתוצאה ( \(S(y)^{(h)} \approx 0\) ). שנית, אתה רוצה ליצור קבוצות שבהן האנשים שאתה רואה הם כמו האנשים שאתה לא רואה ( \(cor(\phi, y)^{(h)} \approx 0\) ). השוואת eq. 3.7 ו eq. 3.8 מסייעת להבהיר מתי פוסט-ריבוד יכול להקטין את המוטציה הנגרמת על ידי חוסר תגובה.

לסיכום, סעיף זה סיפק מודל הדגימה הסתברות עם אי תגובה והראה את הטיה כי היענות יכול להציג גם ללא ועם ההתאמות שלאחר הריבוד. Bethlehem (1988) מציע נגזרת של ההטיה הנגרמת על ידי חוסר תגובה לדגימות דגימה כלליות יותר. לקבלת מידע נוסף על שימוש בפוסט-ריבוד כדי להתאים לאי-תגובה, ראה Smith (1991) Gelman and Carlin (2002) . לאחר ריבוד הוא חלק ממשפחה כללית יותר של טכניקות הנקראות אומדני כיול, ראה ז'אנג (2000) עבור טיפול באורך המאמר ו- Särndal and Lundström (2005) עבור טיפול באורך הספר. לקבלת מידע נוסף על שיטות ניפוח אחרות עבור התאמת Kalton and Flores-Cervantes (2003) תגובה, ראה Kalton and Flores-Cervantes (2003) , Brick (2013) ו- Särndal and Lundström (2005) .

דגימה לא סבירה

הדגימה הלא-הסתברותית כוללת מגוון עצום של דגמים (Baker et al. 2013) . התמקדות ספציפית במדגם של משתמשי Xbox על ידי Wang ועמיתים (W. Wang et al. 2015) , אתה יכול לחשוב על סוג זה של מדגם אחד שבו החלק המרכזי של עיצוב הדגימה אינו \(\pi_i\) ( \(\pi_i\) ההסתברות של ההכללה של החוקרים), אך את \(\phi_i\) (הנטייה של התגובה \(\phi_i\) על המשיב). באופן טבעי, זה לא אידיאלי כי \(\phi_i\) אינם ידועים. אבל, כפי שראו ואנג ועמיתיו, סוג זה של מדגם opt-in - אפילו ממסגרת דגימה עם שגיאת כיסוי עצומה - לא צריך להיות קטסטרופלי אם לחוקר יש מידע עזר טוב ומודל סטטיסטי טוב כדי להסביר את הבעיות הללו.

Bethlehem (2010) מרחיב רבות מהנגזרות הנ"ל לגבי פוסט-ריבוד כדי לכלול הן שגיאות תגובה והן חוסר כיסוי. בנוסף לשיטות פוסט-ריבוד, טכניקות אחרות לעבודה עם דגימות לא-הסתברותיות ודגימות הסתברות עם טעויות כיסוי ואי-היענות כוללות התאמת מדגם (Ansolabehere and Rivers 2013; ??? ) , ניקוד ניקוד הנטייה (Lee 2006; Schonlau et al. 2009) וכיול (Lee and Valliant 2009) . נושא אחד משותף בין טכניקות אלה הוא השימוש במידע עזר.