2.4.3 ניסויים המתקרבים

אנו יכולים לערוך ניסויים משוערים שאנו לא יכולים או לא יכולים לעשות. שתי גישות אשר נהנות במיוחד ממקורות נתונים גדולים הם ניסויים טבעיים והתאמה.

כמה שאלות מדעיות ומדיניות חשובות הן סיבתיות. לדוגמה, מהי ההשפעה של תוכנית הכשרה עבודה על שכר? חוקר המנסה לענות על שאלה זו עשוי להשוות את הרווחים של אנשים שנרשמו לאימונים לאלה שלא. אבל מה ההבדל בין השכר בין הקבוצות האלה הוא בגלל האימונים וכמה זה בגלל הבדלים קיימים בין האנשים שנרשמים לבין אלה שאינם? זו שאלה קשה, וזה אחד כי לא באופן אוטומטי ללכת עם נתונים נוספים. במילים אחרות, החשש לגבי הבדלים אפשריים אפשריים עולה לא משנה כמה עובדים נמצאים בנתונים שלך.

במצבים רבים, הדרך החזקה ביותר לאמוד את ההשפעה הסיבתית של טיפול כלשהו, ​​כגון הכשרה בעבודה, היא לנהל ניסוי מבוקר אקראי שבו חוקר באופן אקראי מספק את הטיפול לאנשים מסוימים ולא לאחרים. אני אקדיש את כל פרק 4 לניסויים, אז הנה אני הולך להתמקד בשתי אסטרטגיות שניתן להשתמש בהם עם נתונים שאינם ניסיוניים. האסטרטגיה הראשונה תלויה בחיפוש אחר משהו שקורה בעולם שבאופן אקראי (או כמעט באופן אקראי) מקצה את הטיפול לאנשים מסוימים ולא לאחרים. האסטרטגיה השנייה תלויה בהתאמה סטטיסטית של נתונים שאינם ניסיוניים בניסיון להסביר הבדלים קיימים בין אלו שעשו ולא קיבלו את הטיפול.

ספקן יכול לטעון כי שתי אסטרטגיות אלה יש להימנע כי הם דורשים הנחות חזקות, הנחות שקשה להעריך וכי, בפועל, מופרות לעתים קרובות. בעוד אני אוהדת את הטענה הזאת, אני חושב שזה הולך קצת רחוק מדי. זה בהחלט נכון, כי קשה לבצע הערכות סיבתי מן הנתונים שאינם ניסיוני, אבל אני לא חושב שזה אומר שאנחנו לא צריכים לנסות. במיוחד, גישות לא ניסיוניות יכולות להיות מועילות אם אילוץ לוגיסטי מונע ממך לבצע ניסוי או אם אילוצים אתיים משמעותיים שאינך רוצה להפעיל ניסוי. יתר על כן, גישות לא ניסיוני יכול להיות שימושי אם אתה רוצה לנצל את הנתונים שכבר קיימים על מנת לעצב ניסוי מבוקר אקראי.

לפני שתמשיך, ראוי גם לציין כי ביצוע הערכות סיבתי הוא אחד הנושאים המורכבים ביותר במחקר החברתי, ואחד שיכול להוביל לדיון אינטנסיבי ורגשי. להלן אציג תיאור אופטימי של כל גישה כדי לבנות אינטואיציה על כך, ואז אתאר כמה מהאתגרים המתעוררים בעת שימוש בגישה זו. פרטים נוספים על כל גישה זמינים בחומרים שבסופו של פרק זה. אם אתם מתכננים להשתמש באחת מהגישות הללו במחקר שלכם, אני ממליץ בחום לקרוא את אחד הספרים (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) על היקש סיבתי (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

גישה אחת להערכה סיבתית של נתונים שאינם ניסיוניים היא לחפש אירוע שהקצה באופן אקראי טיפול לאנשים מסוימים ולא לאחרים. מצבים אלה נקראים ניסויים טבעיים . אחת הדוגמאות הברורות ביותר של הניסוי הטבעי נובעת ממחקרו של יהושע אנגריסט (1990) המודד את השפעת השירותים הצבאיים על הרווחים. במהלך המלחמה בווייטנאם, ארצות הברית הגדילה את גודל הכוחות המזוינים שלה באמצעות טיוטה. על מנת להחליט איזה אזרח ייקרא לשירות, ממשלת ארה"ב עשתה הגרלה. כל תאריך לידה נרשם על פיסת נייר, וכפי שמוצג באיור 2.7, נבחרו דפים אלה אחד בכל פעם על מנת לקבוע את הסדר שבו ייקראו הצעירים לשרת (נשים צעירות לא היו כפופות לטיוטה). בהתבסס על התוצאות, גברים שנולדו ב -14 בספטמבר נקראו תחילה, גברים שנולדו ב -24 באפריל נקראו שנייה, וכן הלאה. בסופו של דבר, בהגרלה זו, גויסו גברים שנולדו ב- 195 ימים שונים, ואילו גברים שנולדו ב- 171 ימים לא היו.

איור 2.7: חבר הקונגרס אלכסנדר פירני (R-NY) שצייר את הקפסולה הראשונה לטיוטת השירות הסלקטיבי ב -1 בדצמבר 1969. יהושע אנגריסט (1990) שילב את טיוטת הלוטו עם נתוני הרווחים של המינהל לביטוח לאומי כדי להעריך את השפעת השירות הצבאי על הרווחים. זוהי דוגמה של מחקר באמצעות ניסוי טבעי. מקור: US Selective Service System (1969) / Wikimedia Commons .

אף על פי שזה לא נראה מיד, טיוטת הלוטו יש דמיון קריטי לניסוי מבוקר אקראי: בשני המצבים, המשתתפים מקבלים באופן אקראי לקבל טיפול. כדי לחקור את ההשפעה של טיפול אקראי זה, אנגריסט ניצל את מערכת הנתונים הגדולה תמיד: מינהל הביטוח הלאומי של ארה"ב, אשר אוספת מידע על הרווחים של כל אמריקאי כמעט מהעבודה. על ידי שילוב המידע על מי שנבחר באופן אקראי בטיוטת הלוטו עם נתוני הרווחים שנאספו ברשומות מנהליות ממשלתיות, אנגריסט הגיע למסקנה כי הרווחים של ותיקים היו נמוכים בכ -15% מהרווחים של אלו שאינם ותיקים.

כפי שהדוגמה הזו ממחישה, לעתים כוחות חברתיים, פוליטיים או טבעיים מטמיעים טיפולים באופן שניתן למנף על ידי חוקרים, ולפעמים ההשפעות של טיפולים אלו נלכדות במקורות נתונים גדולים תמיד. ניתן לסכם את אסטרטגיית מחקר זו כדלקמן: \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

כדי להמחיש אסטרטגיה זו בעידן הדיגיטלי, הבה נבחן מחקר של אלכסנדר מאס ואנריקו מורטי (2009) , שניסו להעריך את השפעת העבודה עם עמיתים פרודוקטיביים על פריון העבודה. לפני שאתם רואים את התוצאות, כדאי לציין כי יש ציפיות סותרות כי ייתכן שיהיה. מצד אחד, ניתן לצפות כי עבודה עם עמיתים פרודוקטיביים יוביל עובד כדי להגדיל את הפרודוקטיביות שלה בגלל לחץ חברתי. או, לעומת זאת, אתה יכול לצפות כי נתקל עובדים קשה יכול להוביל עובד רפיון כי העבודה תיעשה על ידי בני גילה בכל מקרה. הדרך הברורה ביותר לבחון את ההשפעות של עמיתים על הפריון תהיה ניסוי מבוקר אקראי שבו העובדים מועברים באופן אקראי למשמרות עם עובדים ברמות פרודוקטיביות שונות, ואז הפרודוקטיביות המתקבלת נמדדת עבור כולם. החוקרים, לעומת זאת, אינם שולטים בלוח הזמנים של העובדים בכל עסק אמיתי, ולכן מאס ומורטי נאלצו להסתמך על ניסוי טבעי של קופאים בסופרמרקט.

בסופרמרקט המסוים הזה, בגלל האופן שבו תזמון נעשה והאופן שבו התנועות חופפות, כל קופאי היה עמיתים לעבודה שונים בשעות שונות של היום. יתר על כן, בסופרמרקט המסוים הזה, משימת הקופאים לא היתה קשורה לפריון של עמיתיהם או לחנויות עמוסות. במילים אחרות, למרות שתזמון הקופאיות לא נקבע על פי הגרלה, זה היה כאילו עובדים הוקצו באופן אקראי לעבודה עם עמיתים פרודוקטיביים גבוהים (או נמוכים). למרבה המזל, סופרמרקט זה היה גם מערכת גיל המבקר דיגיטלי כי מעקב אחר פריטים שכל הקופאי היה סורק בכל עת. מנתוני יומן זה, מאס ומורטי הצליחו ליצור מדד מדויק, אינדיווידואלי ותמיד על פרודוקטיביות: מספר הפריטים שנסרקו לשנייה. השילוב בין שני הדברים האלה - השינוי הטבעי בפריון הפרודוקטיביות ומדידת התפוקה הנמשכת - מס ומורטי העריכו שאם לקופאי יוקצו עמיתים לעבודה שהם 10% פרודוקטיביים יותר מהממוצע, תפוקתה תגדל ב -1.5% . יתר על כן, הם השתמשו בגודל ובעושר של הנתונים שלהם כדי לחקור שני נושאים חשובים: ההטרוגניות של השפעה זו (לאיזה סוגי עובדים יש השפעה גדולה יותר?) והמנגנונים שמאחורי האפקט (מדוע בעלי עמיתים בעלי פרודוקטיביות גבוהה מובילים ל פרודוקטיביות גבוהה יותר?). נחזור לשני נושאים חשובים אלה - הטרוגניות של השפעות ומנגנונים לטיפול - בפרק 4 כאשר נדון בניסויים ביתר פירוט.

הכללה של שני מחקרים אלה, טבלה 2.3 מסכמת מחקרים אחרים שיש להם אותו מבנה: באמצעות מקור נתונים תמיד על מנת למדוד את ההשפעה של כמה וריאציה אקראית. בפועל, החוקרים משתמשים בשתי אסטרטגיות שונות למציאת ניסויים טבעיים, אשר שניהם יכולים להיות פוריים. כמה חוקרים להתחיל עם מקור נתונים תמיד ולחפש אירועים אקראיים בעולם; אחרים להתחיל אירוע אקראי בעולם ולחפש מקורות נתונים ללכוד את השפעתה.

בדיון עד כה על ניסויים טבעיים, עזבתי נקודה חשובה: הולך מהטבע סיפק את מה שאתה רוצה לפעמים יכול להיות מסובך למדי. בואו נחזור לטיוטה של ​​וייטנאם. במקרה זה, אנגריסט היה מעוניין להעריך את השפעת השירות הצבאי על הרווחים. לרוע המזל, השירות הצבאי לא הוקצה באקראי; אלא גויס באופן אקראי. אולם לא כל מי שגויס שימש (היו מגוון פטור), ולא כל מי ששרת הוגש (אנשים יכלו להתנדב לשרת). כיוון שגויסו באופן אקראי, ניתן להעריך את השפעת הגיוס לכל הגברים בטיוטה. אבל אנגריסט לא רצה לדעת את השפעת הגיוס. הוא רצה לדעת את השפעת המשרתים בצבא. אולם, לשם כך, נדרשות הנחות וסיבוכים נוספים. ראשית, החוקרים צריכים להניח כי הדרך היחידה שבה מנוסח הרווחים מושפעת היא באמצעות שירות צבאי, הנחה הנקראת הגבלה הרחקה . הנחה זו עלולה להיות שגויה אם גברים שגויסו נשארו בבית הספר זמן רב יותר כדי להימנע משרתם, או אם המעסיקים היו נוטים פחות לשכור גברים שגויסו. ככלל, הגבלת ההדרה היא הנחה קריטית, ובדרך כלל קשה לאמת אותה. גם אם הגבלת ההדרה היא נכונה, עדיין לא ניתן להעריך את השפעת השירות על כל הגברים. במקום זאת, מתברר כי החוקרים יכולים רק להעריך את ההשפעה על קבוצת משנה מסוימת של גברים שנקראים 'ציות' (גברים אשר ישרתו בעת ניסוחם, אך לא ישרתו כאשר לא (Angrist, Imbens, and Rubin 1996) ) (Angrist, Imbens, and Rubin 1996) . אולם המתלוננים לא היו בעלי העניין המקורי. שימו לב כי בעיות אלה מתעוררות גם במקרה הנקי יחסית של טיוטת הלוטו. קבוצה נוספת של סיבוכים מתעוררים כאשר הטיפול לא מוקצה על ידי פיס פיזי. לדוגמה, במחקרם של הקופאיות של מאס ומורטי, מתעוררות שאלות נוספות על ההנחה שהמטלה של עמיתים היא אקראית במהותה. אם ההנחה הזו הופרה בצורה חמורה, היא עלולה להטות את הערכותיהם. לסיכום, ניסויים טבעיים יכולים להיות אסטרטגיה רבת עוצמה ליצירת אומדנים סיבתיים מנתונים שאינם ניסיוניים, ומקורות נתונים גדולים מגבירים את יכולתנו לנצל את הניסויים הטבעיים כאשר הם מתרחשים. עם זאת, זה יהיה כנראה דורשים טיפול רב - ולפעמים חזקה הנחות - ללכת מה הטבע סיפק את האומדן שאתה רוצה.

האסטרטגיה השנייה שהייתי רוצה לספר לכם על ביצוע הערכות סיבתיות מנתונים שאינם ניסיוניים תלויה בנתונים סטטיסטיים שאינם ניסיוניים בניסיון להסביר הבדלים קיימים בין אלו שעשו ולא קיבלו את הטיפול. יש הרבה גישות הסתגלות כאלה, אבל אני יתמקד אחד שנקרא התאמה . בהתאמה, החוקר בוחן נתונים שאינם ניסיוניים כדי ליצור זוגות של אנשים דומים, למעט זה שקיבל את הטיפול ואחד לא. בתהליך ההתאמה, חוקרים למעשה גם גוזמים ; כלומר, במקרים שבהם אין התאמה ברורה. לכן, שיטה זו תהיה יותר מדויק שנקרא התאמה ו-גיזום, אבל אני מקל עם המונח המסורתי: התאמה.

דוגמה אחת לעוצמת ההתאמה של אסטרטגיות עם מקורות נתונים לא מסיביים, נובעת ממחקר על התנהגות הצרכנים של לירן עינב ועמיתיו (2015) . הם היו מעוניינים במכרזים המתרחשים ב- eBay, ובתיאור עבודתם, אני אתמקד בהשפעה של מחיר המכירה הפומבית על תוצאות המכרז, כגון מחיר המכירה או ההסתברות למכירה.

הדרך הנאיבית ביותר להעריך את ההשפעה של מחיר התחלתי על מחיר המכירה יהיה פשוט לחשב את המחיר הסופי עבור מכירות פומביות עם מחירים מתחילים שונים. גישה זו תהיה בסדר אם אתה רוצה לחזות את מחיר המכירה בהתחשב במחיר ההתחלה. אבל אם השאלה שלך נוגעת להשפעת המחיר ההתחלתי, הרי שגישה זו לא תעבוד כי היא אינה מבוססת על השוואות הוגנות; המכרזים עם מחירים נמוכים יותר עשויים להיות שונים למדי מאלו עם מחירים מתחילים גבוהים יותר (למשל, הם עשויים להיות עבור סוגים שונים של סחורות או לכלול סוגים שונים של מוכרים).

אם אתם כבר מודעים לבעיות שעלולות להתעורר בעת ביצוע הערכות סיבתיות מנתונים שאינם ניסיוניים, אתם עשויים לדלג על הגישה התמימה ולשקול הפעלת ניסוי שדה שבו תמכרו פריט מסוים - למשל, מועדון גולף - עם קבוע סט של פרמטרים המכרז, למשל, משלוח חינם ומכירה פומבית פתוח במשך שבועיים, אבל עם מחירים שהוקצו באופן אקראי. על ידי השוואת תוצאות השוק וכתוצאה מכך, ניסוי זה שדה יציע למדידה ברורה מאוד של ההשפעה של מחיר התחלתי על מחיר המכירה. אבל מדידה זו תחול רק על מוצר מסוים ועל קבוצה של פרמטרים המכרז. התוצאות עשויות להיות שונות, למשל, עבור סוגים שונים של מוצרים. ללא תיאוריה חזקה, קשה להסיק מן הניסוי היחיד הזה למגוון של ניסויים אפשריים שניתן היה להפעיל. יתר על כן, ניסויים שדה הם יקרים מספיק, כי זה יהיה בלתי אפשרי להפעיל כל וריאציה שאולי תרצה לנסות.

בניגוד לגישות התמימות והניסוייות, גיבשו עינב ועמיתיו גישה שלישית: התאמה. הטריק העיקרי האסטרטגיה שלהם היא לגלות דברים דומים ניסויים שדה כי כבר קרה ב- eBay. לדוגמה, איור 2.8 מראה כמה מתוך 31 רישומים עבור אותו מועדון גולף בדיוק - אותו נהג נמכר על ידי אותו מוכר בדיוק - "budgetgolfer". עם זאת, 31 רישומים אלה יש מאפיינים שונים במקצת, כגון התחלה שונים המחיר, תאריכי הסיום ודמי המשלוח. במילים אחרות, זה כאילו "תקציב הגולף" הוא פועל ניסויים עבור החוקרים.

אלה רישומים של Taylormade Burner 09 הנהג נמכרים על ידי "budgetgolfer" הם דוגמה אחת של קבוצה תואמת של רישומים, שבו הפריט המדויק נמכר על ידי אותו המוכר בדיוק, אבל בכל פעם עם מאפיינים שונים במקצת. בתוך יומני מסיבית של eBay יש ממש מאות אלפי מערכות תואמות מעורבים מיליוני רישומים. לכן, במקום להשוות את המחיר הסופי עבור כל המכרזים עם מחיר התחלתי נתון, עינב ועמיתיו לעומת קבוצות בהתאמה. על מנת לשלב את התוצאות מהשוואות בתוך מאות אלפי הסדרות התואמות, עינב ועמיתיו ביטאו מחדש את מחיר ההתחלה ואת המחיר הסופי במונחים של ערך הייחוס של כל פריט (למשל, מחיר המכירה הממוצע שלו). לדוגמה, אם למצלמת Taylormade Burner 09 היה ערך הפניה של $ 100 (מבוסס על המכירות שלה), אז מחיר התחלתי של $ 10 יתבטא ב- 0.1 ובמחיר סופי של 120 $ כ- 1.2.

איור 2.8: דוגמה של קבוצה מתאימה. זה בדיוק באותו מועדון גולף (Taylormade Burner 09 Driver) נמכרים על ידי אותו אדם ("budgetgolfer"), אבל חלק מהמכירות הללו בוצעו בתנאים שונים (למשל, מחירים מתחילים שונים). משוחזר באישור Einav et al. (2015) , איור 1 ב.

נזכיר כי עינב ועמיתיו היו מעוניינים בהשפעת מחיר ההתחלה על תוצאות המכרז. ראשית, הם השתמשו ברגרסיה ליניארית כדי להעריך שמחירי פתיחה גבוהים יותר מקטינים את ההסתברות למכירה, וכי מחירי פתיחה גבוהים יותר מגדילים את מחיר המכירה הסופי (מותנה במקרה של מכירה). כשלעצמם, אומדנים אלה - המתארים יחסים לינאריים וממוצעים על פני כל המוצרים - אינם מעניינים. לאחר מכן, עינב ועמיתיו השתמשו בגודל מסיבי של הנתונים שלהם כדי ליצור מגוון של הערכות מתוחכמות יותר. לדוגמה, על ידי אמידת ההשפעה בנפרד עבור מגוון רחב של מחירים מתחילים שונים, הם מצאו כי הקשר בין מחיר התחלתי לבין מחיר המכירה הוא לא ליניארי (איור 2.9). בפרט, עבור המחירים מתחילים בין 0.05 ל 0.85, המחיר ההתחלתי יש השפעה קטנה מאוד על מחיר המכירה, ממצא זה היה מוחמץ לחלוטין על ידי הניתוח הראשון שלהם. יתר על כן, במקום ממוצע על כל הפריטים, העריכו עינב ועמיתיו את ההשפעה של מחיר התחלתי עבור 23 קטגוריות שונות של פריטים (למשל, ציוד לחיות מחמד, אלקטרוניקה, ומזכרות ספורט) (איור 2.10). אומדנים אלה מראים כי עבור פריטים ייחודיים יותר - כגון מזכרות - מחיר התחלתי יש השפעה קטנה יותר על ההסתברות למכירה והשפעה גדולה יותר על מחיר המכירה הסופי. יתר על כן, עבור פריטים יותר סחורה, כגון DVDs- המחיר ההתחלתי כמעט אין השפעה על המחיר הסופי. במילים אחרות, ממוצע המשלב תוצאות מ -23 קטגוריות שונות של פריטים מסתיר הבדלים חשובים בין הפריטים הללו.

דיאגרמה ב'-9: הקשר בין המחיר ההתחלתי של המכרז לבין ההסתברות למכירה (א) ומחיר המכירה (ב). יש בערך יחס ליניארי בין מחיר התחלתי לבין הסתברות המכירה, אך יחסים לא לינארית בין מחיר התחלתי לבין מחיר המכירה; עבור המחירים מתחילים בין 0.05 ו 0.85, המחיר ההתחלתי יש השפעה קטנה מאוד על מחיר המכירה. בשני המקרים, היחסים הם בעצם בלתי תלויים בערך פריט. הסתגלות Einav et al. (2015) , דמויות 4a ו 4 ב.

איור 2.10: אומדנים מכל קטגוריה של פריטים; הנקודה המוצקה היא האומדן לכל הקטגוריות המאוגדות יחד (Einav et al. 2015) . אומדנים אלה מראים כי עבור פריטים ייחודיים יותר - כגון מזכרות - המחיר ההתחלתי יש השפעה קטנה יותר על ההסתברות למכירה ( \(x\) -axis) והשפעה גדולה יותר על מחיר המכירה הסופי ( \(y\) -צִיר). הסתגלות Einav et al. (2015) , איור 8.

גם אם אתה לא מעוניין במיוחד במכירות פומביות ב- eBay, אתה צריך להעריץ את הדרך שבה דמות 2.9 ו דמות 2.10 מציעים הבנה עשירה יותר של eBay מאשר הערכות פשוטות המתארות יחסים ליניארי לשלב קטגוריות שונות של פריטים. יתר על כן, למרות שזה יהיה אפשרי מבחינה מדעית לייצר אלה הערכות מתוחכם יותר עם ניסויים שדה, העלות תעשה ניסויים כאלה בלתי אפשרי.

כמו בניסויים טבעיים, ישנן מספר דרכים כי ההתאמה יכולה להוביל הערכות רעות. אני חושב שהדאגה הגדולה ביותר עם הערכות תואמות היא שהם יכולים להיות מוטים על ידי דברים שלא היו בשימוש ההתאמה. לדוגמה, בתוצאות העיקריות שלהם, עינב ועמיתים עשו התאמה מדויקת על ארבעה מאפיינים: מספר מזהה מוכר, פריט פריט, כותרת פריט וכותרת משנה. אם הפריטים היו שונים בדרכים שלא היו בשימוש עבור התאמת, אז זה יכול ליצור השוואה לא הוגנת. לדוגמה, אם "התקציבgolfer" הוריד את המחירים עבור הנהג טיילורמדה 09 בחורף (כאשר מועדוני גולף הם פחות פופולרי), אז זה יכול להיראות כי המחירים הנמוכים נמוכים להוביל מחירים נמוכים יותר, כאשר למעשה זה יהיה חפץ של שינויי עונתיות בביקוש. גישה אחת להתייחסות לדאגה זו היא לנסות סוגים שונים של התאמה. כך, למשל, חזרו עינב ועמיתיו על האנליזה שלהם תוך שינוי חלון הזמן ששימש להתאמה (סדרות תואמות כללו פריטים שנמכרו בתוך שנה, בתוך חודש, ובאותו זמן). למרבה המזל, הם מצאו תוצאות דומות עבור כל הזמן חלונות. דאגה נוספת עם ההתאמה נובעת מפרשנות. האומדנים מההתאמה חלים רק על נתונים תואמים; הם אינם חלים על מקרים שלא ניתן להתאים. לדוגמה, על ידי הגבלת המחקר שלהם לפריטים שהיו רישומים מרובים, עינב ועמיתים מתמקדים מוכרים מקצועיים למחצה מקצועי. לכן, כאשר מפרשים השוואות אלה עלינו לזכור כי הם חלים רק על זה משנה של eBay.

התאמה היא אסטרטגיה רבת עוצמה למציאת השוואות הוגנות בנתונים שאינם ניסיוניים. בעיני מדענים חברתיים רבים, ההתאמה מרגישה הכי טוב שני ניסויים, אבל זה אמונה כי ניתן לשנות, מעט. התאמת נתונים מסיבית עשויה להיות טובה יותר מאשר מספר קטן של ניסויים שדה כאשר (1) הטרוגניות ההשפעות חשוב (2) המשתנים החשובים הדרושים התאמת נמדדו. לוח 2.4 מספק כמה דוגמאות אחרות לגבי אופן ההתאמה ניתן לשימוש עם מקורות נתונים גדולים.

לסיכום, קשה להעריך את ההשפעות הסיבתיות של נתונים שאינם ניסיוניים, אך ניתן להשתמש בגישות כגון ניסויים טבעיים והתאמות סטטיסטיות (למשל, התאמה). במצבים מסוימים, גישות אלה יכולות להשתבש בצורה גרועה, אך כאשר הן מנוסחות בזהירות, גישות אלה יכולות להיות השלמה מועילה לגישה הניסויית שאותה אני מתאר בפרק 4. יתר על כן, שתי הגישות הללו נראות, on, מערכות נתונים גדולות.