4.1 מבוא

בגישות המכוסות עד כה בהתנהגות זו של התבוננות בספרות (פרק 2) ובשאילת שאלות (פרק 3) - חוקרים אוספים נתונים ללא שינוי מכוון ושיטתי של העולם. הגישה המופיעה בניסוי זה, המונה פרק זה, שונה בתכלית. כאשר חוקרים עורכים ניסויים, הם מתערבים באופן שיטתי בעולם כדי ליצור נתונים המתאימים באופן אידיאלי לענות על שאלות לגבי יחסי סיבה ותוצאה.

שאלות של סיבה ותוצאה שכיחות מאוד במחקר החברתי, ודוגמאות כוללות שאלות כגון: האם הגדלת שכר המורים מגדילה את הלמידה של התלמידים? מה השפעת שכר המינימום על שיעורי התעסוקה? איך מרוץ עבודה של המועמד משפיע על סיכוייה לקבל עבודה? בנוסף לשאלות סיבתיות מפורשות אלה, לפעמים שאלות של סיבה ותוצאה משתמעות לשאלות כלליות יותר בנוגע למיקסום של ערך ביצועים כלשהו. לדוגמה, השאלה "איזה צבע יש לתרום כפתור להיות באתר האינטרנט של ארגון לא ממשלתי?" הוא באמת הרבה שאלות על ההשפעה של צבעים שונים כפתור על תרומות.

אחת הדרכים לענות על שאלות סיבה ותוצאה היא לחפש דפוסי נתונים קיימים. לדוגמה, בשובך לשאלה על השפעת שכר המורים על הלמידה של התלמידים, אתה יכול לחשב כי התלמידים לומדים יותר בבתי ספר המציעים שכר גבוה למורים. אבל, האם זה מתאם עולה כי משכורות גבוהות לגרום לתלמידים ללמוד יותר? ברור שלא. בתי ספר שבהם המורים מרוויחים יותר עשויים להיות שונים במובנים רבים. לדוגמה, תלמידים בבתי ספר בעלי משכורות גבוהות למורים עשויים להגיע ממשפחות עשירות יותר. לכן, מה שנראה כמו השפעה של מורים יכול פשוט לבוא להשוות סוגים שונים של תלמידים. הבדלים לא מעובדים אלה בין סטודנטים נקראים מערערים , ובאופן כללי, האפשרות של מערערים גורמת להרס על יכולתם של החוקרים לענות על שאלות של סיבה ותוצאה על-ידי חיפוש דפוסי נתונים קיימים.

פתרון אחד לבעיה של המבלבלים הוא לנסות לעשות השוואות הוגנות על ידי התאמת הבדלים נצפים בין קבוצות. לדוגמה, ייתכן שתוכל להוריד נתוני מס רכוש ממספר אתרים ממשלתיים. לאחר מכן, תוכל להשוות את ביצועי התלמידים בבתי הספר שבהם מחירי הבתים דומים, אך שכר המורים שונה, ועדיין אתה עשוי לגלות שתלמידים לומדים יותר בבתי ספר בעלי שכר גבוה יותר. אבל יש עדיין הרבה בלבול אפשרי. אולי ההורים של התלמידים האלה שונים זה מזה ברמת ההשכלה שלהם. או שמא בתי הספר שונים זה מזה בקירבתם לספריות ציבוריות. או אולי את בתי הספר עם שכר גבוה יותר למורה יש גם תשלום גבוה יותר עבור מנהלים, לשלם העיקרי, לא לשלם למורה, הוא באמת מה גדל הלמידה של התלמידים. אתה יכול לנסות למדוד ולהתאים עבור גורמים אלה גם כן, אבל הרשימה של confounders אפשרי הוא אינסופי במהותו. במצבים רבים, אתה פשוט לא יכול למדוד ולהתאים עבור כל confounders אפשרי. בתגובה לאתגר זה, פיתחו החוקרים מספר טכניקות להכנת אומדנים סיבתיים מנתונים שאינם ניסיוניים - דנתי בכמה מהם בפרק 2 - אך עבור סוגים מסוימים של שאלות, טכניקות אלה מוגבלות, והניסויים מציעים מבטיחות חֲלוּפָה.

ניסויים מאפשרים לחוקרים לעבור מעבר למתאמים בנתונים טבעיים כדי לענות באופן מהימן על שאלות מסוימות של סיבה ותוצאה. בעידן האנלוגי, ניסויים היו לעתים קרובות קשים ויקרים מבחינה לוגיסטית. עכשיו, בעידן הדיגיטלי, המגבלות הלוגיסטיות נמוגות בהדרגה. לא רק קל יותר לעשות ניסויים כמו אלה שנעשו בעבר, עכשיו זה אפשרי להפעיל סוגים חדשים של ניסויים.

במה שכתבתי עד כה הייתי קצת רופף בשפה שלי, אבל חשוב להבחין בין שני דברים: ניסויים ניסויים אקראיים מבוקר. בניסוי , חוקר מתערב בעולם ואז מודד תוצאה. שמעתי כי גישה זו מתוארת כ"פריעה ותצפית ". בניסוי אקראי מבוקר חוקר מתערב אצל אנשים מסוימים ולא עבור אחרים, והחוקר מחליט אילו אנשים מקבלים את ההתערבות על ידי אקראיות (למשל, הטלת מטבע). ניסויים מבוקרים אקראיים יוצרים השוואות הוגנות בין שתי קבוצות: אחת שקיבלה את ההתערבות ואחת לא. במילים אחרות, ניסויים מבוקרים אקראיים הם פתרון לבעיות של confounders. אולם, ניסויים של "פרטור" ו"צפייה "כרוכים רק בקבוצה אחת שקיבלה את ההתערבות, ולכן התוצאות יכולות להוביל את החוקרים למסקנה שגויה (כפי שאראה בקרוב). למרות ההבדלים החשובים בין ניסויים לבין ניסויים מבוקרים אקראיים, חוקרים חברתיים משתמשים לעתים קרובות במונחים אלה. אני אעקוב אחר האמנה הזאת, אבל בנקודות מסוימות אשבור את האמנה כדי להדגיש את הערך של ניסויים אקראיים מבוקרים על ניסויים ללא אקראיות וקבוצת ביקורת.

ניסויים מבוקרים אקראיים הוכיחו את עצמם כדרך רבת עוצמה ללמוד על העולם החברתי, ובפרק זה אראה לכם יותר כיצד להשתמש בהם במחקר שלכם. בסעיף 4.2, אני אמחיש את ההיגיון הבסיסי של הניסוי עם דוגמה של ניסוי על ויקיפדיה. לאחר מכן, בסעיף 4.3, אתאר את ההבדל בין ניסויים במעבדה וניסויי שדה ואת ההבדלים בין ניסויים אנלוגיים לבין ניסויים דיגיטליים. יתר על כן, אני אטען כי ניסויים שדה דיגיטלי יכול להציע את התכונות הטובות ביותר של ניסויים מעבדה אנלוגי (שליטה הדוקה) ו ניסויים שדה אנלוגי (ריאליזם), כל בקנה מידה שלא היה אפשרי בעבר. בהמשך, בפרק 4.4, אתאר שלושה מושגים - תוקף, הטרוגניות של השפעות טיפול ומנגנונים - קריטיים לתכנון ניסויים עשירים. עם הרקע הזה, אתאר את התמורות הכרוכות בשתי האסטרטגיות העיקריות לניהול ניסויים דיגיטליים: לעשות זאת בעצמך או ליצור שותפות עם החזקים. לבסוף, אסיים עם כמה עצות עיצוב על איך אתה יכול לנצל את הכוח האמיתי של ניסויים דיגיטליים (סעיף 4.6.1) ולתאר חלק מהאחריות שמגיע עם כוח זה (סעיף 4.6.2).