4.3 שני ממדים של ניסויים: שדה-מעבדה-דיגיטלי אנלוגי
ניסויי מעבדה להציע שליטה, ניסוי שדה להציע ריאליזם, ניסויי שדה דיגיטליים לשלב מלאי ריאליזם בקנה המידה נרחב.
ניסויים מגיעים בצורות וגדלים שונים. בעבר, החוקרים מצאו את זה מועיל לארגן ניסויים לאורך רצף בין ניסויים במעבדה וניסויי שדה . עכשיו, עם זאת, החוקרים צריכים גם לארגן ניסויים לאורך רצף שני בין ניסויים אנלוגיים וניסויים דיגיטליים . זה שטח דו מימדי עיצוב יעזור לך להבין את נקודות החוזק והחולשות של גישות שונות להדגיש את תחומי ההזדמנות הגדולה ביותר (איור 4.1).
איור 4.1: סכמטי של מרחב עיצוב לניסויים. בעבר, הניסויים השתנו לאורך המאפיין של שדה המעבדה. עכשיו, הם גם להשתנות על הממד האנלוגי הדיגיטלי. מרחב עיצוב דו-מימדי זה מתואר על ידי ארבעה ניסויים המתוארים בפרק זה. לדעתי, השטח של ההזדמנות הגדולה ביותר היא ניסויים שדה דיגיטלי.
מאפיין אחד שבו ניתן לארגן ניסויים הוא המאפיין של שדה המעבדה. ניסויים רבים במדעי החברה הם ניסויים מעבדה שבו סטודנטים לתואר ראשון לבצע משימות מוזרות במעבדה עבור אשראי כמובן. סוג זה של ניסוי שולט במחקר בפסיכולוגיה משום שהוא מאפשר לחוקרים ליצור הגדרות מבוקרות ביותר כדי לבודד במדויק ולבדוק תיאוריות ספציפיות על ההתנהגות החברתית. עם זאת, עבור בעיות מסוימות, משהו מרגיש קצת מוזר לגבי מסקנות חזקות על התנהגות אנושית של אנשים יוצאי דופן כאלה ביצוע משימות יוצא דופן כזה הגדרה יוצאת דופן. חששות אלה הובילו לתנועה לקראת ניסויים בשטח . ניסויים שדה לשלב את העיצוב החזק של ניסויים אקראיים מלאה עם קבוצות נציג יותר של המשתתפים לבצע משימות נפוצות יותר הגדרות טבעיות יותר.
למרות שכמה אנשים חושבים על ניסויים מעבדה ו שדה כמו שיטות מתחרות, עדיף לחשוב עליהם כמו משלימים, עם עוצמות וחולשות שונות. לדוגמה, Correll, Benard, and Paik (2007) השתמשו הן בניסוי מעבדה והן בניסוי שדה בניסיון למצוא את מקורות "עונש האימהות". בארצות הברית, אמהות מרוויחות פחות כסף מנשים ללא ילדים, גם כאשר השוואת נשים עם מיומנויות דומות בעבודה דומה. יש הסברים אפשריים רבים לדפוס זה, שאחד מהם הוא שהמעסיקים מוטים נגד אמהות. (מעניין לציין כי ההפך הוא הנכון עבור אבות: הם נוטים להרוויח יותר מאשר גברים ללא ילדים.) כדי להעריך את ההטיה אפשרית נגד אמהות, קורל ועמיתיו ניהל שני ניסויים: אחד במעבדה ואחד בתחום.
ראשית, בניסוי מעבדה הם סיפרו למשתתפים, שהיו סטודנטים לתואר ראשון בקולג ', שחברה מנהלת חיפוש תעסוקתי אחר אדם שיוביל את מחלקת השיווק החדשה לחוף המזרחי. לסטודנטים נאמר כי החברה רצתה את עזרתם בתהליך הגיוס, והם התבקשו לבחון קורות חיים של כמה מועמדים פוטנציאליים ולהעריך את המועמדים במספר מידות, כגון האינטליגנציה שלהם, החום והמחויבות לעבודה. יתר על כן, התלמידים נשאלו אם הם היו ממליצים להעסיק את המבקש ומה הם ממליצים כמו משכורת החל. ללא ידיעתו של התלמידים, עם זאת, קורות החיים נבנו במיוחד כדי להיות דומה למעט דבר אחד: חלק מהם אותות אימהות (על ידי רישום מעורבות עמותה הורים למורה) וחלק לא. קורל ועמיתיו גילו שהתלמידים נוטים פחות להמליץ על שכירת האמהות וכי הם מציעים להם שכר התחלתי נמוך יותר. יתר על כן, באמצעות ניתוח סטטיסטי של שני הדירוגים וההחלטות הקשורות לעבודה, החוקרים מצאו כי החסרונות של אמהות מוסברים במידה רבה על ידי העובדה שהם מדורגים נמוך יותר במונחים של יכולת ומחויבות. לפיכך, ניסוי מעבדה זה אפשר לקורל ועמיתיו למדוד אפקט סיבתי ולספק הסבר אפשרי לכך.
כמובן, אפשר להיות ספקנים לגבי הסקת מסקנות לגבי שוק העבודה האמריקאי כולו על סמך החלטות של כמה מאות סטודנטים לתואר ראשון, אשר כנראה מעולם לא היה עבודה במשרה מלאה, שלא לדבר על שכרו מישהו. לכן, קורל ועמיתיו ערכו גם ניסוי שדה משלים. הם הגיבו למאות משרות פתוחות עם מכתבי כיסוי קצרים וקורות חיים. בדומה לחומרים המוצגים לתלמידי התואר הראשון, כמה קורות חיים אותתו לאימהות וחלקם לא. קורל ועמיתיו גילו שאמהות פחות צפויות לקבל בחזרה ראיונות מאשר נשים חסרות השכלה. במילים אחרות, המעסיקים האמיתיים קבלת החלטות תוצאתי בסביבה טבעית התנהגו כמו סטודנטים לתואר ראשון. האם הם קיבלו החלטות דומות מאותה סיבה? למרבה הצער, אנחנו לא יודעים. החוקרים לא יכלו לבקש מהמעסיקים לדרג את המועמדים או להסביר את החלטותיהם.
זוג ניסויים זה מגלה הרבה על ניסויים במעבדה ובזוויות באופן כללי. ניסויים במעבדה מציעים לחוקרים כמעט שליטה מוחלטת על הסביבה שבה המשתתפים מקבלים החלטות. כך, למשל, בניסוי המעבדה, הצליחו קורל ועמיתיו לוודא שכל קורות החיים נקראו בסביבה שקטה; בניסוי בשטח, ייתכן שחלק מן הקורות חיים לא נקראו. יתר על כן, מכיוון שהמשתתפים במעבדה יודעים כי הם נלמדים, החוקרים יכולים לעיתים לאסוף נתונים נוספים שיכולים להסביר מדוע המשתתפים מקבלים את החלטותיהם. לדוגמה, קורל ועמיתיו ביקשו מהמשתתפים בניסוי המעבדה לדרג את המועמדים בממדים שונים. סוג זה של נתוני תהליך יכול לסייע לחוקרים להבין את המנגנונים שמאחורי ההבדלים באופן שבו המשתתפים מטפלים בקורות החיים.
מצד שני, אותם מאפיינים בדיוק שתיארתי זה עתה כיתרונות נחשבים לעתים גם לחסרונות. חוקרים המעדיפים ניסויים שדה טוענים כי המשתתפים בניסויים במעבדה יכול לפעול בצורה שונה מאוד, כי הם יודעים שהם נלמדים. לדוגמה, בניסוי המעבדה, המשתתפים אולי ניחשו את מטרת המחקר ושינו את התנהגותם כדי לא להיראות מוטה. יתר על כן, חוקרים המעדיפים ניסויים שדה יכול לטעון כי הבדלים קטנים קורות חיים יכול רק להתבלט בסביבה נקייה מאוד, סטרילי במעבדה, ולכן הניסוי במעבדה יהיה להעריך יתר על המידה את ההשפעה של האמהות על החלטות גיוס אמיתי. לבסוף, רבים מהתומכים בניסויי שדה מבקרים את הסתמכותם של ניסויים במעבדה על המשתתפים ב- WEIRD: בעיקר סטודנטים ממדינות מערביות, משכילות, מתועשות, עשירות ודמוקרטיות (Henrich, Heine, and Norenzayan 2010a) . הניסויים של קורל ועמיתיו (2007) ממחישים את שני הקצוות על רצף המעבדה. בין שני הקצוות האלה יש גם מגוון של עיצובים היברידיים, כולל גישות כגון הבאת תלמידים שאינם למעבדה או להיכנס לשדה, אבל עדיין יש המשתתפים לבצע משימה יוצאת דופן.
בנוסף למאפיין של שדה המעבדה שהתקיים בעבר, העידן הדיגיטלי פירושו שלחוקרים יש כיום מימד מרכזי שני, שבו הניסויים יכולים להשתנות: אנלוגי-דיגיטלי. בדיוק כפי שיש ניסויים מעבדה טהור, ניסויים שדה טהור, מגוון של כלאיים בין, יש ניסויים אנלוגיים טהור, ניסויים דיגיטליים טהורים, ומגוון של מכוניות היברידיות. זה מסובך להציע הגדרה רשמית של מימד זה, אבל הגדרת עבודה שימושית היא כי ניסויים דיגיטליים מלאים הם ניסויים כי לעשות שימוש בתשתית דיגיטלית לגייס משתתפים, אקראי, לספק טיפולים, ולמדוד תוצאות. לדוגמה, המחקר של רסטיבו ואן דה ריג'ט (2012) של barnstars ווויקיפדיה היה ניסוי דיגיטלי לחלוטין, משום שהוא השתמש במערכות דיגיטליות עבור כל ארבעת השלבים. כמו כן, ניסויים אנלוגי מלא לא לעשות שימוש בתשתית דיגיטלית עבור כל אלה ארבעה שלבים. רבים מן הניסויים הקלאסיים בפסיכולוגיה הם ניסויים אנלוגי מלא. בין שני הקצוות הללו, ישנם ניסויים דיגיטליים באופן חלקי להשתמש בשילוב של מערכות אנלוגיות ודיגיטליות.
כאשר אנשים מסוימים חושבים על ניסויים דיגיטליים, הם מיד חושבים על ניסויים מקוונים. זה מצער, כי ההזדמנויות להריץ ניסויים דיגיטליים הם לא רק באינטרנט. החוקרים יכולים לבצע ניסויים דיגיטליים באופן חלקי על ידי שימוש במכשירים דיגיטליים בעולם הפיזי על מנת לספק טיפולים או למדוד תוצאות. לדוגמה, חוקרים יכולים להשתמש בסמארטפונים כדי לספק טיפולים או חיישנים בסביבה הבנויה כדי למדוד את התוצאות. למעשה, כפי שנראה בהמשך פרק זה, החוקרים כבר השתמשו (Allcott 2015) הספק ביתיים כדי למדוד את התוצאות בניסויים על צריכת אנרגיה של 8.5 מיליון משקי בית (Allcott 2015) . כמו מכשירים דיגיטליים להיות משולבים יותר ויותר לתוך חייהם של אנשים וחיישנים להשתלב בסביבה הבנויה, הזדמנויות אלה כדי להפעיל ניסויים דיגיטליים חלקית בעולם הפיזי יגדל באופן דרמטי. במילים אחרות, ניסויים דיגיטליים הם לא רק ניסויים מקוונים.
מערכות דיגיטליות יוצרות אפשרויות חדשות לניסויים בכל מקום לאורך הרצף של שדה המעבדה. בניסויי מעבדה טהורים, למשל, החוקרים יכולים להשתמש במערכות דיגיטליות למדידה עדינה יותר של התנהגות המשתתפים; דוגמה אחת של סוג זה של מדידה משופרת הוא ציוד מעקב העין המספק מדויק ומדויק צעדים של מיקום המבט. העידן הדיגיטלי גם יוצר את האפשרות של הפעלת מעבדה כמו ניסויים מקוונים. לדוגמה, חוקרים אימצו במהירות אמזון מכונות טורק (MTurk) כדי לגייס משתתפים עבור ניסויים מקוונים (איור 4.2). MTurk התאמות "מעסיקים" שיש להם משימות שצריך להשלים עם "עובדים" שרוצים להשלים את המשימות האלה בשביל כסף. שלא כמו בשווקי העבודה המסורתיים, עם זאת, המשימות בדרך כלל דורשות רק כמה דקות כדי להשלים, ואת כל האינטראקציה בין המעסיק לעובד באינטרנט. כי MTurk מחקה היבטים של ניסויים במעבדה המסורתית, משלמים אנשים כדי להשלים משימות שהם לא יעשו בחינם - זה מתאים באופן טבעי עבור סוגים מסוימים של ניסויים. למעשה, MTurk יצרה את התשתית לניהול מאגר של משתתפים - גיוס ותשלום לאנשים - והחוקרים ניצלו את התשתית הזו כדי להתחבר למאגר זמין תמיד של משתתפים.
איור 4.2: מאמרים שהתפרסמו באמצעות נתונים של אמזון מכני טורק (MTurk). MTurk ושאר שוקי עבודה מקוונים מציעים לחוקרים דרך נוחה לגייס משתתפים לניסויים. הסתגלות מ Bohannon (2016) .
מערכות דיגיטליות יוצרות עוד יותר אפשרויות לניסויי שדה. בפרט, הם מאפשרים לחוקרים לשלב את הנתונים ההדוקים של בקרה ותהליך המשויכים לניסויי מעבדה עם המשתתפים המגוונים יותר והגדרות טבעיות יותר הקשורות לניסויי מעבדה. בנוסף, ניסויים בתחום הדיגיטלי מציעים גם שלוש הזדמנויות שנוטות להיות קשות בניסויים אנלוגיים.
ראשית, בעוד רוב הניסויים המעבדה האנלוגית בשדה יש מאות משתתפים, ניסויים בתחום הדיגיטלי יכול להיות מיליוני משתתפים. שינוי זה בקנה מידה הוא כי כמה ניסויים דיגיטליים יכולים לייצר נתונים במחיר משתנים אפס. כלומר, לאחר החוקרים יצרו תשתית ניסיונית, להגדיל את מספר המשתתפים בדרך כלל לא להגדיל את העלות. הגדלת מספר המשתתפים בפקטור של 100 או יותר היא לא רק שינוי כמותי ; זהו שינוי איכותי , משום שהוא מאפשר לחוקרים ללמוד דברים שונים מניסויים (למשל, הטרוגניות של השפעות טיפוליות) ולהפעיל מודלים ניסויים שונים לחלוטין (לדוגמה, ניסויים קבוצתיים גדולים). נקודה זו כל כך חשובה, אני אחזור אליה לקראת סוף הפרק, כאשר אני מציע עצה על יצירת ניסויים דיגיטליים.
שנית, בעוד שמרבית הניסויים האנלוגיים והמעבדה האנלוגיים מתייחסים למשתתפים כאל יישומונים שאין להבחין ביניהם, ניסויי שדה דיגיטליים משתמשים לעתים קרובות במידע רקע על המשתתפים בשלבי התכנון והניתוח של המחקר. מידע רקע זה, הנקרא מידע לפני הטיפול , זמין לעתים קרובות בניסויים דיגיטליים משום שהוא פועל על גבי מערכות מדידה תמידיות (ראה פרק 2). לדוגמה, לחוקר בפייסבוק יש מידע הרבה יותר לפני הטיפול על אנשים בניסוי בתחום הדיגיטלי שלה מאשר לחוקר באוניברסיטה על האנשים בניסוי השדה האנלוגי שלה. טיפול מקדים זה מאפשר עיצובים ניסיוניים יעילים יותר - כגון חסימה (Higgins, Sävje, and Sekhon 2016) וגיוס ממוקד של משתתפים (Eckles, Kizilcec, and Bakshy 2016) - וניתוח תובנה יותר - כגון הערכת ההטרוגניות של השפעות הטיפול (Athey and Imbens 2016a) והתאמה משתנית לשיפור הדיוק (Bloniarz et al. 2016) .
שלישית, בעוד שבניסויי מעבדה אנלוגיים וניסויי שדה רבים מספקים טיפולים ומדידים את התוצאות בכמות דחוסה יחסית של זמן, ניסויי שדה דיגיטליים מסוימים מתרחשים לאורך זמן רב יותר. לדוגמה, הניסוי של רסטיבו וואן דה רייט היה תוצאה שנמדדה מדי יום במשך 90 יום, ואחד הניסויים שאספר לך בהמשך הפרק (Ferraro, Miranda, and Price 2011) עקבו אחר התוצאות במשך שלוש שנים בעיקרו של דבר עֲלוּת. שלוש אפשרויות ההזדמנויות הללו, מידע לפני הטיפול ונתוני הטיפול האורך והנתוני - מופיעות בדרך כלל כאשר הניסויים מופעלים על גבי מערכות מדידה תמידיות (ראה פרק 2 למידע נוסף על מערכות מדידה תמידיות).
בעוד ניסויים שדה דיגיטלי מציעים אפשרויות רבות, הם גם חולקים כמה חולשות עם שני מעבדה אנלוגי ניסויים שדה אנלוגי. לדוגמה, ניסויים לא ניתן להשתמש כדי ללמוד את העבר, והם יכולים רק להעריך את ההשפעות של טיפולים שיכולים להיות מניפולציה. כמו כן, למרות הניסויים הם ללא ספק שימושי כדי להנחות מדיניות, הדרכה מדויקת הם יכולים להציע מוגבל למדי בגלל סיבוכים כגון תלות סביבתית, בעיות תאימות, ואת שיווי המשקל (Banerjee and Duflo 2009; Deaton 2010) . ניסויים בתחום הדיגיטלי גם מגדילים את העניינים האתיים שנוצרו על ידי ניסויים בתחום - נושא שאליו אדווח בהמשך בפרק זה ובפרק 6.
