4.6.1 יצירת אפס מידע משתנה עלות
המפתח להפעלת ניסויים גדולים הוא לנהוג עלות המשתנה שלך לאפס. הדרכים הטובות ביותר לעשות זאת הן אוטומציה ועיצוב ניסויים מהנים.
ניסויים דיגיטליים יכולים להיות בעלי עלות שונה באופן דרמטי, וזה מאפשר לחוקרים להפעיל ניסויים שהיו בלתי אפשריים בעבר. אחת הדרכים לחשוב על הבדל זה היא לציין כי ניסויים בדרך כלל יש שני סוגים של עלויות: עלויות קבועות ועלויות משתנות. עלויות קבועות הן עלויות שנותרו ללא שינוי, ללא תלות במספר המשתתפים. לדוגמה, בניסוי מעבדה, עלויות קבועות עשויות להיות עלויות השכרת שטח וקניית רהיטים. לעומת זאת, העלויות המשתנות משתנות בהתאם למספר המשתתפים. לדוגמה, בניסוי מעבדה, עלויות משתנות עשויות להיות משלם צוות ומשתתפים. באופן כללי, בניסויים אנלוגיים יש עלויות קבועות נמוכות ועלויות משתנות גבוהות, בעוד שלניסויים דיגיטליים יש עלויות קבועות גבוהות ועלויות משתנות נמוכות (איור 4.19). למרות הניסויים הדיגיטליים יש עלויות משתנות נמוך, אתה יכול ליצור הרבה הזדמנויות מרגש כאשר אתה נוהג עלות המשתנה כל הדרך לאפס.
איור 4.19: סכמטי של מבני עלות בניסויים אנלוגיים ודיגיטליים. באופן כללי, ניסויים אנלוגיים יש עלויות קבועות נמוכות ועלויות משתנות גבוהות ואילו ניסויים דיגיטליים יש עלויות קבועות גבוהות ועלויות משתנות נמוכות. המבנים השונים עלות אומר ניסויים דיגיטליים יכולים לפעול בקנה מידה זה לא אפשרי עם ניסויים אנלוגיים.
ישנם שני מרכיבים עיקריים של תשלומי עלות משתנים לעובדים ותשלומים למשתתפים - וכל אחד מהם יכול להיות מונע לאפס באמצעות אסטרטגיות שונות. התשלומים לעובדים נובעים מהעבודה שעוזרים למחקר מגייסים משתתפים, מעבירים טיפולים ומודדים תוצאות. לדוגמה, ניסוי שדה אנלוגי של Schultz ועמיתיו (2007) על השימוש בחשמל נדרש מעוזרי מחקר לנסוע לכל בית כדי לספק את הטיפול ולקרוא את מד חשמלי (איור 4.3). כל המאמץ הזה על ידי עוזרי מחקר פירושו כי הוספת משק בית חדש למחקר היה מוסיף לעלות. מצד שני, עבור ניסוי שדה דיגיטלי של Restivo ו ואן דה Rijt (2012) על ההשפעה של פרסים על עורכי ויקיפדיה, החוקרים יכלו להוסיף משתתפים נוספים כמעט ללא עלות. אסטרטגיה כללית להקטנת העלויות הניהוליות המשתנות היא להחליף את העבודה האנושית (שהיא יקרה) בעבודה במחשב (שהיא זולה). בערך, אתה יכול לשאול את עצמך: האם זה הניסוי לרוץ כאשר כולם על צוות המחקר שלי ישן? אם התשובה היא כן, עשית עבודה נהדרת של אוטומציה.
הסוג העיקרי השני של עלות המשתנה הוא תשלומים למשתתפים. כמה חוקרים השתמשו אמזון מכונות טורקית ושאר שוקי עבודה מקוונים כדי להקטין את התשלומים הנדרשים עבור המשתתפים. כדי להסיע עלויות משתנות כל הדרך לאפס, עם זאת, יש צורך בגישה אחרת. במשך זמן רב, החוקרים עיצבו ניסויים שהם כל כך משעממים שהם צריכים לשלם לאנשים כדי להשתתף. אבל מה אם אתה יכול ליצור ניסוי שאנשים רוצים להיות בו? זה אולי נשמע מופרך, אבל אני אתן לך דוגמה להלן מהעבודה שלי, ויש דוגמאות נוספות בטבלה 4.4. שים לב שהרעיון של תכנון ניסויים מהנים מהדהד חלק מהנושאים בפרק 3 בנוגע לתכנון סקרים מהנים יותר בפרק 5 בנוגע לתכנון שיתוף פעולה המוני. לכן, אני חושב שהנאת משתתף - מה שיכול גם להיקרא חוויית משתמש - תהיה חלק חשוב יותר ויותר בעיצוב המחקר בעידן הדיגיטלי.
| פיצוי | הפניות |
|---|---|
| אתר אינטרנט עם מידע בריאותי | Centola (2010) |
| תוכנית התרגיל | Centola (2011) |
| מוזיקה חופשית | Salganik, Dodds, and Watts (2006) ; Salganik and Watts (2008) ; Salganik and Watts (2009b) |
| משחק כיפי | Kohli et al. (2012) |
| המלצות סרט | Harper and Konstan (2015) |
אם ברצונך ליצור ניסויים עם אפס נתוני עלות משתנים, יהיה עליך לוודא שהכל אוטומטי לחלוטין וכי המשתתפים אינם דורשים תשלום כלשהו. כדי להראות איך זה אפשרי, אתאר את עבודת הדוקטורט שלי על ההצלחה והכישלון של מוצרים תרבותיים.
העיסוק שלי היה מונע על ידי אופי תמוה של הצלחה עבור מוצרים תרבותיים. שירים להיט, ספרים הנמכרים ביותר וסרטים שוברים קופות הם הרבה יותר מוצלחים מהממוצע. בגלל זה, השווקים עבור מוצרים אלה נקראים לעתים קרובות "זוכה לקחת הכל" השווקים. עם זאת, בו זמנית, איזה שיר, ספר, או סרט מסוים יהיה מוצלח הוא בלתי צפוי באופן בלתי צפוי. התסריטאי ויליאם גולדמן (1989) סיכם באלגנטיות הרבה מחקרים אקדמיים באומרו כי כשמדובר בחיזוי הצלחה, "אף אחד לא יודע כלום". חוסר היציבות של שוק הזוכים-לקחת את כל השווקים גרם לי לתהות כמה הצלחה היא תוצאה של איכות וכמה הוא רק מזל. או, בא לידי ביטוי קצת אחרת, אם נוכל ליצור עולמות מקבילים יש להם את כל להתפתח באופן עצמאי, היו אותם שירים להיות פופולרי בכל העולם? ואם לא, מה עשוי להיות מנגנון שגורם הבדלים אלה?
כדי לענות על השאלות האלה, אנו - פיטר דודס, דאנקן ווטס (יועץ הדיסרטציה שלי), ואני - ניהלנו שורה של ניסויים בשטח. בפרט, בנינו אתר שנקרא MusicLab שבו אנשים יכולים לגלות מוסיקה חדשה, והשתמשנו בה עבור סדרה של ניסויים. גייסנו משתתפים על ידי הפעלת מודעות באנר באתר של בני נוער (איור 4.20) ובאמצעות אזכור בתקשורת. המשתתפים שהגיעו לאתר שלנו סיפקו הסכמה מדעת, השלימו שאלון רקע קצר, והוקצו באופן אקראי לאחד משני תנאים נסיוניים - עצמאיים וחברתיים. במצב העצמאי, המשתתפים קיבלו החלטות על איזה שירים להאזין, בהתחשב רק בשמות של להקות ואת השירים. בעת האזנה לשיר, המשתתפים התבקשו לדרג אותו לאחר מכן היתה להם הזדמנות (אבל לא את החובה) להוריד את השיר. במצב ההשפעה החברתית, המשתתפים היו בעלי אותה חוויה, אלא שהם יכלו גם לראות כמה פעמים כל שיר הוריד על ידי משתתפים קודמים. יתר על כן, המשתתפים במצב ההשפעה החברתית חולקו באקראי לאחד משמונת העולמות המקבילים, שכל אחד מהם התפתח באופן עצמאי (איור 4.21). באמצעות עיצוב זה, הפעלנו שני ניסויים קשורים. בראשון, הצגנו את השירים למשתתפים ברשת לא מסודרת, שסיפקה להם אות חלש של פופולריות. בניסוי השני, הצגנו את השירים ברשימה מדורגת, אשר סיפק איתות חזק הרבה יותר של פופולריות (איור 4.22).
איור 4.20: דוגמה של מודעת באנר שעמיתיי ואני השתמשנו בגיוס המשתתפים לניסויים של MusicLab (Salganik, Dodds, and Watts 2006) Salganik (Salganik, Dodds, and Watts 2006) . Salganik (2007) ברשות Salganik (2007) , איור 2.12.
איור 4.21: תכנון ניסיוני לניסויי MusicLab (Salganik, Dodds, and Watts 2006) Salganik (Salganik, Dodds, and Watts 2006) . המשתתפים חולקו באקראי לאחד משני תנאים: השפעה עצמאית וחברתית. המשתתפים במצב עצמאי עשו את הבחירות שלהם ללא כל מידע על מה אנשים אחרים עשו. המשתתפים במצב ההשפעה החברתית חולקו באקראי לאחד משמונת העולמות המקבילים, שם הם יכלו לראות את הפופולריות - כפי שנמדדה על ידי הורדות של משתתפים קודמים - של כל שיר בעולמם, אך הם לא יכלו לראות שום מידע עליהם, וגם לא אפילו יודע על קיומו של, כל העולמות האחרים. הסתגלות Salganik, Dodds, and Watts (2006) , דמות s1.
מצאנו כי הפופולריות של השירים היו שונים על פני העולמות, דבר המצביע על כך מזל שיחק תפקיד חשוב להצלחה. לדוגמה, בעולם אחד השיר "נעילה" על ידי 52 Metro הגיע 1 מתוך 48 שירים, בעוד בעולם אחר זה הגיע ב 40. זה היה בדיוק אותו שיר מתחרה נגד כל אותם שירים אחרים, אבל בעולם אחד זה היה בר מזל ובשאר זה לא. יתר על כן, על ידי השוואת התוצאות בין שני הניסויים, מצאנו כי השפעה חברתית מגדילה את הזוכה לקחת כל הטבע של השווקים הללו, אשר אולי מציע את החשיבות של מיומנות. אבל, במבט על העולמות (שלא ניתן לעשות זאת מחוץ לניסוי זה של עולמות מקבילים), גילינו שהשפעה חברתית דווקא הגבירה את חשיבות המזל. יתר על כן, באופן מפתיע, זה היה השירים של הערעור הגבוה ביותר שבו המזל היה החשוב ביותר (איור 4.23).
איור 4.22: צילומי מסך מתנאי ההשפעה החברתית בניסויי MusicLab (Salganik, Dodds, and Watts 2006) Salganik (Salganik, Dodds, and Watts 2006) . במצב ההשפעה החברתית בניסוי 1, הוצגו השירים יחד עם מספר ההורדות הקודמות למשתתפים שסודקו ברשת מלבנית בגודל 16 \(\times\) 3, שם מיקמו את מיקומם של השירים באופן אקראי עבור כל אחד מהם מִשׁתַתֵף. בניסוי 2, המשתתפים במצב ההשפעה החברתית הוצגו השירים, עם ספירת ההורדה, מוצגים בעמודה אחת בסדר יורד של הפופולריות הנוכחית.
איור: 4.23 תוצאות מ ניסויים של MusicLab המראים את הקשר בין הערעור להצלחה (Salganik, Dodds, and Watts 2006) . ה- \(x\) -Xax הוא נתח השוק של השיר בעולם העצמאי, המהווה מידה של הערעור של השיר, ו- \(y\) -axis הוא נתח השוק של אותו שיר ב- שמונה עולמות השפעה חברתית, המשמש מדד להצלחת השירים. מצאנו כי הגדלת ההשפעה החברתית שחוו המשתתפים - במיוחד, השינוי בפריסה מניסוי 1 לניסוי 2 (איור 4.22) - הצלחת ההצלחה הופכת לבלתי צפויה יותר, במיוחד עבור השירים בעלי הערעור הגבוה ביותר. הסתגלות Salganik, Dodds, and Watts (2006) , איור 3.
MusicLab היה מסוגל לרוץ במחיר אפס עלות משתנה למעשה בגלל האופן שבו הוא תוכנן. ראשית, הכל היה אוטומטי לחלוטין, כך שהוא היה מסוגל לרוץ בזמן שאני ישן. שנית, הפיצוי היה מוזיקה חופשית, ולכן לא היה עלות משתלמת פיצוי משתתף. השימוש במוזיקה כפיצוי גם ממחיש כיצד יש לפעמים פרידה בין עלויות קבועות ומשתנות. השימוש במוסיקה הגדיל את העלויות הקבועות משום שהייתי צריך להקדיש זמן להבטחת הרשאות מהלהקות ולהכין עבורן דיווחים על תגובת המשתתפים למוסיקה שלהם. אבל במקרה זה, הגדלת עלויות קבועות כדי להפחית עלויות משתנים היה הדבר הנכון לעשות; זה מה שאיפשר לנו להפעיל ניסוי שהיה גדול פי 100 בניסוי מעבדתי רגיל.
יתר על כן, ניסויים MusicLab מראים כי אפס עלות משתנה לא צריך להיות מטרה בפני עצמה; במקום זאת, זה יכול להיות אמצעי לניהול סוג חדש של ניסוי. שימו לב שלא השתמשנו בכל המשתתפים שלנו כדי להפעיל ניסוי רגיל במעבדה חברתית השפעה 100 פעמים. במקום זאת, עשינו משהו שונה, אשר אתה יכול לחשוב על המעבר מן הניסוי הפסיכולוגי כדי אחד סוציולוגי (Hedström 2006) . במקום להתמקד בהחלטות אישיות, התמקדנו בניסוי שלנו על פופולריות, תוצאה קולקטיבית. מעבר זה לתוצאה קולקטיבית פירושו שנדרשנו כ -700 משתתפים לייצר נקודת נתונים אחת (היו 700 איש בכל אחד מהעולמות המקבילים). היקף זה היה אפשרי רק בגלל מבנה העלות של הניסוי. באופן כללי, אם החוקרים רוצים ללמוד כיצד תוצאות קולקטיביות נובעות מהחלטות אישיות, ניסויים קבוצתיים כגון MusicLab מרגשים מאוד. בעבר, הם היו קשים מבחינה לוגיסטית, אך הקשיים הללו דועכים בגלל האפשרות של אפס נתוני עלות משתנים.
בנוסף להמחשת היתרונות של נתוני עלות משתנים של אפס, הניסויים של MusicLab מציגים גם אתגר בגישה זו: עלויות קבועות גבוהות. במקרה שלי, הייתי בר מזל מאוד להיות מסוגל לעבוד עם מפתח אינטרנט מוכשרים בשם פיטר האוסל במשך כחצי שנה כדי לבנות את הניסוי. זה היה אפשרי רק משום שהיועץ שלי, דאנקן ווטס, קיבל מספר מענקים לתמיכה במחקר מסוג זה. הטכנולוגיה השתפרה מאז שבנינו MusicLab בשנת 2004 ולכן יהיה הרבה יותר קל לבנות ניסוי כזה עכשיו. אבל, אסטרטגיות עלות קבועה גבוהה הם באמת אפשרי רק עבור חוקרים שיכולים איכשהו לכסות את העלויות האלה.
לסיכום, ניסויים דיגיטליים יכולים להיות בעלי עלות שונה באופן דרמטי מאשר ניסויים אנלוגיים. אם אתה רוצה לרוץ ניסויים גדולים באמת, אתה צריך לנסות להקטין את עלות המשתנה שלך ככל האפשר באופן אידיאלי את כל הדרך לאפס. אתה יכול לעשות זאת על ידי אוטומציה של המכניקה של הניסוי שלך (למשל, החלפת הזמן האנושי עם הזמן במחשב) ועיצוב ניסויים שאנשים רוצים להיות בו חוקרים שיכולים לעצב ניסויים עם תכונות אלה יוכלו להפעיל סוגים חדשים של ניסויים שהיו לא אפשרי בעבר. עם זאת, היכולת ליצור אפס משתנים ניסויים עלות יכול להעלות שאלות אתיות חדשות, הנושא אני עכשיו הכתובת.
