4.6.1 יצירת אפס מידע משתנה עלות
מפתח ניסויים גדולים ריצה הוא נוהג העלות המשתנה שלך לאפס. הדרכים הטובות ביותר לעשות זאת הן אוטומציה בתכנון ניסויים מהנים.
ניסויים דיגיטליים יכולים להיות מבני עלות שונים באופן דראמטי זה מאפשר לחוקרים להפעיל ניסויים שלא היו אפשריים בעבר. באופן ספציפי יותר, ניסויים בדרך כלל יש שני סוגים עיקריים של עלויות:. עלויות עלויות קבועות ומשתנות עלויות קבועות הן עלויות שאינם משתנות בהתאם לכמות משתתפים יש לך. לדוגמא, בניסוי מעבדה, עלויות קבועות עשויות להיות העלות של שכירת השטח וקניית ריהוט. עלויות משתנות, מצד השני, שינוי תלוי כמה משתתפים יש לך. לדוגמא, בניסוי מעבדה, עלויות משתנות עלולות לבוא מתשלום צוות ומשתתפים. באופן כללי, ניסויים אנלוגיים יש עלויות נמוכות עלויות קבועות ומשתנות גבוהות, וניסויים דיגיטליים שעלותן גבוהה עלויות קבועות ומשתנות נמוכות (איור 4.18). עם עיצוב מתאים, אתה יכול לנהוג העלות המשתנה של הניסוי שלך כל הדרך עד לאפס, וזה יכול ליצור הזדמנויות מחקר מרגשות.
איור 4.18: סכמטי של מבני עלות אנלוגי וניסויים דיגיטליים. באופן כללי, ניסויים אנלוגיים יש עלויות נמוכות עלויות קבועות ומשתנות גבוהות ואילו ניסויים דיגיטליים יש עלויות קבועות גבוהות ועלויות משתנה נמוכות. מבני העלות השונים אומרים כי ניסויים דיגיטליים שמסוגלים לפעול בהיקף שאינו אפשרי עם ניסויים אנלוגיים.
ישנם שני מרכיבים עיקריים של תשלומי עלות משתנים לאייש ותשלומים המשתתף וכל אחד מהם יכול להיות מונע לאפס באמצעות אסטרטגיות שונות. תשלומים לצוות גזע מן העבודה כי עוזרי מחקר אל בגיוס משתתפים, ומספקים טיפולים, ומדידת תוצאות. לדוגמא, בניסוי השדה האנלוגי של שולץ ועמיתיו (2007) על נורמות חברתיות עוזרי מחקר נדרש שימוש בחשמל לנסוע בכל בית כדי לספק את הטיפול ולקרוא את מונה החשמל (איור 4.3). כל המאמץ הזה על ידי עוזרי מחקר פירושו הוספה בית חדשות על המחקר היה מוסיף לעלות. מצד שני, עבור הניסוי בתחום הדיגיטל של ךסטיבו וואן דה Rijt (2012) על תגמולים בוויקיפדיה, החוקרים יכלו להוסיף עוד משתתפים בשעה כמעט ללא תמורה. אסטרטגיה כללית להפחתת עלויות ניהול משתנות היא להחליף עבודה אנושית (שהוא יקר) עם עבודה מול מחשב (שהוא זול). בערך, אתה יכול לשאול את עצמך: יכול בניסוי זה לרוץ כשכולם על צוות המחקר שלי ישן? אם התשובה היא כן, עשית עבודה נהדרת של אוטומציה.
הסוג העיקרי השני של עלות המשתנה הוא תשלומי משתתפים. כמה חוקרים השתמשו אמזון מכונה טורק שוקי עבודה מקוונת אחרים כדי להקטין את תשלומי דרושי משתתפים. לנהוג עלויות משתנות כל הדרך עד אפס, לעומת זאת, צורך לנקוט בגישה שונה. במשך זמן רב, חוקרים עצבו ניסויים כי הם כל כך משעממים להם לשלם לאנשים להשתתף. אבל, מה אם אתה יכול ליצור ניסוי שאנשים רוצים להיות? זה אולי נשמע מופרך, אבל אני אתן לך דוגמא למטה מהעבודה שלי, ויש עוד דוגמאות בטבלה 4.4. שים לב בגישה זו כדי בתכנון ניסויים מהנים מהדהדת כמה מן הנושאים בפרק 3 בדבר תכנון סקרים מהנים יותר בפרק 5 לגבי העיצוב של שיתוף פעולה המוני. לכן, אני חושב שהנאה-מה משתתף יכול גם להיקרא וחווית משתמש-תהיה חלק חשוב יותר ויותר של עיצוב מחקר בעידן הדיגיטלי.
| פיצויים | צִיטָטָה |
|---|---|
| אתר עם מידע בריאותי | Centola (2010) |
| תוכנית פעילות גופנית | Centola (2011) |
| מוסיקה חינם | Salganik, Dodds, and Watts (2006) ; Salganik and Watts (2008) ; Salganik and Watts (2009b) |
| משחק כיפי | Kohli et al. (2012) |
| המלצות סרט | Harper and Konstan (2015) |
אם אתה רוצה ליצור אפס ניסויים עלויות משתנות תרצה לוודא שהכל הוא אוטומטי לחלוטין כי המשתתפים אינם דורשים כל תשלום. כדי להראות עד כמה זה אפשרי, אני אתאר מחקר הדוקטורט שלי על ההצלחה והכישלון של תוצרים תרבותיים. גם מהדוגמה הזו ניתן לראות כי אפס עלות משתנה נתונים הוא לא רק עושה דברים זולים יותר. במקום זאת, היא על הפעלת ניסויים לא יהיו אפשרי אחר.
הדוקטורט שלי היה מונע על ידי הטבע התמוה של הצלחה עבור מוצרי תרבות. להיטים, מכירת הספרים הטובים ביותר, וסרטים שוברי קופות הם הרבה, הרבה יותר מוצלח מהממוצע. בגלל זה, השווקים למוצרים אלה נקראים לעתים קרובות "המנצח לוקח את כל הקופה" השווקים. עם זאת, בעת ובעונה אחת, אשר בפרט שיר, ספר, או סרט יהיה מוצלח הוא בלתי צפוי להפליא. התסריטאי ויליאם גולדמן (1989) באלגנטיות סיכם המון מחקר אקדמי באומרו כי, כאשר מדובר בחיזוי הצלחה, "אף אחד לא יודע כלום." אי הסדירות של המנצח לוקח את כל הקופה בשווקים גרם לי לתהות עד כמה הצלחה היא תוצאה של איכות וכמה הוא פשוט מזל. או, הביע בצורה קצת שונה, אם נוכל ליצור עולמות מקבילים ויש להם כל להתפתח באופן עצמאי, היו את אותם השירים הפכו פופולריים בכל עולם? וגם, אם לא, מה יכול להיות מנגנון שגורם הבדלים אלה?
על מנת לענות על שאלות אלו, אנו-פיטר דודס, דאנקן ווטס (יועץ הדוקטורט שלי), ואני-רצנו סדרה של ניסויי שדה מקוונים. בפרט, בנינו אתר שנקרא MusicLab שבו אנשים יכולים לגלות מוסיקה חדשה, ואנחנו השתמשנו בו סדרה של ניסויים. גייסנו המשתתפים על ידי הפעלת מודעות באנר באתר העשרה-עניין (איור 4.19) ובאמצעות אזכורים בתקשורת. משתתפים מגיעים ההסכמה מדעת האתר ספק שלנו, מלאו שאלון רקע קצר, חולקו באקראי לאחת משני ניסיוני שפעת תנאים עצמאית וחברתית. במצב עצמאי, המשתתפים קיבלו החלטות על אילו שירים להקשיב, נתון רק את שמות הלהקות והשירים. תוך כדי האזנה לשיר, המשתתפים התבקשו לדרג אותו שלאחריו שיש להם את האפשרות (אך לא את החובה) כדי להוריד את השיר. במצב ההשפעה החברתי, הייתה המשתתפת את אותה חוויה, אלא הם גם יכלו לראות כמה פעמים כל שיר היה הורד על ידי משתתפים קודמים. יתר על כן, המשתתפת במצב ההשפעה החברתי חולקו באופן אקראי לאחת שמונה עולמות מקבילים שכל אחד מהם התפתחו באופן עצמאי (איור 4.20). באמצעות עיצוב זה, רצנו שני ניסויים קשורים. בחלק הראשון הצגנו משתתפי השירים בתוך רשת לא ממוינת, ודבר גרם להם אות חלשה של פופולריות. בניסוי השני, הצגנו שירי רשימה מדורגת, אשר ספקה איתות הרבה יותר חזקה של פופולריות (איור 4.21).
איור 4.19: דוגמה מודעת באנר כי חבריי ואני נהגנו לגייס משתתפים עבור הניסויים MusicLab (Salganik, Dodds, and Watts 2006) .
איור 4.20: עיצוב ניסיוני עבור הניסויים MusicLab (Salganik, Dodds, and Watts 2006) . משתתפים חולקו באקראי לאחת משני תנאים: השפעה עצמאית וחברתית. המשתתף במצב שבוצע העצמאי בחירותיהם בלי שום מידע על מה שאנשים אחרים עשו. המשתתף במצב ההשפעה החברתי חולקו באקראי לאחת שמונה עולמות מקבילים, שם הם יכלו לראות את הפופולריות-כפי שהיא נמדדת על ידי הורדות של משתתפים של קודם כל שיר בעולמם, אבל הם לא יכלו לראות שום מידע, ואף לא היה אפילו ידע על קיומו של כל העולמות האחרים.
מצאנו כי הפופולריות של השירים היו שונים ברחבי העולמות המצביע תפקיד חשוב של מזל. לדוגמא, בעולם אחד השיר "הנעילה" על ידי 52Metro הגיע -1, ו בעולם אחר זה הגיע 40 מתוך 48 שירים. זה היה בדיוק אותו השיר מתחרה כל אותם השירים, אבל באחד בעולם זה יש מזל של אחרים זה לא. יתר על כן, על ידי השוואת תוצאות על פני שני הניסויים מצאנו כי השפעה חברתית שמובילה להצלחה שוויונית יותר, שאולי יוצר את המראה של ודאות. אבל, מביט אל מעבר העולמים (אשר לא ניתן לעשות זאת מחוץ מסוג זה של ניסוי עולמות המקביל), מצאנו כי השפעה חברתית למעשה הגדילה את הוודאות. יתר על כן, באופן מפתיע, זה היה משירי הערעור הגבוה ביותר שיש להם את לתוצאות לא הצפויות ביותר (איור 4.22).
איור 4.21: צילומי מסך מתוך תנאי ההשפעה החברתיים בניסויי MusicLab (Salganik, Dodds, and Watts 2006) . במצב ההשפעה החברתי בניסוי 1, השירים, יחד עם מספר ההורדות הקודמות, הוצגו בפני המשתתפים מסודרים ברשת מלבנית 16 X 3, שם את עמדותיהם של השירים חולקו באקראי לכל משתתף. בניסוי 2, המשתתפת במצב ההשפעה החברתי הוצגו שירים, עם ספירת הורדות, הציגה בעמודה אחת בסדר יורד של פופולריות נוכחית.
איור 4.22: תוצאות מהניסויים MusicLab מראה את הקשר בין ערעור והצלחה (Salganik, Dodds, and Watts 2006) . ציר ה- X הוא נתח השוק של השיר בעולם העצמאי, אשר משמש כמדד הערעור של השיר, ואת ציר y הוא נתח השוק של אותו שיר ב 8 עולמות ההשפעה החברתיים, המשמש כמדד להצלחת השירים. מצאנו כי הגדלת ההשפעה החברתית שמשתתפים חוו-במיוחד, השינוי בפריסה מניסוי 1 להתנסות 2 (איור 4.21), שנגרמנו הצלחה להיות יותר צפוי, במיוחד עבור שירי הערעור הגבוהים ביותר.
MusicLab הצליח לרוץ בעצם אפס עלות משתנה בגלל האופן שבו הוא נועד. ראשית, הכל היה אוטומטי לחלוטין, כך שהוא היה מסוגל להפעיל כשישנתי. שנית, הפיצוי היה מוזיקה בחינם ולכן אין עלות פיצוי משתתף משתנה. השימוש מוזיקה כפיצוי גם מדגים כיצד יש לעתים trade-off בין עלויות עלויות קבועות ומשתנות. מוסיקה באמצעות גדילה את העלויות הקבועות כי הייתי צריך לבלות זמן להשיג רשות מן הלהקות והכנת דוחות של הלהקות על התגובה של המשתתפים למוזיקה שלהם. אבל, במקרה זה, הגדלת עלויות קבועות על מנת להקטין עלויות משתנים היה הדבר הנכון לעשות; זה מה שאפשר לנו להפעיל ניסוי זה היה בערך 100 פעמים גדולות יותר מאשר ניסוי מעבדה סטנדרטי.
יתר על כן, ניסויים MusicLab מראים כי אפס עלות משתנה לא צריך להיות מטרה בפני עצמה; ליתר דיוק, זה יכול להיות אמצעי מפעיל סוג חדש של הניסוי. שימו לב שאנו לא להשתמש בכל מהמשתתפים שלנו להריץ ניסוי מעבדה השפעה חברתית תקן 100 פעמים. במקום זאת, עשינו משהו שונה, שבו אתה יכול לחשוב עליהם כעל מיתוג מניסוי פסיכולוגי ניסוי סוציולוגי (Hedström 2006) . במקום להתמקד בקבלת החלטות פרט, התמקדנו הניסוי שלנו על פופולריות, תוצאה קולקטיבית. בורר זה לתוצאה קולקטיבית פירוש הדבר שאנחנו נדרשים כ -700 משתתפים לייצר נקודת נתונים יחיד (היו 700 אנשים בכל אחד עולמות מקבילים). בקנה מידה זה היה אפשרי רק בגלל מבנה העלויות של הניסוי. באופן כללי, אם חוקרים רוצים ללמוד איך קולקטיבי תוצאות נובעים החלטות פרט, ניסויי קבוצה כגון MusicLab הם מאוד מרגשים. בעבר, הם היו קשים מבחינה לוגיסטית, אבל קשיים אלה מתפוגגים בגלל האפשרות של אפס נתוני עלות משתנים.
בנוסף הממחישות את היתרונות של אפס מידע משתנה עלות, הניסויים MusicLab גם להראות אתגר עם גישה זו: עלויות קבועות גבוהות. במקרה שלי, היה לי מזל מאוד להיות מסוגל לעבוד עם מפתח אינטרנט מוכשר בשם פיטר Hausel במשך כחצי שנה כדי לבנות את הניסוי. זה היה אפשרי רק בגלל היועץ שלי, דאנקן ווטס, קיבל מספר מענקים לתמיכה מסוג זה של מחקר. הטכנולוגיה השתפרה מאז בנינו MusicLab בשנת 2004, וזה יהיה הרבה יותר קל לבנות ניסוי כזה עכשיו. אבל, אסטרטגיות עלות קבועות גבוהות הן באמת אפשריות רק לחוקרים שאיכשהו יכול לכסות את העלויות האלה.
לסיכום, ניסויים דיגיטליים יכולים להיות מבני עלות שונים באופן דראמטי מאשר ניסויים אנלוגיים. אם אתה רוצה לרוץ ממש ניסויים גדולים, כדאי לך לנסות להקטין העלות המשתנה שלך ככל האפשר ורצוי כל הדרך ל -0 אתה יכול לעשות זאת על ידי האוטומציה של המכניקה של הניסוי (למשל, החלפת זמן אנושי עם זמן מחשב) ועיצוב ניסויים שאנשים רוצים להיות. חוקרים אשר יכול לעצב ניסויים עם תכונות אלה יוכלו להפעיל סוגים חדשים של ניסויים שלא היו אפשריים בעבר.
