4.2 מהן הניסויים?

יש ניסויים אקראיים מבוקרים ארבעה מרכיבים עיקריים: גיוס של משתתפים, אקראית של טיפול, משלוח של טיפול, ומדידה של תוצאות.

ניסויים אקראיים מבוקרים יכולים ללבוש צורות רבות והוא יכול לשמש כדי לחקור סוגים רבים של התנהגות. אבל, בשעת הליבה שלהם, ניסויים אקראיים מבוקרים יש ארבעה מרכיבים עיקריים: גיוס של משתתפים, אקראית של טיפול, משלוח של טיפול, ומדידה של תוצאות. העידן הדיגיטלי אינו משנה את הטבע הבסיסי של ניסויים, אבל הוא עושה להקל מבחינה לוגיסטית. לדוגמא, בעבר זה היה יכול להיות קשה למדוד את ההתנהגות של מיליון בני אדם, אבל זה קורה כבר עכשיו שגרתי במערכות דיגיטליות רבות. חוקרים שיכולים להבין איך לרתום הזדמנויות חדשות אלה יוכלו להריץ ניסויים שלא היו אפשריות בעבר.

כדי לעשות את כל זה קצת יותר קונקרטי-הן מה נותר כשהיה ומה השתנה-הבה נבחן מיכאל ךסטיבו ו Arnout van de Rijt של (2012) . החוקרים רצו להבין את ההשפעה של תגמולים לעמית פורמליים על תרומות עריכת ויקיפדיה. בפרט, הם חקרו את ההשפעות של barnstars, פרס שכל Wikipedian יכול לתת לכל Wikipedian אחר להכיר עבודה קשה נאות. ךסטיבו וואן דה Rijt נתן barnstars 100 Wikipedians ראויים. לאחר מכן, ךסטיבו וואן דה Rijt במעקב התרומות העוקבות של נמעני ויקיפדיה במהלך 90 הימים הבאים. למרבה הפתעתם, העם שאליו הם הוענקו barnstars נטה לבצע עריכות פחות לאחר קבלה אחד. במילים אחרות, barnstars נראה מעודד ולא תרומה מעודד.

למרבה המזל, ךסטיבו וואן דה Rijt לא פעלו ניסוי "לטרוד ולבחון"; הם היו רצים ניסוי אקראי מבוקר. אז, בנוסף לבחירת 100 תורמים עיקריים לקבל barnstar, הם גם הרים 100 תורמים בכירים שאליהם הם לא נותנים barnstar. מאות אלה שימשו כקבוצת ביקורת, ומי קיבל barnstar ומי לא נקבע באופן אקראי. כאשר ךסטיבו וואן דה Rijt הביט בקבוצת הביקורת הם מצאו כי חלה בו ירידה תלולה תרומות מדי. לבסוף, כאשר החוקרים השוו אנשים בקבוצת הטיפול (כלומר, קבל barnstars) ואנשים בקבוצת הביקורת, הם מצאו כי barnstar שנגרם עורכים לתרום כ -60% יותר. אבל, זו עליית התרומה מתרחשת כחלק ירידה כוללת בשתי הקבוצות.

כמו במחקר זה ממחיש, בקבוצת הביקורת בניסויים היא קריטית באופן פרדוקסלי במקצת. כדי למדוד את ההשפעה באופן מדויק של barnstars, ךסטיבו ואת ואן דר Rijt צורך להתבונן באנשים שלא קיבלו barnstars. פעמים רבות חוקרים שאינם מכירים עם הניסויים נכשלים להעריך את שווי מדהים של קבוצת הביקורת. אם ךסטיבו וואן דה Rijt לא כלל קבוצת ביקורת, הם היו נמשכים בדיוק למסקנה השגויה. קבוצות בקרה כל כך חשוב כי מנכ"ל חברת קזינו גדולה אמר כי יש רק שלוש דרכים שבן עובד יכול להיות מפוטר מהחברה שלו: גניבה, טרדה מינית, ניסוי ולהפעלתו ללא קבוצת ביקורת (Schrage 2011) .

ךסטיבו ולימוד של ואן דה Rijt ממחיש את ארבעת המרכיבים העיקריים של ניסוי: גיוס, אקראיות, התערבות, ותוצאות. יחד, ארבעת מרכיבים אלה מאפשרים למדענים להתקדם מעבר מתאמים ולמדוד את ההשפעה הסיבתית של טיפולים. באופן ספציפי, אקראי אומר שכאשר אתה משווה תוצאות עבור קבוצות הטיפול וביקורת לך לקבל אומדן של ההשפעה הסיבתית של שהתערבות עבור אלף משתתפים. במילים אחרות, עם ניסוי אקראי מבוקר אתה יכול להיות בטוח כי כל הבדל בתוצאות נגרמות על ידי התערבות ולא מתערב, תביעה כי אני עושה מדויק בנספח טכני באמצעות מסגרת תוצאות אפשריות.

בנוסף להיות המחשה יפה של המכניקה של ניסויים, ואת ךסטיבו המחקר של ואן דה Rijt גם מראה כי הלוגיסטיקה של ניסויים דיגיטליים יכולה להיות שונה לחלוטין מניסויים אנלוגיים. בשנת ךסטיבו ולהתנסות של ואן דה Rijt, זה היה קל לתת barnstar לאיש בעולם וזה היה קל לעקוב אחר מספר-תוצאה של עריכות-פני תקופה ממושכת של זמן (בגלל בהיסטוריית העריכות נרשם באופן אוטומטי על ידי ויקיפדיה). זו היכולת לספק טיפולים ולמדוד תוצאות ללא תמורה איכותית בניגוד ניסויים בעבר. למרות שניסוי זה מעורב 200 אנשים, זה יכול היה לפעול עם 2,000 או 20,000 אנשים. העיקר למנוע חוקרים בגמלון הניסוי שלהם בפקטור של 100 לא היה לעלות, זה היה האתיקה. כלומר, ךסטיבו וואן דה Rijt לא רוצה לתת barnstars לעורכים ראויים והם לא רוצים הניסוי שלהם לשבש את קהילת ויקיפדיה (Restivo and Rijt 2012; Restivo and Rijt 2014) . אז, אם כי הניסוי של ךסטיבו וואן דה Rijt הוא פשוט יחסית, זה עולה בבירור כי כמה דברים על ניסויים ששהו באותו וכמה השתנה. בפרט, ההיגיון הבסיסי של ניסויים הוא זהה, אבל הלוגיסטיקה השתנתה. לאחר מכן, על מנת בצורה ברורה יותר לבודד את ההזדמנויות שנוצרו על ידי שינוי זה, אני להשוות את הניסויים כי חוקרים יכולים לעשות עכשיו אל מיני ניסויים שנעשו בעבר.