4.2 מהן הניסויים?

יש ניסויים אקראיים מבוקרים ארבעה מרכיבים עיקריים: גיוס של משתתפים, אקראית של טיפול, משלוח של טיפול, ומדידה של תוצאות.

ניסויים מבוקרים אקראיים כוללים ארבעה מרכיבים עיקריים: גיוס משתתפים, אקראיות של הטיפול, אספקת טיפול ומדידת התוצאות. העידן הדיגיטלי אינו משנה את האופי הבסיסי של הניסוי, אבל זה עושה את זה קל יותר מבחינה לוגיסטית. לדוגמה, בעבר, זה היה יכול להיות קשה למדוד את ההתנהגות של מיליוני אנשים, אבל זה קורה באופן שגרתי במערכות דיגיטליות רבות. חוקרים אשר יכולים להבין כיצד לרתום הזדמנויות חדשות אלה יוכלו להפעיל ניסויים שהיו בלתי אפשריים בעבר.

כדי להפוך את כל זה קצת יותר בטון - גם מה נשאר באותו מה השתנה - בואו לשקול הניסוי של מייקל רסטיבו ארנוט ואן דה Rijt (2012) . הם רצו להבין את ההשפעה של תגמולים עמיתים לא רשמיים על תרומות העריכה ויקיפדיה. בפרט, הם למדו את ההשפעות של barnstars , פרס כי כל ויקיפדיה יכול לתת לכל ויקיפדיה אחרת להכיר עבודה קשה בדיקת נאותות. רסטיבו ואן דה רייט העניקו לרבים 100 ויקיפדים ראויים. לאחר מכן, הם עקבו אחר תרומתם של הנמענים הבאים לוויקיפדיה במהלך 90 הימים הבאים. למרבה ההפתעה, האנשים שאליו הם העניקו ברנסטרים נטו לעשות פחות עריכות לאחר קבלת אחד. במלים אחרות, נראה כי האסמים לא מרתיעים ולא מעודדים תרומה.

למרבה המזל, רסטיבו ואן דה ריג'ט לא ניהלו ניסוי "פרעה והתבוננות"; הם ניהלו ניסוי מבוקר אקראי. אז, בנוסף לבחירת 100 תורמים מובילים לקבל barnstar, הם גם בחרו 100 התורמים המובילים למי הם לא נתנו אחד. 100 אלה שימשו כקבוצת ביקורת. וכן, באופן ביקורתי, מי היה בקבוצת הטיפול שהיה בקבוצת הביקורת נקבע באופן אקראי.

כאשר רסטיבו ואן דה רייט הביטו בהתנהגותם של אנשים בקבוצת הביקורת, הם גילו שגם תרומתם יורדת. יתר על כן, כאשר Restivo ו- van de Rijt השוו אנשים בקבוצת הטיפול (כלומר קיבלו barnstars) לאנשים בקבוצת הביקורת, הם מצאו כי אנשים בקבוצת הטיפול תרמו יותר מ -60%. במילים אחרות, התרומות של שתי הקבוצות היו מתמוטטות, אבל אלה של קבוצת הביקורת עשו זאת מהר יותר.

כפי שממחיש מחקר זה, קבוצת הביקורת בניסויים היא קריטית באופן שהוא פרדוקסלי במידה מסוימת. על מנת למדוד במדויק את ההשפעה של barnstars, Restivo ו ואן דה Rijt צריך לראות אנשים שלא קיבלו barnstars. פעמים רבות, חוקרים שאינם מכירים בניסויים אינם מעריכים את הערך המדהים של קבוצת הביקורת. אם רסטיבו ואן דה רייט לא היו בעלי קבוצת ביקורת, הם היו מסתמכים בדיוק על המסקנה הלא נכונה. קבוצות הבקרה חשובות כל כך, שמנכ"ל חברת קזינו גדולה אמר שיש רק שלוש דרכים לפטר עובדים מחברתו: גניבה, הטרדה מינית או הפעלת ניסוי ללא קבוצת ביקורת (Schrage 2011) .

המחקר של רסטיבו ואן דה רייט ממחיש את ארבעת המרכיבים העיקריים של הניסוי: גיוס, אקראיות, התערבות ותוצאות. יחד, אלה ארבעה מרכיבים לאפשר למדענים לעבור מעבר מתאמים ולמדוד את ההשפעה הסיבתית של טיפולים. באופן ספציפי, אקראיות פירושה שאנשים בקבוצות הטיפול והשליטה יהיו דומים. זה חשוב כי זה אומר שכל הבדל בתוצאות בין שתי הקבוצות ניתן לייחס את הטיפול ולא בלבול.

בנוסף להיותו דוגמה יפה למכניקה של ניסויים, המחקר של רסטיו ואן דה רייט מראה גם כי הלוגיסטיקה של ניסויים דיגיטליים יכולה להיות שונה לחלוטין מאלו של ניסויים אנלוגיים. בניסוי של רסטיבו ואן דה ריג'ט היה קל לתת את ה- barnstar לכל אחד, וקל לעקוב אחר מספר התוצאות של העריכות - על פני תקופה ארוכה של זמן (מכיוון שתולדות העריכה נרשמות באופן אוטומטי על ידי ויקיפדיה). יכולת זו לספק טיפולים ולמדוד תוצאות ללא עלות היא איכותית בניגוד ניסויים בעבר. למרות הניסוי הזה היו מעורבים 200 אנשים, זה יכול היה לרוץ עם 2,000 או אפילו 20,000 אנשים. הדבר העיקרי למנוע את החוקרים מ דרוג את הניסוי שלהם על ידי גורם של 100 לא היה עלות; זה היה מוסר. כלומר, רסטיבו ואן דה ריג'ט לא רצו לתת ברנסטרים לעורכים לא ראויים, והם לא רצו שהניסוי שלהם ישבש את קהילת ויקיפדיה (Restivo and Rijt 2012, 2014) . אחזור לכמה מהשיקולים האתיים שהעלו ניסויים בהמשך פרק זה ובפרק 6.

לסיכום, הניסוי של Restivo ו van de Rijt מראה בבירור כי בעוד ההיגיון הבסיסי של הניסוי לא השתנה, הלוגיסטיקה של הניסויים בגיל הדיגיטלי יכול להיות שונה באופן דרמטי. לאחר מכן, כדי לבודד בצורה ברורה יותר את ההזדמנויות שנוצרו על ידי שינויים אלה, אני יהיה להשוות את הניסויים כי החוקרים יכולים לעשות עכשיו עם סוגים של ניסויים שנעשו בעבר.