4.2 Какви са експерименти?
Рандомизирани контролирани експерименти имат четири основни съставки: набиране на персонал на участниците, рандомизацията на лечение, за доставка на лечение, както и измерване на резултатите.
Рандомизираните контролирани експерименти имат четири основни компонента: набиране на участници, рандомизиране на лечението, предоставяне на лечение и измерване на резултатите. Цифровата ера не променя фундаменталната природа на експериментирането, но я улеснява логистично. Например, в миналото може да е трудно да се измери поведението на милиони хора, но това се случва често в много цифрови системи. Изследователи, които могат да разберат как да се възползват от тези нови възможности, ще могат да провеждат експерименти, които преди това не бяха възможни.
За да направим всичко това малко по-конкретно - както това, което е останало същото, така и това, което се е променило - нека разгледаме експеримента на Майкъл Резиво и Анут ван де Рид (2012) . Те искаха да разберат ефекта от неформалните партньорски награди върху редакционните коментари към Уикипедия. По-специално, те са проучили ефектите на barnstars , награда, която всеки Wikipedian може да даде на всеки друг Wikipedian да признае упорита работа и due diligence. Restivo и van de Rijt дадоха barnstars на 100 заслужили Wikipedians. След това те проследяват последващите приноси на получателите в Уикипедия през следващите 90 дни. За тяхна голяма изненада, хората, на които им дадоха подигравки, имаха по-малко редакции след получаването им. С други думи, брънчарите сякаш бяха обезкуражаващи, вместо да насърчават приноса.
За щастие Резиво и Ван де Рид не провеждали експеримент "смущават и наблюдават"; те проведоха рандомизиран контролиран експеримент. Така че, освен да изберат 100 водещи сътрудници, които да получат барна звезда, те също са избрали 100 водещи сътрудници, на които не са дали такава. Тези 100 служат като контролна група. И критично, кой е в лечебната група и кой е в контролната група, беше определен случайно.
Когато Рестиво и ван де Рид погледнаха поведението на хората в контролната група, те установиха, че и техният принос е намалял. Освен това, когато Restivo и van de Rijt сравняват хората в лечебната група (т.е. приемат barnstars) на хората в контролната група, те установяват, че хората в лечебната група са допринесли с около 60% повече. С други думи, приносът на двете групи е намалял, но тези на контролната група се развиват много по-бързо.
Както показва това изследване, контролната група в експериментите е критична по начин, който е донякъде парадоксален. За да се измери точно влиянието на barnstars, Restivo и van de Rijt трябваше да наблюдават хора, които не са получили barnstars. Много пъти изследователите, които не са запознати с експериментите, не оценяват невероятната стойност на контролната група. Ако Рестиво и ван де Рид не са имали контролна група, те биха направили точно неправилното заключение. Контролните групи са толкова важни, че главният изпълнителен директор на голяма казино компания каза, че има само три начина, по които служителите могат да бъдат уволнени от неговата компания: за кражба, за сексуален тормоз или за провеждане на експеримент без контролна група (Schrage 2011) ,
Проучванията на Restivo и van de Rijt илюстрират четирите основни компонента на един експеримент: набиране, рандомизация, намеса и резултати. Заедно, тези четири съставки позволяват на учените да преминат отвъд корелациите и да измерват причинно-следствения ефект от лечението. По-конкретно, рандомизирането означава, че хората в групите за лечение и контрол ще бъдат сходни. Това е важно, защото това означава, че всяка разлика в резултатите между двете групи може да се отдаде на лечението, а не на объркване.
Освен че е хубава илюстрация на механика на експериментите, изследванията на Restivo и van de Rijt също показват, че логистиката на цифровите експерименти може да бъде напълно различна от тази на аналоговите експерименти. В експериментите на Restivo и van de Rijt е лесно да се даде на всеки един барнстар и е лесно да се проследи резултатът - броят на редакциите за продължителен период от време (защото историята на редактирането автоматично се записва от Wikipedia). Тази способност за предоставяне на лечение и измерване на резултатите без разходи е качествено, различна от експериментите в миналото. Макар че този експеримент включваше 200 души, можеше да се проведе с 2 000 или дори 20 000 души. Основното нещо, което възпрепятства изследователите да увеличат експеримента си с коефициент 100, не е цената; това беше етика. Това означава, че Restivo и van de Rijt не искат да дават "barnstars" на нежеланите редактори и не искат техният експеримент да наруши общността на Уикипедия (Restivo and Rijt 2012, 2014) . Ще се върна към някои от етичните съображения, повдигнати от експериментите по-късно в тази глава и в глава 6.
В заключение, експериментът на Restivo и van de Rijt ясно показва, че докато основната логика на експериментирането не се е променила, логистиката на експериментите в дигиталната ера може да бъде драстично различна. След това, за да изолирам по-ясно възможностите, създадени от тези промени, ще сравня експериментите, които изследователите могат да направят сега с видовете експерименти, извършени в миналото.
