4.2 Кои се експерименти?
Рандомизирани контролирани експерименти имаат четири главни состојки: вработување на учесниците, рандомизација на третманот, испорака на лекување, и мерење на резултатите.
Рандомизираните контролирани експерименти имаат четири главни состојки: регрутирање на учесниците, рандомизирање на третман, доставување на третман и мерење на резултатите. Дигиталното доба не ја менува фундаменталната природа на експериментирањето, но тоа го прави полесно логистички. На пример, во минатото, можеби е тешко да се измери однесувањето на милиони луѓе, но тоа сега се рутински се случува во многу дигитални системи. Истражувачите кои можат да дознаат како да ги искористат овие нови можности ќе можат да ги користат експериментите кои претходно беа невозможни.
За да се направи сето тоа малку поконкретно - и она што останува исто и она што се смени - да го разгледаме експериментот на Мајкл Ториво и Арнут ван де Рит (2012) . Тие сакаа да го разберат ефектот од неформалните врснички награди за уредничкиот придонес кон Википедија. Особено, тие ги проучувале ефектите на барнарците , награда која секој Википедија може да му ја даде на кој било друг Википедија за да признае напорна работа и должно внимание. Restivo и ван де Rijt даде barnstars на 100 заслужуваат Википедија. Потоа следеа последователни придонеси на Википедија на Википедија во текот на следните 90 дена. Голем дел од нивното изненадување, луѓето на кои им доделија барнарци, имаат тенденција да прават помалку уредувања по добивањето. Со други зборови, изгорениците се чинеше дека се обесхрабруваат, а не охрабруваат придонес.
За среќа, Restivo и van de Rijt не водеа експеримент за "пертурбација и набљудување"; тие водеа рандомизиран контролиран експеримент. Така, покрај изборот на 100 врвни соработници да добијат Barnstar, тие исто така избраа 100 врвни соработници на кои не им дадоа. Овие 100 служеа како контролна група. И, критично, кој беше во лек групата и кој беше во контролната група беше определен случајно.
Кога Restivo и van de Rijt го разгледаа однесувањето на луѓето во контролната група, откриле дека и нивните придонеси се намалуваат. Понатаму, кога Restivo и van de Rijt ги споредуваа луѓето во групата за третман (т.е. добија barnstars) на луѓето во контролната група, откриле дека луѓето во групата за лекување придонеле околу 60% повеќе. Со други зборови, придонесите на двете групи беа смалени, но оние на контролната група беа толку многу побрзи.
Како што покажува ова истражување, контролната група во експериментите е критична на начин кој е малку парадоксален. За прецизно мерење на ефектот на barnstars, Restivo и van de Rijt требаше да ги набљудуваат луѓето кои не добија barnstars. Многу пати, истражувачите кои не се запознаени со експериментите не успеваат да ја ценат неверојатната вредност на контролната група. Ако Restivo и van de Rijt немале контролна група, тие би го навеле токму погрешниот заклучок. Контролните групи се толку важни што извршниот директор на една голема казино компанија изјави дека постојат само три начини на кои вработените можат да бидат отпуштени од неговата компанија: за кражба, за сексуално малтретирање или за водење експеримент без контролна група (Schrage 2011) .
Студијата Restivo и van de Rijt ги илустрира четирите главни состојки на експериментот: вработување, рандомизација, интервенција и резултати. Заедно, овие четири состојки им овозможуваат на научниците да ги надминат корелациите и да го измерат причинскиот ефект на третманите. Поточно, рандомизацијата значи дека луѓето во лекувањето и контролните групи ќе бидат слични. Ова е важно затоа што тоа значи дека секоја разлика во исходите помеѓу двете групи може да се припише на третманот, а не како заговорник.
Покрај тоа што е убава илустрација на механиката на експериментите, студијата Restivo и van de Rijt исто така покажува дека логистиката на дигиталните експерименти може да биде сосема различна од оние на аналогните експерименти. Во експериментот Restivo и van de Rijt, беше лесно да се даде на Barnstar на никого, и беше лесно да се следи исходот-број на уредувања - во подолг временски период (бидејќи историјата на уредување автоматски се снима во Википедија). Оваа способност за доставување третмани и мерење на резултатите без трошоци е квалитативно за разлика од експериментите во минатото. Иако овој експеримент вклучуваше 200 луѓе, можеше да се води со 2.000 или дури 20.000 луѓе. Главната работа што ги спречила истражувачите да го зголемуваат својот експеримент со фактор од 100, не е цена; тоа беше етика. Тоа е, Restivo и ван де Rijt не сакаа да им дадат barnstars на undeserving уредници, и тие не сакаат нивниот експеримент да ја наруши заедницата на Википедија (Restivo and Rijt 2012, 2014) . Ќе се вратам на некои од етичките размислувања покренати со експерименти подоцна во ова поглавје и во поглавјето 6.
Како заклучок, експериментот на Restivo и van de Rijt јасно покажува дека иако основната логика на експериментирање не е променета, логистиката на експериментите со дигитална ера може драматично да се разликува. Следно, со цел појасно да ги изолирам можностите создадени со овие промени, ќе ги споредам експериментите што истражувачите можат да ги направат сега со видовите на експерименти што биле направени во минатото.
