4.2 Шта су експерименти?
Рандомизованих контролисани експерименти имају четири главне састојке: регрутовање учесника, рандомизовање лечења, испоруке третмана, и мерења исхода.
Рандомизовани контролисани експерименти имају четири главна састојка: регрутацију учесника, рандомизацију лечења, испоруку лечења и мерење исхода. Дигитално доба не мења основну природу експериментисања, али то олакшава логистику. На пример, у прошлости је можда било тешко измерити понашање милиона људи, али то се сада рутински дешава у многим дигиталним системима. Истраживачи који могу схватити како искористити ове нове могућности биће у стању да покрену експерименте који су раније били немогући.
Да би ово постало мало конкретније - и оно што је остало иста и шта се променило - размотримо експеримент Мајкла Рестива и Арноута ван де Ријта (2012) . Желео је да разумеју ефекат неформалних награда колеге на уређивачки допринос Википедији. Конкретно, проучавали су ефекте барнстарса , награду коју сваки Википедиан може дати било којем другом Википедиану да призна напоран рад и дужну пажњу. Рестиво и ван де Ријт дали су барнстаре за 100 заслужних Википедана. Потом су пратили накнадне доприносе примаоца Википедији у наредних 90 дана. Много на њихово изненађење, људи којима су додијелили барнстаре су имали мање измјена након што су га примили. Другим ријечима, барнстари су се чинили одвраћањем, а не охрабривањем доприноса.
Срећом, Рестиво и ван де Ријт нису водили експеримент "пертурбирати и посматрати"; они су водили рандомизовани контролисани експеримент. Дакле, поред избора 100 највећих доприноса добијању Барнстар-а, изабрали су и 100 најбољих доприноса којима нису дали. Ови 100 служе као контролна група. А, критички, ко је био у групи лечења и који је био у контролној групи одређен је случајно.
Када су Рестиво и ван де Ријт погледали понашање људи у контролној групи, утврдили су да се и њихови доприноси смањују. Надаље, када су Рестиво и ван де Ријт упоређивали људе у групи за лечење (тј. Примили барнстаре) особама контролне групе, утврдили су да су људи у лечењу допринели око 60% више. Другим ријечима, доприноси обе групе били су смирени, али они контролне групе су радили много брже.
Како ово истраживање илуструје, контролна група у експериментима је критична на начин који је донекле парадоксалан. Да би прецизно мерили ефекат барнстара, Рестиво и ван де Ријт су морали посматрати људе који нису примили барнстаре. Много пута истраживачи који нису упознати са експериментима не успевају да уважавају невероватну вредност контролне групе. Ако Рестиво и ван де Ријт нису имали контролну групу, они би нацртали управо погрешан закључак. Контролне групе су толико важне да је извршни директор главне компаније за казино рекао да постоје само три начина на који се запослени могу отпустити од своје компаније: за крађу, за сексуално узнемиравање или за покретање експеримента без контролне групе (Schrage 2011) .
Истраживање Рестиво и ван де Ријт илуструје четири главна састојка експеримента: запошљавање, рандомизација, интервенција и исходи. Заједно, ова четири састојка омогућавају научницима да изађу изван корелације и мере узрочно дејство лечења. Нарочито, рандомизација значи да ће људи у лечењу и контролним групама бити слични. Ово је важно зато што то значи да свака разлика у исходима између две групе може се приписати лечењу, а не конфигуратору.
Осим што је лепа илустрација механике експеримента, студија Рестива и ван де Ријт такође показује да се логистика дигиталних експеримената може потпуно разликовати од аналогних експеримената. У експерименту Рестиво и ван де Ријт било је лако дати Барнстар свима, а лако је било пратити број резултата измена - током дужег временског периода (зато што Википедија аутоматски снима историју едитовања). Ова способност да пружи третман и мјери исходе без икаквих трошкова, квалитативно се разликују од експеримената у прошлости. Иако је овај експеримент укључивао 200 људи, могло је да се управља са 2.000 или чак 20.000 људи. Главна ствар која спречава истраживаче да повећају свој експеримент у фактору од 100 није била трошак; то је била етика. То јест, Рестиво и ван де Ријт нису жељели дати барнстаре непажљивим уредницима, а нису желели да њихов експеримент (Restivo and Rijt 2012, 2014) заједницу Википедије (Restivo and Rijt 2012, 2014) . Вратићу се на неке од етичких разлога експеримената касније у овом поглављу иу поглављу 6.
На крају, експерименти Рестива и ван де Ријт јасно показују да док се основна логика експеримента није променила, логистика експеримената дигиталног доба може бити драматично различита. Затим, како бих јасније изоловао могућности које су настале овим промјенама, упоредићу експерименте које истраживачи могу сада урадити с типовима експеримената који су урађени у прошлости.
