4.2 Шта су експерименти?

Рандомизованих контролисани експерименти имају четири главне састојке: регрутовање учесника, рандомизовање лечења, испоруке третмана, и мерења исхода.

Рандомизованих контролисани експерименти могу имати различите облике и може се користити за проучавање многе врсте понашања. Али, у својој суштини, рандомизиране контролисане експерименти имају четири главне састојке: регрутовање учесника, рандомизовање лечења, испоруке третмана, и мерења исхода. Дигитално доба не мења основну природу експериментисања, али то не би их лакше логистички. На пример, у прошлости је можда било тешко да се измери понашање милиона људи, али да се сада рутински дешава у многим дигиталним системима. Истраживачи који могу да схватим како да искористе ове нове могућности ће бити у стању да обављају експерименте које је било немогуће раније.

Да би све ово мало конкретније-и оно што је остао исти и шта се променило-размотримо Мицхаел Рестиво и Арноут Ван де Ријт је (2012) . Истраживачи су желели да разумеју утицај неформалних пеер награде на уређивачку доприносе Википедиа. Посебно су проучавали ефекте барнстарс, награду да било Википедија може дати на било који други Википедија да признају напоран рад и дуе дилигенце. Рестиво и Ван де Ријт дао барнстарс на 100 заслужним Википедианс. Затим, Рестиво и ван де Ријт гусеничари наредне доприносе примаоца да Википедиа у наредних 90 дана. Много се њихово изненађење, људи којима су додељени барнстарс тенденцију да мање измене након добијања један. Другим речима, да барнстарс чинило се да обесхрабрују, а не охрабрује допринос.

На срећу, Рестиво и ван де Ријт нису покренули "пореметити и посматра" експеримент; су трчали случајном контролисану експеримент. Дакле, поред избора ТОП 100 сараднике да прими Барнстар, они су изабрали ТОП 100 сараднике на које се није дао Барнстар. Ово сто је служио као контролну групу, и који је добио Барнстар и који се није утврђен насумично. Када Рестиво и Ван де Ријт погледао контролној групи су открила да је имала оштар пад доприноса превише. На крају, када су истраживачи су упоредили људи у групи за третман (тј, добили барнстарс) и људе у контролној групи, открили су да је Барнстар изазвао уредници да допринесе око 60% више. Али, ово повећање у доприносу се одвијала као део укупног пада у обе групе.

Пошто је ово испитивање показује, контролна група експериментима критично на начин који је донекле парадоксално. Да би се прецизно мерење ефекат барнстарс, Рестиво ван дер Ријт потребно да посматрају људе који нису примају барнстарс. Много пута истраживачи који нису упознати са експериментима не ценити невероватну вредност контролне групе. Ако Рестиво и Ван де Ријт нису имали контролну групу, они би тачно извући погрешан закључак. Контролне групе су толико важни да је директор велике казино компаније је рекао да постоје само три начина да запослени могу бити отпуштени из његове компаније: крађе, сексуално узнемиравање, а покренуте експеримент без контролне групе (Schrage 2011) .

Рестиво и Ван де Ријт студија показује четири главне састојке експеримента: запошљавање, рандомизовање, интервенција, и исходе. Заједно, ове четири састојци омогућавају научницима да превазиђе корелација и мерење узрочну ефекат третмана. Конкретно, случајним значи да када се упореде резултате за лечење и контролне групе добијете процену каузалном ефекат те интервенције за тај скуп учесника. Другим речима, са случајном контролисаном експерименту можете бити сигурни да су неке разлике у резултатима изазвана интервенцијом, а не цонфоундер, захтев да направи прецизан у Техничком Додатку помоћу оквира потенцијални исходи.

Поред тога што лепо илустрација механике експеримената, Рестиво и ван де Ријт студија показује да су логистика дигиталних експеримената може бити потпуно другачија од аналогне експеримената. У Рестиво и ван де Ријт експеримента, било је лако дати Барнстар на било кога на свету и било је лако пратити исход-број измена-у дужем временском периоду (јер историја измена се аутоматски снима би Википедиа). Ова способност да испоручи третмане и мерење резултата без трошкова је квалитативно за разлику од експеримената у прошлости. Иако је овај експеримент укључени 200 људи, што се могло покренути са 2.000 или 20.000 људи. Главна ствар спречавање истраживаче из скалирање своју експеримент са фактором 100 није кошта, то је етика. То јест, Рестиво и ван де Ријт није желео да даје барнстарс на незаслужан уредника и нису хтели њихов експеримент да поремете Википедиа заједницу (Restivo and Rijt 2012; Restivo and Rijt 2014) . Дакле, иако је експеримент Рестиво и ван де Ријт је релативно једноставна, што јасно показује да су неке ствари о експериментима остао исти, а неки су се промениле. Посебно, основна логика експериментисања је исти, али су логистика су се промениле. Затим, како би се јасније изоловати могућности створене ове промене, ја ћу упоредити експерименте које истраживачи сада раде на врсте експеримената који су радили у прошлости.