4.2 Какви са експерименти?

Рандомизирани контролирани експерименти имат четири основни съставки: набиране на персонал на участниците, рандомизацията на лечение, за доставка на лечение, както и измерване на резултатите.

Рандомизирани контролирани експерименти могат да приемат различни форми и могат да бъдат използвани за изучаване на много типове поведение. Но, в основата си, рандомизирани контролирани експерименти имат четири основни съставки: набиране на персонал на участниците, рандомизацията на лечение, за доставка на лечение, както и измерване на резултатите. В дигиталната епоха не променя фундаменталния характер на експериментиране, но тя не ги прави по-лесно логистично. Така например, в миналото може да е било трудно да се измери поведението на милиони хора, но това е вече редовно се случва в много цифрови системи. Изследователите, които мога да разбера как да се извлече полза от тези нови възможности ще могат да провеждат експерименти, които бяха невъзможни преди.

За да стане това всички малко по-бетон-както това, което е останало същото и какво се е променило-нека разгледаме Майкъл Restivo и Arnout ван де Rijt му (2012) . Учените искат да разберат ефекта от неформални партньорски награди за редакционни вноски в Wikipedia. По-специално, те учи на последиците от barnstars, награда, която всеки Уикипедия може да даде на всеки друг Уикипедия да признае упорита работа и дължима грижа. Restivo и ван де Rijt даде barnstars до 100 заслужили Уикипедианците. След това, Restivo и ван де Rijt проследяват последващите вноски на бенефициерите да Wikipedia през следващите 90 дни. За голяма тяхна изненада, хората, на които те присъждат barnstars склонни да направят по-малко редакции, след като получи един. С други думи, на barnstars сякаш се обезсърчава, а не насърчава принос.

За щастие, Restivo и ван де Rijt не се работи с "смущават и се наблюдава" експеримент; те тичаха рандомизирано контролирано експеримент. Така че, в допълнение към избора на 100 най-активни участници да получа barnstar, те също качват 100 най-активни участници, на които те не дават barnstar. Това сто служи като контролна група, и който има barnstar и който не се определя на случаен принцип. Когато Restivo и ван де Rijt погледна контролната група те установили, че тя е стръмен спад на вноски също. И накрая, когато изследователите сравняват хора в групата на лечение (т.е., получена barnstars) и хората в контролната група, те са установили, че barnstar причинени редактори да допринасят за 60% повече. Но, това увеличение на вноската се провежда като част от общ спад и в двете групи.

В това изследване показва, контролната група в експерименти е критично по начин, който е малко парадоксално. С цел да се прецизно измерване на ефекта на barnstars, Restivo и ван дер Rijt необходимо да наблюдаваме хора, които не са получили barnstars. Много пъти изследователи, които не са запознати с експерименти не успяват да оценят невероятната стойност на контролната група. Ако Restivo и ван де Rijt не разполага с контролна група, те ще са изготвени точно погрешно заключение. Контролните групи са толкова важни, че главният изпълнителен директор на голяма казино компания заяви, че има само три начина, по които служителите могат да бъдат изстреляни от неговата компания: кражба, сексуален тормоз, и провеждам експеримент без контролна група (Schrage 2011) .

Restivo и ван де Rijt проучвателната илюстрира четирите основни съставки на един експеримент: набирането, хаотизиране намеса, и резултатите. Взети заедно, тези четири съставки позволяват на учените да се движат извън корелации и измерване на причинно-следствена ефекта от лечение. По-конкретно, рандомизацията означава, че когато се сравняват резултатите за лечение и контролни групи можете да получите оценка на причинно-следствена ефект от това интервенция за този набор от участниците. С други думи, с рандомизирано контролирано експеримент можете да бъдете сигурни, че всички разлики в резултатите са причинени от намесата а не confounder, твърдение, което правя точен в техническото допълнение, използвайки рамките на потенциалните резултати.

Освен че е хубава илюстрация на механиката на експерименти, Restivo и ван де Rijt проучвателната също показва, че логистиката на дигитални експерименти могат да бъдат съвсем различни от аналогови експерименти. В Restivo и експеримент ван де Rijt е, че е лесно да се даде на barnstar на никого в света и че е лесно да се проследят резултатите, броят на редакциите-продължителен период от време (защото редактиране история се записва автоматично от Wikipedia). Тази способност да доставят лечения и измерване на резултатите, без разходи е качествено за разлика от експерименти в миналото. Въпреки, че този експеримент участват 200 души, тя може да е бил разработен с 2000 или 20000 души. Основното нещо, предотвратяване на изследователите от постепенно повишаване на тяхната експеримент с коефициент от 100 не се струва, че е етика. Това е, Restivo и ван де Rijt не искаше да даде barnstars до недостойни редактори и те не искат тяхната експеримент, за да наруши функционирането на Wikipedia общност (Restivo and Rijt 2012; Restivo and Rijt 2014) . Така че, въпреки че експериментът на Restivo и ван де Rijt е сравнително прост, той ясно показва, че някои неща за експерименти са останали същите, а някои са се променили. По-специално, основен логиката на експериментиране е същата, но логистиката са се променили. На следващо място, с цел по-ясно да се изолират от възможностите, създадени от тази промяна, аз ще сравни експериментите, че изследователите могат да направят сега, за да вида на експерименти, които са били направени в миналото.