Randomizált, kontrollált vizsgálatok négy fő összetevők: a résztvevők toborzása véletlenszerűség kezelés szállítás és kezelés, és a mérési eredmények.
Randomizált, kontrollált kísérletben számos formát ölthet, és lehet használni, hogy tanulmányozza sok fajta viselkedés. De abban az alapvető, randomizált, kontrollált kísérletek négy fő összetevők: a résztvevők toborzása véletlenszerűség kezelés szállítás és kezelés, és a mérési eredmények. A digitális korban nem változtatja meg az alapvető természete a kísérletezés, de ez nem teszi őket könnyebb logisztikailag. Például a múltban lett volna nehéz mérni a viselkedését több millió ember, de ez ma már rutinszerűen történik sok digitális rendszerek. A kutatók, akik kitalálni, hogyan kell kihasználni ezeket az új lehetőségeket képes lesz futtatni kísérletek, amelyek lehetetlenné korábban.
Ahhoz, hogy ez az egész egy kicsit konkrétabb-mind mi maradt változatlan és mi változott-nézzük meg Michael Restivo és Arnout van de Rijt által (2012) . A kutatók azt akarták, hogy megértsék a hivatalos szakértői jutalom szerkesztői hozzájárulás Wikipedia. Különösen azok hatását tanulmányozta barnstars egy díjat, hogy minden Wikipedian adhat bármely más Wikipedian elismerni kemény munka és átvilágítás. Restivo és van de Rijt adta barnstars 100 érdemlő Wikipedians. Ezután Restivo és van de Rijt nyomon a címzettek későbbi hozzájárulások Wikipedia az elkövetkező 90 nap során. Legnagyobb meglepetésükre, az emberek, akiket oda barnstars inkább, hogy kevesebb szerkesztést fogadás után. Más szavakkal, a barnstars úgy tűnt, hogy elriasztja helyett biztató hozzájárulást.
Szerencsére Restivo és van de Rijt nem fut a "megzavarjuk és megfigyelni" kísérlet; ők futottak randomizált, kontrollált kísérletben. Tehát amellett, hogy válasszon a 100 kiemelt közreműködők kapni barnstar, ők is felvette 100 járultak hozzá leginkább, akiket nem ad barnstar. Ezek a száz szolgált a kontroll csoport, és aki kapott egy barnstar, és aki nem határoztuk meg véletlenszerűen. Amikor Restivo és van de Rijt nézett a kontroll csoport úgy találták, hogy ez volt a meredek csökkenés járulékok is. Végül, amikor a kutatók összehasonlították az emberek a kezelési csoportban (azaz kapott barnstars), és az emberek a kontroll csoportban, úgy találták, hogy a barnstar okozott a szerkesztőknek, hogy mintegy 60% -kal több. De, ez a növekedés a hozzájárulás került sor részeként egy általános csökkenése mindkét csoportban.
Mivel ez a vizsgálat szemlélteti, a kontroll csoport kísérletekben kritikus oly módon, hogy kissé paradox. Annak érdekében, hogy pontosan mérni a hatását barnstars, Restivo és van der Rijt szükséges megfigyelni az embereket, akik nem kaptak barnstars. Sokszor a kutatók, akik nem ismerik a kísérletek nem ismerik fel a hihetetlen értéke a kontroll csoportban. Ha Restivo és van de Rijt nem volt kontrollcsoport, volna levonni, hogy pontosan a megfelelő következtetést. Kontroll csoport annyira fontos, hogy a vezérigazgató egy nagy kaszinó cég azt mondta, hogy már csak három módon, hogy az alkalmazottak is kirúgták cég: lopás, szexuális zaklatás, és a kísérlet futtatása nélkül kontrollcsoport (Schrage 2011) .
Restivo és van de Rijt tanulmánya bemutatja a négy fő összetevői egy kísérletet: toborzás, véletlenszerűség, a beavatkozás, és az eredmények. Együtt a négy összetevő lehetővé teszi a tudósok, hogy túllépjünk összefüggések és mérésére okozati kezelések hatására. Konkrétan véletlenszerűség azt jelenti, hogy ha összehasonlítjuk eredmények kezelésére és a kontroll csoportok kapsz egy becslést az okozati hatást, hogy ez beavatkozás, hogy a résztvevőkkel. Más szavakkal, egy randomizált, kontrollált kísérlet, biztos lehet benne, hogy bármilyen különbséget eredményeket okozta beavatkozást nem a zavaró tényezők, egy állítás, hogy én a pontos a műszaki függelék a lehetséges eredmények keretet.
Azon kívül, hogy egy szép illusztrációja a mechanika kísérletek Restivo és van de Rijt tanulmánya is mutatja, hogy a logisztikai digitális kísérletek is teljesen eltér az analóg kísérletek. Ebben Restivo és van de Rijt kísérletét, könnyű volt, hogy a barnstar hogy bárki a világon, és könnyű volt követni az eredmény-számát szerkesztések-hosszabb ideig (mert laptörténettel automatikusan rögzíti Wikipedia). Ez a képesség szállít kezelések és mérni eredmények költség nélkül minőségileg ellentétben kísérletek a múltban. Bár ez a kísérlet érintett 200 fő, ez lehetett volna futtatni 2000 vagy 20.000 ember. A legfontosabb dolog, megakadályozza, hogy a kutatókat növelésének kísérletükben szorzóval 100 nem kerül, ez volt az etika. Azaz, Restivo és van de Rijt nem akar adni barnstars hogy érdemtelen szerkesztők, és nem akarják, hogy a kísérlet, hogy megzavarják a Wikipédia közösség (Restivo and Rijt 2012; Restivo and Rijt 2014) . Így, bár a kísérlet Restivo és van de Rijt viszonylag egyszerű, világosan mutatja, hogy néhány dolgot kísérletek ugyanaz maradt, és néhány megváltozott. Különösen az alapvető logikája kísérletezés ugyanaz, de a logisztikai megváltoztak. Továbbá annak érdekében, hogy világosabban izolálja a lehetőségeket, amelyeket ez a változás, fogom összehasonlítani a kísérletek, hogy a kutatók most tenni, hogy a különféle kísérletek, amelyek a múltban.