Randomizuotų kontroliuojamų eksperimentų turi keturis pagrindinius ingredientus: Darbuotojų dalyvių, tikimybių Gydymo, pristatymo gydymo ir matavimas rezultatus.
Randomizuotų kontroliuojamų eksperimentų gali būti įvairių formų ir gali būti naudojamas studijuoti įvairių tipų elgesio. Tačiau, jų šerdis, atsitiktinių imčių kontroliuojamų eksperimentų turi keturis pagrindinius ingredientus: Darbuotojų dalyvių, tikimybių Gydymo, pristatymo gydymo ir matavimas rezultatus. Skaitmeninis amžius nekeičia esmę eksperimentavimo, tačiau ji padaryti juos lengviau logistiniu. Pavyzdžiui, anksčiau ji galėjo būti sunku išmatuoti milijonų žmonių elgesį, bet dabar reguliariai vyksta daugelyje skaitmeninių sistemų. Mokslininkai, kurie gali išsiaiškinti, kaip panaudoti šias naujas galimybes galės vykdyti eksperimentus, kurie buvo neįmanoma anksčiau.
Kad visa tai šiek tiek daugiau betono ir kas liko tas pats, o kas pasikeitė-aptarkime Michael Restivo ir Arnout van de Rijt s (2012) . Mokslininkai norėjo suprasti neformalių tarpusavio nauda redakcijų įmokų Vikipedijos poveikį. Visų pirma, jie studijavo barnstars poveikį, apdovanojimą, kad bet koks Vikipedijos gali teikti bet kuris kitas Wikipedian pripažinti sunkaus darbo ir kruopštumo. Restivo ir van de Rijt davė barnstars 100 nusipelniusiems wikipedyści. Tada Restivo ir van de Rijt stebimi vėlesnius gavėjų įmokas į Vikipedijos per ateinančius 90 dienų. Daug jų nuostabai, žmonės, kuriems jie suteikė barnstars linkę padaryti mažiau redaguoti gavusi vieną. Kitaip tariant, kad barnstars, atrodo, neskatinant, o ne skatinti įnašą.
Laimei, Restivo ir van de Rijt nebuvo veikia "jaudinti ir stebėti" eksperimentą; jie veikia randomizuotų kontroliuojamų eksperimentą. Taigi, be to, renkantis 100 Top autoriams gauti barnstar, jie taip pat pakėlė 100 Top autoriams, kuriems jie nedavė barnstar. Tai šimtai tarnavo kaip kontroline grupe, o kas gavo barnstar ir kurie nebuvo lėmė atsitiktinai. Kai Restivo ir van de Rijt pažvelgė į kontrolinės grupės jie nustatė, kad jis turėjo kietas lašas įmokų per. Galiausiai, kai mokslininkai palyginti žmones gydymo grupėje (ty gavo barnstars) ir žmones su kontroline grupe, jie nustatė, kad barnstar sukėlė redaktoriai prisidėti apie 60% daugiau. Bet tai padidėjimas įnašas vyko kaip dalis bendros sumažėjo abiejose grupėse.
Kadangi šis tyrimas parodo, kontrolinė grupė eksperimentuose yra kritinė tokiu būdu, kad yra šiek tiek paradoksalu. Siekiant tiksliai įvertinantį barnstars poveikį, Restivo ir van der Rijt reikia stebėti žmones, kad negavo barnstars. Daug kartų mokslininkai, kurie nėra susipažinę su eksperimentų neįvertina neįtikėtiną vertę su kontroline grupe. Jei Restivo ir van de Rijt neturėjo kontrolinę grupę, jie būtų parengti tiksliai klaidingą išvadą. Kontrolės grupės yra taip svarbu, kad pagrindinis kazino bendrovės generalinis direktorius sakė, kad yra tik trys būdai, kad darbuotojai gali būti atleistas iš savo įmonės: vagystės, seksualinis priekabiavimas ir veikia eksperimentą be kontrolinės grupės (Schrage 2011) .
Restivo ir van de Rijt studijų iliustruoja keturis pagrindinius ingredientus eksperimentas: Įdarbinimas, randomizaciją intervencijos bei rezultatus. Kartu šie keturi ingredientai leis mokslininkams peržengti koreliacijas ir įvertinti priežastinį poveikį gydymo. Tiksliau, tikimybių reiškia, kad, kai jūs palyginkite rezultatus gydymui ir kontrolinių grupių gausite priežastinio poveikio šios intervencinių tos dalyvių rinkinys sąmatą. Kitaip tariant, su atsitiktinių imčių kontroliuojamą eksperimentą galite būti tikri, kad bet kokie rezultatų skirtumai sukelia intervencijos ir ne confounder, reikalavimą, kad aš padaryti tikslūs techniniame priedėlyje, naudojant galimus rezultatus sistemą.
Be to, kad gražus pavyzdys eksperimentų mechanikos, Restivo ir van de Rijt anketa Tyrimas taip pat parodė, kad skaitmeninių eksperimentų logistika gali būti visiškai skiriasi nuo analoginių eksperimentams. Be Restivo ir van de Rijt eksperimentą, tai buvo lengva duoti barnstar niekam pasaulyje ir tai buvo lengva sekti rezultatais Keitimų skaičius-per ilgesnį laiką (nes keitimų istorijos automatiškai užregistruoja Wikipedia). Šis gebėjimas pristatyti gydymo ir įvertinti rezultatus nieko nekainuos kokybiškai skirtingai eksperimentų praeityje. Nors šis eksperimentas dalyvauja 200 žmonių, jis galėjo būti paleisti su 2000 ar 20.000 žmonių. Svarbiausia neleisti mokslininkai iš padidinant savo eksperimentą 100 kartų buvo nekainuos, tai buvo etika. Tai yra, Restivo ir van de Rijt nenorėjo duoti barnstars į nenusipelnė redaktorių ir jie nenorėjo jų eksperimentas sutrikdyti Vikipedijos bendruomenė (Restivo and Rijt 2012; Restivo and Rijt 2014) . Taigi, nors Restivo ir van de Rijt eksperimentas yra gana paprasta, tai aiškiai rodo, kad kai kurie dalykai apie eksperimentus liko tas pats, o kai pasikeitė. Visų pirma, pagrindinis logika eksperimentų yra tas pats, bet logistikos pasikeitė. Be to, siekiant aiškiau atskirti sukurtus galimybes šis pakeitimas, aš palyginti eksperimentus, kad mokslininkai gali padaryti dabar, kad eksperimentų rūšių, kurios buvo daroma anksčiau.