Randomizuotų kontroliuojamų eksperimentų turi keturis pagrindinius ingredientus: Darbuotojų dalyvių, tikimybių Gydymo, pristatymo gydymo ir matavimas rezultatus.
Atsitiktinai valdomuose eksperimentuose yra keturi pagrindiniai ingredientai: dalyvių įdarbinimas, gydymo atsitiktinis pasirinkimas, gydymo pristatymas ir rezultatų matavimas. Skaitmeninis amžius nepakeičia esminio eksperimentavimo pobūdžio, bet tai palengvina logistiką. Pavyzdžiui, praeityje galbūt buvo sunku išmatuoti milijonų žmonių elgseną, tačiau tai dažniausiai vyksta daugelyje skaitmeninių sistemų. Tyrėjai, galintys išsiaiškinti, kaip panaudoti šias naujas galimybes, galės atlikti anksčiau neįstengtus eksperimentus.
Kad tai būtų dar šiek tiek konkretesnis - tiek tai, kas pasikeitė ir pasikeitė, - apsvarstysime Michael Restivo ir Arnout van de Rijt (2012) Eksperimentą. Jie norėjo suvokti neformalių kolektyvinių apdovanojimų poveikį redakciniams įnašams į Wikipedia. Visų pirma jie studijavo " Barnstars " poveikį - tai apdovanojimas, kurį bet kuris Wikipedian gali suteikti bet kuriam kitam Wikipedianui, kad jis pripažintų sunkų darbą ir deramą rūpestingumą. Restivo ir van de Rijt suteikė "Barnstars" 100 vertingų Wikipedianų. Tada jie sekė gavėjų vėlesnes įmokas į Vikipediją per kitas 90 dienų. Daug jų nustebino, žmonės, kuriems jie paskyrė "Barnstars", po to, kai juos gavo, mažiau redagavo. Kitaip tariant, "Barnstars" atrodė atgraso, o ne skatina indėlį.
Laimei, "Restivo" ir "van de Rijt" neveikė "pasipiktinęs ir laikomasi" eksperimento; jie vykdo atsitiktinių imčių kontroliuojamą eksperimentą. Taigi, be to, kad renkatės 100 geriausių dalyvių, norinčių gauti "Barnstar", jie taip pat surinko 100 geriausių dalyvių, kuriems jie nesuteikė. Šie 100 tarnavo kaip kontrolinė grupė. Ir kritiškai, kas buvo gydymo grupėje ir kuris buvo kontrolinėje grupėje, buvo nustatytas atsitiktine tvarka.
Kai Restivo ir van de Rijt pažvelgė į kontrolinės grupės žmonių elgesį, jie nustatė, kad jų įmokos taip pat mažėja. Be to, kai "Restivo" ir "van de Rijt" gydymo grupės žmonės (ty gavo "Barnstars") žmonėms kontrolinėje grupėje, jie palygino, kad gydymo grupės žmonės prisidėjo dar 60 proc. Kitaip tariant, abiejų grupių įnašai buvo žlugę, tačiau kontrolinės grupės veiksmai vyko daug greičiau.
Kaip parodė šis tyrimas, eksperimentų kontrolinė grupė yra kritinė tokiu būdu, kuris yra šiek tiek paradoksalus. Siekiant tiksliai išmatuoti "Barnstars" poveikį, "Restivo" ir "van de Rijt" turėjo stebėti žmones, kurie negavo "Barnstars". Daug kartų mokslininkai, kurie nėra susipažinę su eksperimentais, nesugeba suvokti neįtikėtinos kontrolės grupės vertės. Jei "Restivo" ir "van de Rijt" neturėjo kontrolinės grupės, jie būtų sukūrę tiksliai klaidingą išvadą. Kontrolės grupės yra tokios svarbios, kad pagrindinės kazino kompanijos generalinis direktorius sakė, kad darbuotojams gali būti įdarbinti tik trys būdai: vagystės, seksualinio priekabiavimo ar eksperimento be kontrolės grupės (Schrage 2011) .
Restivo ir van de Rijto tyrimas iliustruoja keturias pagrindines eksperimento sudedamąsias dalis: įdarbinimą, atsitiktinių imčių, intervenciją ir rezultatus. Kartu šie keturi ingredientai leidžia mokslininkams pereiti nuo koreliacijos ir įvertinti gydymo priežastinį poveikį. Konkrečiai, atsitiktinumas reiškia, kad gydymo ir kontrolinių grupių žmonės bus panašūs. Tai svarbu, nes tai reiškia, kad bet koks rezultatų skirtumas tarp dviejų grupių gali būti priskiriamas gydymui, o ne supainioti.
Be to, kad puikiai iliustruoja eksperimentų mechaniką, Restivo ir van de Rijto tyrimas taip pat rodo, kad skaitmeninių eksperimentų logistika gali visiškai skirtis nuo analoginių eksperimentų logistikos. "Restivo" ir "van de Rijt" eksperimento metu "Barnstar" buvo lengva visiems suteikti, ir buvo lengva stebėti peržiūrų rezultatų skaičių per ilgesnį laiką (nes "Wikipedia" automatiškai įrašo redagavimo istoriją). Šis gebėjimas pristatyti gydymo būdus ir vertinti rezultatus nemokamai yra kokybiškai priešingas praeities eksperimentams. Nors šiame eksperimente dalyvavo 200 žmonių, tai galėjo būti 2000 ar net 20 000 žmonių. Pagrindinis dalykas, neleidžiantis mokslininkams padidinti eksperimento 100 kartų, buvo ne kaina; tai buvo etika. Tai reiškia, kad "Restivo" ir "van de Rijt" nenorėjo suteikti "Barnstars" nepageidaujamų redaktorių, ir jie nenorėjo, kad jų eksperimentas sutrukdytų Wikipedia bendruomenę (Restivo and Rijt 2012, 2014) . Toliau šiame skyriuje ir 6 skyriuje grįšiu prie kai kurių etinių sampratų, iškeltų eksperimentais.
Apibendrinant, "Restivo" ir "van de Rijt" eksperimentas aiškiai rodo, kad nors pagrindinė eksperimentavimo logika nepasikeitė, skaitmeninio amžiaus eksperimentų logistika gali būti labai skirtinga. Tada, norėdami aiškiau atskirti galimybes, kurias sukūrė šie pokyčiai, palyginsiu tyrimus, kuriuos dabar gali atlikti mokslininkai, su praeityje atliktais eksperimentais.