Randomiseeritud kontrollitud eksperimente on neli tähtsamat osa: osalejate värbamine, randomiseerimist ravi ja ravi ning tulemuste mõõtmise.
Randomiseeritud kontrollitud eksperimente võib võtta mitmeid vorme ja saab õppida palju erinevaid käitumist. Aga oma sisimas, randomiseeritud kontrollitud eksperimente on neli tähtsamat osa: osalejate värbamine, randomiseerimist ravi ja ravi ning tulemuste mõõtmise. Digitaalajastul ei muutu põhjapanevat olemust eksperimenteerimist, kuid see ei tee neid lihtsam logistiliselt. Näiteks minevikus oleks võinud olla raske mõõta käitumist miljonid inimesed, kuid see on nüüd rutiinselt toimub palju digisüsteemidest. Teadlased, kes suudavad välja mõelda, kuidas rakendada neid uusi võimalusi saab katsetusi, mida oli võimatu varem.
Et see kõik natuke konkreetsem-nii, mida on jäänud samaks ja mis on muutunud-Vaatleme Michael Restivo ja Arnout van de Rijt oma (2012) . Uurijad tahtsid mõista mõju mitteametlik peer premeerib kaastööd Wikipedia. Eelkõige on nad õppinud mõju barnstars, auhind, mis tahes Wikipedian saa anda ühelegi teisele Wikipedian tunnistama raske töö ja hoolsusega. Restivo ja van de Rijt andis barnstars 100 väärivad vikipeedialast. Siis Restivo ja van de Rijt jälgida saajate järgneva panuse Wikipedia üle järgmise 90 päeva jooksul. Palju oma üllatuseks, et inimesed, keda nad antud barnstars pigem teha vähem muudatusi pärast ühe. Teiste sõnadega, barnstars tundus olevat soodusta mitte julgustav panuse.
Õnneks Restivo ja van de Rijt ei töötab "häirima ja jälgida" eksperiment; nad jooksid randomiseeritud kontrollitud eksperiment. Niisiis, lisaks valides 100 tippkaasautoritele saada barnstar, ka nemad hakkasid 100 top toetajad, keda nad ei anna barnstar. Need sada oli kontrollgrupiga, ning kes sai barnstar ja kes ei määrati juhuslikult. Kui Restivo ja van de Rijt vaatas kontrollgrupis leidsid nad, et see oli järsk langus panuse ka. Lõpuks, kui võrdlesid teadlased inimeste katserühma (st saadud barnstars) ja inimesed kontrollgrupis, leidsid nad, et barnstar põhjustatud toimetajad eraldama umbes 60% rohkem. Aga see kasv panuse toimus osana üldisest langusest mõlemas grupis.
Kuna see uuring näitab, kontrollrühma eksperimentides on kriitiline viisil, mis on mõnevõrra paradoksaalne. Selleks, et täpselt mõõta mõju barnstars, Restivo ja van der Rijt vaja jälgida inimesi, kes ei saanud barnstars. Mitu korda teadlased, kes ei ole tuttav eksperimendid ei suuda mõista uskumatu väärtus kontrollrühmas. Kui Restivo ja van de Rijt ei olnud kontrollgrupiga, nad on pööranud täiesti vale järeldus. Kontrollgrupi on nii oluline, et tegevjuht suur kasiino firma on öelnud, et on ainult kolm võimalust, et töötajad saavad vallandati tema firma: vargus, seksuaalne ahistamine, ja käimas katse ilma kontrollgrupiga (Schrage 2011) .
Restivo ja van de Rijt uurimus näitab neli peamist koostisosa eksperiment: värbamine, Randomiseerimisele sekkumise ja tulemusi. Üheskoos on need neli koostisosad võimaldab teadlastel liikuda korrelatsioonid ja mõõta põhjuslikku mõju ravi. Täpsemalt randomiseerimist tähendab, et kui võrrelda tulemusi raviks ja kontrollrühmad saad prognoos põhjuslikku mõju, et sekkumine, et komplekt osalejatele. Teisisõnu, kus on randomiseeritud kontrollitud eksperimendi võid olla kindel, et iga tulemuste erinevusi on põhjustanud sekkumist ja ei ole confounder, nõude, et ma täpselt Tehnilise liite abil võimalikke tulemusi raames.
Lisaks sellele, et kena näide mehaanika eksperimente, Restivo ja van de Rijt uurimus näitab ka, et logistika digitaalse eksperimente võib olla täiesti erinev analoog eksperimente. In Restivo ja van de Rijt eksperiment, see oli lihtne anda barnstar, et keegi maailmas ja see oli lihtne jälgida tulemusele arv muudatused-pikema aja jooksul (sest redigeerimislogisse salvestatakse automaatselt Wikipedia). See võime pakkuda ravi ja mõõta tulemusi ei kulu kvalitatiivselt erinevalt eksperimendid varem. Kuigi see eksperimendis 200 inimest, see oleks võinud joosta 2,000 või 20,000 inimest. Peaasi takistab teadlasi ülespoole oma eksperimendi teguriga 100 ei maksa, see oli eetika. See tähendab, Restivo ja van de Rijt ei taha anda barnstars et undeserving toimetajad ja nad ei taha oma eksperimendi häirida Wikipedia kogukond (Restivo and Rijt 2012; Restivo and Rijt 2014) . Niisiis, kuigi eksperiment Restivo ja van de Rijt on suhteliselt lihtne, see näitab selgelt, et mõned asjad umbes katsed on jäänud samaks ja mõned neist on muutunud. Eelkõige loogika eksperimenteerimise on sama, kuid logistika on muutunud. Järgmine, et selgemalt eraldada loodud võimalusi see muutus, ma võrrelda eksperimente, et teadlased saaksid teha nüüd, milliseid katseid, mis on tehtud varem.