Slembuðum tilraunir hafa fjögur helstu innihaldsefni: Ráðningar þátttakenda, slembival meðferð, afhendingu meðferð, og mat á niðurstöðum.
Slembuðum tilraunir getur tekið mörg form og hægt er að nota til að læra margar tegundir af hegðun. En, á kjarna þeirra, hafa slembiraðaðar tilraunir fjórum helstu innihaldsefni: Ráðningar þátttakenda, slembival meðferð, afhendingu meðferð, og mat á niðurstöðum. The stafrænn aldri breytir ekki grundvallar eðli tilrauna, en það gerir þá auðveldara skipulagslega. Til dæmis, í fortíðinni það gæti hafa verið erfitt að mæla hegðun milljóna manna, en það er nú reglulega að gerast í mörgum stafrænum kerfum. Vísindamenn sem geta reikna út hvernig á að beisla þessar ný tækifæri vilja vera fær til að keyra tilraunir sem voru ómögulegt áður.
Til að gera þetta allt svolítið meira steypu, bæði hvað hefur dvalið á sama og hvað hefur breyst, við skulum íhuga Michael Restivo og Arnout van de Rijt er (2012) . Rannsakendur vildu skilja áhrif óformlegum jafningi umbun á ritstjórn framlög til Wikipediu. Einkum rannsakað þau áhrif barnstars, verðlaun sem allir Wikipedian getur gefið til annarra Wikipedian að viðurkenna vinnusemi og áreiðanleikakönnun. Restivo og van de Rijt gaf barnstars til 100 verðskulda Wikipedians. Þá Restivo og van de Rijt fylgst Viðtak síðari framlög til Wikipediu næstu 90 daga. Mikið að koma á óvart þeirra, fólkið sem þeir veittir barnstars tilhneigingu til að gera færri breytingar eftir að hafa fengið einn. Með öðrum orðum, barnstars virtist vera letjandi frekar en hvetjandi framlag.
Sem betur fer, Restivo og van de Rijt voru ekki að keyra "perturb og fylgjast" tilraun; þeir voru í gangi slembaðri tilraun. Svo, til viðbótar við að velja 100 Top Höfundar að fá barnstar, tók þau líka 100 Top Höfundar sem þeir hafi ekki gefið frá sér barnstar. Þetta hundruð þjónaði sem samanburðarhópnum, og hver fékk barnstar og sem ekki var ákvarðað af handahófi. Þegar Restivo og van de Rijt skoðuðu samanburðarhópnum þeir fundu að það var brattur lækkun framlaga líka. Að lokum, þegar vísindamenn saman manns í meðferðarhópnum (þ.e. fékk barnstars) og fólk í samanburðarhópnum, komust þeir að því barnstar olli ritstjórar að stuðla um 60% meira. En þessi aukning framlags átti sér stað sem hluti af heildar lækkun í báðum hópum.
Þar sem þetta rannsókn sýnir, samanburðarhópurinn í tilraunum er mikilvægt á þann hátt sem er nokkuð óvæntur. Í því skyni að nákvæmlega mæla áhrif barnstars, Restivo og van der Rijt þarf að fylgjast með fólki sem ekki fá barnstars. Margir sinnum vísindamenn sem ekki eru kunnugir tilraunir mistakast að meta ótrúlegur gildi samanburðarhópnum. Ef Restivo og van de Rijt ekki hafa samanburðarhóp, myndu þeir hafa dregið nákvæmlega röng ályktun. Samanburðarhópa eru svo mikilvægt að forstjóri meiriháttar spilavíti fyrirtæki hefur sagt að það eru aðeins þrjár leiðir sem starfsmenn geta verið rekinn frá félaginu sínu: þjófnaður, kynferðisleg áreitni og gangi tilraun án samanburðarhópnum (Schrage 2011) .
Restivo og Van de Rijt er rannsókn sýnir fjórar helstu innihaldsefni tilraun: Ráðningar, slembival íhlutun og árangur. Saman þessar fjórar efni leyfa vísindamenn að fara út fylgni og mæla orsakatengsl áhrif meðferða. Sérstaklega, slembival þýðir að þegar þú bera saman niðurstöður fyrir meðferðarhópa og samanburðarhópa þú færð mat á orsakatengsl áhrif þeirrar íhlutunar fyrir þessi mengi þátttakenda. Með öðrum orðum, með slembiraðaðri tilraun sem þú getur verið viss um að einhver munur á niðurstöðum eru af völdum íhlutun og ekki aukaþáttur, kröfu sem ég geri nákvæm í tæknilega viðbætinum með mögulegum niðurstöðum ramma.
Auk þess að vera ágætur mynd af vélfræði tilraunir, Restivo og Van de Rijt er Rannsóknin sýnir einnig að skipulagning stafrænna tilraunir geta verið öðruvísi frá flaumi tilraunum. Í Restivo og tilraun Van de Rijt, það var auðvelt að gefa barnstar til einhver í heiminum og það var auðvelt að fylgjast með niðurstöðu-fjölda breytinga yfir í langan tíma (vegna þess að breyta sögu er sjálfkrafa skráð af Wikipediu). Þessi hæfileiki til að skila meðferðir og mæla útkomu á neitun kostnaður er eðli ólíkt tilraunir í fortíðinni. Þó að þessi tilraun að ræða 200 manns, gæti það hafa verið rekið með 2.000 eða 20.000 manns. The aðalæð hlutur í veg vísindamenn frá stigstærð upp tilraun sína með stuðlinum 100 var ekki kosta, það var siðfræði. Það er, Restivo og van de Rijt vildi ekki gefa barnstars til undeserving ritstjóra og þeir vildu ekki tilraun þeirra til að raska Wikipedia samfélagið (Restivo and Rijt 2012; Restivo and Rijt 2014) . Svo, þótt tilraun Restivo og van de Rijt er tiltölulega einfalt, það sýnir greinilega að sumt um tilraunir hafa dvalið á sama og sumir hafa breyst. Einkum undirstöðu rökfræði tilraunir er sú sama, en skipulagning hafa breyst. Næst, í því skyni að betur einangra tækifæri sem skapast með þessari breytingu, ég bera tilraunir sem vísindamenn geta gert núna til hvers konar tilraunir sem gerðar hafa verið í fortíðinni.