Sinalagma eksperimento adunay upat ka mga nag-unang sagol: recruitment sa mga partisipante, randomization sa pagtambal, delivery sa pagtambal, ug sukod sa resulta.
Sinalagma eksperimento mahimo sa daghang mga porma ug mahimong gamiton sa pagtuon sa daghan nga mga matang sa kinaiya. Apan, sa ilang kinauyokan, sinalagma eksperimento adunay upat ka mga nag-unang sagol: recruitment sa mga partisipante, randomization sa pagtambal, delivery sa pagtambal, ug sukod sa resulta. Ang digital edad dili mag-usab sa sukaranan nga kinaiya sa eksperimento, apan kini sa paghimo kanila nga mas sayon eksaktong pagtimbang-timbang. Kay sa panig-ingnan, sa nangagi niini mahimo unta nga lisud nga aron sa pagsukod sa kinaiya sa minilyon sa mga tawo, apan nga karon routinely nahitabo sa daghang mga digital nga mga sistema. Tigdukiduki nga mahimo sulbaron kon unsaon sa paggamit niini nga mga bag-o nga mga oportunidad nga makahimo sa pagdagan eksperimento nga imposible kaniadto.
Aron sa paghimo niini nga ang tanan nga sa usa ka gamay nga mas konkreto-duha kon unsa ang nagpabilin sa mao nga ug ni hisgotan Michael Restivo ug Arnout van de Rijt ni unsa ang nausab-himoa (2012) . Ang mga tigdukiduki buot nga makasabut sa epekto sa impormal nga peer ganti sa editoryal nga kontribusyon sa Wikipedya. Sa partikular, sila nagtuon sa mga epekto sa barnstars, usa ka award nga sa bisan unsa wikipedyan makahatag sa bisan unsa nga lain nga mga wikipedyan sa ila sa kahago ug tungod sa kakugi. Restivo ug van de Rijt gihatag barnstars ngadto sa 100 nga takos Wikipedians. Unya, Restivo ug van de Rijt pagmonitor ang mga benepisyaryo 'sunod-sunod nga kontribusyon sa Wikipedya sa ibabaw sa sunod nga 90 ka adlaw. Daghan sa ilang katingala, ang tawo nga ilang award barnstars tended sa paghimo sa may diriyut pag-edit human sa pagdawat sa usa ka. Sa laing mga pulong, ang mga barnstars daw nagbugnaw kay sa makapadasig nga kontribusyon.
Maayo na lang, Restivo ug van de Rijt wala nga nagdagan sa usa ka "perturb ug pagtuman sa" eksperimento; sila nagdagan sa usa ka sinalagma kontrolado eksperimento. Busa, dugang pa sa pagpili sa 100 top magtatampo sa pagdawat sa usa ka barnstar, sila usab gikuha 100 top magtatampo nga kaniya wala nila wala paghatag sa usa ka barnstar. Kini nga mga ka gatus ka nag-alagad ingon nga usa ka grupo sa pagpugong, ug kinsa na sa usa ka barnstar ug nga wala determinado sinalagma. Sa diha nga Restivo ug van de Rijt mitan-aw sa grupo nga ilang nakita nga kini may usab sa usa ka titip nga drop sa mga amot. Sa kataposan, sa diha nga ang mga tigdukiduki itandi sa mga tawo diha sa mga grupo sa pagtambal (ie, nakadawat barnstars) ug ang mga tawo sa grupo, ilang nakita nga ang barnstar hinungdan editor sa pagtampo mga 60% pa. Apan, kini nga pagtaas sa kontribusyon nga pagkuha sa dapit ingon nga bahin sa usa ka kinatibuk-ang pagkunhod sa duha ka grupo.
Ingon niini nga pagtuon nagpakita, sa kontrol nga grupo sa mga eksperimento mao ang kritikal nga sa usa ka dalan nga mao ang og nagkasumpaki. Aron sa tukma pagsukod sa epekto sa barnstars, Restivo ug van der Rijt nga gikinahanglan sa pagtuman sa mga tawo nga wala modawat barnstars. Daghan nga mga higayon tigdukiduki nga dili pamilyar sa mga eksperimento mapakyas sa pagpasalamat sa talagsaon nga bili sa sa kontrol sa grupo. Kon Restivo ug van de Rijt wala sa usa ka grupo, sila madala gayud sa sayop nga konklusyon. Control mga grupo mao ang importante kaayo nga ang CEO sa usa ka mayor nga kompanya sa casino miingon nga adunay tulo lamang ka mga paagi nga ang mga empleyado mahimong nagpabuto sa iyang panon sa: pangawat, sekswal nga harasment, ug sa nagaagay nga usa ka eksperimento nga walay usa ka grupo sa kontrol (Schrage 2011) .
Restivo ug van de Rijt ni pagtuon nagpakita sa upat ka nag-unang sagol sa usa ka eksperimento: recruitment, randomization, interbensyon, ug resulta. Mag-uban, kini nga mga upat ka mga sagol magtugot sa mga siyentipiko sa paglihok sa unahan sa-ol og kahulugan ug pagsukod sa causal epekto sa mga pagtambal. Sa piho nga, randomization nagpasabot nga sa diha nga itandi resulta alang sa pagtambal ug pagpugong sa mga grupo na sa usa ka banabana sa causal epekto sa interbensyon nga alang niana nga hugpong sa mga partisipante. Sa laing mga pulong, uban sa usa ka sinalagma kontrolado eksperimento nga imong mahimo nga ang bisan unsa nga mga kalainan sa mga resulta sa mga hinungdan sa interbensyon ug dili usa ka confounder, usa ka pag-angkon nga ako tukma sa Technical Appendix sa paggamit sa mga potensyal nga resulta gambalay.
Dugang pa sa ingon nga usa ka nindot nga ilustrasyon sa mga mechanics sa eksperimento, nagpakita usab Restivo ug van de Rijt ni pagtuon nga ang mga logistics sa digital eksperimento mahimong bug-os nga lain-laing mga gikan sa Analog mga eksperimento. Sa Restivo ug van de Rijt ni eksperimento, kini sayon sa paghatag sa barnstar sa bisan kinsa sa kalibutan ug kini sayon sa pagsubay sa resulta-gidaghanon sa mga pag-edit-sa ibabaw sa usa ka taas nga panahon sa panahon (tungod kay edit kasaysayan awtomatikong natala sa Wikipedia). Kini nga abilidad sa pagluwas sa mga tambal ug pagsukod sa resulta nga walay bayad mao ang qualitatively dili sama sa mga eksperimento sa nangagi. Bisan tuod kini nga eksperimento nalambigit 200 ka mga tawo, kini nga modagan uban sa 2,000 o 20,000 ka tawo. Ang nag-unang butang nga pagpugong sa mga tigdukiduki gikan sa nagtadlas sa ilang eksperimento pinaagi sa usa ka butang nga 100 wala gasto, kini pamatasan. Nga mao, Restivo ug van de Rijt dili gusto sa paghatag barnstars sa dili takus editor ug sila dili gusto ang ilang mga eksperimento sa pagbungkag sa komunidad sa Wikipedya (Restivo and Rijt 2012; Restivo and Rijt 2014) . Busa, bisan tuod ang eksperimento sa Restivo ug van de Rijt mao ang medyo yano nga, kini tin-aw nga nagpakita nga pipila ka mga butang mahitungod sa mga eksperimento nga nagpabilin sa mao usab nga ug ang uban nausab. Sa partikular, ang mga nag-unang mga katarungan sa eksperimento mao ang sama nga, apan ang mga logistics nausab. Sunod, aron sa mas tin-aw nga ihimulag sa mga oportunidad nga gibuhat pinaagi sa pagbag-o niini, ko itandi ang mga eksperimento nga tigdukiduki mahimo sa karon sa mga matang sa mga eksperimento nga nahimo sa nangagi.