Xaiv tswj thwmsim muaj plaub lub ntsiab khoom xyaw: recruitment ntawm cov neeg, randomization ntawm kev kho mob, tus me nyuam ntawm kev kho mob, thiab kev ntsuas ntawm kev tshwm sim.
Xaiv tswj thwmsim yuav muaj ntau yam thiab muaj peev xwm yuav siv tau los kawm ntau hom cwj pwm. Tab sis, nyob rau ntawm lawv cov tub ntxhais, xaiv tswj thwmsim muaj plaub lub ntsiab khoom xyaw: recruitment ntawm cov neeg, randomization ntawm kev kho mob, tus me nyuam ntawm kev kho mob, thiab kev ntsuas ntawm kev tshwm sim. Cov muaj hnub nyoog tsis hloov yuav tsum muaj xwm ntawm experimentation, tab sis nws tsis ua rau lawv yooj yim uas tsim. Piv txwv li, nyob rau hauv lub yav tas los nws yuav tau tsis yooj yim los ntsuas tus cwj pwm ntawm lab ntawm cov neeg, tab sis hais tias yog tam sim no routinely tshwm sim nyob rau hauv ntau cov tshuab. Soj ntsuam uas yuav paub tseeb seb yuav ua li cas los harness cov tshiab yuav muaj cib fim tau khiav thwmsim uas tsis yooj yim sua yav tas los.
Yuav kom ua tau qhov no tag nrho ib tug me ntsis ntau pob zeb-ob dab tsi tau nyob tib yam thiab dab tsi tau hloov-wb xav txog Michael Restivo thiab Arnout van de Rijt tus (2012) . Cov soj ntsuam ntawm xav kom to taub cov nyhuv ntawm kev phooj ywg ntshaw rau editorial pab rau Wikipedia. Nyob rau hauv kev, lawv kawm cov teebmeem ntawm barnstars, ib qho puav pheej tias tej Wikipedian yuav muab mus rau lwm yam Wikipedian lees zog ua hauj lwm thiab vim kev mob siab. Restivo thiab van de Rijt muab barnstars 100 deserving Wikipedians. Ces, Restivo thiab van de Rijt tracked tus tau txais 'tom ntej tau pab rau Wikipedia tshaj tom ntej 90 hnub. Npaum li cas rau lawv surprise, cov neeg uas lawv muab barnstars tended ua tsawg edits tom qab tau txais ib tug. Nyob rau hauv lwm yam lus, lub barnstars seemed yuav poob es tsis txhawb pab.
Qhov zoo ces, Restivo thiab van de Rijt twb tsis khiav ib tug "perturb thiab soj ntsuam" xyaum ua tej yam; lawv twb khiav ib tug xaiv tswj xyaum ua tej yam. Yog li ntawd, nyob rau hauv tas li ntawd mus xaiv 100 saum toj contributors rau tau txais ib tug barnstar, lawv kuj khaws 100 saum toj contributors rau leej twg lawv tsis muab ib tug barnstar. Cov puas tau txais kev pab raws li ib tug pab pawg neeg tswj, thiab cov neeg uas tau txais ib tug barnstar thiab uas tsis tau txiav txim across. Thaum Restivo thiab van de Rijt ntsia lub pab pawg neeg tswj lawv pom hais tias nws muaj ib tug ntxhab nco nyob rau hauv txoj kev pab ib yam nkaus thiab. Thaum kawg, thaum tus neeg tshawb fawb piv cov neeg nyob rau hauv cov kev kho mob pab pawg neeg (ie, tau txais barnstars) thiab cov neeg nyob rau hauv lub pab pawg neeg tswj, lawv pom hais tias tus barnstar tshwm sim los kho los pab txhawb txog 60% ntxiv. Tab sis, qhov no nce nyob rau hauv pab tau noj qhov chaw raws li ib feem ntawm ib tug tag nrho poob nyob rau hauv ob qho tag nrho cov pab pawg.
Raws li txoj kev tshawb no illustrates, lub pab pawg neeg tswj nyob rau hauv sim kawm yog ib qho tseemceeb nyob rau hauv ib txoj kev uas yog dog dig paradoxical. Nyob rau hauv thiaj li yuav precisely ntsuas cov nyhuv ntawm barnstars, Restivo thiab van ua dawb Rijt yuav tsum tau mus soj ntsuam cov neeg uas tsis tau txais barnstars. Muaj ntau lub sij hawm soj ntsuam uas tsis paub nrog thwmsim tsis txaus siab rau lub zoo kawg tus nqi ntawm qhov pab pawg neeg tswj. Yog hais tias Restivo thiab van de Rijt tsis muaj ib tug pab pawg neeg tswj, lawv yuav tau kos raws nraim tsis ncaj ncees lawm xaus. Control pawg no thiaj li tseem ceeb uas cov CEO ntawm ib tug loj twv txiaj yuam pov lub tuam txhab tau hais tias hais tias muaj tsuas yog peb txoj kev uas cov neeg ua haujlwm yuav tsum raug rho tawm haujlwm los ntawm nws lub tuam txhab: tub sab tub nyiag, kev sib deev kev ua phem, thiab khiav ib sim tsis muaj ib tug pab pawg neeg tswj (Schrage 2011) .
Restivo thiab van de Rijt txoj kev kawm tso siab lub plaub lub ntsiab khoom xyaw ntawm ib tug xyaum ua tej yam: recruitment, randomization, kev cuam tshuam, thiab ua tau. Ua ke, cov plaub cov khoom xyaw pub zaum dhau mus sib txheeb thiab ntsuas cov causal nyhuv ntawm kev kho mob. Tshwj xeeb, randomization txhais tau tias thaum koj piv tau rau cov kev kho mob thiab kev tswj pab pawg uas koj tau txais ib qho kev kwv yees ntawm lub causal nyhuv ntawm uas kev pab rau cov uas set ntawm cov neeg. Nyob rau hauv lwm yam lus, nrog ib tug xaiv tswj xyaum ua tej yam koj yuav tau nco ntsoov tias txhua yam sib txawv nyob rau hauv hauj lwm tshwm sim yog tshwm sim los ntawm cov kev pab thiab tsis yog ib tug confounder, ib daim ntawv thov hais tias kuv ua leej nyob rau hauv lub Kev Qhia Ntxiv siv lub peev xwm ua tau lub moj khaum.
Nyob rau hauv tas li ntawd mus rau ib tug zoo piv txwv txog tus mechanics ntawm thwmsim, Restivo thiab van de Rijt txoj kev kawm kuj qhia tau hais tias lub logistics ntawm cov thwmsim yuav ua tau txawv kiag li los ntawm analog thwmsim. Nyob rau hauv Restivo thiab van de Rijt tus xyaum ua tej yam, nws yog ib qho yooj yim los muab cov kev barnstar rau leej twg nyob rau hauv lub ntiaj teb no thiab nws yog ib qho yooj yim mus taug qab lub sij hawm-tus naj npawb ntawm edits-dhau ib lub sij hawm ntev ntawm lub sij hawm (vim hais tias edit keeb kwm yog txiav sau cia los ntawm Wikipedia). Qhov no muaj peev xwm xa kev kho mob thiab ntsuas tau tsis tau them yog qualitatively tsis zoo li thwmsim nyob rau hauv lub dhau los lawm. Txawm tias qhov no xyaum ua tej yam kev koom tes 200 tus neeg, nws yuav muaj tau khiav nrog 2,000 los yog 20,000 tus neeg. Qhov loj tshaj plaws tiv thaiv cov kev soj ntsuam los ntawm scaling lawv xyaum ua tej yam los ntawm ib tug zoo tshaj ntawm 100 twb tsis raug nqi, nws yog ethics. Uas yog, Restivo thiab van de Rijt tsis xav kom muab barnstars rau nyog editors thiab lawv tsis xav kom lawv cov xyaum ua tej yam los cuam tshuam txog lub Wikipedia zej zog (Restivo and Rijt 2012; Restivo and Rijt 2014) . Yog li ntawd, txawm hais tias tus xyaum ua tej yam ntawm Restivo thiab van de Rijt yog tus yooj yim, nws kom meej meej qhia tau hais tias tej yam uas hais txog kev tau nyob tib yam thiab ib co tau hloov lawm. Nyob rau hauv kev, qhov yooj yim logic ntawm experimentation yog tib yam, tab sis lub logistics tau hloov lawm. Tom ntej no, nyob rau hauv thiaj li yuav ntau kom meej meej cais lub caij uas tsim los ntawm qhov kev hloov no, kuv mam li muab los sib piv cov thwmsim uas soj ntsuam yuav ua li cas tam sim no mus rau lub hom thwmsim uas tau ua nyob rau hauv lub dhau los lawm.