4.2 Beth yw arbrofion?

Arbrofion rheoledig ar hap wedi pedwar prif gynhwysion: recriwtio cyfranogwyr, randomization o driniaeth, cyflenwi o driniaeth, a mesur canlyniadau.

Gall arbrofion rheoledig ar hap fod ar sawl ffurf a gellir eu defnyddio i astudio llawer o fathau o ymddygiad. Ond, yn eu hanfod, arbrofion rheoledig ar hap wedi pedwar prif gynhwysion: recriwtio cyfranogwyr, randomization o driniaeth, cyflenwi o driniaeth, a mesur canlyniadau. Nid yw'r oes ddigidol yn newid natur sylfaenol o arbrofi, ond mae'n gwneud yn haws logistaidd. Er enghraifft, yn y gorffennol efallai y byddai wedi bod yn anodd i fesur ymddygiad o filiynau o bobl, ond sydd bellach yn digwydd fel mater o drefn mewn llawer o systemau digidol. Bydd ymchwilwyr sy'n gallu chyfrif i maes sut i harneisio'r cyfleoedd newydd hyn yn gallu rhedeg arbrofion nad oedd yn bosibl o'r blaen.

I wneud hyn i gyd ychydig yn fwy pendant-y ddau beth sydd wedi aros yr un fath a beth sydd wedi newid-gadewch i ni ystyried Michael Restivo a Arnout van de Rijt yn (2012) . Mae'r ymchwilwyr yn awyddus i ddeall effaith gwobrau cyfoedion anffurfiol ar gyfraniadau golygyddol i Wicipedia. Yn arbennig, maent yn astudio effeithiau barnstars, gwobr y gall unrhyw Wikipedian roi i unrhyw Wikipedian arall i gydnabod gwaith caled a diwydrwydd dyladwy. Rhoddodd Restivo a van de Rijt barnstars at 100 Wicipedwyr haeddiannol. Yna, yn olrhain Restivo a van de Rijt cyfraniadau dilynol y derbynwyr i Wicipedia yn ystod y 90 diwrnod nesaf. Mae llawer i'w syndod, y bobl y maent ddyfarnwyd barnstars yn tueddu i wneud llai o golygiadau ar ôl derbyn un. Mewn geiriau eraill, mae'r barnstars ymddangos i fod yn annog pobl i beidio yn hytrach nag annog cyfraniad.

Nid Yn ffodus, Restivo a van de Rijt yn rhedeg yn "perturb ac arsylwi" arbrawf; eu bod yn rhedeg yn arbrawf rheoledig ar hap. Felly, yn ychwanegol at ddewis 100 o gyfranwyr top i dderbyn barnstar, maent hefyd yn dewis 100 o gyfranwyr top i bwy nad oeddent yn rhoi barnstar. Mae'r rhain cant gwasanaethu fel grŵp rheoli, a oedd yn cael barnstar ac nad oedd yn ei bennu ar hap. Pan edrychodd Restivo a van de Rijt yn y grŵp rheoli y maent yn gweld ei fod wedi cael gostyngiad serth mewn cyfraniadau hefyd. Yn olaf, pan mae'r ymchwilwyr cymharu bobl yn y grwp triniaeth (hy, derbyniodd barnstars) a phobl yn y grŵp rheoli, maent yn gweld bod y barnstar achosir golygyddion i gyfrannu tua 60% yn fwy. Ond, mae'r cynnydd hwn yn gyfraniad yn digwydd fel rhan o ddirywiad cyffredinol yn y ddau grŵp.

Gan fod yr astudiaeth hon yn dangos, y grŵp rheoli mewn arbrofion yn feirniadol mewn ffordd sy'n braidd yn baradocsaidd. Er mwyn mesur union effaith barnstars, roedd angen Restivo a van der Rijt i arsylwi pobl nad oeddent yn derbyn barnstars. Mae llawer o ymchwilwyr amseroedd nad ydynt yn gyfarwydd ag arbrofion yn methu â werthfawrogi gwerth anhygoel y grŵp rheoli. Os nad oedd gan Restivo a van de Rijt grŵp rheoli, byddent wedi tynnu yn union i'r casgliad anghywir. Grwpiau rheoli mor bwysig fel bod y Prif Swyddog Gweithredol cwmni casino mawr wedi dweud mai dim ond tair ffordd y gall gweithwyr fod yn tanio gan ei gwmni: lladrad, aflonyddu rhywiol, a rhedeg arbrawf heb grwp rheoli (Schrage 2011) .

Astudiaeth Restivo a van de Rijt yn dangos y pedwar prif gynhwysion o arbrawf: recriwtio, randomization, ymyrryd, a chanlyniadau. Gyda'i gilydd, mae'r rhain pedwar cynhwysion caniatáu i wyddonwyr i symud y tu hwnt i cydberthyniadau a mesur effaith achosol o driniaethau. Yn benodol, randomization golygu pan fyddwch yn cymharu canlyniadau ar gyfer y grwpiau triniaeth a rheolaeth i chi gael amcangyfrif o'r effaith achosol bod ymyrraeth ar gyfer y set o gyfranogwyr. Mewn geiriau eraill, gyda arbrawf rheoledig ar hap, gallwch fod yn sicr bod unrhyw wahaniaethau mewn canlyniadau yn cael eu hachosi gan yr ymyriad ac nid yn confounder, hawliad a wnaf fanwl gywir yn yr Atodiad Technegol ddefnyddio'r fframwaith canlyniadau posibl.

Yn ogystal â bod yn ddarlun 'n glws o fecanwaith o arbrofion, astudio Restivo a van de Rijt hefyd yn dangos y gall y logisteg o arbrofion digidol fod yn gwbl wahanol o arbrofion analog. Yn Restivo ac arbrofi van de Rijt, roedd yn hawdd i roi'r barnstar i unrhyw un yn y byd ac roedd yn hawdd i olrhain canlyniad-nifer o olygiadau-dros gyfnod estynedig o amser (oherwydd hanes golygu'r ei gofnodi yn awtomatig gan Wikipedia). Mae'r gallu i ddarparu triniaethau a mesur canlyniadau heb unrhyw gost yn ansoddol wahanol arbrofion yn y gorffennol. Er bod yr arbrawf hwn yn ymwneud 200 o bobl, gallai fod wedi bod yn rhedeg gyda 2,000 neu 20,000 o bobl. Y prif beth sy'n atal y ymchwilwyr o scaling i fyny eu harbrawf gan ffactor o 100 Nid oedd cost, roedd yn moeseg. Hynny yw, nid oedd Restivo a van de Rijt eisiau rhoi barnstars i olygyddion anhaeddiannol ac nad oeddent am eu harbrawf i amharu ar y gymuned Wikipedia (Restivo and Rijt 2012; Restivo and Rijt 2014) . Felly, er bod yr arbrawf o Restivo a van de Rijt yn gymharol syml, mae'n dangos yn glir bod rhai pethau am arbrofion wedi aros yr un fath ac mae rhai wedi newid. Yn benodol, mae'r rhesymeg sylfaenol o arbrofi yr un fath, ond mae'r logisteg wedi newid. Nesaf, er mwyn ynysu fwy eglur y cyfleoedd a grëwyd gan y newid hwn, byddaf yn cymharu'r arbrofion y gall ymchwilwyr wneud yn awr at y mathau o arbrofion sydd wedi cael eu gwneud yn y gorffennol.