4.2 Beth yw arbrofion?
Arbrofion rheoledig ar hap wedi pedwar prif gynhwysion: recriwtio cyfranogwyr, randomization o driniaeth, cyflenwi o driniaeth, a mesur canlyniadau.
Mae gan arbrofion dan reolaeth a reolir bedwar prif gynhwysyn: recriwtio cyfranogwyr, hapoli triniaeth, cyflwyno triniaeth, a mesur canlyniadau. Nid yw'r oes ddigidol yn newid natur sylfaenol yr arbrawf, ond mae'n ei gwneud yn haws yn rhesymegol. Er enghraifft, yn y gorffennol, gallai fod wedi bod yn anodd mesur ymddygiad miliynau o bobl, ond mae hynny'n digwydd yn rheolaidd mewn llawer o systemau digidol. Bydd ymchwilwyr sy'n gallu cyfrifo sut i harneisio'r cyfleoedd newydd hyn yn gallu cynnal arbrofion a oedd yn amhosibl o'r blaen.
Er mwyn gwneud hyn i gyd ychydig yn fwy concrid - yr hyn sydd wedi aros yr un peth a beth sydd wedi newid-gadewch i ni ystyried arbrawf gan Michael Restivo ac Arnout van de Rijt (2012) . Roeddent am ddeall effaith gwobrau anffurfiol cyfoedion ar gyfraniadau golygyddol i Wikipedia. Yn benodol, maent yn astudio effeithiau ysguboriau , dyfarniad y gall unrhyw Wikipedian ei roi i unrhyw Wicipiad arall i gydnabod gwaith caled a diwydrwydd dyladwy. Rhoddodd Restivo a van de Rijt gorseli ysgafn i 100 o wleidwyr werin. Yna, maent yn olrhain cyfraniadau'r derbynnydd i Wicipedia yn dilyn y 90 diwrnod nesaf. Yn fawr iawn i'w syndod, roedd y bobl y gwnaethon nhw ddyfarnu olygfeydd yn tueddu i wneud llai o olygiadau ar ôl derbyn un. Mewn geiriau eraill, ymddengys bod yr ysguboriau yn anymwybodol yn hytrach nag annog cyfraniad.
Yn ffodus, nid oedd Restivo a van de Rijt yn cynnal arbrawf "perturb and observe"; roeddent yn rhedeg arbrawf wedi'i hap-reoli dan reolaeth. Felly, yn ogystal â dewis 100 o gyfranwyr gorau i dderbyn sêr ysgafn, fe wnaeth nhw hefyd ddewis 100 o gyfranwyr gorau nad oeddent yn rhoi un ohonynt. Roedd y 100 yn gwasanaethu fel grŵp rheoli. Ac, yn feirniadol, pwy oedd yn y grŵp triniaeth a phwy oedd yn y grŵp rheoli a benderfynwyd ar hap.
Pan oedd Restivo a van de Rijt yn edrych ar ymddygiad pobl yn y grŵp rheoli, canfuwyd bod eu cyfraniadau yn gostwng hefyd. Ymhellach, pan gymharu Restivo a van de Rijt o bobl yn y grŵp triniaeth (hy, darnau ysgubor) i bobl yn y grŵp rheoli, canfuwyd bod pobl yn y grŵp triniaeth wedi cyfrannu tua 60% yn fwy. Mewn geiriau eraill, roedd cyfraniadau'r ddau grŵp yn twyllo, ond roedd rhai'r grŵp rheoli yn gwneud cymaint yn gyflymach.
Fel y dengys yr astudiaeth hon, mae'r grŵp rheoli mewn arbrofion yn hollbwysig mewn ffordd sydd braidd yn baradocsig. Er mwyn mesur effaith yr ysguboriau yn fanwl, roedd angen i Restivo a van de Rijt arsylwi ar bobl nad oeddent yn derbyn ysguboriau. Ambell waith, mae ymchwilwyr nad ydynt yn gyfarwydd ag arbrofion yn methu â gwerthfawrogi gwerth anhygoel y grŵp rheoli. Os nad oedd Restivo a van de Rijt wedi cael grŵp rheoli, byddent wedi tynnu'n union y casgliad anghywir. Mae grwpiau rheoli mor bwysig bod Prif Swyddog Gweithredol cwmni casino mawr wedi dweud mai dim ond tair ffordd y gall gweithwyr gael eu tanio oddi wrth ei gwmni: am ladrad, aflonyddu rhywiol, neu redeg arbrawf heb grŵp rheoli (Schrage 2011) .
Mae astudiaeth Restivo a van de Rijt yn dangos pedair prif gynhwysion arbrawf: recriwtio, hapoli, ymyrryd a chanlyniadau. Gyda'i gilydd, mae'r pedwar cynhwysyn hwn yn caniatáu i wyddonwyr symud y tu hwnt i gydberthnasau a mesur effaith achosol triniaethau. Yn benodol, mae hapoli'n golygu y bydd pobl yn y grwpiau trin a rheoli yn debyg. Mae hyn yn bwysig oherwydd ei fod yn golygu y gellir priodoli unrhyw wahaniaeth mewn canlyniadau rhwng y ddau grŵp i'r driniaeth ac nid yn gyfystyr.
Yn ogystal â bod yn ddarlun braf o fecaneg arbrofion, mae astudiaeth Restivo a van de Rijt hefyd yn dangos y gall logisteg arbrofion digidol fod yn hollol wahanol i rai arbrofion analog. Yn yr arbrawf Restivo a van de Rijt, roedd hi'n hawdd rhoi'r neb i unrhyw un, ac roedd yn hawdd olrhain canlyniad nifer yr ymadroddion dros gyfnod estynedig (gan fod Wikipedia yn cofnodi hanes golygu yn awtomatig). Mae'r gallu hwn i gyflwyno triniaethau a mesur canlyniadau ar unrhyw gost yn ansoddol yn wahanol i arbrofion yn y gorffennol. Er bod 200 o bobl yn ymwneud â'r arbrawf hwn, gallai fod wedi'i rhedeg gyda 2,000 neu hyd at 20,000 o bobl. Nid oedd y prif beth yn atal yr ymchwilwyr rhag graddio eu arbrawf gan ffactor o 100 yn gost; moeseg oedd hi. Hynny yw, nid oedd Restivo a van de Rijt am roi golygfeydd ysgubol i olygyddion heb fod yn weini, ac nid oeddent am i'w arbrawf amharu ar gymuned Wicipedia (Restivo and Rijt 2012, 2014) . Dychwelaf at rai o'r ystyriaethau moesegol a godir gan arbrofion yn ddiweddarach yn y bennod hon ac ym mhennod 6.
I gloi, mae'r arbrawf o Restivo a van de Rijt yn dangos yn glir, er nad yw rhesymeg sylfaenol yr arbrofi wedi newid, gall logisteg arbrofion digidol fod yn ddramatig wahanol. Nesaf, er mwyn amlygu'r cyfleoedd a grëwyd gan y newidiadau hyn yn fwy clir, byddaf yn cymharu'r arbrofion y gall ymchwilwyr eu gwneud nawr gyda'r mathau o arbrofion sydd wedi'u gwneud yn y gorffennol.
