4.6.1 Creu data cost newidiol sero

Yr allwedd i redeg arbrofion mawr yw gyrru'ch cost newidiol i sero. Y ffyrdd gorau o wneud hyn yw awtomeiddio a dylunio arbrofion pleserus.

Gall arbrofion digidol gael strwythurau cost gwahanol yn ddramatig, ac mae hyn yn galluogi ymchwilwyr i redeg arbrofion a oedd yn amhosibl yn y gorffennol. Un ffordd o feddwl am y gwahaniaeth hwn yw nodi bod arbrofion yn gyffredinol â dau fath o gostau: costau sefydlog a chostau amrywiol. Costau sefydlog yw costau sydd heb eu newid waeth beth fo nifer y cyfranogwyr. Er enghraifft, mewn arbrawf labordy, gallai costau sefydlog gynnwys costau rhentu lle a phrynu dodrefn. Mae costau amrywiol , ar y llaw arall, yn newid yn dibynnu ar nifer y cyfranogwyr. Er enghraifft, mewn arbrawf labordy, gallai costau amrywiol ddod o staff talu a chyfranogwyr. Yn gyffredinol, mae gan arbrofion analog gostau sefydlog isel a chostau amrywiol iawn, tra bod arbrofion digidol â chostau sefydlog uchel a chostau amrywiol (ffigur 4.19). Er bod arbrofion digidol â chostau amrywiol iawn, gallwch greu llawer o gyfleoedd cyffrous pan fyddwch yn gyrru'r gost newidiol hyd at ddim.

Ffigur 4.19: Cynlluniau strwythurau cost mewn arbrofion analog a digidol. Yn gyffredinol, mae arbrofion analog â chostau sefydlog isel a chostau amrywiol iawn tra bod arbrofion digidol â chostau sefydlog uchel a chostau amrywiol iawn. Mae'r gwahanol strwythurau cost yn golygu y gall arbrofion digidol redeg ar raddfa nad yw'n bosibl gydag arbrofion analog.

Mae dau brif elfen o daliadau cost amrywiol i staff a thaliadau i gyfranogwyr - a gellir gyrru pob un o'r rhain i ddim yn defnyddio strategaethau gwahanol. Mae'r taliadau i staff yn deillio o'r gwaith y mae cynorthwywyr ymchwil yn ei recriwtio cyfranogwyr, gan ddarparu triniaethau, a mesur canlyniadau. Er enghraifft, roedd yr arbrawf maes analog o Schultz a chydweithwyr (2007) ar ddefnydd trydan yn gofyn i gynorthwywyr ymchwil deithio i bob cartref i ddarparu'r driniaeth a darllen y mesurydd trydan (ffigur 4.3). Roedd yr holl ymdrech hon gan gynorthwywyr ymchwil yn golygu y byddai ychwanegu cartref newydd i'r astudiaeth wedi ychwanegu at y gost. Ar y llaw arall, ar gyfer yr arbrawf maes digidol o Restivo a van de Rijt (2012) ar effaith dyfarniadau ar golygyddion Wicipedia, gallai ymchwilwyr ychwanegu mwy o gyfranogwyr bron heb unrhyw gost. Strategaeth gyffredinol ar gyfer lleihau costau gweinyddol amrywiol yw disodli gwaith dynol (sy'n ddrud) gyda gwaith cyfrifiadurol (sy'n rhad). Yn fras, gallwch ofyn i chi'ch hun: A all yr arbrawf hwn redeg tra bod pawb ar fy nhîm ymchwil yn cysgu? Os yw'r ateb ydy, rydych chi wedi gwneud gwaith awtomeiddio gwych.

Yr ail brif fath o gost amrywiol yw taliadau i gyfranogwyr. Mae rhai ymchwilwyr wedi defnyddio Amazon Mecanical Turk a marchnadoedd llafur ar-lein eraill i leihau'r taliadau sydd eu hangen ar gyfer cyfranogwyr. Er mwyn gyrru costau amrywiol i gyd i sero, fodd bynnag, mae angen ymagwedd wahanol. Am gyfnod hir, mae ymchwilwyr wedi dylunio arbrofion sydd mor ddiflas, rhaid iddynt dalu pobl i gymryd rhan. Ond beth os gallech chi greu arbrawf y mae pobl am fod ynddo? Efallai y bydd hyn yn swnio'n fawr, ond byddaf yn rhoi enghraifft i chi isod o'm gwaith fy hun, ac mae mwy o enghreifftiau yn nhabl 4.4. Sylwch fod y syniad hwn o ddylunio arbrofion pleserus yn adleisio rhai o'r themâu ym mhennod 3 ynglŷn â dylunio arolygon mwy pleserus ac ym mhennod 5 ynghylch dylunio cydweithredu màs. Felly, rwy'n credu y bydd mwynhad y cyfranogwr - yr hyn y gellid ei alw'n brofiad defnyddiwr hefyd - yn rhan gynyddol bwysig o ddylunio ymchwil yn yr oes ddigidol.

Os ydych chi am greu arbrofion gyda data cost di-sero, bydd angen i chi sicrhau bod popeth wedi'i awtomeiddio'n llwyr ac nad oes angen talu ar y cyfranogwyr. Er mwyn dangos sut mae hyn yn bosibl, byddaf yn disgrifio fy ymchwil traethawd hir ar lwyddiant a methiant cynhyrchion diwylliannol.

Roedd fy nhraethawd hir wedi'i ysgogi gan natur fydlyd llwyddiant cynhyrchion diwylliannol. Mae caneuon Hit, llyfrau gwerthu gorau, a ffilmiau bloc yn llawer, llawer mwy llwyddiannus na'r cyfartaledd. Oherwydd hyn, mae'r marchnadoedd ar gyfer y cynhyrchion hyn yn aml yn cael eu galw'n farchnadoedd "ennill-i-bawb". Eto, ar yr un pryd, pa gân, llyfr neu ffilm arbennig fydd yn llwyddiannus yn anhygoel o anrhagweladwy. Crëodd y sgriptwr William Goldman (1989) gryn dipyn o waith ymchwil academaidd trwy ddweud, pan ddaw i ragweld llwyddiant, "does neb yn gwybod unrhyw beth." Mae anrhagweladwy marchnadoedd sy'n ennill enillwyr yn gwneud i mi ofni pa mor llwyddiannus yw canlyniad o ansawdd a faint sydd ddim ond lwc. Neu, a fynegwyd ychydig yn wahanol, pe gallem greu bydau cyfochrog a chael pob un ohonynt yn esblygu'n annibynnol, a fyddai'r un caneuon yn dod yn boblogaidd ymhob byd? Ac, os na, beth allai fod yn fecanwaith sy'n achosi'r gwahaniaethau hyn?

Er mwyn ateb y cwestiynau hyn, yr ydym ni-Peter Dodds, Duncan Watts (fy nghynghorwr traethawd hir), ac yr wyf yn rhedeg cyfres o arbrofion maes ar-lein. Yn benodol, fe wnaethom adeiladu gwefan o'r enw MusicLab lle y gallai pobl ddarganfod cerddoriaeth newydd, ac fe'i defnyddiwyd ar gyfer cyfres o arbrofion. Fe wnaethom recriwtio cyfranogwyr trwy gynnal hysbysebion baner ar wefan ddiddordeb i bobl ifanc (ffigwr 4.20) a thrwy gyfeiriadau yn y cyfryngau. Roedd y cyfranogwyr sy'n cyrraedd ein gwefan yn darparu caniatâd gwybodus, wedi cwblhau holiadur cefndir byr, ac fe'u rhoddwyd ar hap i un o ddau o amodau arbrofol - dylanwad annibynnol a chymdeithasol. Yn y cyflwr annibynnol, gwnaeth y cyfranogwyr benderfyniadau ynghylch pa ganeuon i wrando arnynt, o ystyried enwau'r bandiau a'r caneuon yn unig. Wrth wrando ar gân, gofynnwyd i'r cyfranogwyr ei raddio ar ôl hynny cawsant y cyfle (ond nid y rhwymedigaeth) i lawrlwytho'r gân. Yn yr amod dylanwad cymdeithasol, roedd gan y cyfranogwyr yr un profiad, heblaw y gallent hefyd weld faint o weithiau y cafodd pob cân ei lawrlwytho gan gyfranogwyr blaenorol. At hynny, roedd cyfranogwyr yn y cyflwr dylanwad cymdeithasol yn cael eu neilltuo ar hap i un o wyth byd cyfochrog, a datblygodd pob un ohonynt yn annibynnol (ffigur 4.21). Gan ddefnyddio'r dyluniad hwn, gwnaethom redeg dau arbrofion cysylltiedig. Yn y cyntaf, cyflwynasom y caneuon i'r cyfranogwyr mewn grid heb ei farw, a roddodd iddynt signal wan o boblogrwydd. Yn yr ail arbrawf, cyflwynasom y caneuon mewn rhestr ranbarthol, a roddodd arwydd llawer mwy cryf o boblogrwydd (ffigur 4.22).

Ffigur 4.20: Enghraifft o ad faner y byddai fy nghydweithwyr a minnau'n arfer recriwtio cyfranogwyr ar gyfer yr arbrofion (Salganik, Dodds, and Watts 2006) . Atgynhyrchwyd gan ganiatâd Salganik (2007) , ffigwr 2.12.

Ffigwr 4.21: Dyluniad arbrofol ar gyfer yr arbrofion (Salganik, Dodds, and Watts 2006) . Rhoddwyd y cyfranogwyr ar hap i un o ddau gyflwr: dylanwad annibynnol a chymdeithasol. Gwnaeth cyfranogwyr yn y cyflwr annibynnol eu dewisiadau heb unrhyw wybodaeth am yr hyn y mae pobl eraill wedi'i wneud. Cafodd cyfranogwyr yn y cyflwr dylanwad cymdeithasol eu neilltuo ar hap i un o wyth byd cyfochrog, lle gallent weld y boblogrwydd - fel y'i mesurwyd gan lawrlwythwyr cyfranogwyr blaenorol - o bob cân yn eu byd, ond ni allent weld unrhyw wybodaeth amdanynt, ac nid oeddent hyd yn oed yn gwybod am fodolaeth unrhyw un o'r bydoedd eraill. Addaswyd o Salganik, Dodds, and Watts (2006) , ffigur s1.

Canfuom fod poblogrwydd y caneuon yn wahanol ar draws y byd, gan awgrymu bod lwc yn chwarae rhan bwysig mewn llwyddiant. Er enghraifft, mewn un byd daeth y gân "Lockdown" gan 52Metro yn y 1af allan o 48 o ganeuon, tra mewn byd arall daeth yn 40ain. Roedd hyn yn union yr un gân yn cystadlu yn erbyn yr un caneuon eraill, ond mewn un byd fe gafodd lwcus ac yn y lleill nid oedd. Ymhellach, trwy gymharu canlyniadau ar draws y ddau arbrofi, canfuom fod dylanwad cymdeithasol yn cynyddu natur enillwyr-y cyfan o'r marchnadoedd hyn, a allai awgrymu pwysigrwydd sgiliau. Ond, gan edrych ar draws y byd (na ellir ei wneud y tu allan i'r math hwn o arbrawf byd cyfochrog), canfuom fod dylanwad cymdeithasol mewn gwirionedd yn cynyddu pwysigrwydd lwc. Ymhellach, yn syndod, roedd y caneuon o'r apęl uchaf lle'r oedd y lwc yn fwyaf perthnasol (ffigur 4.23).

Ffigwr 4.22: Sgrinluniau o'r amodau dylanwad cymdeithasol yn yr arbrofion (Salganik, Dodds, and Watts 2006) . Yn yr amod dylanwad cymdeithasol yn arbrawf 1, cyflwynwyd y caneuon, ynghyd â'r nifer o lwythiadau blaenorol, i'r cyfranogwyr a drefnwyd mewn grid petryal 16 \(\times\) 3, lle cafodd swyddi'r caneuon eu neilltuo ar hap ar gyfer pob un cyfranogwr. Yn arbrawf 2, dangosodd y cyfranogwyr yn yr amod dylanwad cymdeithasol y caneuon, gyda chyfrifon lawrlwytho, wedi'u cyflwyno mewn un golofn yn nhrefn ddisgynnol poblogrwydd cyfredol.

Ffigwr 4.23: Canlyniadau o'r arbrofion MusicLab sy'n dangos y berthynas rhwng apêl a llwyddiant (Salganik, Dodds, and Watts 2006) . Y \(x\) -axis yw cyfran y farchnad o'r gân yn y byd annibynnol, sy'n gweithredu fel mesur o apêl y gân, a'r \(y\) -axis yw cyfran y farchnad o'r un gân yn yr wyth byd dylanwad cymdeithasol, sy'n gwasanaethu fel mesur o lwyddiant y caneuon. Canfuom fod cynyddu dylanwad cymdeithasol y cyfranogwyr yn benodol - y newid yn y cynllun o arbrawf 1 i arbrofi 2 (ffigur 4.22) - yn llwyddiannus iawn i fod yn fwy anrhagweladwy, yn enwedig ar gyfer y caneuon gyda'r apêl uchaf. Addaswyd o Salganik, Dodds, and Watts (2006) , ffigur 3.

Roedd MusicLab yn gallu rhedeg yn ei hanfod, cost newidiol sero oherwydd y ffordd y'i dyluniwyd. Yn gyntaf, roedd popeth wedi'i awtomeiddio'n llawn felly roedd yn gallu rhedeg tra'n i'n cysgu. Yn ail, yr iawndal oedd cerddoriaeth am ddim, felly nid oedd cost iawndal cyfranogwyr amrywiol. Mae'r defnydd o gerddoriaeth fel iawndal hefyd yn dangos sut mae yna fasnach rhwng costau sefydlog ac amrywiol. Drwy ddefnyddio cerddoriaeth gynyddodd y costau sefydlog oherwydd roedd rhaid i mi dreulio amser yn sicrhau caniatâd gan y bandiau a pharatoi adroddiadau ar eu cyfer am ymateb y cyfranogwyr i'w cerddoriaeth. Ond yn yr achos hwn, cynyddu'r costau sefydlog er mwyn lleihau costau newidynnau oedd y peth cywir i'w wneud; dyna a wnaethom ni i redeg arbrawf a oedd tua 100 gwaith yn fwy na arbrawf labordy safonol.

Ymhellach, mae'r arbrofion MusicLab yn dangos nad oes rhaid i gostau dim newidiol fod yn ben ynddo'i hun; yn hytrach, gall fod yn fodd i redeg math newydd o arbrawf. Rhybudd na wnaethom ni ddefnyddio pob un o'n cyfranogwyr i redeg arbrawf labordy dylanwad cymdeithasol safonol 100 gwaith. Yn lle hynny, gwnaethom rywbeth gwahanol, y gallech feddwl amdano fel newid o arbrawf seicolegol i un cymdeithasegol (Hedström 2006) . Yn hytrach na chanolbwyntio ar wneud penderfyniadau unigol, canolbwyntiwyd ein harbrofi ar boblogrwydd, canlyniad ar y cyd. Roedd hyn yn newid i ganlyniad ar y cyd yn golygu ein bod yn ofynnol i tua 700 o gyfranogwyr gynhyrchu un pwynt data (roedd 700 o bobl ym mhob un o'r bydoedd cyfochrog). Dim ond oherwydd strwythur cost yr arbrawf oedd y raddfa honno. Yn gyffredinol, os yw ymchwilwyr eisiau astudio sut mae canlyniadau ar y cyd yn codi o benderfyniadau unigol, mae arbrofion grŵp megis MusicLab yn gyffrous iawn. Yn y gorffennol, maent wedi bod yn anodd yn logistig, ond mae'r anawsterau hynny yn diflannu oherwydd y posibilrwydd o ddata cost di-sero.

Yn ychwanegol at ddarlunio manteision data cost newidiol sero, mae'r arbrofion MusicLab hefyd yn dangos her gyda'r dull hwn: costau sefydlog uchel. Yn fy achos i, roeddwn yn hynod lwcus i allu gweithio gyda datblygwr gwe dalentog o'r enw Peter Hausel am tua chwe mis i adeiladu'r arbrawf. Roedd hyn yn bosibl yn unig oherwydd bod fy nghynghorydd, Duncan Watts, wedi derbyn nifer o grantiau i gefnogi'r math hwn o ymchwil. Mae technoleg wedi gwella ers i ni adeiladu MusicLab yn 2004 felly byddai'n llawer haws adeiladu arbrawf fel hyn nawr. Ond, mae strategaethau cost sefydlog uchel yn wirioneddol bosibl ar gyfer ymchwilwyr a all rywsut dalu'r costau hynny.

I gloi, gall arbrofion digidol gael strwythurau cost gwahanol yn ddramatig nag arbrofion analog. Os ydych chi eisiau rhedeg arbrofion mawr iawn, dylech geisio gostwng eich cost newidiol gymaint ag y bo modd ac yn ddelfrydol, hyd yn oed i ddim. Gallwch wneud hyn trwy awtomeiddio mecanwaith eich arbrawf (ee, gan gymryd amser dynol yn lle amser cyfrifiadurol) a dylunio arbrofion y mae pobl am fod ynddynt. Gall ymchwilwyr sy'n gallu dylunio arbrofion gyda'r nodweddion hyn redeg mathau newydd o arbrofion a oedd nid yn bosibl yn y gorffennol. Fodd bynnag, gall y gallu i greu arbrofion cost newidiol sero godi cwestiynau moesegol newydd, y pwnc y byddaf yn mynd i'r afael nawr.