4.6.1 Creu data cost newidiol sero

Yr allwedd i redeg arbrofion mawr yn gyrru eich costau newidiol i sero. Y ffyrdd gorau o wneud hyn yw awtomeiddio a dylunio arbrofion phleserus.

Gall arbrofion digidol strwythurau cost ddramatig wahanol ac mae hyn yn galluogi ymchwilwyr i redeg arbrofion nad oedd yn bosibl yn y gorffennol. Yn fwy penodol, arbrofion gyffredinol, mae dau brif fath o gostau:. Costau sefydlog a chostau newidiol costau sefydlog yn gostau nad ydynt yn newid yn dibynnu ar faint o gyfranogwyr sydd gennych. Er enghraifft, mewn arbrawf labordy, gallai costau sefydlog fod y gost o rentu gofod a phrynu dodrefn. Costau newidiol, ar y llaw arall, newid yn dibynnu ar faint o gyfranogwyr sydd gennych. Er enghraifft, mewn arbrawf labordy, gallai costau newidiol yn dod o dalu staff a chyfranogwyr. Yn gyffredinol, mae arbrofion analog yn cael costau sefydlog isel a chostau amrywiol uchel, ac arbrofion digidol costau sefydlog uchel a chostau amrywiol isel (Ffigur 4.18). Gyda dylunio priodol, gallwch yrru cost amrywiol eich arbrawf yr holl ffordd i sero, a gall hyn greu cyfleoedd ymchwil cyffrous.

Ffigur 4.18: Sgematig o strwythurau cost mewn analog a digidol arbrofion. Yn gyffredinol, mae arbrofion analog yn cael costau sefydlog isel a chostau amrywiol uchel tra bod arbrofion digidol costau sefydlog uchel a chostau amrywiol isel. Mae'r strwythurau cost gwahanol yn golygu y gall arbrofion digidol redeg ar raddfa nad yw'n bosibl gyda arbrofion analog.

Mae dwy brif elfen o gost-daliadau amrywiol i staff a thaliadau i gyfranogwyr-a gall pob un o'r rhain yn cael ei yrru i sero defnyddio strategaethau gwahanol. Taliadau i coesyn staff o'r gwaith y mae cynorthwywyr ymchwil yn recriwtio cyfranogwyr, darparu triniaethau, a mesur canlyniadau. Er enghraifft, mae'r arbrawf maes analog o Schultz a chydweithwyr (2007) ar normau cymdeithasol a defnydd o drydan cynorthwywyr ymchwil sydd ei angen i deithio i bob cartref i ddarparu'r driniaeth a darllen y mesurydd trydan (Ffigur 4.3). Mae pob ymdrech hon drwy cynorthwywyr ymchwil yn golygu y byddai ychwanegu aelwyd newydd i'r astudiaeth wedi ychwanegu at y gost. Ar y llaw arall, ar gyfer yr arbrawf maes digidol Restivo a van de Rijt (2012) ar wobrwyon yn Wicipedia, gallai ymchwilwyr ychwanegu mwy o gyfranogwyr ar bron unrhyw gost. Mae strategaeth gyffredinol ar gyfer lleihau costau gweinyddol amrywiol yw i gymryd lle gwaith dynol (sy'n ddrud) gyda gwaith cyfrifiadur (sydd yn rhad). Yn fras, gallwch ofyn i chi'ch hun: Gall arbrawf hwn redeg tra pawb ar fy nhîm ymchwil yn cysgu? Os yw'r ateb yn gadarnhaol, rydych chi wedi gwneud gwaith gwych o awtomeiddio.

Yr ail brif fath o gost newidiol yw taliadau i gyfranogwyr. Mae rhai ymchwilwyr wedi defnyddio Amazon Mecanyddol Turk a marchnadoedd llafur ar-lein eraill i ostwng y taliadau sydd eu hangen ar gyfer cyfranogwyr. I yrru costau newidiol yr holl ffordd i sero, fodd bynnag, mae angen dull gwahanol. Am gyfnod hir, mae ymchwilwyr wedi cynllunio arbrofion sy'n cael eu mor ddiflas yn rhaid iddynt dalu pobl i gymryd rhan. Ond, beth pe gallech greu arbrawf y mae pobl eisiau bod yn? Efallai bod hyn yn swnio'n bell lwytho, ond byddaf yn rhoi enghraifft i chi isod o fy ngwaith fy hun, ac mae mwy o enghreifftiau yn Nhabl 4.4. Noder bod yr ymagwedd hon at gynllunio arbrofion pleserus yn adleisio rhai o themâu ym Mhennod 3 ynghylch dylunio arolygon mwy pleserus ac ym Mhennod 5 ynglŷn â dyluniad cydweithredu torfol. Felly, credaf fod cyfranogwr mwynhad-yr hyn y gellid hefyd gael ei alw profiad y defnyddiwr-bydd yn rhan gynyddol bwysig o gynllun ymchwil yn yr oes ddigidol.

Os ydych am greu sero arbrofion costau newidiol youll 'angen i sicrhau bod popeth yn cael ei awtomataidd yn llawn ac nad yw cyfranogwyr yn angen unrhyw daliadau. Er mwyn dangos sut mae hyn yn bosibl, byddaf yn disgrifio fy ymchwil traethawd hir ar y llwyddiant a methiant o gynhyrchion diwylliannol. Mae'r enghraifft hon yn dangos hefyd nad yw sero data cost newidiol yn golygu mwy na gwneud pethau rhatach. Yn hytrach, mae'n ymwneud alluogi arbrofion na fyddai'n bosibl fel arall.

Fy nhraethawd hir ei ysgogi gan y natur dyrys o lwyddiant ar gyfer cynhyrchion diwylliannol. caneuon Hit, gwerthu llyfrau gorau, a ffilmiau mawr yn llawer, llawer mwy llwyddiannus na'r cyfartaledd. Oherwydd hyn, a elwir yn y marchnadoedd ar gyfer y cynhyrchion hyn yn aml yn "enillydd-cymryd-bawb" farchnadoedd. Eto i gyd, ar yr un pryd, a fydd cân arbennig, llyfrau, neu ffilm ddod yn llwyddiannus yn hynod anrhagweladwy. Mae'r sgriptiwr William Goldman (1989) crynhoi gain i fyny llawer o ymchwil academaidd drwy ddweud, pan ddaw i ragfynegi llwyddiant, "does neb yn gwybod unrhyw beth." Mae natur anrhagweladwy enillydd-yn cymryd-holl farchnadoedd yn gwneud i mi feddwl tybed faint o lwyddiant yn ganlyniad o ansawdd a faint yn unig lwc. Neu, mynegodd ychydig yn wahanol, pe gallem greu bydoedd cyfochrog ac yn eu cael i gyd yn esblygu yn annibynnol, byddai'r un caneuon yn dod yn boblogaidd ym mhob byd? Ac, os nad yw, efallai beth cael mecanwaith sy'n achosi gwahaniaethau hyn?

Er mwyn ateb y cwestiynau hyn, rydym yn-Peter Dodds, Duncan Watts (fy ymgynghorydd traethawd hir), ac yr wyf yn-redeg cyfres o arbrofion maes ar-lein. Yn benodol, rydym yn adeiladu gwefan o'r enw MusicLab lle gallai pobl darganfyddwch cerddoriaeth newydd, ac rydym yn ei ddefnyddio ar gyfer cyfres o arbrofion. Rydym yn recriwtio cyfranogwyr trwy redeg hysbysebion baner ar wefan teen-log (Ffigur 4.19) a thrwy sôn yn y cyfryngau. Cyfranogwyr yn cyrraedd ein gwefan a ddarperir cydsyniad deallus, cwblhau holiadur cefndir byr, ac ar hap neilltuo i un o ddylanwad dau arbrofol amodau-annibynnol a chymdeithasol. Yn y cyflwr annibynnol, a wnaed cyfranogwyr penderfyniadau ynghylch pa ganeuon i wrando, o ystyried dim ond enwau'r bandiau a'r caneuon. Wrth wrando ar gân, gofynnwyd i'r cyfranogwyr raddio ar ôl yr oedd ganddynt y cyfle (ond nid y rhwymedigaeth) i lawrlwytho'r gân. Yn y cyflwr dylanwad cymdeithasol, roedd gan y cyfranogwyr yr un profiad, ac eithrio gallent hefyd yn gweld faint o weithiau pob cân wedi cael ei lwytho i lawr gan gyfranogwyr blaenorol. Ar ben hynny, sy'n cymryd rhan yn y cyflwr dylanwad cymdeithasol eu neilltuo ar hap i un o wyth o fydoedd cyfochrog pob un a esblygodd yn annibynnol (Ffigur 4.20). Gan ddefnyddio'r cynllun hwn, cynhaliwyd dau arbrawf cysylltiedig. Yn y cyntaf, yr ydym yn eu cyflwyno cyfranogwyr y caneuon mewn grid heb eu didoli, a oedd yn rhoi eu signal gwan o boblogrwydd. Yn yr ail arbrawf, cyflwynwyd y caneuon mewn rhestr ranked, a oedd yn darparu signal llawer cryfach o boblogrwydd (Ffigur 4.21).

Ffigur 4.19: Enghraifft o ad faner bod fy nghydweithwyr a minnau a ddefnyddir i recriwtio cyfranogwyr ar gyfer yr arbrofion MusicLab (Salganik, Dodds, and Watts 2006) .

Ffigur 4.20: Dylunio Arbrofol ar gyfer yr arbrofion MusicLab (Salganik, Dodds, and Watts 2006) . Cyfranogwyr eu neilltuo ar hap i un o ddau amod: ddylanwad annibynnol a chymdeithasol. Sy'n cymryd rhan yn y cyflwr annibynnol yn gwneud eu dewisiadau heb unrhyw wybodaeth am yr hyn y mae pobl eraill wedi'i wneud. Sy'n cymryd rhan yn y cyflwr dylanwad cymdeithasol eu neilltuo ar hap i un o wyth o fydoedd cyfochrog, lle gallent weld y poblogrwydd-fel y'i mesurir gan llwytho i lawr o gyfranogwyr-of blaenorol pob cân yn eu byd, ond na allent weld unrhyw wybodaeth, ac nid oedd hyd yn oed yn gwybod am fodolaeth, unrhyw un o'r fydoedd eraill.

Canfuom fod poblogrwydd y caneuon yn wahanol ar draws y byd sy'n awgrymu rôl bwysig o lwc. Er enghraifft, mewn un byd y gân "Clo" gan 52Metro ddaeth yn 1af, ac mewn byd arall ei fod yn dod yn 40fed allan o 48 o ganeuon. Roedd hyn yn union yr un gân yn cystadlu yn erbyn holl un caneuon, ond mewn un byd ei got 'n ffodus ac yn y lleill nad oedd. Ymhellach, trwy gymharu canlyniadau ar draws y ddau arbrawf canfuom fod dylanwad cymdeithasol yn arwain at lwyddiant yn fwy anghyfartal, a oedd efallai yn creu ymddangosiad ragweld. Ond, gan edrych ar draws y byd (na ellir ei wneud y tu allan o'r math hwn o fydoedd cyfochrog arbrawf), canfuom fod dylanwad cymdeithasol mewn gwirionedd yn cynyddu natur anrhagweladwy. Ymhellach, er syndod, roedd y caneuon apelio uchaf sy'n cael y canlyniadau mwyaf anrhagweladwy (Ffigur 4.22).

Ffigur 4.21: Screenshots o'r amodau ddylanwad cymdeithasol yn yr arbrofion MusicLab (Salganik, Dodds, and Watts 2006) . Yn y dylanwad cyflwr cymdeithasol yn yr arbrawf 1, mae'r caneuon, ynghyd â nifer o downloads blaenorol, yn cael eu cyflwyno i'r cyfranogwyr trefnu mewn 16 X 3 grid hirsgwar, lle mae safleoedd y caneuon yn cael eu neilltuo ar hap ar gyfer pob cyfranogwr. Yn arbrawf 2, sy'n cymryd rhan yn y cyflwr dylanwad cymdeithasol Dangoswyd y caneuon, gyda download cyfrif, a gyflwynir mewn un golofn yn nhrefn poblogrwydd presennol ddisgynnol.

Ffigur 4.22: Canlyniadau o arbrofion MusicLab sy'n dangos y berthynas rhwng apêl a llwyddiant (Salganik, Dodds, and Watts 2006) . Yr echelin-x yn y gyfran o'r farchnad y gân yn y byd annibynnol, sy'n gwasanaethu fel mesur o apêl y gân, a'r echelin-y yn y gyfran o'r farchnad o'r un gân yn yr 8 bydoedd dylanwad cymdeithasol, sy'n gwasanaethu fel mesur o lwyddiant y caneuon. Gwelsom fod cynyddu'r dylanwad cymdeithasol bod cyfranogwyr profiadol-benodol, y newid mewn gosodiad o arbrawf 1 i arbrofi 2 (Ffigur 4.21) -caused llwyddiant i ddod yn fwy anodd eu rhagweld, yn enwedig ar gyfer y caneuon apêl uchaf.

MusicLab yn gallu rhedeg ar y bôn sero gost amrywiol oherwydd y ffordd y cafodd ei gynllunio. Yn gyntaf, roedd popeth yn awtomataidd yn llawn, felly roedd yn gallu rhedeg tra yr oeddwn yn cysgu. Yn ail, yr iawndal oedd cerddoriaeth rhad ac am ddim, felly nid oedd unrhyw gostau iawndal cyfranogwr amrywiol. Mae'r defnydd o gerddoriaeth fel iawndal hefyd yn dangos sut mae weithiau cyfaddawd rhwng costau sefydlog a chostau newidiol. Gan ddefnyddio cerddoriaeth cynyddodd y costau sefydlog oherwydd bu'n rhaid i mi dreulio amser sicrhau caniatâd gan y bandiau a pharatoi adroddiadau ar gyfer y bandiau am ymateb y cyfranogwyr ar eu cerddoriaeth. Ond, yn yr achos hwn, gan gynyddu costau sefydlog er mwyn lleihau costau newidynnau oedd y peth iawn i'w wneud; dyna beth ein galluogi i redeg arbrawf a oedd tua 100 gwaith yn fwy na'r arbrawf labordy safonol.

Ymhellach, yr arbrofion MusicLab yn dangos nad oes gan sero gost amrywiol i fod yn ddiben ynddo'i hun; yn hytrach, gall fod yn fodd i redeg math newydd o arbrawf. Sylwch nad ydym yn defnyddio ein holl gyfranogwyr i redeg yn ddylanwad cymdeithasol arbrawf labordy safonol 100 o weithiau. Yn lle hynny, rydym yn gwneud rhywbeth gwahanol, y gallech feddwl fel newid o arbrawf seicolegol i arbrawf cymdeithasegol (Hedström 2006) . Yn hytrach na chanolbwyntio ar wneud penderfyniadau unigol, rydym yn canolbwyntio ein arbrawf ar boblogrwydd, canlyniad y cyd. Mae hyn yn newid i ganlyniad cyfunol yn golygu ein bod yn gofyn i tua 700 o gyfranogwyr i gynhyrchu pwynt data sengl (roedd 700 o bobl ym mhob un o'r bydoedd cyfochrog). Y raddfa honno oedd ond yn bosibl oherwydd y strwythur cost yr arbrawf. Yn gyffredinol, os ymchwilwyr am astudio sut y mae canlyniadau cyfunol yn deillio o benderfyniadau unigol, arbrofion grŵp o'r fath fel MusicLab yn gyffrous iawn. Yn y gorffennol, maent wedi bod yn logistaidd anodd, ond yr anawsterau hynny yn pylu oherwydd y posibilrwydd o ddata cost newidiol sero.

Yn ogystal â dangos y manteision o ddata cost newidiol sero, yr arbrofion MusicLab hefyd yn dangos yn her gyda'r dull hwn: costau sefydlog uchel. Yn fy achos i, roeddwn yn hynod o lwcus i allu gweithio gyda datblygwr gwe talentog a enwir Peter Hausel am tua chwe mis i adeiladu'r arbrawf. Roedd hyn yn ond yn bosibl oherwydd fy ymgynghorydd, Duncan Watts, wedi derbyn nifer o grantiau i gefnogi math hwn o ymchwil. Technoleg wedi gwella ers i ni adeiladu MusicLab yn 2004, a byddai'n llawer haws i adeiladu arbrawf fel hyn yn awr. Ond, strategaethau cost sefydlog uchel mewn gwirionedd ond yn bosibl ar gyfer ymchwilwyr sy'n gallu rhywsut dalu'r costau hynny.

I gloi, gall arbrofion digidol strwythurau cost ddramatig yn wahanol nag arbrofion analog. Os ydych am redeg arbrofion mawr mewn gwirionedd, dylech geisio i ostwng eich costau newidiol cymaint â phosibl ac yn ddelfrydol yr holl ffordd i 0. Gallwch wneud hyn drwy awtomeiddio fecanwaith eich arbrawf (ee, gan ddisodli amser dynol gydag amser cyfrifiadurol) a dylunio arbrofion y mae pobl eisiau bod yn. Bydd ymchwilwyr sy'n gallu dylunio arbrofion gyda nodweddion hyn yn gallu rhedeg mathau newydd o arbrofion nad oedd yn bosibl yn y gorffennol.