4.6.1 Ṣẹda odo ayípadà iye owo data

Bọtini lati ṣiṣẹ awọn igbanwo ti o tobi julọ jẹ lati ṣaṣe iye owo iyipada rẹ si kii. Awọn ọna ti o dara julọ lati ṣe eyi ni adaṣe ati ṣe apẹrẹ awọn igbadun igbadun.

Awọn igbadun ti aṣa le ni awọn ẹya iye owo ti o yatọ si oriṣiriṣi, ati eyi jẹ ki awọn oluwadi ṣiṣẹ awọn iṣawari ti ko ṣeeṣe ni igba atijọ. Ọna kan lati ronu nipa iyatọ yii ni lati ṣe akiyesi pe awọn idanwo ni gbogbo awọn iwoye meji: owo ti a ṣeto ati awọn owo iyipada. Awọn idiyele ti o wa titi jẹ owo ti ko wa ni aiyipada laiṣe nọmba ti awọn alabaṣepọ. Fun apẹẹrẹ, ninu idanwo laabu, awọn ohun elo ti o wa titi le jẹ iye owo ti aaye iyaya ati ifẹ si ohun-ọṣọ. Awọn owo iyipada , ni apa keji, iyipada ti o da lori nọmba awọn alabaṣepọ. Fun apẹẹrẹ, ninu idanwo-laabu, awọn iyipada iyipada le wa lati san awọn oṣiṣẹ ati awọn olukopa. Ni apapọ, awọn igbadun analogu ti ni iye owo ti o niyele ati awọn iye iyipada pataki, lakoko ti awọn iṣanwo oni ṣe iye owo ti o ga julọ ati awọn iye ti kii ṣe iyipada kekere (nọmba 4.19). Biotilẹjẹpe awọn iṣeduro oni-nọmba ni awọn oṣuwọn iyipada kekere, o le ṣẹda ọpọlọpọ awọn anfani atayọ nigba ti o ba ṣawari iyipada iyipada naa ni ọna gbogbo si odo.

Atọka 4.19: Ero ti awọn ẹya iye owo ni awọn iṣeduro analog ati awọn onibara. Ni apapọ, awọn adanwo analogu wa ni iye owo ti o niyele ati awọn iye iyipada nla bi o ti jẹ pe awọn iṣeduro oni-nọmba ni awọn ifilelẹ ti o ga ati iye owo iyipada kekere. Awọn ẹya ara ẹrọ iyatọ ti o tumọ si pe awọn iṣeduro onibara le ṣiṣe ni ipele ti ko ṣee ṣe pẹlu awọn adanwoṣe analog.

Awọn eroja pataki meji ti awọn iye owo-iyipada-iyipada si awọn oṣiṣẹ ati awọn sisanwo si awọn alabaṣepọ - ati pe ọkan ninu awọn wọnyi le ti lọ si odo nipa lilo awọn ọna oriṣiriṣi. Awọn sisanwo fun awọn oṣiṣẹ jẹ lati inu iṣẹ ti awọn oluranlọwọ iwadi ṣe n ṣe awin awọn olukopa, ṣiṣe awọn itọju, ati awọn idiwọn idiwọn. Fun apẹẹrẹ, igbeyewo idanimọ apẹrẹ ti Schultz ati awọn ẹlẹgbẹ (2007) lori ina mọnamọna nilo awọn oluranlọwọ iwadi lati lọ si ile kọọkan lati fi itọju naa han ati ka iwọn ina (nọmba 4.3). Gbogbo igbiyanju yii nipasẹ awọn oluranlọwọ iwadi jẹ pe fifi kun ile titun si iwadi naa yoo ti fi kun si iye owo naa. Ni ida keji, fun idanwo ti oṣe nọmba oni-nọmba ti Restivo ati van de Rijt (2012) lori ipa ti awọn oludari lori awọn olootu Wikipedia, awọn oluwadi le fi awọn alabaṣepọ diẹ kun diẹ ẹ sii ni iye diẹ. Igbesẹ gbogbogbo fun idinku awọn idiyele iyipada ayípadà jẹ lati rọpo iṣẹ eniyan (eyiti o jẹ gbowolori) pẹlu iṣẹ kọmputa (ti o jẹ kere julọ). Ni irẹwẹsi, o le beere ara rẹ pe: Njẹ eleyi le rii idaraya nigba gbogbo awọn eniyan ti o wa lori ẹgbẹ iwadi mi sùn? Ti idahun jẹ bẹẹni, o ti ṣe iṣẹ nla ti adaṣe.

Orilẹ-ede keji ti iye iyipada jẹ awọn sisan si awọn alabaṣepọ. Awọn oluwadi ti lo Amazon Mechanical Turk ati awọn iṣẹ iṣowo lori ayelujara lati dinku owo sisan ti a nilo fun awọn alabaṣepọ. Lati ṣawo awọn iyipada afefe gbogbo ọna si odo, sibẹsibẹ, a nilo ọna ti o yatọ. Fun igba pipẹ, awọn awadi ti ṣe apẹrẹ awọn igbeyewo ti o jẹ alaidun ti wọn ni lati san awọn eniyan lati kopa. Ṣugbọn kini o ba le ṣẹda idanwo kan ti awọn eniyan fẹ lati wa ni? Eyi le ṣafihan daradara, ṣugbọn emi yoo fun ọ ni apẹẹrẹ ni isalẹ lati iṣẹ ti ara mi, ati pe awọn apeere diẹ sii ni tabili 4.4. Akiyesi pe ero yii ti ṣe apejuwe awọn igbadun igbadun n ṣalaye diẹ ninu awọn akori ninu ori 3 nipa sisọ awọn iwadi ti o ni igbadun diẹ ati ni ori keji 5 nipa apẹrẹ ti ifowosowopo ifowosowopo. Bayi, Mo ro pe igbadun alabaṣepọ-ohun ti o tun le pe ni iriri olumulo-yoo jẹ ẹya pataki ti o ṣe pataki ninu aṣa iwadi ni akoko ọjọ ori.

Ti o ba fẹ ṣẹda awọn imuduro pẹlu nọmba iye owo iyipada ti kii, o nilo lati rii daju pe ohun gbogbo ti wa ni idasilẹ laifọwọyi ati pe awọn alabaṣepọ ko beere eyikeyi sisan. Lati le ṣe afihan bi o ṣe le ṣee ṣe, Mo ṣe apejuwe iwadi iwadi mi lori ilọsiwaju ati ikuna awọn ọja aṣa.

Atilẹjade igbasilẹ mi ni iwuri nipasẹ irufẹ iṣan ti aseyori fun awọn ọja asa. Lu awọn orin, awọn ọja ti o dara ju, ati awọn ere sinima ti o ni idaabobo pupọ, pupọ diẹ sii ni aṣeyọri ju apapọ. Nitori eyi, awọn ọja fun ọja wọnyi ni a npe ni awọn ọja "winner-take-all" nigbagbogbo. Sibẹ, ni akoko kanna, eyi ti orin kan, iwe, tabi fiimu yoo di aṣeyọri jẹ eyiti a ko le ṣeeṣe. Oludasile William Goldman (1989) ṣe apejuwe ọpọlọpọ awọn iwadi imọ-ẹrọ nipa sisọ pe, nigba ti o ba wa ni asọtẹlẹ aṣeyọri, "ko si ẹnikan ti o mọ ohun kan." Awọn aiṣedeede ti awọn ọja-itaja ti o gba agbara ni idiyele ti o ṣe aṣeyọri ni abajade ti didara ati bi Elo ni o kan orire. Tabi, o fi han ni ọna ti o yatọ, ti a ba le ṣẹda awọn ọrun ti o tẹle ara ati pe gbogbo wọn dagbasoke ni ominira, awọn orin kanna ni yio gbajumo ni aye kọọkan? Ati, ti ko ba ṣe bẹ, kini o le jẹ iṣeto ti o fa awọn iyatọ wọnyi?

Lati le dahun awọn ibeere wọnyi, wa-Peter Dodds, Duncan Watts (imọran igbasilẹ mi), ati awọn igbiyanju awọn igbadun aaye ayelujara lori ayelujara. Ni pato, a kọ aaye ayelujara kan ti a npe ni MusicLab nibiti awọn eniyan le ṣe awari orin titun, ati pe a lo o fun awọn onirẹri. A ṣajọ awọn olukopa nipa lilo awọn ipolowo asia lori aaye ayelujara ti awọn ọdọmọdọmọ (nọmba 4.20) ati nipasẹ awọn apejuwe ninu media. Awọn olukopa ti o de ni aaye ayelujara wa ti pese ifitonileti fun, ti pari iwe ibeere kukuru kukuru, ti a si yàn wọn laileto si ọkan ninu awọn idaniloju-ipo-idoko-ọrọ ati ihuwasi awujo. Ni ipo aladani, awọn olukopa ṣe ipinnu nipa eyi ti orin lati gbọ, ti a fun nikan awọn orukọ awọn ẹgbẹ ati awọn orin. Lakoko ti o ba gbọ orin, a beere awọn alabaṣepọ lati ṣe oṣuwọn lẹyin lẹhin eyi ti wọn ni anfani (ṣugbọn kii ṣe ọranyan) lati gba orin naa wọle. Ni ipo ihuwasi awujọ, awọn alabaṣepọ ni iriri kanna, ayafi ti wọn tun le wo igba melo ti orin kọọkan ti gba lati ayelujara nipasẹ awọn alabaṣepọ tẹlẹ. Pẹlupẹlu, awọn alabaṣepọ ni ipo iṣalaye ti a fi sọtọ laileto si ọkan ninu awọn aye mẹjọ ti o tẹle, kọọkan eyiti o wa ni ominira (nọmba 4.21). Lilo yi apẹrẹ, a ran awọn iṣeduro meji ti o ni ibatan. Ni akọkọ, a gbe awọn orin si awọn olukopa ninu akojopo ti a ko ṣe, eyi ti o fun wọn ni ifihan agbara ti iyasọtọ. Ni idanwo keji, a gbe awọn orin ni akojọ ti o wa ni ipo, eyi ti o pese apẹrẹ ti o lagbara julọ ti gbajumo (nọmba 4.22).

Nọmba 4.20: Apeere ti ipolongo asia ti awọn ẹlẹgbẹ mi ati Mo lo lati gba awọn olukopa fun awọn adanwo (Salganik, Dodds, and Watts 2006) . Tun ṣe nipasẹ igbanilaaye lati Salganik (2007) , nọmba 2.12.

Atọka 4.21: Ẹrọ idaniloju fun awọn adanwo (Salganik, Dodds, and Watts 2006) . Awọn alabaṣepọ ni a yàn sọtọ laileto si ọkan ninu awọn ipo meji: igbẹkẹle ati awujọ awujo. Awọn alabaṣepọ ni ipo aladani ṣe awọn ipinnu wọn laisi eyikeyi alaye nipa ohun ti awọn eniyan miiran ti ṣe. Awọn alabaṣepọ ni ipo iṣalaye ti a fi sọtọ laileto si ọkan ninu awọn aye ti mẹjọ mẹjọ, nibiti wọn le ri iyasọtọ-bi a ṣe wọn nipasẹ gbigba awọn alabaṣepọ ti tẹlẹ-ti orin kọọkan ni aye wọn, ṣugbọn wọn ko le ri alaye eyikeyi nipa, bẹni wọn ko ani mọ nipa aye ti, eyikeyi ti awọn miiran aye. Ti a yọ lati Salganik, Dodds, and Watts (2006) , nọmba s1.

A ri pe awọn imọran ti awọn orin yatọ laarin awọn aye, ni imọran pe orire ṣe ipa pataki ni aṣeyọri. Fun apẹẹrẹ, ninu aye kan orin ti "Lockdown" nipasẹ 52Metro wa ni 1st lati awọn 48 songs, lakoko ti o wa ni aye miiran o wa ni 40th. Eyi jẹ orin kanna ti o ni idije si gbogbo awọn orin miiran, ṣugbọn ninu aye kan o ni orire ati ninu awọn omiiran o ko. Siwaju si, nipa afiwe awọn esi kọja awọn igbeyewo meji naa, a ri pe awọn awujọ awujọ n mu ki awọn iru awọn ọja wọnyi ṣinṣin-agbara-gbogbo-ara, eyi ti o ṣe afihan pataki pataki. Ṣugbọn, n wo gbogbo awọn aye (eyi ti a ko le ṣe ni ita ti irufẹ idanwo ti aye yii), a ri pe awọn ipa awujọ ti npọ si i ṣe pataki ti orire. Pẹlupẹlu, iyalenu, o jẹ awọn orin ti igbega ti o ga julọ nibiti o ti wu julọ julọ (nọmba 4.23).

Atọka 4.22: Awọn sikirinisoti lati awọn ipo iṣowo ni awọn igbeyewo (Salganik, Dodds, and Watts 2006) . Ninu ipo iṣowo ti o ni idanwo 1, awọn orin, pẹlu nọmba awọn gbigba lati ayelujara tẹlẹ, ni a gbekalẹ si awọn olukopa ti a ṣeto sinu iwe-aaya 16 kan \(\times\) 16 \(\times\) 3 \(\times\) 3, nibiti awọn ipo ti awọn orin ti ni ipinlẹ sọtọ fun kọọkan alabaṣe. Ni idanwo 2, awọn alabaṣepọ ninu ipo igbelaruge awujọ fihan awọn orin, pẹlu awọn gbigba lati ayelujara, ti a gbekalẹ ninu iwe kan ninu ilana ti o sọkalẹ lati gbajọ lọwọlọwọ lọwọlọwọ.

Nọmba 4.23: Awọn esi lati awọn igbeyewo OrinLab ti o ṣe afihan ibasepọ laarin ẹdun ati aṣeyọri (Salganik, Dodds, and Watts 2006) . Awọn \(x\) -axis jẹ ipin-iṣowo ti orin ni orilẹ-ede ominira, eyiti o jẹ wiwọn ti ẹdun ti orin naa, ati \(y\) -axis jẹ ipin-iṣowo ti orin kanna ni awọn igbimọ ti awujọ mẹjọ, eyi ti o jẹ iwọnwọn ti aṣeyọri awọn orin. A ri pe npo awọn ipa awujọ ti awọn olukopa ti ni iriri-pataki, iyipada ti ifilelẹ lati idaduro 1 lati ṣe idanwo 2 (nọmba 4.22) -aṣeyọri aṣeyọri lati di diẹ unpredictable, paapa fun awọn orin pẹlu apẹjọ ti o ga julọ. Ti a yọ lati Salganik, Dodds, and Watts (2006) , nọmba 3.

MusicLab ni anfani lati ṣiṣe ni iye iyipada ti kii ṣe pataki nitori ti ọna ti a ṣe apẹrẹ rẹ. Ni akọkọ, ohun gbogbo ti wa ni idasilẹ laifọwọyi nitoripe o le ṣiṣe nigba ti mo n sùn. Keji, iyọọda jẹ orin ọfẹ, nitorina ko si iye owo iyọọda alabaṣe iyipada. Lilo awọn orin gẹgẹbi irapada tun n ṣe apejuwe bi o ṣe jẹ igba diẹ si iṣowo laarin awọn owo ti o wa titi ati iyipada. Lilo orin pọ si iṣiro ti o wa titi nitori pe emi ni lati lo akoko fifipamọ igbanilaaye lati awọn ẹgbẹ ati ṣiṣe awọn iroyin fun wọn nipa ifarahan awọn alabaṣepọ si orin wọn. Ṣugbọn ninu ọran yii, iye owo ti o pọ si i lati dinku iye owo oniye jẹ ohun ti o tọ lati ṣe; eyi ni ohun ti o ṣe iranlọwọ fun wa lati ṣiṣe idanwo kan ti o jẹ iwọn 100 igba tobi ju idaduro titẹ laabu lọ.

Pẹlupẹlu, awọn iṣanwo MusicLab fihan pe iye iyipada odo ko ni lati jẹ opin ni ara rẹ; dipo, o le jẹ ọna lati ṣiṣẹ iru idanwo tuntun kan. Ṣe akiyesi pe a ko lo gbogbo awọn alabaṣepọ wa lati ṣiṣe iṣanwo iṣowo ni awujọ bii iṣowo 100 igba. Dipo, a ṣe nkan ti o yatọ, eyi ti o le ronu bi yi pada lati inu idanwo imọran kan si awujọ ti awujọ (Hedström 2006) . Dipo ki a ṣe idojukọ lori ipinnu ipinnu ara ẹni, a ṣe idojukọ lori idanwo wa lori ilojọpọ, abajade akojọpọ. Yi yipada si abajade ipinnu tumọ si pe a beere fun awọn olukopa 700 lati gbe aaye data kan kan (o wa 700 eniyan ni gbogbo awọn aye ti o jọra). Iwọn yii jẹ ṣeeṣe nikan nitori idiwọn iye ti idanwo naa. Ni apapọ, ti awọn oluwadi ba fẹ lati ṣe iwadi bi awọn ipinnu ẹgbẹ ṣe waye lati ipinnu kọọkan, awọn igbimọ ẹgbẹ bi OrinLab jẹ ohun moriwu pupọ. Ni igba atijọ, wọn ti wa ni iṣoro ti iṣeduro, ṣugbọn awọn iṣoro naa ṣubu nitori idiyele ti oye iye owo iyipada odo.

Ni afikun si ṣe apejuwe awọn anfani ti awọn alaye iye owo iyipada ti kii, awọn iṣanwo MusicLab tun fi idi kan han pẹlu ọna yii: owo ti o ga julọ. Ninu ọran mi, Mo ni orirere pupọ lati ni anfani lati ṣiṣẹ pẹlu olugbese wẹẹbu ti o niyeye ti a npè ni Peter Hausel fun iwọn mefa lati ṣe iwadii naa. Eyi ṣee ṣe nikan nitori pe Onimọnran mi, Duncan Watts, ti gba awọn nọmba awọn ẹbun lati ṣe iranlọwọ fun irufẹ iwadi yii. Ọna ẹrọ ti dara si lati igba ti a kọ MusicLab ni 2004 ki o jẹ rọrun pupọ lati kọ igbadun kan bi eyi bayi. Ṣugbọn, awọn iṣeduro iye owo ti o ga julọ ni o ṣee ṣe nikan fun awọn oluwadi ti o le bori awọn owo naa.

Ni ipari, awọn iṣanwo oni ṣe le ni awọn ẹya ti o pọju ti o yatọ ju awọn iṣeduro analog. Ti o ba fẹ ṣiṣe awọn idanwo nla nla, o yẹ ki o gbiyanju lati dinku iye owo iyipada rẹ bi o ti ṣee ṣe ki o si ṣe deede gbogbo ọna si odo. O le ṣe eyi nipa ṣiṣe iṣeduro awọn iṣeduro ti idanwo rẹ (fun apẹẹrẹ, rọpo akoko eniyan pẹlu akoko kọmputa) ati ṣe apejuwe awọn imudaniloju ti awọn eniyan fẹ lati wa. Awọn oluwadi ti o le ṣe apẹrẹ awọn igbeyewo pẹlu awọn ẹya wọnyi yoo ni anfani lati ṣiṣẹ awọn iru igbadun tuntun ti o jẹ ko ṣee ṣe ni awọn ti o ti kọja. Sibẹsibẹ, agbara lati ṣẹda aiyipada iyipada awọn iṣoro le gbe awọn ibeere ibeere titun, koko ti emi yoo sọ bayi.