4.6.1 Skep nul veranderlike koste data

Die sleutel tot die bestuur van groot eksperimente ry jou veranderlike koste aan nul. Die beste maniere om dit te doen is outomatisering en ontwerp genotvolle eksperimente.

Digitale eksperimente kan dramaties verskillende kostestrukture het en dit in staat stel om navorsers te eksperimente wat in die verlede onmoontlik was hardloop. Meer spesifiek, eksperimente het oor die algemeen twee hooftipes koste. Vaste koste en veranderlike koste Vaste koste is koste wat nie verander na gelang van hoeveel deelnemers wat jy het. Byvoorbeeld, in 'n laboratorium eksperiment, vaste koste kan die koste van die huur van die ruimte en die aankoop van meubels. Veranderlike koste, aan die ander kant, verandering, afhangende van hoeveel deelnemers wat jy het. Byvoorbeeld, in 'n laboratorium eksperiment, veranderlike koste kan kom van die betaling van personeel en deelnemers. In die algemeen, analoog eksperimente het 'n lae vaste koste en hoë veranderlike koste, en digitale eksperimente het 'n hoë vaste koste en lae veranderlike koste (Figuur 4.18). Met toepaslike ontwerp, kan jy die veranderlike koste van jou eksperiment ry al die pad na nul, en dit kan opwindende navorsing te skep.

Figuur 4.18: Skematiese van kostestrukture in analoog en digitale eksperimente. In die algemeen, analoog eksperimente het 'n lae vaste koste en hoë veranderlike koste, terwyl digitale eksperimente het 'n hoë vaste koste en lae veranderlike koste. Die verskillende kostestrukture beteken dat digitale eksperimente kan loop op 'n skaal wat nie moontlik is met analoog eksperimente.

Daar is twee hoof elemente van veranderlike koste-betalings aan personeel en betalings aan deelnemers-en elk van hierdie kan word gedryf tot nul gebruik van verskillende strategieë. Betalings aan stam personeel van die werk wat navorsingsassistente doen werwing deelnemers, die lewering van behandelings, en die meting van uitkomste. Byvoorbeeld, die analoog veld eksperiment van Schultz en kollegas (2007) op die sosiale norme en elektrisiteitsverbruik vereis navorsingsassistente 'n reis na elke huis na die behandeling te lewer en lees die elektriese meter (Figuur 4.3). Al hierdie pogings deur navorsingsassistente het beteken dat die toevoeging van 'n nuwe huishouding tot die studie vir die koste sou bygevoeg. Aan die ander kant, vir die digitale veld eksperiment van Restivo en van die Rijt (2012) op belonings in Wikipedia, navorsers kon meer deelnemers teen feitlik geen koste te voeg. 'N Algemene strategie vir die vermindering van veranderlike administratiewe koste is om menslike werk (wat duur is) met 'n rekenaar werk (wat is goedkoop) te vervang. Sowat, kan jy jouself vra: kan hierdie eksperiment uit te voer, terwyl almal op my navorsingspan slaap? As die antwoord ja is, het jy 'n groot taak van outomatisasie gedoen.

Die tweede belangrikste tipe veranderlike koste is betalings aan deelnemers. Sommige navorsers gebruik Amazon Meganiese Turk en ander aanlyn arbeidsmarkte om die betalings wat nodig is vir die deelnemers te verminder. Om veranderlike koste te ry al die pad na zero egter 'n ander benadering nodig. Vir 'n lang tyd, het navorsers ontwerp eksperimente wat so vervelig hulle moet mense betaal om deel te neem. Maar, wat as jy kan 'n eksperiment wat mense wil wees in die skep? Dit klink dalk vergesog, maar ek sal jou 'n voorbeeld hieronder gee uit my eie werk, en daar is meer voorbeelde in tabel 4.4. Let daarop dat hierdie benadering tot die ontwerp van genotvolle eksperimente eggo sommige van die temas in Hoofstuk 3 met betrekking tot die ontwerp van meer aangenaam opnames en in Hoofstuk 5 met betrekking tot die ontwerp van massa samewerking. So, ek dink dat deelnemer-genot wat dalk ook die gebruiker genoem ervaring-sal 'n belangrike deel van navorsingsontwerp in die digitale ouderdom.

As jy wil nul veranderlike koste eksperimente te skep wat jy wil hê om seker te maak dat alles ten volle outomatiese en dat deelnemers nie enige betalings vereis. Ten einde te wys hoe dit moontlik is, sal ek my verhandeling navorsing oor die sukses en mislukking van kulturele produkte te beskryf. Hierdie voorbeeld toon ook dat nul veranderlike koste data is nie net oor die doen dinge goedkoper. Inteendeel, dit is oor die aanstuur van eksperimente wat andersins nie moontlik is nie.

My verhandeling is gemotiveer deur die verwarrend aard van sukses vir kulturele produkte. Treffers, die beste verkoop boeke, en blockbuster films is baie, baie meer suksesvol as die gemiddelde. As gevolg hiervan, is die markte vir hierdie produkte dikwels genoem "wenner-neem-alles" markte. Tog, op dieselfde tyd, wat veral lied, boek, of fliek suksesvol sal wees is ongelooflik onvoorspelbaar. Die draaiboekskrywer William Goldman (1989) elegant opgesom baie akademiese navorsing deur te sê dat, wanneer dit kom by die voorspelling van sukses, "niemand iets weet." Die onvoorspelbaarheid van wenner-neem-alles markte het my laat wonder hoeveel van sukses is 'n gevolg van gehalte en hoeveel is net geluk. Of, uitgedruk effens anders as ons parallelle wêrelde kon skep en het hulle almal ontwikkel onafhanklik, sou dieselfde liedjies gewild geword in elke wêreld? En so nie, wat dalk 'n meganisme wat hierdie verskille veroorsaak word?

Ten einde hierdie vrae te beantwoord, ons-Peter Dodds, Duncan Watts (my verhandeling adviseur), en ek-het 'n reeks van online veldeksperimente. In die besonder, het ons 'n webwerf met die naam MusicLab waar mense nuwe musiek kan ontdek, en ons gebruik dit vir 'n reeks eksperimente. Ons gewerf deelnemers deur die loop banner advertensies op 'n tiener-rente webwerf (Figuur 4.19) en deur noem in die media. Deelnemers wat by ons webwerf verskaf ingeligte toestemming, voltooi 'n kort agtergrond vraelys, en is ewekansig toegewys aan een van twee eksperimentele toestande-onafhanklike en sosiale invloed. In die onafhanklike toestand, deelnemers gemaak besluite oor watter liedjies te luister, kry net die name van die bands en die liedjies. Terwyl jy luister na 'n lied, is deelnemers gevra om dit te gradeer waarna hulle die geleentheid (maar nie die verpligting) om die liedjie te laai het. In die sosiale invloed toestand, deelnemers het dieselfde ervaring as hulle ook kan sien hoeveel keer elke lied is afgelaai deur vorige deelnemers. Verder deelnemers in die sosiale invloed toestand is ewekansig toegewys aan een van agt parallelle wêrelde wat elk onafhanklik ontwikkel (Figuur 4.20). Die gebruik van hierdie ontwerp, hardloop ons twee verwante eksperimente. In die eerste, aangebied ons deelnemers die liedjies in 'n ongesorteerde rooster, wat hulle 'n swak sein van gewildheid voorsien. In die tweede eksperiment, ons het die liedjies in 'n posisie lys, wat 'n baie sterker sein van gewildheid voorsien (figuur 4.21).

Figuur 4.19: 'n Voorbeeld van banner advertensie wat ek en my kollegas wat gebruik word om deelnemers vir die MusicLab eksperimente te werf (Salganik, Dodds, and Watts 2006) .

Figuur 4.20: Eksperimentele ontwerp vir die MusicLab eksperimente (Salganik, Dodds, and Watts 2006) . Deelnemers is ewekansig toegewys in een van twee toestande: onafhanklike en sosiale invloed. Deelnemers aan die onafhanklike toestand het hul keuses sonder enige inligting oor wat ander mense gedoen het. Deelnemers aan die sosiale invloed toestand is ewekansig toegewys in een van agt parallelle wêrelde, waar hulle die gewildheid-as kon sien gemeet deur die aflaai van vorige deelnemers-van elke lied in hul wêreld, maar hulle kon nie enige inligting te sien, of het hulle selfs weet oor die bestaan ​​van enige van die ander wêrelde.

Ons het gevind dat die gewildheid van die liedjies verskil oor die wêrelde wat daarop dui 'n belangrike rol van geluk. Byvoorbeeld, in een wêreld die lied "Lockdown" deur 52Metro het in 1, en in 'n ander wêreld toe in 40 uit 48 liedjies. Dit was presies dieselfde liedjie meeding teen almal dieselfde liedjies, maar in een wêreld dit het gelukkig en in die ander dit gedoen het nie. Verdere, deur dit te vergelyk resultate oor die twee eksperimente het ons gevind dat die sosiale invloed lei tot meer ongelyke sukses, wat dalk skep die voorkoms van voorspelbaarheid. Maar, op soek regoor die wêreld (wat nie buite hierdie soort parallelle wêrelde eksperiment gedoen kan word), het ons gevind dat die sosiale invloed die onvoorspelbaarheid eintlik toegeneem. Verdere, verrassend, dit was die liedjies van hoogste appèl dat die mees onvoorspelbare uitkomste (Figuur 4.22) het.

Figuur 4.21: Screenshots van die sosiale invloed toestande in die MusicLab eksperimente (Salganik, Dodds, and Watts 2006) . In die sosiale invloed toestand eksperiment 1, die liedjies, saam met die aantal vorige downloads, is aan die deelnemers wat in 'n 16 x 3 vierkantige rooster, waar die posisies van die liedjies lukraak toegewys vir elke deelnemer. In eksperiment 2, deelnemers aan die sosiale invloed toestand gewys die liedjies, met aflaai tel, in een kolom in dalende volgorde van die huidige gewildheid.

Figuur 4.22: Resultate van die MusicLab eksperimente toon die verhouding tussen appèl en sukses (Salganik, Dodds, and Watts 2006) . Die x-as is die markaandeel van die sang in die onafhanklike wêreld, wat dien as 'n maatstaf van die appèl van die liedjie, en die y-as is die markaandeel van dieselfde lied in die 8 sosiale invloed wêrelde, wat dien as 'n maatstaf van die sukses van die liedjies. Ons het gevind dat die verhoging van die sosiale invloed wat deelnemers ervaar-spesifiek, die verandering in die uitleg van eksperiment 1 eksperimenteer 2 (Figuur 4.21) -caused sukses meer onvoorspelbaar geword, veral vir die hoogste appèl liedjies.

MusicLab kon nul veranderlike koste loop op in wese as gevolg van die manier waarop dit ontwerp is. In die eerste plek alles is ten volle outomaties, sodat dit in staat is om uit te voer, terwyl ek geslaap het. Tweedens, die vergoeding was gratis musiek so daar was geen veranderlike deelnemer vergoeding koste. Die gebruik van musiek as vergoeding illustreer ook hoe daar soms 'n kompromis tussen vaste koste en veranderlike koste. Die gebruik van musiek verhoog die vaste koste, want ek het om tyd te spandeer die beveiliging van die toestemming van die bands en voorbereiding van verslae vir die bands oor reaksie deelnemers se hul musiek. Maar, in hierdie geval, die verhoging van vaste koste om veranderlikes koste te verminder was die regte ding om te doen; dit is wat ons in staat gestel om 'n eksperiment wat ongeveer 100 keer groter as 'n standaard laboratorium eksperiment was hardloop.

Verdere, die MusicLab eksperimente toon dat nul veranderlike koste hoef nie 'n doel op sigself wees; eerder, kan dit 'n manier om die bestuur van 'n nuwe soort eksperiment wees. Let daarop dat ons nie al ons deelnemers het gebruik om 'n standaard sosiale invloed laboratorium eksperiment uit te voer 100 keer. In plaas daarvan, het ons iets anders, wat jy kon dink as die oorskakeling van 'n sielkundige eksperiment om 'n sosiologiese eksperiment (Hedström 2006) . Eerder as om te fokus op individuele besluitneming, ons fokus ons eksperiment op gewildheid, 'n gesamentlike uitkoms. Dit oorskakel na 'n gesamentlike uitkoms beteken dat ons nodig ongeveer 700 deelnemers aan 'n enkele data punt te produseer (daar was 700 mense in elk van die parallelle wêrelde). Dit skaal was slegs moontlik as gevolg van die koste struktuur van die eksperiment. In die algemeen, as navorsers wil studeer hoe kollektiewe uitkomste ontstaan ​​as gevolg van individuele besluite, groep eksperimente soos MusicLab is baie opwindend. In die verlede het hulle logisties moeilik, maar die probleme is vervaag as gevolg van die moontlikheid van nul veranderlike koste data.

Benewens illustreer die voordele van nul veranderlike koste data, die MusicLab eksperimente 'n uitdaging met hierdie benadering toon ook: 'n hoë vaste koste. In my geval, was ek baie gelukkig om in staat wees om te werk met 'n talentvolle web-ontwikkelaar met die naam Peter Hausel vir sowat ses maande na die eksperiment bou. Dit was slegs moontlik omdat my raadgewer, Duncan Watts, het 'n aantal toekennings om hierdie soort navorsing ondersteun het. Tegnologie het verbeter sedert ons MusicLab gebou in 2004, en dit sou baie makliker wees om 'n eksperiment soos dit nou bou. Maar, 'n hoë vaste koste strategieë is eintlik net moontlik vir navorsers wat een of ander manier die koste kan dek.

Ten slotte, kan digitale eksperimente dramaties verskillende kostestrukture as analoog eksperimente het. As jy wil regtig groot eksperimente uit te voer, moet jy probeer om jou veranderlike koste so veel as moontlik en verkieslik al die pad daal tot 0. Jy kan dit doen deur die outomatisering van die meganika van jou eksperiment (bv, die vervanging van menslike tyd met 'n rekenaar tyd) en die ontwerp van eksperimente wat mense wil wees in. Navorsers wat eksperimente kan ontwerp met hierdie eienskappe in staat om nuwe soorte eksperimente wat in die verlede nie moontlik was hardloop sal wees.