4.6.1 Skep nul veranderlike koste data

Die sleutel tot die uitvoer van groot eksperimente is om jou veranderlike koste na nul te bestuur. Die beste maniere om dit te doen, is outomatisering en die ontwerp van genotvolle eksperimente.

Digitale eksperimente kan dramaties verskillende kostestrukture hê, en dit stel navorsers in staat om eksperimente uit te voer wat onmoontlik was in die verlede. Een manier om oor hierdie verskil te dink, is om daarop te let dat eksperimente oor die algemeen twee tipes koste het: vaste koste en veranderlike koste. Vaste koste is koste wat onveranderd bly ongeag die aantal deelnemers. Byvoorbeeld, in 'n laboratorium-eksperiment kan vaste koste die koste wees om huur te huur en meubels te koop. Veranderlike koste , aan die ander kant, verander afhangende van die aantal deelnemers. Byvoorbeeld, in 'n laboratorium-eksperiment kan veranderlike koste van betaalpersoneel en deelnemers kom. Oor die algemeen het analoog eksperimente lae vaste koste en hoë veranderlike koste, terwyl digitale eksperimente hoë vaste koste en lae veranderlike koste het (figuur 4.19). Alhoewel digitale eksperimente lae veranderlike koste het, kan jy baie opwindende geleenthede skep as jy die veranderlike koste heeltemal na nul dryf.

Figuur 4.19: Skematiese van kostestrukture in analoog- en digitale eksperimente. Oor die algemeen het analoog eksperimente lae vaste koste en hoë veranderlike koste, terwyl digitale eksperimente hoë vaste koste en lae veranderlike koste het. Die verskillende kostestrukture beteken dat digitale eksperimente op 'n skaal kan hardloop wat nie met analoog eksperimente moontlik is nie.

Daar is twee hoofelemente van veranderlike kostebetalings aan personeel en betalings aan deelnemers - en elk van hierdie kan na nul gedryf word deur verskillende strategieë te gebruik. Betalings aan personeel berus op die werk wat navorsingsassistente deelnemers werf, behandelings lewer, en uitkomste meet. Byvoorbeeld, die analoogveldeksperiment van Schultz en kollegas (2007) oor elektrisiteitsverbruik het navorsingsassistente vereis om na elke huis te reis om die behandeling te lewer en die elektriese meter te lees (figuur 4.3). Al hierdie poging deur navorsingsassistente het beteken dat die toevoeging van 'n nuwe huishouding tot die studie tot die koste sou bydra. Aan die ander kant, vir die digitale veldeksperiment van Restivo en van de Rijt (2012) oor die uitwerking van toekennings op Wikipedia-redakteurs, kon navorsers meer deelnemers bykans gratis byvoeg. 'N Algemene strategie vir die vermindering van veranderlike administratiewe koste is om menslike werk (wat duur is) te vervang met rekenaarwerk (wat goedkoop is). Sowat kan jy jouself afvra: Kan hierdie eksperiment loop terwyl almal op my navorsingspan slaap? As die antwoord ja is, het jy 'n goeie werk van outomatisering gedoen.

Die tweede hoof tipe veranderlike koste is betalings aan deelnemers. Sommige navorsers het Amazon Mechanical Turk en ander aanlyn arbeidsmarkte gebruik om die betalings wat vir deelnemers nodig is, te verminder. Om veranderlike koste al na nul te bestuur, is egter 'n ander benadering nodig. Vir baie jare het navorsers eksperimente ontwerp wat so vervelig is dat hulle mense moet betaal om deel te neem. Maar wat as jy 'n eksperiment kan skep waarvoor mense wil wees? Dit mag dalk vergesog wees, maar ek sal jou 'n voorbeeld hieronder van my eie werk gee, en daar is nog voorbeelde in tabel 4.4. Let daarop dat hierdie idee van die ontwerp van genotvolle eksperimente sommige van die temas in hoofstuk 3 uitbeeld oor die ontwerp van meer aangename opnames en in hoofstuk 5 oor die ontwerp van massamewerking. So, ek dink dat die deelnemende genot - wat ook gebruikerservaring genoem kan word - sal 'n toenemend belangrike deel van navorsingsontwerp in die digitale era wees.

As jy eksperimente wil skep met geen veranderlike koste data, moet jy seker maak dat alles volledig outomaties is en dat deelnemers nie enige betaling benodig nie. Om te wys hoe dit moontlik is, sal ek my proefskrifnavorsing beskryf oor die sukses en mislukking van kultuurprodukte.

My verhandeling is gemotiveer deur die raaiselagtige aard van sukses vir kulturele produkte. Slaan liedjies, beste verkoop boeke, en flitsende flieks is baie, veel meer suksesvol as die gemiddelde. As gevolg hiervan word die markte vir hierdie produkte dikwels "wenner-neem-almal" -markte genoem. Tog, terselfdertyd, watter spesifieke liedjie, boek of fliek sal suksesvol word, is ongelooflik onvoorspelbaar. Die draaiboekskrywer William Goldman (1989) het baie akademiese navorsing baie sinvol opgesom deur te sê dat, wanneer dit kom by die voorspelling van sukses, "niemand weet enigiets nie." Die onvoorspelbaarheid van wenner-alle-markte het my laat wonder hoeveel sukses daaruit is van gehalte en hoeveel is net geluk. Of, anders gestel, as ons parallelle wêrelde kan skep en almal onafhanklik kan ontwikkel, sal dieselfde liedjies gewild word in elke wêreld? En, indien nie, wat kan 'n meganisme wees wat hierdie verskille veroorsaak?

Om hierdie vrae te beantwoord, het ons-Peter Dodds, Duncan Watts (my proefskrifadviseur) en ek 'n reeks aanlynveldeksperimente geloods. In die besonder het ons 'n webwerf genaamd MusicLab gebou waar mense nuwe musiek kon ontdek, en ons het dit gebruik vir 'n reeks eksperimente. Ons het deelnemers gewerf deur banner advertensies op 'n tienerbelangwebwerf te gebruik (figuur 4.20) en deur middel van berigte in die media. Deelnemers wat op ons webwerf aangekom het, het ingeligte toestemming verskaf, 'n kort agtergrondvraelys voltooi, en willekeurig toegeken aan een van twee eksperimentele toestande-onafhanklike en sosiale invloed. In die onafhanklike toestand het deelnemers besluite geneem oor watter liedjies om te luister, net die name van die bands en die liedjies gegee. Terwyl jy na 'n liedjie luister, is deelnemers gevra om dit te evalueer waarna hulle die geleentheid gehad het (maar nie die verpligting nie) om die liedjie af te laai. In die sosiale invloedstoestand het deelnemers dieselfde ondervinding gehad, behalwe dat hulle ook kon sien hoe dikwels elke liedjie deur vorige deelnemers afgelaai is. Verder is deelnemers aan die sosiale invloedstoestand willekeurig toegeken aan een van agt parallelle wêrelde, wat elk onafhanklik ontwikkel het (figuur 4.21). Met hierdie ontwerp het ons twee verwante eksperimente uitgevoer. In die eerste plek het ons die liedjies aan die deelnemers aangebied in 'n ongesorteerde rooster, wat hulle 'n swak sein van gewildheid gegee het. In die tweede eksperiment het ons die liedjies in 'n ranglys aangebied, wat 'n sterker sein van gewildheid gegee het (figuur 4.22).

Figuur 4.20: 'n Voorbeeld van banner advertensie wat my kollegas en ek gebruik het om deelnemers te werf vir die MusicLab-eksperimente (Salganik, Dodds, and Watts 2006) . Herproduseer met toestemming van Salganik (2007) , figuur 2.12.

Figuur 4.21: Eksperimentele ontwerp vir die MusicLab-eksperimente (Salganik, Dodds, and Watts 2006) . Deelnemers is willekeurig toegewys aan een van twee toestande: onafhanklike en sosiale invloed. Deelnemers in die onafhanklike toestand het hul keuses gemaak sonder enige inligting oor wat ander mense gedoen het. Deelnemers in die sosiale invloedstoestand is ewekansig toegewys aan een van agt parallelle wêrelde, waar hulle die gewildheid kan sien - soos gemeet deur downloads van vorige deelnemers - van elke lied in hul wêreld, maar hulle kon geen inligting sien nie, en het ook nie weet selfs van die bestaan ​​van enige van die ander wêrelde. Aangepas uit Salganik, Dodds, and Watts (2006) , figuur s1.

Ons het gevind dat die gewildheid van die liedjies oor die wêrelde verskil het, wat daarop dui dat geluk 'n belangrike rol in sukses gespeel het. Byvoorbeeld, in een wêreld het die liedjie "Lockdown" deur 52Metro in 1ste uit 48 liedjies gekom, terwyl dit in 40ste in 'n ander wêreld gekom het. Dit was presies dieselfde liedjie wat teen al die ander liedjies kompeteer, maar in een wêreld het dit gelukkig geword en in die ander het dit nie. Deur resultate in die twee eksperimente te vergelyk, het ons bevind dat sosiale invloed die wenner-neem-alle-aard van hierdie markte verhoog, wat moontlik die belangrikheid van vaardigheid voorstel. Maar, oor die wêrelde (wat nie buite hierdie soort parallelle wêreldseksperiment gedoen kan word nie), het ons bevind dat sosiale invloed eintlik die belangrikheid van geluk verhoog het. Verder, verrassend, was dit die liedjies van die hoogste appèl waar geluk die meeste aangaan (figuur 4.23).

Figuur 4.22: Screenshots van die sosiale invloedstoestande in die MusicLab-eksperimente (Salganik, Dodds, and Watts 2006) . In die sosiale invloedstoestand in eksperiment 1 is die liedjies, tesame met die aantal vorige aflaaie, aan die deelnemers wat in 'n 16 \(\times\) 3 reghoekige rooster gereël is, aangebied, waar die posisies van die liedjies lukraak vir elkeen toegeken is deelnemer. In eksperiment 2 is deelnemers in die sosiale invloedstoestand gewys die liedjies, met aflaaitellings, word in een kolom in dalende volgorde van huidige gewildheid aangebied.

Figuur 4.23: Resultate van die MusicLab-eksperimente wat die verhouding tussen appèl en sukses toon (Salganik, Dodds, and Watts 2006) . Die \(x\) -axis is die markaandeel van die liedjie in die onafhanklike wêreld, wat dien as 'n mate van die appèl van die liedjie, en die \(y\) -axis is die markaandeel van dieselfde liedjie in die agt sosiale invloed wêrelde, wat dien as 'n mate van die sukses van die liedjies. Ons het bevind dat die sosiale invloed wat deelnemers ervaar het, spesifiek toegeneem het, spesifiek die verandering in uitleg van eksperiment 1 na eksperiment 2 (figuur 4.22). Dit het sukses behaal om meer onvoorspelbaar te word, veral vir die liedjies met die hoogste appèl. Aangepas uit Salganik, Dodds, and Watts (2006) , figuur 3.

MusicLab kon teen wesenlike veranderlike koste hardloop as gevolg van die manier waarop dit ontwerp is. Eerstens was alles vol outomaties sodat dit kon loop terwyl ek geslaap het. Tweedens, die vergoeding was gratis musiek, so daar was geen veranderlike deelnemer vergoedingskoste nie. Die gebruik van musiek as vergoeding illustreer ook hoe daar soms 'n afweging is tussen vaste en veranderlike koste. Die gebruik van musiek het die vaste koste verhoog omdat ek tyd moes spandeer om toestemming van die groepe te verkry en verslae vir hulle op te stel oor die deelnemers se reaksie op hul musiek. Maar in hierdie geval was die verhoging van vaste koste om die veranderlikes te verminder, die regte ding om te doen; Dit het ons in staat gestel om 'n eksperiment uit te voer wat ongeveer 100 keer groter was as 'n standaard laboratoriumeksperiment.

Verder toon die MusicLab-eksperimente dat nul veranderlike koste nie op sigself 'n doel moet wees nie; Dit kan eerder 'n manier wees om 'n nuwe soort eksperiment te bestuur. Let daarop dat ons nie al ons deelnemers al 100 keer 'n standaard sosiale invloed lab-eksperiment gebruik het nie. In plaas daarvan het ons iets anders gedoen, wat u kan dink van die oorgang van 'n sielkundige eksperiment na 'n sosiologiese een (Hedström 2006) . Eerder as om op individuele besluitneming te fokus, het ons ons eksperiment op gewildheid, 'n kollektiewe uitkoms gefokus. Hierdie omskakeling na 'n kollektiewe uitkoms het beteken dat ons ongeveer 700 deelnemers nodig gehad het om 'n enkele data punt te produseer (daar was 700 mense in elk van die parallelle wêrelde). Die skaal was slegs moontlik as gevolg van die kostestruktuur van die eksperiment. Oor die algemeen, as navorsers wil studeer hoe kollektiewe uitkomste voortspruit uit individuele besluite, is groep eksperimente soos MusicLab baie opwindend. In die verlede was hulle logisties moeilik, maar die probleme verdwyn weens die moontlikheid van nul veranderlike koste data.

Benewens die voordele van nul veranderlike koste data, toon die MusicLab-eksperimente ook 'n uitdaging met hierdie benadering: hoë vaste koste. In my geval was ek baie gelukkig om vir ongeveer ses maande met 'n talentvolle webontwikkelaar, genaamd Peter Hausel, saam te werk om die eksperiment op te stel. Dit was slegs moontlik omdat my adviseur, Duncan Watts, 'n aantal toelaes ontvang het om hierdie soort navorsing te ondersteun. Tegnologie het verbeter sedert ons MusicLab in 2004 gebou het, dus dit sal baie makliker wees om nou so 'n eksperiment te bou. Maar, hoë vaste koste strategieë is regtig net moontlik vir navorsers wat die een of ander manier kan dek.

Ten slotte kan digitale eksperimente dramaties verskillende kostestrukture hê as analoog eksperimente. As jy regtig groot eksperimente wil hardloop, moet jy probeer om jou veranderlike koste soveel as moontlik te verminder en ideaal al helemaal na nul. U kan dit doen deur die meganika van u eksperiment te automatiseer (bv. Die vervanging van menslike tyd met rekenaartyd) en die ontwerp van eksperimente waarmee mense wil wees. Navorsers wat eksperimente met hierdie kenmerke kan ontwerp, sal nuwe soorte eksperimente kan uitvoer wat nie moontlik in die verlede nie. Die vermoë om nul veranderlike koste-eksperimente te skep, kan egter nuwe etiese vrae opduik, die onderwerp wat ek nou sal aanspreek.