4.6.1 Crearea de zero de date de costuri variabile

Cheia pentru a rula experimente mari este de a conduce costul variabil la zero. Cele mai bune moduri de a face acest lucru sunt automatizarea și proiectarea unor experimente plăcute.

Experimentele digitale pot avea dramatic diferite structuri de costuri, ceea ce le permite cercetătorilor să efectueze experimente care au fost imposibile în trecut. O modalitate de a ne gândi la această diferență constă în faptul că experimentele au în general două tipuri de costuri: costuri fixe și costuri variabile. Costurile fixe reprezintă costuri care rămân neschimbate, indiferent de numărul de participanți. De exemplu, într-un experiment de laborator, costurile fixe ar putea fi costurile de închiriere a spațiului și de cumpărare de mobilier. Costurile variabile , pe de altă parte, se modifică în funcție de numărul de participanți. De exemplu, într-un experiment de laborator, costurile variabile ar putea să vină de la plata personalului și a participanților. În general, experimentele analogice au costuri fixe scăzute și costuri variabile mari, în timp ce experimentele digitale au costuri fixe ridicate și costuri variabile scăzute (figura 4.19). Chiar dacă experimentele digitale au costuri variabile scăzute, puteți crea o mulțime de oportunități interesante când conduceți costul variabil până la zero.

Figura 4.19: Schema structurilor de cost în experimentele analogice și digitale. În general, experimentele analogice au costuri fixe scăzute și costuri variabile mari, în timp ce experimentele digitale au costuri fixe ridicate și costuri variabile scăzute. Diferitele structuri de costuri înseamnă că experimentele digitale pot funcționa la o scară care nu este posibilă cu experimentele analoage.

Există două elemente principale ale plăților variabile ale costurilor pentru angajați și plăților către participanți - și fiecare dintre acestea poate fi condus la zero folosind strategii diferite. Plățile către personal provin din activitatea pe care asistenții de cercetare le recrutează, oferind tratamente și măsurând rezultatele. De exemplu, experimentul în teren analogic al lui Schultz și al colegilor (2007) privind utilizarea energiei electrice a solicitat asistenților de cercetare să călătorească în fiecare casă pentru a livra tratamentul și a citi metrul electric (figura 4.3). Toate eforturile depuse de asistenții de cercetare au însemnat adăugarea la cost a adăugării unei gospodării noi la studiu. Pe de altă parte, pentru experimentul de câmp digital din Restivo și van de Rijt (2012) privind efectul de premii asupra editorilor Wikipedia, cercetătorii ar putea adăuga mai mulți participanți la practic fără costuri. O strategie generală pentru reducerea costurilor administrative variabile este înlocuirea muncii umane (care este scumpă) cu munca pe calculator (care este ieftină). Aproximativ, vă puteți întreba: poate acest experiment să se desfășoare în timp ce toată lumea din echipa mea de cercetare se culcă? Dacă răspunsul este da, ați făcut o treabă excelentă de automatizare.

Al doilea tip principal de cost variabil este plățile către participanți. Unii cercetători au folosit Amazon Mechanical Turk și alte piețe de muncă online pentru a reduce plățile necesare participanților. Pentru a conduce costuri variabile până la zero, cu toate acestea, este necesară o abordare diferită. Pentru o lungă perioadă de timp, cercetătorii au proiectat experimente care sunt atât de plictisitoare încât trebuie să plătească oamenilor să participe. Dar ce ar fi dacă ați putea crea un experiment în care oamenii vor să intre? Acest lucru poate suna prea mult, dar vă voi da un exemplu mai jos din propria mea lucrare și există mai multe exemple în tabelul 4.4. Rețineți că această idee de proiectare a experimentelor plăcute reamintește unele dintre temele din capitolul 3 privind proiectarea unor sondaje mai plăcute și în capitolul 5 privind proiectarea colaborării în masă. Astfel, cred că bucuria participantului - ceea ce ar putea fi numită și experiența utilizatorului - va fi o parte din ce în ce mai importantă a designului de cercetare în era digitală.

Dacă doriți să creați experimente cu date cu costuri variabile zero, va trebui să vă asigurați că totul este complet automatizat și că participanții nu necesită nicio plată. Pentru a arăta cum este posibil acest lucru, voi descrie cercetarea disertației despre succesul și eșecul produselor culturale.

Disertația mea a fost motivată de natura uimitoare a succesului pentru produsele culturale. Hit melodiile, cele mai bine vândute cărți și filmele blockbuster sunt mult, mult mai reușite decât media. Din acest motiv, piețele pentru aceste produse sunt adesea numite "câștigător-luați-toate" piețe. Cu toate acestea, în același timp, care cântec, carte sau film special va deveni de succes este incredibil de imprevizibil. Scenaristul William Goldman (1989) rezumat elegant o mulțime de cercetări academice, spunând că, atunci când vine vorba de prezicerea succesului, "nimeni nu știe nimic". Imprevizibilitatea piețelor câștigătoare a făcut să mă întreb cât de mult succes este un rezultat de calitate și cât de mult este doar noroc. Sau, exprimat puțin diferit, dacă am putea să creăm lumi paralele și să le evoluăm în mod independent, ar deveni aceleași cântece populare în fiecare lume? Și dacă nu, care ar putea fi un mecanism care provoacă aceste diferențe?

Pentru a răspunde la aceste întrebări, noi-Peter Dodds, Duncan Watts (consilierul meu de disertație) și am efectuat o serie de experimente pe teren. În special, am construit un site web numit MusicLab, unde oamenii ar putea descoperi muzică nouă și l-am folosit pentru o serie de experimente. Am recrutat participanți prin difuzarea de anunțuri bannere pe un site de interes pentru adolescenți (figura 4.20) și prin mențiuni în mass-media. Participanții care sosesc pe site-ul nostru au furnizat un consimțământ informat, au completat un chestionar de fundal scurt și au fost repartizate aleatoriu într-una din cele două condiții experimentale independente și sociale. În condiția independentă, participanții au luat decizii cu privire la ce cântece să asculte, având în vedere doar numele benzilor și pieselor. În timp ce au ascultat un cântec, participanții au fost rugați să le evalueze, după care au avut ocazia (dar nu obligația) să descarce melodia. În condiția de influență socială, participanții au avut aceeași experiență, cu excepția faptului că au putut vedea de câte ori fiecare melodie a fost descărcată de participanții anteriori. În plus, participanții la condiția de influență socială au fost repartizați aleatoriu într-una din opt lumi paralele, fiecare evoluând independent (figura 4.21). Folosind acest design, am rulat două experimente conexe. În primul rând, am prezentat cântecele participanților într-o rețea nesortată, care le-a furnizat un semnal slab de popularitate. În cel de-al doilea experiment, am prezentat piesele într-o listă clasificată, care a oferit un semnal mult mai puternic de popularitate (figura 4.22).

Figura 4.20: Un exemplu de anunț banner pe care colegii mei și cu mine am recruta participanții la experimentele MusicLab (Salganik, Dodds, and Watts 2006) . Reprodus cu permisiunea lui Salganik (2007) , figura 2.12.

Figura 4.21: Proiectarea experimentală pentru experimentele MusicLab (Salganik, Dodds, and Watts 2006) . Participanții au fost repartizați aleatoriu într-una din cele două condiții: influență socială și independentă. Participanții la condiția independentă și-au făcut alegerile fără informații despre ceea ce au făcut ceilalți. Participanții la condiția de influență socială au fost repartizați aleatoriu într-una din cele opt lumi paralele, unde au putut vedea popularitatea - măsurată prin descărcări de participanți anteriori - fiecărui cântec din lumea lor, dar nu au putut vedea nici o informație despre chiar stiti despre existenta, oricare din celelalte lumi. Adaptat de la Salganik, Dodds, and Watts (2006) , figura s1.

Am constatat că popularitatea melodiilor diferă în întreaga lume, sugerând că norocul a jucat un rol important în succes. De exemplu, într-o singură lume piesa "Lockdown" de 52Metro a venit în primul din 48 de melodii, în timp ce într-o altă lume a ajuns pe locul 40. Acesta a fost exact același cântec care concurează împotriva tuturor acelorași alte cântece, dar într-o singură lume a avut noroc și în celelalte nu a făcut-o. Mai mult, prin compararea rezultatelor din cele două experimente, am constatat că influența socială mărește caracterul câștigător al tuturor acestor piețe, ceea ce sugerează probabil importanța calificărilor. Dar, privind în întreaga lume (care nu se poate face în afara acestui experiment de lumi paralele), am constatat că influența socială a sporit importanța norocului. Mai mult, în mod surprinzător, au fost cântecele celui mai înalt căutător în care a avut cel mai mult succes (figura 4.23).

Figura 4.22: Imagini de la condițiile de influență socială din experimentele MusicLab (Salganik, Dodds, and Watts 2006) . În condiția de influență socială din experimentul 1, cântecele, împreună cu numărul de descărcări anterioare, au fost prezentate participanților aranjați într-o rețea dreptunghiulară de 16 \(\times\) 3, unde pozițiile cântecelor au fost repartizate aleatoriu pentru fiecare participant. În experimentul 2, participanții la condiția de influență socială au fost difuzate melodiile, cu numerele de descărcări, prezentate într-o coloană în ordinea descrescătoare a popularității actuale.

Figura 4.23: Rezultatele experimentelor MusicLab care arată relația dintre recurs și succes (Salganik, Dodds, and Watts 2006) . Acțiunea \(x\) este cota de piață a cântecului în lumea independentă, care servește ca măsură a recursului cântecului, iar \(y\) -axisul este cota de piață a aceluiași cântec în cele opt lumi sociale de influenta, care serveste ca o masura a succesului melodiilor. Am constatat că sporirea influenței sociale pe care au avut-o participanții - în mod special, schimbarea structurii de la experimentul 1 la experimentul 2 (figura 4.22) - a determinat succesul să devină mai imprevizibil, în special pentru piesele cu cel mai înalt apăsare. Adaptat de la Salganik, Dodds, and Watts (2006) , figura 3.

MusicLab a reușit să ruleze la un cost variabil în esență zero, din cauza modului în care a fost proiectat. În primul rând, totul a fost pe deplin automatizat, astfel încât a reușit să alerge în timp ce dormeam. În al doilea rând, compensația a fost gratuită, astfel încât nu a existat un cost variabil al participanților la compensare. Utilizarea muzicii ca compensație ilustrează de asemenea cum există uneori un compromis între costurile fixe și cele variabile. Folosirea muzicii a sporit costurile fixe deoarece am avut de-a face cu timpul să-i asigur permisiunea de la trupe și să le pregătesc rapoarte despre reacția participanților la muzica lor. Dar, în acest caz, creșterea costurilor fixe pentru a scădea costurile variabilelor a fost un lucru bun pentru a face; asta ne-a permis să executăm un experiment care a fost de aproximativ 100 de ori mai mare decât un experiment standard de laborator.

În plus, experimentele MusicLab arată că costul zero variabil nu trebuie să fie un scop în sine; mai degrabă, poate fi un mijloc de a conduce un nou tip de experiment. Observați că nu am folosit toți participanții noștri pentru a rula un experiment de laborator de influență socială de 100 de ori. În schimb, am făcut ceva diferit, pe care l-ați putea gândi ca trecând de la un experiment psihologic la unul sociologic (Hedström 2006) . Mai degrabă decât să ne concentrăm asupra procesului decizional individual, ne-am concentrat experimentul asupra popularității, un rezultat colectiv. Această trecere la un rezultat colectiv a însemnat că am cerut ca aproximativ 700 de participanți să producă un singur punct de date (în fiecare dintre lumile paralele erau 700 de persoane). Această scară a fost posibilă numai datorită structurii costului experimentului. În general, dacă cercetătorii doresc să studieze cum rezultă rezultatele colective din deciziile individuale, experimentele de grup precum MusicLab sunt foarte interesante. În trecut, ele au fost dificil din punct de vedere logistic, dar aceste dificultăți se estompează datorită posibilității datei zero a costului variabil.

În plus, pentru a ilustra beneficiile datelor privind costul variabil zero, experimentele MusicLab arată, de asemenea, o provocare cu această abordare: costuri fixe ridicate. În cazul meu, am fost extrem de norocos să pot lucra cu un dezvoltator de web talentat pe nume Peter Hausel timp de aproximativ șase luni pentru a construi experimentul. Acest lucru a fost posibil numai pentru că consilierul meu, Duncan Watts, a primit o serie de granturi pentru a susține acest tip de cercetare. Tehnologia sa îmbunătățit de când am construit MusicLab în 2004, așa că ar fi mult mai ușor să construim un experiment ca acesta acum. Dar strategiile cu costuri fixe ridicate sunt într-adevăr posibile doar pentru cercetătorii care pot acoperi cumva aceste costuri.

În concluzie, experimentele digitale pot avea dramatic diferite structuri de cost decât experimentele analogice. Dacă doriți să executați experimente foarte mari, ar trebui să încercați să micșorați costul variabil cât mai mult posibil și, în mod ideal, până la zero. Puteți face acest lucru prin automatizarea mecanicii experimentului dvs. (de exemplu, înlocuirea timpului uman cu timpul calculatorului) și proiectarea de experimente pe care oamenii doresc să fie în. Cercetătorii care pot proiecta experimente cu aceste caracteristici vor putea să ruleze noi tipuri de experimente care au fost nu este posibil în trecut. Cu toate acestea, capacitatea de a crea experimente zero cu cost variabil poate ridica noi întrebări etice, subiectul pe care îl voi aborda acum.