4.6.1 Kreiranje nula varijabilni podaci o troškovima

Ključ za pokretanje velikih eksperimenata jeste da vozite svoj varijabilni trošak na nulu. Najbolji način za to su automatizacija i dizajniranje prijatnih eksperimenata.

Digitalni eksperimenti mogu imati drastično različite troškovne strukture, a to omogućava istraživačima da pokreću eksperimente koji su u prošlosti bili nemogući. Jedan od načina razmišljanja o ovoj razlici jeste napomenuti da eksperimenti generalno imaju dva tipa troškova: fiksni troškovi i varijabilni troškovi. Fiksni troškovi su troškovi koji ostaju nepromenjeni bez obzira na broj učesnika. Na primer, u laboratorijskom eksperimentu fiksni troškovi mogu biti troškovi iznajmljivanja prostora i kupovine nameštaja. Promenljivi troškovi , s druge strane, mijenjaju se u zavisnosti od broja učesnika. Na primer, u laboratorijskom eksperimentu varijabilni troškovi mogu potražiti od plaćanja osoblja i učesnika. Generalno, analogni eksperimenti imaju niske fiksne troškove i visoke varijabilne troškove, dok digitalni eksperimenti imaju visoke fiksne troškove i niske varijabilne troškove (slika 4.19). Iako digitalni eksperimenti imaju niske varijabilne troškove, možete stvoriti puno uzbudljivih mogućnosti kada vozite varijabilno cenu sve do nule.

Slika 4.19: Šema struktura troškova u analognim i digitalnim eksperimentima. Generalno, analogni eksperimenti imaju niske fiksne troškove i visoke varijabilne troškove, dok digitalni eksperimenti imaju visoke fiksne troškove i niske varijabilne troškove. Različite troškovne strukture znače da digitalni eksperimenti mogu da rade na skali koja nije moguća kod analognih eksperimenata.

Postoje dva glavna elementa varijabilnih troškova za osoblje i isplate učesnicima - i svako od njih može se dovesti do nule koristeći različite strategije. Plaćanja osoblju proističu iz rada pomoćnika istraživača koji regrutuju učesnike, daju tretmane i mjere ishoda. Na primjer, analogni eksperiment na terenu Schultza i kolega (2007) o korištenju električne energije zahtijevao je pomoćnike istraživača da putuju u svaki dom kako bi isporučili tretman i pročitali električni metar (slika 4.3). Svi ti napori pomoćnika istraživača značili su da bi dodavanje novog domaćinstva u studiju moglo dodati trošku. S druge strane, za digitalni eksperiment na terenu kompanije Restivo i van de Rijt (2012) o uticaju nagrada na uređivače Wikipedia, istraživači bi mogli dodati više učesnika praktično bez ikakvih troškova. Opšta strategija za smanjenje varijabilnih administrativnih troškova je zamjena ljudskog rada (što je skupo) s računarskim radom (što je jeftino). Približno, možete se zapitati: Može li ovaj eksperiment potrajati dok svi u mom istraživačkom timu spavaju? Ako je odgovor da, uradili ste odličan posao automatizacije.

Druga glavna vrsta varijabilnih troškova su plaćanja učesnicima. Neki istraživači su koristili Amazon Mechanical Turk i druga online tržišta rada kako bi smanjili plaćanja koja su potrebna učesnicima. Međutim, potreban je drugačiji pristup za variranje varijabilnih troškova sve do nule. Već dugo vremena istraživači su dizajnirali eksperimente koji su toliko dosadni da moraju platiti ljude za učešće. Ali šta ako možete stvoriti eksperiment na koji ljudi žele da budu? Ovo može zvučati previše, ali ću vam dati primer ispod iz mog rada i ima više primera u tabeli 4.4. Imajte na umu da ova ideja dizajniranja prijatnih eksperimenta odražava neke od tema u poglavlju 3 u vezi sa projektovanjem prijatnijih istraživanja i u poglavlju 5 u vezi sa dizajnom masovne saradnje. Stoga, mislim da će uživanje učesnika - što bi moglo biti nazvano korisničko iskustvo - biti sve važniji dio dizajna istraživanja u digitalnom dobu.

Ako želite da kreirate eksperimente sa podacima o varijabilnim nulama, morate osigurati da je sve potpuno automatizovano i da učesnici ne zahtevaju nikakvo plaćanje. Da bih pokazao kako je to moguće, opisiću moje istraživanje disertacije o uspjehu i neuspjehu kulturnih proizvoda.

Moja disertacija je motivisana zbunjujućom prirodom uspjeha kulturnih proizvoda. Hit pesme, najprodavanije knjige i blokbaster filmovi su mnogo, mnogo uspešniji od prosjeka. Zbog ovoga, tržišta za ove proizvode se često nazivaju tržištima "dobitnik-uzimajući". Ipak, istovremeno, koja posebna pesma, knjiga ili film će postati uspešna je neverovatno nepredvidljiva. Scenarista William Goldman (1989) elegantno je sakupio mnoštvo akademskih istraživanja rekavši da kada je u pitanju predviđanje uspeha, "niko ne zna ništa". Nepredvidljivost tržišta pobednika zauzela me je pitati koliko je uspeha rezultat kvaliteta i koliko je samo sreća. Ili, izrazito malo drugačije, ako bismo mogli da kreiramo paralelne svetove i da ih sve razvijemo nezavisno, da li će iste pesme postati popularne u svakom svetu? A, ako ne, šta bi mogao biti mehanizam koji uzrokuje ove razlike?

Kako bismo odgovorili na ova pitanja, mi-Peter Dodds, Duncan Watts (moj savetnik za disertaciju), i ja sam vodio niz online eksperimenata na terenu. Konkretno, napravili smo sajt pod nazivom MusicLab, gdje su ljudi mogli otkriti novu muziku, a koristili smo ga za niz eksperimenata. Rekrutirali smo učesnike tako što smo pokrenuli reklamne oglase na web stranici tinejdžera (slika 4.20) i putem pominjanja u medijima. Učesnici koji su stigli na našu internet stranicu pružili su informiranu saglasnost, popunili kratak upitnik i bili su nasumično dodijeljeni u jedan od dva eksperimentalna stanja - nezavisnog i društvenog uticaja. U nezavisnom stanju, učesnici su doneli odluke o tome koje pesme će slušati, imajući samo imena bendova i pesama. Dok slušaju pesmu, učesnici su zamoljeni da ih ocjenjuju, nakon čega su imali priliku (ali ne i obavezu) da preuzmu pjesmu. U uslovima društvenog uticaja, učesnici su imali isto iskustvo, osim što su mogli videti i koliko puta su svaku pesmu preuzeli prethodni učesnici. Osim toga, učesnici u uslovima socijalnog uticaja bili su nasumično dodijeljeni u jedan od osam paralelnih svjetova, od kojih se svaki razvijao samostalno (slika 4.21). Koristeći ovaj dizajn, vodili smo dva srodna eksperimenta. Prvo smo predstavili pesme učesnicima u nerazvrstani mreži, što im je pokazalo slab signal popularnosti. U drugom eksperimentu, predstavili smo pesme na rangiranoj listi, koja je pružila mnogo jači signal popularnosti (slika 4.22).

Slika 4.20: Primjer reklame banera sa kojim su moje kolege i ja regrutovali učesnike za MusicLab eksperimente (Salganik, Dodds, and Watts 2006) . Reprodukovano odobrenjem Salganik (2007) , slika 2.12.

Slika 4.21: Eksperimentalni dizajn za eksperimente (Salganik, Dodds, and Watts 2006) . Učesnici su bili nasumično dodijeljeni u jedan od dva uslova: nezavisni i društveni uticaj. Učesnici u nezavisnom stanju učinili su svoj izbor bez ikakvih informacija o tome šta su drugi ljudi učinili. Učesnici u uslovima socijalnog uticaja bili su slučajno dodijeljeni u jedan od osam paralelnih svjetova, gdje su mogli vidjeti popularnost - mjerenu downloadovima prethodnih učesnika - svake pjesme u njihovom svijetu, ali nisu mogli vidjeti nikakve informacije, niti su oni čak i znaju za postojanje bilo kojeg drugog sveta. Prilagođeno iz Salganik, Dodds, and Watts (2006) , slika s1.

Utvrdili smo da se popularnost pesama razlikovala širom sveta, ukazujući na to da je sreća odigrala važnu ulogu u uspjehu. Na primer, u jednom svijetu pesma "Lockdown" od strane 52Metro je došla u 1. od 48 pjesama, dok je u drugom svijetu došla na 40. mjesto. Ovo je bila upravo ta pesma koja se takmičila protiv svih istih drugih pesama, ali u jednom svijetu imala je sreće, au drugim nije. Nadalje, poredivši rezultate u dva eksperimenta, utvrdili smo da društveni uticaj povećava prirodu ovih pijaca, što možda ukazuje na značaj veštine. Ali, posmatrajući svetove (što se ne može učiniti izvan ovakve vrste paralelnih eksperimenata), utvrdili smo da je društveni uticaj u stvari povećao značaj sreće. Dalje, iznenađujuće, pesme najviše su bile atraktivne kada je sreća bila najvažnija (slika 4.23).

Slika 4.22: Snimci ekrana iz uslova socijalnog uticaja u eksperimentima (Salganik, Dodds, and Watts 2006) . U uslovima socijalnog uticaja u eksperimentu 1, pesme su, zajedno sa brojem prethodnih preuzimanja, predstavljene učesnicima raspoređenim u pravougaonu mrežu od 16 \(\times\) 3, gde su položaji pesama slučajno dodijeljeni za svaki učesnik. U eksperimentu 2, učesnicima u uslovima društvenog uticaja prikazane su pesme, sa brojevima preuzimanja, prikazane u jednoj koloni u opadajućem redosledu aktuelne popularnosti.

Slika 4.23: Rezultati iz eksperimenata MusicLab-a koji pokazuju odnos između privlačnosti i uspeha (Salganik, Dodds, and Watts 2006) . \(x\) -axis je tržišni udeo pesme u nezavisnom svetu, koji služi kao mera apelacije pesme, a \(y\) -axis je tržišni udeo iste pesme u osam društvenih utjecajnih svjetova, koji služe kao merilo uspeha pjesama. Utvrdili smo da povećanje socijalnog uticaja koje su učesnici doživljavali - posebno, promjena u rasporedu iz eksperimenta 1 na eksperiment 2 (slika 4.22) -korišćen uspeh postao je nepredvidljiviji, posebno za pesme sa najvišim zadovoljstvom. Prilagođeno iz Salganik, Dodds, and Watts (2006) , slika 3.

MusicLab je uspeo da pokreće u suštini nultoj varijabilnoj ceni zbog načina na koji je dizajniran. Prvo, sve je bilo potpuno automatizovano, tako da je mogla da trči dok sam spavala. Drugo, kompenzacija je bila besplatna muzika, tako da nije bilo troškova kompenzacije učesnika. Korišćenje muzike kao nadoknada takođe ilustruje kako se ponekad može razlikovati između fiksnih i varijabilnih troškova. Korišćenje muzike povećalo je fiksne troškove, jer sam morao da provedem vreme obezbeđujući dozvolu iz bendova i pripremu izveštaja za njih o reakciji učesnika na njihovu muziku. Ali u ovom slučaju, povećanje fiksnih troškova kako bi se smanjili troškovi varijabli bila je ispravna stvar; to je ono što nam je omogućilo da pokrenemo eksperiment koji je bio oko 100 puta veći od standardnog laboratorijskog eksperimenta.

Dalje, eksperimenti MusicLab pokazuju da nulta varijabilna cena ne mora biti sam po sebi; već može biti sredstvo za pokretanje nove vrste eksperimenta. Obratite pažnju da nismo koristili sve naše učesnike da pokrenemo standardni laboratorijski eksperiment na društvenom uticaju 100 puta. Umesto toga, uradili smo nešto drugačije, koje biste mogli zamisliti kao prelazak sa psihološkog eksperimenta na sociološki (Hedström 2006) . Umesto fokusiranja na individualno donošenje odluka, fokusirali smo naš eksperiment na popularnost, kolektivni ishod. Ovo prelazak na kolektivni ishod znači da smo tražili oko 700 učesnika da proizvedu jedinstvenu tačku podataka (u svakom od paralelnih svetova bilo je 700 ljudi). Ta skala je bila moguća samo zbog strukture troškova eksperimenta. Generalno, ako istraživači žele da prouče kako kolektivni ishodi proizilaze iz pojedinačnih odluka, grupni eksperimenti kao što je MusicLab su veoma uzbudljivi. U prošlosti su bili logistički teški, ali te teškoće nestaju zbog mogućnosti nultih podataka o varijabilnim troškovima.

Pored toga što ilustruju prednosti podataka o promenljivim troškovima nula, eksperimenti MusicLab takođe pokazuju izazov ovim pristupom: visoki fiksni troškovi. U mom slučaju, bio sam izuzetno srećan što sam mogao da radim sa talentovanim web developerom Peterom Hauselom oko šest meseci da napravim eksperiment. Ovo je bilo moguće samo zato što je moj savjetnik, Duncan Watts, dobio niz grantova za podršku ovakvim istraživanjima. Tehnologija je poboljšana otkad smo izgradili MusicLab 2004. godine, tako da bi bilo mnogo lakše napraviti ovakav eksperiment sada. Ali, visoke strategije fiksnih troškova su stvarno moguće samo za istraživače koji na neki način mogu pokriti te troškove.

U zaključku, digitalni eksperimenti mogu imati drastično različite troškovne strukture od analognih eksperimenata. Ako želite da pokrenete stvarno velike eksperimente, pokušajte da smanjite troškove varijable što je više moguće i idealno sve do nule. To možete uraditi automatizovanjem mehanike vašeg eksperimenta (npr. Zamjenom ljudskog vremena sa računarskim vremenom) i dizajniranjem eksperimenata na koje ljudi žele biti uključeni. Istraživači koji mogu dizajnirati eksperimente sa ovim osobinama moći će pokrenuti nove vrste eksperimenata koji su bili nije moguće u prošlosti. Međutim, sposobnost stvaranja nultih eksperimenata varijabilnih troškova može pokrenuti nova etička pitanja, tema koja ću sada riješiti.