4.6.1 Kreiranje nula varijabilni podaci o troškovima

Ključ radi velikih eksperimenata je vozio svoj ​​varijabilnih troškova na nulu. Najbolji način da se to uradi su automatizacije i dizajniranje ugodan eksperimente.

Digitalni eksperimenti mogu imati drastično različite strukture troškova i to omogućava istraživačima da rade eksperimente koje je bilo nemoguće u prošlosti. Konkretnije, eksperimenti uglavnom imaju dvije osnovne vrste troškova:. Fiksni troškovi i varijabilni troškovi fiksni troškovi su troškovi koji se ne mijenjaju ovisno o tome koliko učesnici imate. Na primjer, u laboratoriju eksperiment, fiksni troškovi mogu biti troškovi zakupa prostora i kupnje namještaja. Varijabilni troškovi, s druge strane, promjene u zavisnosti od toga koliko učesnici imate. Na primjer, u laboratoriju eksperiment, varijabilni troškovi mogu doći od plaćanja osoblja i polaznika. U principu, analogni eksperimenti imaju niske fiksne troškove i visoke varijabilne troškove, a digitalni eksperimenti imaju visoke fiksne troškove i nizak varijabilnih troškova (Slika 4.18). Uz odgovarajuću dizajn, možete voziti varijabilni trošak vašeg eksperimenta sve do nule, a to može stvoriti uzbudljive mogućnosti istraživanja.

Slika 4.18: Shematski strukture troškova u analogni i digitalni eksperimente. U principu, analogni eksperimenti imaju niske fiksne troškove i visoke varijabilne troškove, dok digitalni eksperimenti imaju visoke fiksne troškove i nizak varijabilne troškove. Različite strukture troškova znači da digitalni eksperimenti može raditi na skali to nije moguće sa analognim eksperimentima.

Postoje dva glavna elementa varijabilnih troškova isplate osoblje i isplate učesnicima-i svaki od ovih može voziti na nulu koristeći različite strategije. Isplate osoblje potiču iz rada koji istraživanje asistenti ne traže učesnike, pružajući tretmane, i mjerenje ishoda. Na primjer, analogni polje eksperiment Schultz i kolege (2007) na društvene norme i korištenje električne energije potrebne istraživanja asistenata da putuju u svakom domu dostavi tretman i pročitati brojila (Slika 4.3). Sve ovo napora istraživanja asistenata značilo da dodavanjem novog domaćinstva u studiju bi dodali troškove. S druge strane, za digitalne polje eksperiment Restivo i Van de Rijt (2012) na nagrade u Wikipediji, istraživači mogli dodati više učesnika na gotovo bez ikakvih troškova. A opšta strategija za smanjenje varijabilni administrativnih troškova je zamijeniti ljudskog rada (što je skupo) sa rada na računaru (koji je jeftin). Otprilike, možete pitati sebe: da ovaj eksperiment pokrenuti dok su svi na moj istraživački tim spava? Ako je odgovor potvrdan, što si učinio veliki posao automatizacije.

Drugi glavni tip varijabilni trošak plaćanja učesnika. Neki istraživači su koristili Amazon Mechanical Turk i drugim tržištima online rada za smanjenje plaćanja koji su potrebni za učesnike. Za pogon varijabilni troškovi skroz na nulu, međutim, potreban je drugačiji pristup. Za dugo vremena, istraživači su dizajnirani eksperimenti koji su tako dosadni da moraju da plaćaju ljude da učestvuju. Ali, šta ako možete napraviti eksperiment da ljudi žele da budu u? Ovo može zvučati daleko učitani, ali ja ću vam dati primjer ispod iz mog posla, a tu su i više primjera u tabeli 4.4. Imajte na umu da ovaj pristup dizajniranju ugodnijim eksperimenata odjekuje neke od tema u poglavlju 3 o dizajniranju ugodnijim istraživanja i u Poglavlju 5 u vezi dizajna masovne suradnje. Prema tome, mislim da je učesnik uživanje-ono što bi se moglo nazvati korisničko iskustvo-će biti sve važniji dio dizajna istraživanja u digitalnom dobu.

Ako želite stvoriti nula varijabilne troškove eksperimente ćete želite kako bi se osiguralo da sve je potpuno automatizovan i da učesnici ne zahtijeva nikakve uplate. U cilju da se pokaže kako je to moguće, ja ću opisati svoje istraživanje disertaciju na uspjeh i neuspjeh kulturnih proizvoda. Ovaj primjer pokazuje da nula varijabilni podaci o troškovima nije samo radi jeftinije stvari. Umjesto toga, to je o omogućavanju eksperimenti to ne bi bilo moguće drugačije.

Moja disertacija je motivisan zbunjujuće prirode uspjeha za kulturne proizvode. Hit pjesme, najbolje prodaje knjige, i hit filmovi su mnogo, mnogo više uspješnih od prosjeka. Zbog toga, tržišta za ove proizvode često nazivaju "pobjednik-take-all" tržištima. Ipak, u isto vrijeme, što posebno pjesma, knjiga, ili film će postati uspješan je izuzetno nepredvidljiv. Scenarista William Goldman (1989) elegantno sumirao mnogo akademskih istraživanja rekavši da je, kada je riječ o predviđanju uspjeh ", niko ništa ne zna." U nepredvidivost pobjednik nosi sve tržištima me pitaju koliko uspjeha je rezultat kvaliteta i koliko je samo sreće. Ili, izrazio je malo drugačije, ako bismo mogli stvoriti paralelnim svjetovima i imaju ih sve evoluiraju samostalno, da će isti pjesme postale popularne u svakom svijetu? A, ako ne, šta bi moglo da bude mehanizam koji uzrokuje te razlike?

Da bi se odgovorilo na ova pitanja, mi-Peter Dodds, Duncan Watts (moju disertaciju savjetnik), i ja-ran niz polje eksperimenata online. Konkretno, napravili smo web stranicu pod nazivom MusicLab gde su ljudi mogli otkriti nove glazbe, i koristili smo ga za niz eksperimenata. regrutirao smo učesnici pokretanjem banner oglasa na web teen-interes (Slika 4.19) i kroz spominje u medijima. Učesnici koji dolaze na našoj web stranici pod uslovom informirani pristanak, završio kratak upitnik u pozadini, i su nasumično dodijeljen jedan od dva eksperimentalnim uslovima nezavisna i društveni uticaj. U nezavisnom stanju, učesnici su odluke o tome koje pjesme za slušanje, s obzirom samo imena bendova i pjesama. Dok slušate pjesmu, učesnici su zamoljeni da to nakon što su imali priliku (ali ne i obavezu) da preuzmete pjesmu. U stanju društveni uticaj, učesnici su imali isto iskustvo, osim mogli su vidjeti koliko puta je svaka pjesma je preuzeta od strane prethodnog učesnika. Osim toga, učesnici u stanju socijalne uticaj su nasumično dodijeljen jedan od osam paralelnih svjetova od kojih je svaki razvio nezavisno (slika 4.20). Koristeći ovaj dizajn, presjekao smo dva povezana eksperimente. U prvom, predstavili smo učesnicima pjesme u nesortirani mreže, koja im pruža slab signal popularnosti. U drugom eksperimentu, predstavili smo pjesme na rang listi, koja pruža mnogo jači signal popularnosti (Slika 4.21).

Slika 4.19: Primjer banner oglas da moje kolege i ja smo regrutuje učesnika za eksperimente MusicLab (Salganik, Dodds, and Watts 2006) .

Slika 4.20: Eksperimentalni dizajn za eksperimente MusicLab (Salganik, Dodds, and Watts 2006) . Učesnici su nasumično dodijeljen u jedan od dva uvjeta: nezavisna i društveni uticaj. Učesnici u nezavisnom stanju našli pravi izbor, bez bilo kakve informacije o tome šta drugi ljudi učinio. Učesnici u stanju socijalne uticaj su nasumično dodijeljen u jednu od osam paralelnih svjetova, gdje su mogli vidjeti popularnost-mjereno preuzimanja prethodnih učesnika-svake pjesme u njihovom svijetu, ali nisu mogli da vide nikakve informacije, niti su čak znaju o postojanju, bilo koji od drugih svetova.

Otkrili smo da je popularnost pjesme razlikovao širom svijeta ukazuje na važnu ulogu sreće. Na primjer, u jednom svijetu pjesmu "Zaključavanje" od 52Metro je u 1., a na drugom svijetu je došao u 40. od ukupno 48 pjesama. Ovo je bila potpuno ista pjesma u konkurenciji sve iste pesme, ali u jednom svijetu se posrećilo, a drugi nije. Nadalje, usporedbom rezultata preko dva eksperimenta smo otkrili da socijalni utjecaj dovodi do nejednakog uspjeha, koji možda stvara izgled predvidljivosti. Ali, gledajući preko svjetova (što se ne može učiniti izvan ove vrste paralelnih svjetova eksperimenta), utvrdili smo da je socijalni utjecaj zapravo povećava nepredvidljivost. Nadalje, iznenađujuće, to je bio pjesme najviše žalbi koje imaju najviše nepredvidive rezultate (Slika 4.22).

Slika 4.21: Screenshot od uslova društveni uticaj u eksperimentima MusicLab (Salganik, Dodds, and Watts 2006) . U stanju socijalne uticaj u eksperimentu 1, pjesme, zajedno sa brojem prethodnog preuzimanja, predstavljeni su učesnici raspoređeni u 16 X 3 pravokutnog mreže, gdje su nasumično dodijeljen položaje pjesama za svakog učesnika. U eksperimentu 2, učesnici u stanju socijalne uticaj su pokazali pjesme, uz preuzimanje tačaka, predstavljena u jednoj koloni u silaznom redoslijedu od trenutne popularnosti.

Slika 4.22: Rezultati iz eksperimenata na MusicLab pokazuje odnos između žalbe i uspjeh (Salganik, Dodds, and Watts 2006) . Na x-osi je tržišni udio od pesme u nezavisnom svijetu, koja služi kao mjera žalbe pesme, i y-osi je tržišni udio istu pesmu u 8 svjetova društveni uticaj, koji služi kao mjera uspjeha pjesme. Otkrili smo da povećanje društvenog uticaja da učesnici iskusni-konkretno, promjena u izgledu od eksperimenta 1 eksperimentirati 2 (Slika 4.21) -caused uspjeh kako bi postali više nepredvidivo, posebno za najviše žalbu pjesama.

MusicLab bio u mogućnosti da rade na osnovi nula varijabilni troškovi zbog načina na koji je osmišljen. Prvo, sve je potpuno automatizovan, tako da je u stanju da pokrene dok sam spavala. Drugo, naknada je besplatno glazbene tako da nije bilo varijabilnih troškova kompenzacije učesnika. Upotreba glazbe kao kompenzaciju također pokazuje koliko je ponekad postoji trade-off između fiksnih troškova i varijabilnih troškova. Koristeći glazbu povećao fiksni troškovi, jer sam morao provesti vrijeme dopuštenja iz bendova i priprema izvještaja za bendove oko reakcije učesnika na njihovu muziku. Ali, u ovom slučaju, povećanje fiksnih troškova kako bi se smanjili troškovi varijable bio je prava stvar; to je ono što nam je omogućilo da pokrenete eksperiment koji je bio oko 100 puta veći od standardnog laboratoriju eksperiment.

Nadalje, eksperimenti MusicLab pokazuju da je nula varijabilni trošak ne mora biti cilj sam po sebi; Umjesto toga, to može biti sredstvo da se radi novu vrstu eksperimenta. Imajte na umu da nismo koristili sve naše učesnike za pokretanje standardni društveni uticaj laboratoriju eksperiment 100 puta. Umjesto toga, da li smo nešto drugo, što se sjetiš kao prebacivanje iz psihološki eksperiment na sociološki eksperiment (Hedström 2006) . Umjesto da se fokusira na pojedinca donošenje odluka, fokusirali smo eksperiment na popularnosti, kolektivni ishod. Ovaj prekidač za kolektivnu ishod je značilo da smo potrebno oko 700 učesnika za proizvodnju jedne točke podataka (bilo je 700 ljudi u svakoj od paralelnih svjetova). To skala je bilo moguće samo zbog strukture troškova eksperimenta. U principu, ako istraživači žele da studiraju kako kolektivno ishoda proizlaze iz pojedinačnih odluka, grupa eksperimenata kao što su MusicLab su vrlo uzbudljivo. U prošlosti, oni su bili logistički teško, ali one teškoće su blijedi zbog mogućnosti nulte varijabilne podatke o troškovima.

Osim ilustriraju prednosti nula varijable podataka o troškovima, eksperimenti MusicLab pokazati i izazov u ovom pristupu: visoki fiksni troškovi. U mom slučaju, bio sam vrlo sretan da bude u mogućnosti da rade sa talentovanim web developer po imenu Peter Hausel za oko šest mjeseci za izgradnju eksperiment. To je bilo moguće samo zato što moj savjetnik, Duncan Watts, dobio je niz donacija za podršku ovoj vrsti istraživanja. Tehnologija je poboljšana, jer smo napravili MusicLab 2004. godine, a to bi bilo mnogo lakše da se izgradi eksperiment kao što je to sada. Ali, visoki fiksni strategije troškovi su zaista moguće samo za istraživače koji se nekako pokriti te troškove.

U zaključku, digitalni eksperimenti mogu imati drastično različite strukture troškova od analognih eksperimenata. Ukoliko želite da pokrenete zaista velike eksperimente, trebate pokušati smanjiti varijabilni trošak što je više moguće i idealno sve do 0. To možete učiniti automatizacijom mehanike eksperiment (npr zamjena ljudskih vremena sa vremenom računar) i dizajniranje eksperimenata da ljudi žele da budu u. Istraživači koji mogu dizajnirati eksperimente sa ovim funkcijama moći pokrenuti nove vrste eksperimenata koje nisu bile moguće u prošlosti.