4.6.1 Ustvarjanje nič variabilne podatke o stroških

Ključ za tekoče velikih poskusih je vožnja svoje spremenljive stroške na nič. Najboljši način, da to storijo, so avtomatizacija in oblikovanje prijetne poskusov.

Digitalni poskusi imajo lahko bistveno različne stroškovne strukture, kar omogoča raziskovalcem, da poskuse, ki so bile nemogoče v preteklosti. Natančneje, poskusi na splošno dve vrsti stroškov:. Fiksne stroške in spremenljive stroške Fiksni stroški so stroški, ki se ne spreminjajo, odvisno od tega, koliko udeležencev imate. Na primer, v laboratorijskem poskusu, bi fiksni stroški so stroški najema prostora in nakupu pohištva. Spremenljivih stroškov, na drugi strani, sprememba, odvisno od tega, koliko udeležencev imate. Na primer, v laboratorijskem poskusu, lahko spremenljivi stroški izhajajo iz plačevanja zaposlenih in udeležencev. Na splošno velja, analogni poskusi imajo nizke fiksne stroške in visoke variabilne stroške, in digitalne poskusi imajo visoke fiksne stroške in nizke variabilne stroške (Slika 4.18). Z ustreznim načrtovanjem, lahko vozite spremenljive stroške preizkusa vse do nič, to pa lahko ustvari zanimive raziskovalne možnosti.

Slika 4.18: Shematski prikaz strukture stroškov v analogni in digitalni poskusov. Na splošno velja, analogni poskusi imajo nizke fiksne stroške in visoke variabilne stroške, ker imajo digitalni poskusi visoke fiksne stroške in nizke variabilne stroške. Različne stroškovne strukture pomeni, da lahko digitalne poskusi vodijo na lestvici, ki je ni mogoče z analognimi eksperimentov.

Obstajata dva glavna elementa variabilnih stroških in plačilih za osebje in plačil udeležencem in vsak od njih mogoče voziti na ničlo z uporabo različnih strategij. Plačila osebju izhajajo iz dela, ki raziskovalni pomočniki ne zaposli udeležencev, zagotavljanje zdravljenja in merjenje rezultatov. Na primer, analogni polje poskus Schultz in sodelavci (2007) o socialnih norm in uporabe električne energije, potrebna za raziskave pomočniki za potovanje v vsak dom za zagotavljanje zdravljenja in preberite električni števec (Slika 4.3). Vse to prizadevanje raziskovalnih pomočnikov pomenilo, da bi dodal novo gospodinjstvo na študijo, dodali stroškom. Po drugi strani pa je za digitalno terenu eksperiment Restivo in van de Rijt (2012) za nagrade v Wikipediji, lahko raziskovalci dodati več udeležencev na praktično brez stroškov. Splošna strategija za zmanjšanje spremenljivih upravnih stroškov je nadomestiti človeškega dela (ki je drag) z računalniškim delom (ki je poceni). V grobem lahko se vprašajte: ali lahko ta poskus teči, ko so vsi na moji raziskovalne skupine spi? Če je odgovor pritrdilen, ste naredili veliko delo za avtomatizacijo.

Druga glavna vrsta variabilnih stroškov je plačili udeležencem. Nekateri raziskovalci so uporabili Amazon Mechanical Turk in druge trge spletu dela za zmanjšanje plačil, ki so potrebni za udeležence. Za vožnjo variabilni stroški vse do ničle, vendar pa je potreben drugačen pristop. Za dolgo časa, so raziskovalci zasnovan poskuse, ki so tako dolgočasni morajo plačati ljudi k sodelovanju. Ampak, kaj če bi lahko ustvarili poskus, da ljudje želijo biti? To je lahko zvok precej nerealne, ampak ti bom dal primer spodaj, od lastnega dela, in obstaja več primerov v tabeli 4.4. Upoštevajte, da je ta pristop k oblikovanju prijetne poskusov odmeva nekatere izmed tem v poglavju 3 v zvezi z oblikovanjem bolj prijetne raziskave in poglavju 5 o načrtovanju množično sodelovanje. Tako, mislim da, bo izkušnja udeleženec uživanje, kar lahko imenujemo tudi uporabniku bolj pomemben del raziskovalnega načrta v digitalni dobi.

Če želite ustvariti nič spremenljive poskuse stroške boste želeli zagotoviti, da se vse, kar je v celoti avtomatiziran in da udeleženci ne zahtevajo nobenega plačila. Da bi pokazali, kako je to mogoče, bom opisati moje disertacije raziskave o uspehu in neuspehu kulturnih izdelkov. Ta primer tudi kaže, da je nič variabilni podatki o cenah ne gre samo delaš stvari cenejše. Nasprotno, gre za omogočanje poskuse, da ne bi bilo mogoče drugače.

Moja disertacija je bil motiviran s problematični naravi uspeha kulturnih izdelkov. Hit pesmi, najbolje prodajanih knjig, in filmske uspešnice so veliko, veliko bolj uspešna od povprečja. Zaradi tega so trgi za te proizvode pogosto imenujejo "zmagovalec-izvajati-all" trgi. Še ob istem času, ki bo predvsem pesem knjiga ali film postane uspešen je zelo nepredvidljiva. Scenarist William Goldman (1989) elegantno povzel veliko akademskih raziskav, ki pravijo, da je, ko gre za napovedovanje uspeha, "nihče ne ve ničesar." Nepredvidljivosti zmagovalca-take-vsi trgi, ki me sprašujejo, koliko uspeha je posledica kakovosti in koliko je le sreča. Ali pa je izrazil nekoliko drugače, če bi lahko ustvarili vzporedne svetove in jih vse razvijati neodvisno, bi iste pesmi je postala priljubljena v vsaki svetu? In, če ne, bi kaj lahko mehanizem, ki povzroča te razlike?

Da bi lahko odgovorili na ta vprašanja, smo-Peter Dodds, Duncan Watts (moj disertacija svetovalec) in I-tekel vrsto spletnih poskusov na terenu. Še posebej, smo zgradili spletno stran, imenovano MusicLab, kjer bi ljudje odkrili novo glasbo, in smo ga uporabili za serijo eksperimentov. Smo zaposlili udeležence s tekom oglasne pasice na spletni strani teen interesa (slika 4.19) in skozi omenja v medijih. Udeleženci prihajajo na naši spletni strani pod informirano soglasje, ki se zaključi kratek vprašalnik v ozadju in so naključno razporedili v eno od dveh eksperimentalni pogoji, neodvisno in družbenega vpliva. V neodvisnem stanju, udeleženci sprejme odločitev o tem, katere pesmi za poslušanje, saj samo imena pasov in pesmi. Med poslušanjem pesmi, so udeležence prosili, da jo ocenite, po katerem bi imeli možnost (ne pa obveznost), da prenesete pesem. V stanju socialnega vpliva, udeleženci so imeli enako izkušnjo, razen so lahko videli tudi, kolikokrat je bila vsaka pesem prenesli v prejšnjih udeležencev. Poleg tega so udeleženci v stanju socialnega vpliva naključno razporedili v eno od osmih vzporednih svetov, od katerih je vsak razvile neodvisno (slika 4.20). Z uporabo tega modela smo izvedli dva povezana poskusov. V prvem smo predstavili udeležencem pesmi v nesortirane omrežje, ki jim je določeno šibek signal priljubljenosti. V drugem poskusu smo predstavili skladbe v razvrščeni seznamu, ki je zagotovil veliko močnejši signal priljubljenosti (Slika 4.21).

Slika 4.19: Primer banner oglas, da moji kolegi in sem se zaposliti udeležence za poskuse MusicLab (Salganik, Dodds, and Watts 2006) .

Slika 4.20: Eksperimentalni načrt za poskuse MusicLab (Salganik, Dodds, and Watts 2006) . Udeleženci so naključno razporedili v eno od dveh pogojev: samostojno in družbenega vpliva. Udeleženci v samostojni stanju sprejela odločitev brez informacij o tem, kaj so drugi ljudje naredili. Udeleženci v stanju socialnega vpliva so naključno razporedili v eno od osmih vzporednih svetovih, kjer so lahko videli priljubljenost-, merjena s prenosi iz prejšnjih udeležencev, za vsako pesem v svojem svetu, vendar pa ni bilo videti nobenih informacij, niti oni niti vedeti o obstoju, kateri od drugih svetov.

Ugotovili smo, da je priljubljenost pesmi razlikovala med svetovi, ki kažejo pomembno vlogo sreče. Na primer, v enem svetu pesem "zaklenjen", ki ga 52Metro prišel v 1., in v drugem svetu je prišel v 40. od 48 pesmi. To je bila povsem ista pesem tekmujejo vse iste pesmi so, ampak v enem svetu, je dobil srečen in v drugih pa ne. Poleg tega s primerjavo rezultatov v obeh poskusih smo ugotovili, da je družbeni vpliv vodi k bolj neenaka uspeh, ki morda ustvarja videz predvidljivosti. Toda videti preko svetov (ki jih ni mogoče storiti zunaj te vrste vzporednih svetov poskusa), smo ugotovili, da je družbeni vpliv dejansko povečala nepredvidljivost. Poleg tega je presenetljivo, da je v pesmi najvišje pritožbe, ki imajo najbolj nepredvidljive rezultate (Slika 4.22).

Slika 4.21: Screenshots od pogojev družbenega vpliva v poskusih MusicLab (Salganik, Dodds, and Watts 2006) . V stanju socialnega vpliva v poskusu 1, pesmi, skupaj s številko prejšnjih prenosov, so bile predstavljene udeležencem razporejenih v 16 X 3 pravokotni mreži, kjer so bili položaji pesmi naključno dodeljena za vsakega udeleženca. V poskusu 2, so udeleženci v stanju socialnega vpliva pokazala pesmi, s številom prenosov, predstavljenih v enem stolpcu v padajočem vrstnem redu glede na trenutne popularnosti.

Slika 4.22: Rezultati iz MusicLab poskusov, ki prikazujejo razmerje med pritožbo in uspeha (Salganik, Dodds, and Watts 2006) . X-os je tržni delež pesmi v samostojni svetu, ki služi kot merilo za pritožbe pesmi in y-os je tržni delež iste pesmi v 8 svetove socialnih vplivnih, ki služi kot merilo uspeha pesmi. Ugotovili smo, da povečanje socialne vpliv, ki ga udeleženci doživeli, še posebej, spremembe v zasnovi iz poskusa 1 poskus 2 (slika 4.21) -caused uspeh, da postane bolj nepredvidljivo, zlasti za najvišje pritožbene pesmi.

MusicLab bil sposoben za vožnjo v bistvu nič variabilne stroške zaradi načina, ki je bil namenjen. Najprej je bilo vse, kar je v celoti avtomatiziran, tako da je lahko za vožnjo, medtem ko sem spal. Drugič, odškodnina prost glasba tako da ni bilo variabilni stroški udeleženec nadomestilo. Uporaba glasbe kot nadomestilo tudi kaže, kako je včasih kompromis med fiksnimi stroški in variabilnih stroškov. Uporaba glasbe povečala fiksnih stroškov, ker sem moral nekaj časa zagotavljanju dovoljenje pasovih in pripravo poročil za pasovih približno reakcije udeležencev v njihovo glasbo. Ampak, v tem primeru, povečanje fiksnih stroškov, da bi zmanjšali stroške spremenljivk je bila prava stvar; da je tisto, kar nam je omogočilo, da izvedete preizkus, ki je približno 100-krat večja od standardne laboratorijskem poskusu.

Poleg tega so MusicLab poskusi kažejo, da nič variabilni stroški ne biti sama sebi namen; temveč je lahko sredstvo za vodenje nove vrste eksperiment. Obvestilo, da nismo uporabili vse naše udeležence teči standardno družbenega vpliva Lab eksperiment 100-krat. Namesto tega smo naredili nekaj drugačnega, kar bi lahko zamislite kot preklapljanje s psihološkega poskusa na sociološki eksperiment (Hedström 2006) . Namesto da se osredotoča na individualno odločanje, smo se osredotočili naš eksperiment na priljubljenosti, skupen rezultat. To stikalo na kolektivno izid je pomenilo, da smo se zahteva približno 700 udeležencev, da dobimo eno podatkovno točko (je bilo 700 ljudi, so v vsaki od vzporednih svetov). Ta lestvica je bilo mogoče le zaradi strukture stroškov poskusa. Na splošno, če raziskovalci želeli preučiti, kako kolektivno rezultati izhajajo iz posameznih odločb, skupina eksperimente, kot MusicLab so zelo razburljivo. V preteklosti so bili logistično težavna, vendar te težave so izginja zaradi možnosti, da nič podatkov variabilnih stroškov.

Poleg tega, da ilustrira prednosti ničelne podatkov spremenljivih stroškov, se MusicLab poskusi kažejo tudi izziv s tem pristopom: visoke fiksne stroške. V mojem primeru, sem bil zelo srečen, da lahko dela z nadarjenim spletni razvijalec imenovan Peter Hausel za približno šest mesecev, za gradnjo poskusa. To je bilo mogoče le zato, ker je moj svetovalec, Duncan Watts, je prejel več donacij za podporo tovrstnih raziskav. Tehnologija se je izboljšala, saj smo zgradili MusicLab leta 2004, in da bi bilo veliko lažje graditi eksperiment, kot je ta sedaj. Ampak, visoke strategije fiksni stroški so res mogoče le za raziskovalce, ki lahko nekako pokrivajo te stroške.

Skratka, digitalni poskusi imajo lahko bistveno različne stroškovne strukture kot analognih eksperimentov. Če želite, da se res velike poskuse, morate poskusiti, da zmanjšate variabilne stroške, kolikor je to mogoče, in v najboljšem primeru vse do 0. To lahko storite z avtomatizacijo mehaniko svojega poskusa (npr zamenjava človeškega časa z računalniškim časom) in načrtovanje poskusov, ki jih ljudje želijo biti. raziskovalci, ki lahko oblikujejo poskuse teh funkcij bodo mogli zagnati nove vrste poskusov, ki niso bile mogoče v preteklosti.