4.6.1 Ustvarjanje nič variabilne podatke o stroških

Ključ za vodenje velikih preizkusov je, da pogon spremenite na nič. Najboljši načini za to so avtomatizacija in oblikovanje prijetnih eksperimentov.

Digitalni eksperimenti imajo lahko dramatično različne stroškovne strukture, kar omogoča raziskovalcem izvajanje eksperimentov, ki so bili v preteklosti nemogoči. Eden od načinov razmišljanja o tej razliki je ugotoviti, da poskusi običajno obsegajo dve vrsti stroškov: fiksni stroški in spremenljivi stroški. Fiksni stroški so stroški, ki ostajajo nespremenjeni ne glede na število udeležencev. Na primer, v laboratorijskem poskusu so fiksni stroški morda stroški najema prostora in nakup pohištva. Spremenljivi stroški se po drugi strani spreminjajo glede na število udeležencev. Na primer, v laboratorijskem poskusu lahko spremenljivi stroški izplačajo zaposleni in udeleženci. Na splošno imajo analogni poskusi nizke fiksne stroške in visoke spremenljive stroške, medtem ko imajo digitalni eksperimenti visoke fiksne stroške in nizke spremenljive stroške (slika 4.19). Čeprav digitalni eksperimenti imajo nizke variabilne stroške, lahko ustvarite veliko zanimivih priložnosti, ko vozite variabilne stroške vse do nič.

Slika 4.19: Shema stroškovnih struktur v analognih in digitalnih eksperimentih. Na splošno imajo analogni poskusi nizke fiksne stroške in visoke spremenljive stroške, medtem ko imajo digitalni eksperimenti visoke fiksne stroške in nizke spremenljive stroške. Različne stroškovne strukture pomenijo, da se lahko digitalni eksperimenti izvajajo v obsegu, ki pri analognih eksperimentih ni mogoč.

Obstajata dva glavna elementa variabilnih stroškovnih plač za osebje in plačila udeležencem - in vsaka od njih se lahko pripelje do nič z uporabo različnih strategij. Plačila za zaposlene izvirajo iz dela, ki ga raziskovalci pomagajo zaposlovati, zagotavljati zdravljenje in meriti izide. Na primer, analogni poljski poskus Schultza in kolegov (2007) o porabi električne energije je od raziskovalnega pomočnika zahteval, da potujejo v vsak dom, da zagotovijo zdravljenje in preberete električni števec (slika 4.3). Vsi ti napori raziskovalnih pomočnikov so pomenili, da bi dodajanje novega gospodinjstva študiji pripomoglo k stroškom. Po drugi strani pa bi raziskovalci za digitalni poljski poskuse Restiva in van de Rijt (2012) o učinkih nagrad urednikom Wikipedije lahko raziskovalcem dodali več udeležencev praktično brez stroškov. Splošna strategija za zmanjševanje variabilnih administrativnih stroškov je nadomestiti človeško delo (kar je drago) z računalniškim delom (kar je poceni). Lahko se vprašate: Ali lahko ta poskus poteka, medtem ko vsi v mojem raziskovalnem delu spijo? Če je odgovor pritrdilen, ste opravili odlično avtomatizacijo.

Druga vrsta variabilnih stroškov je plačilo udeležencem. Nekateri raziskovalci so uporabili Amazon Mechanical Turk in druge spletne trge dela za zmanjšanje plačil, ki so potrebna udeležencem. Če želite spremeniti stroške vse do nič, je potreben drugačen pristop. Dolgo časa so raziskovalci oblikovali eksperimente, ki so tako dolgočasni, da morajo plačati ljudi, da sodelujejo. Kaj pa, če bi lahko ustvarili eksperiment, ki ga ljudje želijo biti? To lahko zveni preveč previdno, vendar vam bom dal spodnji primer iz mojega dela, v tabeli 4.4 pa je več primerov. Upoštevajte, da ta ideja oblikovanja prijetnih eksperimentov odraža nekatere teme v 3. poglavju glede oblikovanja bolj prijetnih anket in v 5. poglavju glede oblikovanja množičnega sodelovanja. Zato menim, da je užitek udeležencev, kar bi lahko imenovali tudi uporabniška izkušnja, vse pomembnejši del raziskovalnega oblikovanja v digitalni dobi.

Če želite ustvariti preizkuse z ničelnimi podatki o spremenljivih cenah, morate zagotoviti, da je vse popolnoma avtomatizirano in da udeleženci ne zahtevajo nobenega plačila. Da bi pokazali, kako je to mogoče, bom opisal moje disertacijske raziskave o uspehu in neuspehu kulturnih izdelkov.

Moja disertacija je bila motivirana z zaskrbljujočo naravo uspeha kulturnih izdelkov. Hit pesmi, najbolj prodajane knjige in filmski filmi so precej bolj uspešni kot povprečni. Zaradi tega trgi za te izdelke pogosto imenujemo trgi "winner-take-all". Vendar pa hkrati, katere posebne pesmi, knjige ali film postanejo uspešne, je neverjetno nepredvidljivo. Scenarist William Goldman (1989) elegantno povzel veliko akademskih raziskav, in sicer tako, da je pri napovedovanju uspeha "nihče ne ve ničesar". Nepredvidljivost zmagovalnih tržišč me je spraševala, koliko uspeha je rezultat kakovosti in koliko je samo sreča. Ali pa nekoliko drugače izrazili, če bi lahko ustvarjali vzporedne svetove in bi se vsi razvili neodvisno, bi enake pesmi postale priljubljene v vsakem svetu? In, če ne, kakšen mehanizem bi lahko povzročil te razlike?

Za odgovor na ta vprašanja smo mi-Peter Dodds, Duncan Watts (moj disertacijski svetovalec) in sem opravil vrsto spletnih poljskih eksperimentov. Zlasti smo zgradili spletno mesto, imenovano MusicLab, kjer so ljudje lahko odkrili novo glasbo in jo uporabili za vrsto poskusov. Udeležence smo zaposlili s prikazovanjem oglasnih pasic na spletnem mestu zanimivih za najstnike (slika 4.20) in z omemori v medijih. Udeleženci, ki so prispeli na našo spletno stran, so zagotovili informirano soglasje, zaključili kratki vprašalnik za ozadje in naključno dodelili enega od dveh eksperimentalnih pogojev - neodvisnega in socialnega vpliva. V neodvisnem stanju so se udeleženci odločili, katere pesmi naj poslušajo, glede na samo imena pasov in pesmi. Med poslušanjem skladbe so bili udeleženci pozvani, naj ocenijo, po katerem so imeli priložnost (vendar ne obveznost), da prenesete skladbo. V razmerah socialnega vpliva so imeli udeleženci enake izkušnje, razen, da so lahko videli tudi, kolikokrat so pesem prenesli prejšnji udeleženci. Poleg tega so bili udeleženci pogoja socialnega vpliva naključno dodeljeni enemu od osmih vzporednih svetov, od katerih so se vsaka razvila neodvisno (slika 4.21). S to zasnovo smo izvedli dva s tem povezana preizkusa. V prvem delu smo predstavili pesmi udeležencem v nerazvrščeni mreži, ki jim je dala šibek signal priljubljenosti. V drugem poskusu smo predstavili pesmi na razvrščenem seznamu, ki je dal veliko večji signal popularnosti (slika 4.22).

Slika 4.20: Primer reklamnega oglasnega pasu, s katerim smo s kolegi in sodelavci sodelovali pri poskusih MusicLab (Salganik, Dodds, and Watts 2006) . Reprodukcija z dovoljenjem Salganik (2007) , slika 2.12.

Slika 4.21: Eksperimentalni dizajn za poskuse MusicLab (Salganik, Dodds, and Watts 2006) . Udeleženci so bili naključno dodeljeni v enega izmed dveh pogojev: neodvisnega in socialnega vpliva. Udeleženci v neodvisnem stanju so se odločili brez informacij o tem, kaj so storili drugi ljudje. Udeleženci pogojev socialnega vpliva so bili naključno dodeljeni enemu od osmih vzporednih svetov, kjer so lahko videli priljubljenost - merjeno s prenosi prejšnjih udeležencev - vsake pesmi v njihovem svetu, vendar niso videli nobenih informacij in niso celo vedo o obstoju katerega koli drugega sveta. Prilagojeno od Salganik, Dodds, and Watts (2006) , slika s1.

Ugotovili smo, da se je priljubljenost pesmi razlikovala po vsem svetu, kar kaže, da je sreča imela pomembno vlogo pri uspehu. Na primer, v enem svetu je pesem "Lockdown" 52Metro prišlo v 1. od 48 pesmi, medtem ko je v drugem svetu prišel na 40. mesto. To je bila ravno ista pesem, ki se je borila proti vsem drugim istim pesmam, toda v enem svetu je imela srečo, v drugih pa ni. Poleg tega smo s primerjavo rezultatov v obeh poskusih ugotovili, da socialni vpliv poveča zmožnost prevzema narave teh trgov, kar morda kaže na pomen spretnosti. Toda, gledamo po svetovih (kar je ni mogoče storiti zunaj te vrste vzporednega svetovnega eksperimenta), smo ugotovili, da je socialni vpliv dejansko povečal pomen sreče. Nadalje, presenetljivo, so bile pesmi najvišje privlačnosti, kjer je bila sreča najpomembnejša (slika 4.23).

Slika 4.22: Posnetki zaslona iz pogojev socialnega vpliva v poskusih MusicLab (Salganik, Dodds, and Watts 2006) . V pogoju socialnega vpliva v poskusu 1 so bile pesmi skupaj s številom predhodnih prenosov udeležencem razporejene v pravokotni mreži 16 \(\times\) 3, kjer so bili položaji skladb naključno dodeljeni za vsako udeleženec. V poskusu 2 so bili udeleženci pogoja socialnega vpliva prikazani pesmi s številom prenosov, predstavljeni v enem stolpcu v padajočem vrstnem redu trenutne priljubljenosti.

Slika 4.23: Rezultati iz poskusov MusicLab, ki kažejo razmerje med privlačnostjo in uspehom (Salganik, Dodds, and Watts 2006) . \(x\) -axis je tržni delež pesmi v neodvisnem svetu, ki služi kot merilo privlačnosti pesmi, in \(y\) -axis je tržni delež iste pesmi v osem družbenih vplivnih svetov, ki služi kot merilo uspešnosti pesmi. Ugotovili smo, da je povečanje socialnega vpliva, ki so ga udeleženci imeli - posebej, sprememba v postavitvi od eksperimenta 1 do eksperimenta 2 (slika 4.22) - preprečila uspeh postati nepredvidljiv, še posebej za pesmi z najvišjo pritožbo. Prilagojeno iz Salganik, Dodds, and Watts (2006) , slika 3.

Glasba MusicLab je lahko izvajala v bistvu nič spremenljive stroške zaradi načina, kako je bila zasnovana. Prvič, vse je bilo popolnoma avtomatizirano, tako da je lahko tekel med spanjem. Drugič, odškodnina je bila brezplačna glasba, zato ni bilo nobenih spremenljivih stroškov udeležencev. Uporaba glasbe kot nadomestila kaže tudi, kako včasih obstaja kompromis med fiksnimi in variabilnimi stroški. Uporaba glasbe je povečala fiksne stroške, ker sem moral preživeti nekaj časa, s čimer sem zagotovil dovoljenje iz skupin in pripravil poročila za njih o odzivu udeležencev na njihovo glasbo. Toda v tem primeru je bilo prav, da bi se povečali fiksni stroški za zmanjšanje stroškov spremenljivk; to je tisto, kar nam je omogočilo, da zaženemo poskus, ki je bil približno 100-krat večji od standardnega laboratorijskega preizkusa.

Nadalje, poskusi MusicLab kažejo, da ničelni spremenljivi stroški ne smejo biti sami sebi namen; namesto tega je lahko sredstvo za vodenje nove vrste preizkusa. Upoštevajte, da nismo uporabili vseh naših udeležencev, da bi 100-kratno zagnali standardni laboratorijski poskus laboratorija v družbi. Namesto tega smo naredili nekaj drugačnega, kar si lahko zamislite kot preusmeritev s psihološkega poskusa v sociološko (Hedström 2006) . Namesto da bi se osredotočili na posamezno odločanje, smo eksperiment osredotočili na priljubljenost, skupni izid. To preusmeritev k skupnemu izidu je pomenilo, da smo zahtevali približno 700 udeležencev, da izdelajo eno podatkovno točko (v vsakem vzporednem svetu je bilo 700 ljudi). Ta obseg je bil mogoč samo zaradi stroškovne strukture eksperimenta. Na splošno, če raziskovalci želijo preučiti, kako kolektivni izidi izhajajo iz posameznih odločitev, skupinski poskusi, kot je MusicLab, so zelo razburljivi. V preteklosti so bili logistično težki, vendar te težave izginjajo zaradi možnosti ničelnih variabilnih stroškov.

Poleg tega, da ponazarjamo prednosti ničelnih variabilnih stroškov, poskusi MusicLab kažejo tudi izziv s tem pristopom: visoki fiksni stroški. V mojem primeru sem bil izjemno srečen, da sem lahko delal s talentiranim spletnim razvijalcem Peter Hausel približno šest mesecev za izdelavo eksperimenta. To je bilo mogoče le zato, ker je moj svetovalec Duncan Watts prejel številne subvencije za podporo te vrste raziskav. Tehnologija se je izboljšala, saj smo leta 2004 zgradili program MusicLab, zato bi bilo veliko lažje zgraditi takšen eksperiment. Toda visoke strategije fiksnih stroškov so resnično mogoče samo za raziskovalce, ki lahko nekako pokrijejo te stroške.

Na koncu lahko imajo digitalni eksperimenti dramatično različne stroškovne strukture kot analogni poskusi. Če želite zagnati resnične velike preizkuse, poskusite zmanjšati stroške spremenljivke, kolikor je le mogoče, in idealno vse do nič. To lahko storite tako, da avtomatizirate mehaniko svojega preizkusa (npr. Zamenjate človeški čas z računalniškim časom) in oblikujete preizkuse, za katere želijo biti ljudje. Raziskovalci, ki lahko oblikujejo poskuse s temi funkcijami, bodo lahko zagnali nove vrste preizkusov, ki so bili ni mogoče v preteklosti. Toda sposobnost ustvarjanja ničelnih variabilnih stroškov lahko privede do novih etičnih vprašanj, ki jih bom obravnaval.