4.6.1 Izveidot nulle mainīgo izmaksu datus

Lielu eksperimentu veikšanas atslēga ir novirzīt mainīgās izmaksas uz nulli. Labākie veidi, kā to izdarīt, ir automatizācija un patīkamu eksperimentu izstrāde.

Digitālajos eksperimentos var būt dramatiski atšķirīgas izmaksu struktūras, un tas ļauj pētniekiem veikt eksperimentus, kas agrāk bija neiespējami. Viens no veidiem, kā domāt par šo atšķirību, ir atzīmēt, ka eksperimentiem parasti ir divu veidu izmaksas: fiksētas izmaksas un mainīgās izmaksas. Fiksētās izmaksas ir izmaksas, kas nemainās neatkarīgi no dalībnieku skaita. Piemēram, laboratorijas eksperimentā fiksētās izmaksas varētu būt izmaksas par telpu īri un mēbeļu pirkšanu. Mainīgas izmaksas , no otras puses, mainās atkarībā no dalībnieku skaita. Piemēram, laboratorijas eksperimentā mainīgās izmaksas var rasties, maksājot darbiniekus un dalībniekus. Kopumā analogos eksperimentos ir zemas fiksētās izmaksas un lielas mainīgās izmaksas, savukārt digitālajos eksperimentos ir augstas fiksētās izmaksas un zemas mainīgās izmaksas (4.19. Attēls). Lai gan digitālajos eksperimentos ir zemas mainīgās izmaksas, jūs varat radīt daudz aizraujošu iespēju, ja maināt mainīgo cenu līdz nullei.

4.19. Attēls: izmaksu struktūras shēma analogos un digitālajos eksperimentos. Kopumā analogos eksperimentos ir zemas fiksētās izmaksas un lielas mainīgās izmaksas, savukārt digitālajos eksperimentos ir augstas fiksētās izmaksas un zemas mainīgās izmaksas. Dažādas izmaksu struktūras nozīmē, ka digitālie eksperimenti var darboties tādā līmenī, kas nav iespējams ar analogajiem eksperimentiem.

Pastāv divi galvenie elementi mainīgajiem izmaksu maksājumiem darbiniekiem un maksājumiem dalībniekiem, un katram no tiem var virzīties uz nulli, izmantojot dažādas stratēģijas. Maksājumi darbiniekiem izriet no darba, ko pētnieku palīgi pieņem darbā dalībniekus, sniedzot ārstēšanu un novērtējot rezultātus. Piemēram, Schultz un tā kolēģu analogajā lauka eksperimentā (2007) par elektroenerģijas lietošanu bija vajadzīgi pētījumu palīgi, lai ceļotu uz katru māju, lai nodrošinātu ārstēšanu un nolasītu elektrisko skaitītāju (4.3. Attēls). Visi šie pētnieku asistentu centieni nozīmēja, ka papildu izmaksu dēļ būtu jāpieskaita jauna mājsaimniecības pievienošana pētījumam. No otras puses, žurnāla Restivo un van de Rijt (2012) ciparu eksperimenta eksperimentā par godalgu ietekmi uz Wikipedia redaktoriem pētnieki varētu papildināt vairāk dalībnieku bez maksas. Vispārēja stratēģija mainīgo administratīvo izmaksu samazināšanai ir aizstāt cilvēku darbu (kas ir dārgs) ar datoru darbu (kas ir lēts). Aptuveni, jūs varat uzdot sev jautājumu: vai šis eksperiments sākas, kamēr visi manas izpētes komandas guļ? Ja atbilde ir "jā", jūs esat paveicis lielisku automatizācijas darbu.

Mainīgais izmaksu otrais galvenais veids ir maksājumi dalībniekiem. Daži pētnieki ir izmantojuši Amazon Mechanical Turk un citus tiešsaistes darba tirgus, lai samazinātu dalībniekiem nepieciešamos maksājumus. Lai vadītu mainīgās izmaksas līdz nullei, tomēr ir nepieciešama cita pieeja. Ilgu laiku pētnieki ir izstrādājuši eksperimentus, kas ir tik garlaicīgi, ka viņiem ir jāmaksā cilvēkiem piedalīties. Bet ko tad, ja varētu izveidot eksperimentu, kurā cilvēki vēlas būt? Tas var izklausīties tālejošs, taču es sniegšu jums piemēru no sava darba, un 4.4. Tabulā ir vairāk piemēri. Ņemiet vērā, ka šī ideja par patīkamu eksperimentu izstrādi atspoguļo dažus no 3. nodaļā iekļautajiem tematiem par jaudīgāku apsekojumu izstrādi un 5. nodaļā par masveida sadarbības plānošanu. Tādējādi es uzskatu, ka dalībnieku izpriecas, ko varētu saukt par lietotāja pieredzi, arvien svarīgāka būs arī digitālā laikmeta pētījumu plānošana.

Ja vēlaties izveidot eksperimentus ar nulles mainīgo izmaksu datiem, jums būs jāpārliecinās, ka viss ir pilnībā automatizēts un dalībniekiem nav jāmaksā. Lai parādītu, kā tas ir iespējams, es raksturojošu disertācijas pētījumu par kultūras produktu panākumiem un neveiksmēm.

Manu disertāciju motivēja kultūras produktu panākumu mulsinošs raksturs. Hit dziesmas, vislabāk pārdotās grāmatas un filmas ir daudz, daudz veiksmīgākas nekā vidēji. Tādēļ šo produktu tirgi bieži tiek saukti par "uzvarētāju-visiem-visiem" tirgiem. Tomēr tajā pašā laikā kāda konkrēta dziesma, grāmata vai filma kļūs veiksmīga, ir neticami neparedzama. Sižeta scenārijs William Goldman (1989) eleganti apkopoja daudz akadēmisko pētījumu, sakot, ka, kad runa ir par veiksmes prognozēšanu, "neviens neko neko nezina". Visu tirgu uzvarētāju pieņemšanas neprognozējamība lika man uzzināt, cik veiksmīga ir rezultāts par kvalitāti un cik daudz ir tikai veiksme. Vai arī, izteikti nedaudz savādāk, ja mēs varētu izveidot paralēlu pasauli un padarīt tās visas attīstīties neatkarīgi, vai viena un tā pati dziesma kļūs populāra katrā pasaulē? Un ja nē, kāds varētu būt mehānisms, kas izraisa šīs atšķirības?

Lai atbildētu uz šiem jautājumiem, mēs - Peter Dodds, Duncan Watts (mans disertācijas padomnieks), un es vadīju virkni tiešsaistes eksperimentu. Jo īpaši mēs izveidojām tīmekļa vietni ar nosaukumu MusicLab, kur cilvēki varēja atklāt jaunu mūziku, un mēs to izmantojām virknei eksperimentu. Mēs pieņēmām darbā dalībniekus, ievietojot reklāmkarogus uz interesējošas tīmekļa vietnes vietnēm (4.20. Attēls), kā arī norādot plašsaziņas līdzekļos. Dalībnieki, kuri ieradušies mūsu tīmekļa vietnē, sniedza informētu piekrišanu, pabeidza īsu fona aptauju un tika nejauši izvēlēti uz vienu no diviem eksperimentāliem apstākļiem - neatkarīgu un sociālu ietekmi. Neatkarīgā situācijā dalībnieki pieņēma lēmumus par to, kuras dziesmas klausīties, norādot tikai grupas un dziesmu nosaukumus. Klausoties dziesmu, dalībniekiem tika lūgts novērtēt to, pēc kura viņiem bija iespēja (bet ne pienākums) lejupielādēt dziesmu. Sociālās ietekmes stāvoklī dalībniekiem bija tāda pati pieredze, izņemot to, ka viņi varēja redzēt, cik reižu katra dziesma bija lejupielādēta iepriekšējos dalībniekus. Turklāt sociālās ietekmes nosacījumu dalībnieki tika nejauši iedalīti vienā no astoņām paralēlām pasaulēm, no kurām katra attīstījās neatkarīgi (4.21. Attēls). Izmantojot šo dizainu, mēs izmantojām divus saistītus eksperimenti. Pirmajā posmā mēs piedāvājām dziesmas dalībniekiem, kas nebija izvēlējušies atlasītu tīklu, un tiem bija vājš popularitātes signāls. Otrajā eksperimentā mēs piedāvājām dziesmas rangu sarakstā, kas sniedza daudz spēcīgāku popularitātes signālu (4.22. Attēls).

4.20. Zīmējums. Banner reklāmas piemērs, ko mani kolēģi un es (Salganik, Dodds, and Watts 2006) pieņemt darbā dalībniekus eksperimentos MusicLab (Salganik, Dodds, and Watts 2006) . Salganik (2007) atļauju, 2.12. Attēls.

4.21. Attēls Eksperimentālais eksperimentālais dizains eksperimentos MusicLab (Salganik, Dodds, and Watts 2006) . Dalībnieki nejauši tika piesaistīti vienam no diviem nosacījumiem: neatkarīgai un sociālai ietekmei. Neatkarīgā stāvokļa dalībnieki izdarīja izvēli bez jebkādas informācijas par to, ko darīja citi cilvēki. Sociālās ietekmes nosacījumu dalībnieki tika nejauši iedalīti vienā no astoņām paralēlām pasaulēm, kur viņi varēja redzēt savu popularitāti, ko mēra pēc iepriekšējo dalībnieku lejupielādēm no katras pasaules dziesmas, bet viņi neredzēja nekādu informāciju par to pat zināt par kādas citas pasaules pastāvēšanu. Pielāgots no Salganik, Dodds, and Watts (2006) , skaitlis s1.

Mēs noskaidrojām, ka dziesmu popularitāte dažādās pasaules daļās atšķiras, un tas liek domāt, ka veiksmei ir bijusi svarīga loma panākumu sasniegšanā. Piemēram, vienā pasaulē 54Metro dziesma "Lockdown" nonāca 1. vietā no 48 dziesmām, savukārt citā pasaulē tā nonāca 40. vietā. Tas bija tieši tāds pats dziesma, kas sacenšas par visām citām dziesmām, bet vienā pasaulē tas bija laimīgs, bet pārējos tā nebija. Turklāt, salīdzinot rezultātus abos eksperimentos, mēs noskaidrojām, ka sociālā ietekme palielina šo tirgu uzvarētāju kopējo raksturu, kas, iespējams, norāda uz prasmju nozīmi. Bet, aplūkojot visas pasaules (ko nevar izdarīt ārpus šāda veida paralēlo pasaules eksperimentu), mēs noskaidrojām, ka sociālā ietekme patiešām palielināja veiksmes nozīmi. Turklāt, pārsteidzoši, tas bija visaugstākās pārsūdzības dziesmas, kurās visbiežāk notika luck (4.23. Attēls).

Attēls 4.22: ekrānuzņēmumi no sociālās ietekmes apstākļiem MusicLab eksperimentos (Salganik, Dodds, and Watts 2006) . Sociālā ietekmes stāvoklī 1. eksperimentā dziesmas, kā arī iepriekšējo lejupielāžu skaits tika prezentēti dalībniekiem, kas tika sakārtoti 16 \(\times\) 3 taisnstūrveida režģī, kur dziesmu pozīcijas tika randomizētas katram dalībnieks. 2. eksperimentā sociālās ietekmes stāvokļa dalībniekiem tika demonstrētas dziesmas ar lejupielādes skaitu, kas vienā kolonnā tika parādīti pašreizējās popularitātes dilstošā secībā.

4.23. Attēls: eksperimentu MusicLab rezultāti, kas parāda attiecības starp apelāciju un panākumiem (Salganik, Dodds, and Watts 2006) . \(x\) -axis ir dziesmas tirgus daļa neatkarīgajā pasaulē, kas kalpo kā dziesmas apceres rādītājs, un \(y\) -axis ir vienas dziesmas tirgus daļa astoņas sociālās ietekmes pasaules, kas kalpo kā dziesmu panākumu rādītājs. Mēs noskaidrojām, ka, palielinot dalībnieku sociālās ietekmes īpatsvaru, it īpaši izmaiņas izkārtojumā no 1. eksperimenta uz 2. eksperimentu (4.22. Attēls), iegūtie panākumi kļuvuši neparedzamāki, īpaši attiecībā uz dziesmām ar vislielāko pievilcību. Pielāgots no Salganik, Dodds, and Watts (2006) 3. attēla.

MusicLab varēja darboties pēc būtības ar nulles mainīgajām izmaksām, jo ​​tā tika veidota. Pirmkārt, viss bija pilnībā automatizēts, lai spētu darboties, kamēr guļu. Otrkārt, kompensācija bija bezmaksas mūzika, tāpēc nebija mainīgu dalībnieku kompensācijas izmaksu. Mūzikas izmantošana kā kompensācija arī parāda, kā dažkārt notiek kompromiss starp fiksētajām un mainīgajām izmaksām. Mūzikas izmantošana palielināja fiksētās izmaksas, jo man bija jāpavada laiks, lai saņemtu grupas atļauju un sagatavotu ziņojumus par dalībnieku reakciju uz viņu mūziku. Bet šajā gadījumā ir pareizi rīkoties, palielinot fiksētās izmaksas, lai samazinātu mainīgo lielumu izmaksas; Tas ļāva mums vadīt eksperimentu, kas bija apmēram 100 reizes lielāks par standarta laboratorijas eksperimentu.

Bez tam, MusicLab eksperimenti rāda, ka nulles mainīgās izmaksas nav pašmērķis; Drīzāk tas var būt līdzeklis jaunā eksperimenta veikšanai. Ievērojiet, ka neizmantojām visus mūsu dalībniekus, lai veiktu standarta sociālās ietekmes laboratorijas eksperimentu 100 reizes. Tā vietā mēs izdarījām kaut ko citu, ko jūs varētu domāt par pārejas procesu no psiholoģiskā eksperimenta uz socioloģisko (Hedström 2006) . Tā vietā, lai koncentrētos uz atsevišķu lēmumu pieņemšanu, mēs koncentrējām savu eksperimentu uz popularitāti, kolektīvu iznākumu. Šis pāreja uz kolektīvu iznākumu nozīmē, ka mums bija vajadzīgi aptuveni 700 dalībnieku, lai izveidotu vienu datu punktu (katrā paralēlā pasaulē bija 700 cilvēki). Šis mērogs bija iespējams tikai eksperimenta izmaksu struktūras dēļ. Kopumā, ja pētnieki vēlas izpētīt, kā kopīgie rezultāti izriet no individuāliem lēmumiem, grupu eksperimenti, piemēram, MusicLab, ir ļoti aizraujoši. Agrāk tie ir loģistiski sarežģīti, taču šīs grūtības izzudīs, jo pastāv iespēja, ka dati par mainīgiem izmaksām būs nulle.

Papildus tam, kā ilustrēt nulles mainīgo izmaksu priekšrocības, mūzikas laboratorijas eksperimenti arī parāda izaicinājumu ar šo pieeju: augstas fiksētās izmaksas. Manā gadījumā man bija ļoti laimīgs, ka eksperimentu varēšot strādāt ar talantīgu tīmekļa izstrādātāju ar nosaukumu Peter Hausel apmēram sešus mēnešus. Tas bija iespējams tikai tāpēc, ka mans padomnieks Duncan Watts bija saņēmis vairākas dotācijas, lai atbalstītu šāda veida pētījumus. Kopš mēs 2004. gadā izveidojām MusicLab, tehnoloģija ir uzlabojusies, tādēļ tagad būtu daudz vieglāk izveidot tādu eksperimentu. Bet augsta fiksēto izmaksu stratēģija patiešām ir iespējama tikai tiem pētniekiem, kas var kaut kā segt šīs izmaksas.

Noslēgumā, digitālajos eksperimentos var būt dramatiski atšķirīgas izmaksu struktūras nekā analogos eksperimentos. Ja vēlaties palaist patiešām lielus eksperimentus, jums jācenšas samazināt mainīgo cenu cik vien iespējams, un ideālā gadījumā līdz nullei. To varat izdarīt, automatizējot eksperimenta mehāniku (piemēram, nomainot cilvēka laiku ar datora laiku) un veidojot eksperimentus, kurus cilvēki vēlas būt. Pētnieki, kuri var izstrādāt eksperimentus ar šīm funkcijām, varēs izmantot jaunus eksperimentus, kas tika veikti agrāk nav iespējams. Tomēr spēja radīt nulles mainīgo izmaksu eksperimentus var radīt jaunus ētikas jautājumus - tēmu, uz kuru es tagad pievērsīšos.