4.6.1 Креирање нула променљиве податке о трошковима

Кључ за вођење великих експеримената јесте да возите свој варијабилни трошак на нулу. Најбољи начин за то су аутоматизација и дизајнирање пријатних експеримената.

Дигитални експерименти могу имати драматично различите трошковне структуре, а то омогућава истраживачима да изводе експерименте који су у прошлости били немогући. Један од начина размишљања о овој разлици јесте напоменути да експерименти обично имају две врсте трошкова: фиксни трошкови и варијабилни трошкови. Фиксни трошкови су трошкови који остају непромењени без обзира на број учесника. На пример, у лабораторијском експерименту фиксни трошкови могу бити трошкови изнајмљивања простора и куповине намештаја. Променљиви трошкови , с друге стране, мијењају се у зависности од броја учесника. На пример, у лабораторијском експерименту варијабилни трошкови могу потражити од плаћања особља и учесника. Опћенито, аналогни експерименти имају ниске фиксне трошкове и високе варијабилне трошкове, док дигитални експерименти имају високе фиксне трошкове и ниске варијабилне трошкове (слика 4.19). Иако дигитални експерименти имају ниске варијабилне трошкове, можете створити пуно узбудљивих могућности када возите варијабилно цену све до нуле.

Слика 4.19: Шема структура трошкова у аналогним и дигиталним експериментима. Генерално, аналогни експерименти имају ниске фиксне трошкове и високе варијабилне трошкове, док дигитални експерименти имају високе фиксне трошкове и ниске варијабилне трошкове. Различите трошковне структуре значе да дигитални експерименти могу да раде на скали која није могућа са аналогним експериментима.

Постоје два главна елемента варијабилних трошкова за особље и плаћања учесницима - и свако од њих може се довести до нуле користећи различите стратегије. Плаћања особљу проистичу из рада помоћника истраживача који регрутују учеснике, дају третмане и мјере исхода. На примјер, аналогни теренски експеримент Сцхултз-а и колега (2007) о кориштењу електричне енергије захтијевао је помоћнике истраживача да путују у сваки дом како би испоручили терапију и прочитали електрични метар (слика 4.3). Сви напори истраживачких сарадника значили су да би додавање новог домаћинства у студију могло додати трошак. С друге стране, за експеримент дигиталног поља на Рестиву и ван де Ријту (2012) о утицају награда на уреднике Википедије, истраживачи би могли додати више учесника практично без икаквих трошкова. Општа стратегија за смањење варијабилних административних трошкова је замена људског рада (што је скупо) са рачунарским радом (што је јефтино). Приближно, можете се запитати: Може ли овај експеримент потрајати док сви у мом истраживачком тиму спавају? Ако је одговор да, урадили сте одличан посао аутоматизације.

Друга главна врста варијабилних трошкова су плаћања учесницима. Неки истраживачи су користили Амазон Мецханицал Турк и друга онлине тржишта рада како би смањили плаћања која су потребна учесницима. Међутим, потребан је другачији приступ покретању варијабилних трошкова све до нуле. Дуго времена истраживачи су дизајнирали експерименте који су толико досадни да морају платити људе да учествују. Али шта ако можете створити експеримент на који људи желе да буду? Ово може звучати превише, али ћу вам дати пример испод из мог рада и има више примјера у табели 4.4. Имајте на уму да ова идеја дизајнирања пријатних експеримента одражава неке од тема у поглављу 3 у вези са пројектовањем пријатнијих истраживања и у поглављу 5 у вези са дизајном масовне сарадње. Стога, мислим да би уживање учесника - што би могло такође бити названо корисничко искуство - бити све важнији дио дизајна истраживања у дигиталном добу.

Ако желите да креирате експерименте са подацима о варијабилни нули, морате осигурати да је све потпуно аутоматизовано и да учесници не захтевају никакво плаћање. Да бих показао како је то могуће, описићу моје истраживање о дисертацији о успјеху и неуспјеху културних производа.

Моја дисертација је мотивисана збуњујућом природом успјеха културних производа. Хит песме, најпродаваније књиге и блокбастер филмови су много, много успешнији од просјека. Због овога, тржишта за ове производе често се називају тржиштима "добитник-узимајући". Ипак, истовремено, која одређена песма, књига или филм ће постати успешна је невероватно непредвидљива. Сценариста Виллиам Голдман (1989) елегантно сакупио мноштво академских истраживања рекавши да када се ради о предвиђању успјеха, "нико не зна ништа". Непредвидивост тржишта победника је учинила да се питам колико је успеха резултат квалитета и колико је само срећа. Или, изразито мало другачије, ако бисмо могли да креирамо паралелне светове и да их све развијемо независно, да ли би исте песме постале популарне у сваком свету? А, ако не, шта би могло бити механизам који узрокује ове разлике?

Да бисмо одговорили на ова питања, ми-Петер Доддс, Дунцан Ваттс (мој саветник за дисертацију), и ја сам водио низ онлине експеримената на терену. Конкретно, направили смо сајт под називом МусицЛаб, где би људи могли открити нову музику, а ми смо га користили за низ експеримената. Учествовали смо учеснике тако што смо покренули рекламне огласе на веб страници тинејџера (слика 4.20) и путем помињања у медијима. Учесници који су дошли на нашу интернет страницу дали су информирану сагласност, завршили кратак упитник и били су насумично додијељени у један од два експериментална стања - независног и друштвеног утицаја. У независном стању, учесници су донели одлуке о томе које песме ће слушати, имајући само имена бендова и песама. Док слушају песму, учесници су замољени да их оцјењују, након чега су имали прилику (али не и обавезу) да преузму пјесму. У условима друштвеног утицаја, учесници су имали исто искуство, осим што су могли видети и колико пута су сваку песму преузели претходни учесници. Осим тога, учесници у условима социјалног утицаја су насумично додијељени у један од осам паралелних свјетова, од којих је сваки еволуирао независно (слика 4.21). Користећи овај дизајн, водили смо два сродна експеримента. Прво смо представили песме учесницима у неразврстани мрежи, што им је показало слаб сигнал популарности. У другом експерименту, представили смо песме на рангираној листи, која је пружила много јачи сигнал популарности (слика 4.22).

Слика 4.20: Примјер рекламе банера са којим су моје колеге и ја регрутовали учеснике за МусицЛаб експерименте (Salganik, Dodds, and Watts 2006) . Репродуковано одобрењем Salganik (2007) , слика 2.12.

Слика 4.21: Експериментални дизајн за експерименте МусицЛаб (Salganik, Dodds, and Watts 2006) . Учесници су били насумично додијељени у један од два услова: независни и друштвени утицај. Учесници у независном стању учинили су свој избор без икаквих информација о томе шта су други људи учинили. Учесници у условима социјалног утицаја били су насумично додијељени у један од осам паралелних свјетова, гдје су могли видјети популарност - мјерену довнлоадовима претходних учесника - сваке песме у њиховом свијету, али нису могли видјети никакве информације нити су они чак и знају за постојање било којег другог света. Прилагођено из Salganik, Dodds, and Watts (2006) , слика с1.

Утврдили смо да се популарност песама разликује широм света, што указује на то да је срећа одиграла важну улогу у успјеху. На примјер, у једном свијету песма "Лоцкдовн" од стране 52Метро дошла је у прву од 48 пјесама, док је у другом свијету дошла на 40. мјесто. Ово је била управо та песма која се такмичила против свих истих других песама, али у једном свијету имала је среће, ау другим није. Даље, поредећи резултате у два експеримента, утврдили смо да друштвени утицај повећава природу ових пијаца, што можда указује на значај вештине. Али, посматрајући светове (што се не може учинити изван оваквог типа паралелних експеримената), утврдили смо да је друштвени утицај у ствари повећао значај среће. Даље, изненађујуће, песме највише су биле атрактивне када је срећа била најважнија (слика 4.23).

Слика 4.22: Снимци екрана из услова социјалног утицаја у експериментима МусицЛаб-а (Salganik, Dodds, and Watts 2006) . У условима социјалног утицаја у експерименту 1, песме, заједно са бројем претходних преузимања, представљене су учесницима распоређеним у правоугаону мрежу од 16 \(\times\) 3, где су положаји песама случајно додијељени за сваки учесник. У експерименту 2, учесницима у условима друштвеног утицаја приказане су песме са бројевима преузимања, приказане у једној колони у опадајућем редоследу тренутне популарности.

Слика 4.23: Резултати из експеримената МусицЛаб-а који показују однос између привлачности и успеха (Salganik, Dodds, and Watts 2006) . \(x\) -акис је тржишни удио песме у независном свету, који служи као мера апелације песме, а \(y\) -акис је тржишни удео исте песме у осам друштвених утјецајних светова, који служе као мерило успешности песама. Утврдили смо да повећање друштвеног утицаја који су учесници доживљавали - конкретно, промјена у распореду из експеримента 1 на експеримент 2 (слика 4.22) -коришћен успех постао је непредвидљивији, нарочито за песме са највишим задовољством. Прилагођено из Salganik, Dodds, and Watts (2006) , слика 3.

МусицЛаб је успео да покреће у суштини нултој варијабилној цени због начина на који је дизајниран. Прво, све је било потпуно аутоматизовано тако да је могла да трчи док сам спавала. Друго, компензација је била бесплатна музика, тако да није било трошкова компензације учесника. Коришћење музике као компензације такође илуструје како се понекад може смјењивати између фиксних и варијабилних трошкова. Коришћење музике повећало је фиксне трошкове јер сам морао да проведем време обезбеђујући дозволу из бендова и припрему извештаја за њих о реакцији учесника на њихову музику. Али у овом случају, повећање фиксних трошкова како би се смањили трошкови варијабли била је исправна ствар; То нам је омогућило да покренемо експеримент који је био око 100 пута већи од стандардног лабораторијског експеримента.

Даље, експерименти МусицЛаб показују да нулта варијабилна цена не мора бити сам по себи; већ може бити средство за покретање нове врсте експеримента. Обратите пажњу да нисмо користили све наше учеснике да покренемо стандардни лабораторијски експеримент на друштвеном утицају 100 пута. Уместо тога, урадили смо нешто другачије, које бисте могли замислити као прелазак са психолошког експеримента на социолошки (Hedström 2006) . Уместо фокусирања на индивидуално доношење одлука, фокусирали смо експеримент на популарност, колективни исход. Овај прелазак на колективни исход значио је да смо тражили око 700 учесника да произведу јединствену тачку података (у сваком од паралелних светова било је 700 људи). Та скала је била могућа само због структуре трошкова експеримента. Генерално, ако истраживачи желе да проуче како колективни исходи произилазе из појединачних одлука, групни експерименти као што је МусицЛаб су веома узбудљиви. У прошлости су били логистички тешки, али те тешкоће нестају због могућности нултих података о варијабилним трошковима.

Поред тога што илуструје користи од нултих података о варијабилним трошковима, експерименти МусицЛаб такође показују изазов овим приступом: високи фиксни трошкови. У мом случају, био сам изузетно срећан што сам могао да радим са талентованим веб девелопером Петером Хауселом око шест месеци да направим експеримент. Ово је било могуће само зато што је мој савјетник, Дунцан Ваттс, добио бројне грантове за подршку оваквог истраживања. Технологија је побољшана откад смо изградили МусицЛаб 2004. године, тако да би било много лакше направити овакав експеримент сада. Али, високе стратегије фиксних трошкова су стварно могуће само за истраживаче који на неки начин могу покрити те трошкове.

У закључку, дигитални експерименти могу имати драматично различите трошковне структуре од аналогних експеримената. Ако желите да покренете стварно велике експерименте, покушајте да смањите трошкове варијабле што је више могуће и идеално све до нуле. То можете урадити аутоматизовањем механике вашег експеримента (нпр. Замјеном људског времена са рачунарским временом) и дизајнирањем експеримената на које људи желе да буду укључени. Истраживачи који могу дизајнирати експерименте са овим особинама моћи ће покренути нове врсте експеримената који су били није могуће у прошлости. Међутим, способност стварања нултих експеримената са варијабилним трошковима може покренути нова етичка питања, тема која ћу сада ријешити.