4.6.1 Създаване на нулеви данни на променливите разходи

Ключът към провеждането на големи експерименти е да управлявате променливата си цена до нула. Най-добрите начини да направите това са автоматизацията и проектирането на приятни експерименти.

Цифровите експерименти могат да имат драматично различни структури на разходите и това позволява на изследователите да провеждат експерименти, които са били невъзможни в миналото. Един от начините да се мисли за тази разлика е да се отбележи, че експериментите обикновено имат два типа разходи: фиксирани разходи и променливи разходи. Фиксираните разходи са разходи, които остават непроменени независимо от броя на участниците. Например в лабораторния експеримент фиксираните разходи може да са разходите за отдаване под наем и закупуване на мебели. Променливите разходи , от друга страна, се променят в зависимост от броя на участниците. Например, в лабораторния експеримент променливи разходи могат да идват от персонала и участниците. Като цяло, аналоговите експерименти имат ниски постоянни разходи и високи променливи разходи, докато цифровите експерименти имат високи постоянни разходи и ниски променливи разходи (фигура 4.19). Въпреки че цифровите експерименти имат ниски променливи разходи, можете да създадете много вълнуващи възможности, когато управлявате променливата цена до нула.

Фигура 4.19: Схема на структурите на разходите при аналогови и цифрови експерименти. Като цяло, аналоговите експерименти имат ниски постоянни разходи и високи променливи разходи, докато цифровите експерименти имат високи постоянни разходи и ниски променливи разходи. Различните структури на разходите означават, че цифровите експерименти могат да се изпълняват в мащаб, който не е възможен при аналогови експерименти.

Съществуват два основни елемента на променливите разходи за плащания на персонала и плащания към участниците - и всяка от тях може да бъде задвижена до нула, използвайки различни стратегии. Плащанията на персонала произтичат от работата, която асистентите по научни изследвания набират, получават лечение и измерват резултатите. Например, аналоговият полеви експеримент на Schultz и колеги (2007) относно използването на електроенергия изисква асистентите да пътуват до всеки дом, за да доставят лечението и да прочетат електромера (фигура 4.3). Всички тези усилия от сътрудниците в областта на научните изследвания означават, че добавянето на ново домакинство към проучването би довело до увеличаване на разходите. От друга страна, за експеримента с цифрови полета на Restivo и van de Rijt (2012) относно ефекта от наградите на редакторите на Уикипедия, изследователите биха могли да добавят повече участници на практика без разходи. Обща стратегия за намаляване на променливите административни разходи е заместването на работата на хората (което е скъпо) с компютърната работа (която е евтина). Грубо можете да си зададете въпроса: Може ли този експеримент да се изпълни, докато всички от моя изследователски екип спят? Ако отговорът е "да", вие сте свършили чудесна работа с автоматизацията.

Вторият основен тип променлива цена са плащанията към участниците. Някои изследователи са използвали Amazon Mechanical Turk и други онлайн пазари на труда, за да намалят плащанията, които са необходими за участниците. За да управлявате променливите разходи до нула, е необходим различен подход. Дълго време изследователите са проектирали експерименти, които са толкова скучни, че трябва да плащат на хората да участват. Но какво би станало, ако можехте да създадете експеримент, в който хората искат да влязат? Това може да звучи пресилено, но ще ви дам един пример по-долу от собствената си работа и има още примери в таблица 4.4. Обърнете внимание, че тази идея за проектиране на приятни експерименти отразява някои от темите в глава 3 относно създаването на по-приятни проучвания и в глава 5 относно дизайна на масовото сътрудничество. По този начин мисля, че удоволствието от участниците - което може да се нарече и потребителски опит - ще бъде все по-важна част от изследователския проект в дигиталната ера.

Ако искате да създадете експерименти с нулеви данни за променливите разходи, ще трябва да се уверите, че всичко е напълно автоматизирано и че участниците не изискват плащане. За да покажа как това е възможно, ще опиша моето изследване на дисертацията за успеха и провала на културните продукти.

Моята дисертация беше мотивирана от озадачаващия характер на успеха на културните продукти. Хит-песните, най-продаваните книги и филмите са много, много по-успешни от средните. Поради това пазарите на тези продукти често се наричат ​​пазари "победител-всички". И все пак, в същото време коя конкретна песен, книга или филм ще стане успешна е невероятно непредвидима. Сценаристът Уилям Голдман (1989) елегантно обобщава много академични изследвания, като казва, че когато става дума за прогнозиране на успеха, "никой не знае нищо". Непредсказуемостта на всички пазари, победители, ме накара да се чудя колко успех е резултат на качеството и колко е просто късмет. Или изразихме малко по-различно, ако успяхме да създадем паралелни светове и да ги накараме да се развият самостоятелно, ще станат ли едни и същи песни популярни във всеки един свят? И ако не, какво може да бъде механизъм, който причинява тези различия?

За да отговорим на тези въпроси, ние-Питър Доддс, Дънкан Ватс (моят съветник по дисертацията) и аз проведох поредица от онлайн полеви експерименти. По-специално създадохме уебсайт, наречен MusicLab, където хората биха могли да открият нова музика и я използвахме за поредица от експерименти. Набихме участници, като пуснахме реклами с банери на уебсайт с интереси на тийнейджъри (фигура 4.20) и чрез споменавания в медиите. Участниците, пристигащи на нашия уебсайт, предоставиха информирано съгласие, попълниха кратък фонов въпросник и бяха назначени случайно на едно от двете независими експериментални условия и социално влияние. В независимо състояние участниците взеха решения за песните, които да слушат, като се има предвид само имената на групите и песните. Докато слушаха песен, участниците бяха помолени да я оценят, след което имаха възможност (но не и задължението) да изтеглят песента. В условията на социално влияние, участниците имаха същия опит, освен че могат да видят колко пъти всяка песен е била изтеглена от предишни участници. Освен това, участниците в социалното влияние бяха случайно разпределени в един от осемте паралелни светове, всеки от които се развиваше самостоятелно (фигура 4.21). Използвайки този дизайн, проведохме два свързани експеримента. В първата, ние представихме песните на участниците в несортирана мрежа, което им осигури слаб сигнал за популярност. Във втория експеримент представихме песните в класиран списък, който осигури много по-силен сигнал за популярност (фигура 4.22).

Фигура 4.20: Пример за банерна реклама, която колегите ми и аз използвахме за набиране на участници за експериментите на (Salganik, Dodds, and Watts 2006) . Възпроизведено с разрешение от Salganik (2007) , фигура 2.12.

Фигура 4.21: Експериментален дизайн за експериментите на (Salganik, Dodds, and Watts 2006) . Участниците бяха назначени случайно на една от двете условия: независимо и социално влияние. Участниците в независимото състояние правеха избора си без никаква информация за това какво са направили другите хора. Участниците в условията на социално влияние бяха разпределени на случаен принцип в един от осемте паралелни светове, където можеха да видят популярността на всяка песен в света, измерена чрез сваляния на предишни участници, но не виждаха никаква информация за тях, нито пък те дори знаят за съществуването на някой от другите светове. Адаптирано от Salganik, Dodds, and Watts (2006) , фигура s1.

Открихме, че популярността на песните се различава в целия свят, което предполага, че късметът играе важна роля в успеха. Например, в един свят песента "Lockdown" от 52Metro дойде на 1 от 48 песни, докато в друг свят се появи на 40-о място. Това беше същата песен, която се състезаваше срещу всички други песни, но в един свят имаше късмет, а в останалите не го направи. Освен това, сравнявайки резултатите в двата експеримента, установихме, че социалното влияние увеличава победителя - всичката природа на тези пазари, което може би подсказва значението на уменията. Но, гледайки по света (което не може да се направи извън този вид експерименти с паралелни светове), установихме, че социалното влияние действително увеличава значението на късмета. Освен това, изненадващо, песните от най-висок облик, където късметът имаше най-голямо значение (фигура 4.23).

Фигура 4.22: Снимки от условията на социално влияние в експериментите на (Salganik, Dodds, and Watts 2006) . В състоянието на социалното влияние в експеримент 1, песни, заедно с броя на предишни изтегляния, бяха представени на участниците, подредени в 16 \(\times\) 3 правоъгълна решетка, когато позициите на песните са били рандомизирани за всеки участник. В експеримент 2 участниците в състоянието на социалното влияние са показали песните с брой на изтеглянията, представени в една колона в низходящ ред на текущата популярност.

Фигура 4.23: Резултати от експериментите на (Salganik, Dodds, and Watts 2006) показващи връзката между привлекателността и успеха (Salganik, Dodds, and Watts 2006) . Стойността на \(x\) е пазарен дял на песента в независимия свят, който служи като мярка за привлекателността на песента, а \(y\) -аксисът е пазарен дял на същата песен в осемте обществени влиятелни светове, които служат като мярка за успеха на песните. Установихме, че увеличаването на социалното влияние, което изпитват участниците - конкретно, промяната в оформлението от експеримент 1 до експеримент 2 (фигура 4.22) доведе до успех, за да стане по-непредвидима, особено за най-привлекателните песни. Адаптирано от Salganik, Dodds, and Watts (2006) , фигура 3.

MusicLab успя да работи с по същество нулева променлива цена, поради начина, по който тя е проектирана. Първо, всичко беше напълно автоматизирано, за да може да се движи докато бях спяла. На второ място, компенсацията беше безплатна музика, така че нямаше променлива стойност на компенсацията на участниците. Използването на музика като компенсация също илюстрира как понякога съществува компромис между фиксираните и променливите разходи. Използването на музика увеличи фиксираните разходи, защото трябваше да прекарам време, за да получа разрешение от групите, и да подготвям доклади за тях относно реакцията на участниците към тяхната музика. Но в този случай увеличаването на фиксираните разходи, за да се намалят разходите за променливи, е правилното нещо, което трябва да се направи; това ни позволи да проведем експеримент, който е около 100 пъти по-голям от стандартния лабораторен експеримент.

Освен това експериментите на MusicLab показват, че нулевата променлива цена не трябва да бъде самоцел; по-скоро тя може да бъде средство за провеждане на нов вид експеримент. Забележете, че не сме използвали всички наши участници, за да стартираме стандартен лабораторен експеримент за въздействие 100 пъти. Вместо това направихме нещо различно, което може да се мисли като преминаване от психологически експеримент към социологически (Hedström 2006) . Вместо да се съсредоточаваме върху вземането на индивидуални решения, ние фокусирахме нашия експеримент върху популярността, колективен резултат. Това преминаване към колективен резултат означаваше, че ние трябваше около 700 участници да създадат единна точка за данни (имаше 700 души във всеки от паралелните светове). Тази скала е възможна само поради структурата на разходите на експеримента. Като цяло, ако изследователите искат да проучат как колективните резултати възникват от индивидуалните решения, групови експерименти като MusicLab са много вълнуващи. В миналото те са логистично трудни, но тези трудности избледняват, поради възможността за нулеви данни за променливите разходи.

В допълнение към илюстрирането на ползите от нулевите данни за променливите разходи, експериментите на MusicLab също показват предизвикателство с този подход: високи фиксирани разходи. В моя случай бях изключително щастлив, че успях да работя с талантлив уеб програмист на име Питър Хаузъл за около шест месеца, за да конструирам експеримента. Това беше възможно само защото моят съветник Дънкан Уотс получи няколко безвъзмездни средства за подкрепа на този вид изследвания. Технологията се подобри, откакто създадохме MusicLab през 2004 г., така че ще бъде много по-лесно да се изгради такъв експеримент сега. Но високите стратегии за фиксирани разходи са наистина възможни само за изследователи, които по някакъв начин могат да покрият тези разходи.

В заключение, цифровите експерименти могат да имат драматично различни структури на разходите, отколкото аналогичните експерименти. Ако искате да проведете наистина големи експерименти, трябва да се опитате да намалите променливата си цена колкото е възможно повече и в идеалния случай до нула. Можете да направите това, като автоматизирате механика на експеримента си (например заместване на човешкото време с компютърно време) и проектиране на експерименти, с които хората искат да бъдат. Изследователи, които могат да проектират експерименти с тези функции, ще могат да провеждат нови видове експерименти, не е възможно в миналото. Възможността за създаване на експерименти с нулеви променливи разходи обаче може да повдигне нови етични въпроси - темата, която сега ще обърна внимание.