4.6.1 Създаване на нулеви данни на променливите разходи

Ключът към работещи големи експерименти е шофиране си променливи разходи до нула. Най-добрите начини да направите това са автоматизация и проектиране приятни експерименти.

Цифрови експерименти могат да имат значително различни по структура на разходите и това дава възможност на учените да провеждат експерименти, които бяха невъзможни в миналото. По-конкретно, експерименти обикновено имат два основни вида разходи:. Фиксирани и променливи разходи постоянни разходи са разходи, които не се променят в зависимост от това колко участници имате. Например, в една лаборатория експеримент, фиксирани разходи могат да бъдат разходите за наемане на пространство и закупуване на мебели. Променливи разходи, от друга страна, се променя в зависимост от това колко участници имате. Например, в една лаборатория експеримент, променливите разходи могат да идват от заплащане на персонала и участниците. В общи линии, аналогови експерименти имат ниски фиксирани разходи и високи променливи разходи, и дигитални експерименти имат високи постоянни разходи и ниски променливи разходи (Фигура 4.18). С подходящ дизайн, можете да карате на променливите разходи на експеримента си по целия път до нула, и това може да създаде вълнуващи възможности за научни изследвания.

Фигура 4.18: Схема на структурата на разходите в аналогови и цифрови експерименти. В общи линии, аналогови експерименти имат ниски фиксирани разходи и високи променливи разходи, докато цифровите експерименти имат високи постоянни разходи и ниски променливи разходи. различни структури на разходите означава, че цифровите експерименти могат да работят и в мащаб, че не е възможно с аналогови експерименти.

Има два основни елементи на променливите разходи плащания за персонала и плащания на участниците-и всеки от тях може да се придвижва до нула с помощта на различни стратегии. Плащания на персонала произтичат от дейността, която научни сътрудници се набират участници, които доставят лечения, и измерване на резултатите. Например, аналогов поле експеримента на Шулц и колеги (2007) на социалните норми и използване на електрическа енергия изисква научни сътрудници, за да пътуват до всеки дом, за да достави на лечението и прочетете електромера (Фигура 4.3). Всичко това усилие от научни сътрудници означава, че добавянето на нов домакинство на изследването би добавя към цената. От друга страна, за цифровата област експеримента на Restivo и ван де Rijt (2012) върху награди в Wikipedia, изследователите биха могли да добавите още участници в почти никакви разходи. А общата стратегия за намаляване на променливите на административните разходи е да се замени човешкия труд (което е скъпо) с работа с компютър (който е евтин). Грубо казано, можете да се запитате: може този експеримент тече, докато всички на моя изследователски екип се спи? Ако отговорът е да, вие сте направили много работа за автоматизация.

Вторият основен тип на променливите разходи е плащания на участниците. Някои изследователи са използвали Amazon Mechanical Turk и други пазари онлайн труда за намаляване на плащанията, които са необходими за участниците. За задвижване на променливите разходи по целия път до нула, обаче, е необходимо различен подход. За дълго време, учените са проектирани експерименти, които са толкова скучни, те трябва да плащат на хората да участват. Но, това, което, ако можете да създадете експеримент, че хората искат да са в? Това може да звучи пресилено, но аз ще ви дам един пример по-долу от моята собствена работа, а има и още примери в таблица 4.4. Имайте предвид, че този подход към проектиране приятни експерименти повтаря някои от темите в глава 3 по отношение на проектирането на по-приятно проучвания и в глава 5 по отношение на дизайна на маса сътрудничество. По този начин, аз мисля, че участник удоволствие-това, което може да се нарече потребителски опит, ще бъде все по-важна част от изследователски проект в дигиталната епоха.

Ако искате да създадете нулеви променливи експерименти разходи, което ще искате да се гарантира, че всичко е напълно автоматизиран и че участниците не изискват никакви плащания. С цел да се покаже, как е възможно това, аз ще опиша моята дисертация изследвания върху успеха и провала на културни продукти. Този пример показва също, че нула данни променливи разходи не е само за правене на нещата по-евтино. Напротив, то е за активирането на експерименти, които не биха били възможни по друг начин.

Моята дисертация е мотивирано от озадачаващо характер на успех за културни продукти. Хитови песни, най-продаваните книги, и хитови филми са много, много по-голям успех от средното. Поради това, на пазарите на тези продукти често са наричани "победителят обира всички" пазари. И все пак, в същото време, което специално песен, книга или филм ще стане успешен е изключително непредвидим. Сценаристът Уилям Голдман (1989) елегантно обобщи много академични изследвания, като казва, че, когато става въпрос за прогнозиране на успеха, "никой не знае нищо." Непредсказуемостта на победителят обира всички пазари ме накараха да се чудя колко от успех е резултат на качеството и колко е просто късмет. Или, изразено малко по-различно, ако можем да се създават паралелни светове и да ги имат всички се развива независимо, би същите песни стават популярни във всеки свят? И, ако не, какво може да е механизъм, който причинява тези разлики?

За да отговорим на тези въпроси, ние-Peter Додс, Дънкан Уотс (моята дисертация съветник), и I-прокара серия от онлайн полеви експерименти. По-специално, ние изградихме един сайт, наречен MusicLab, където хората могат да открият нова музика, и ние го използва за серия от експерименти. Ние наети участници чрез провеждане на рекламни банери на интернет страницата на наградата интерес (фигура 4.19) и чрез споменава в медиите. Участниците, които пристигат на нашия уебсайт, предоставена на информирано съгласие, завършени кратко фон въпросник, и са били рандомизирани към една от двете експериментални условия-независим и социално влияние. В независимата състояние, участниците правят решенията за това кои песни да слушат, дадено само имената на бандите и песните. Докато слушате песен, участниците бяха помолени да го оценят, след което те са имали възможност (но не и задължение) за изтегляне на песента. В състоянието на социално влияние, участниците имаха същия опит, с изключение те биха могли също така да видите колко пъти всяка песен е била изтеглена от предишните участници. Освен това, участниците в състояние на социално влияние са били рандомизирани към една от осемте паралелни светове, всеки от които се развивали независимо (Фигура 4.20). Използването на този проект, ние се завтече две свързани експерименти. В първата, ние представихме участници песните в несортиран решетка, която ги е предоставила слаб сигнал на популярност. Във втория експеримент, ние представени песните в списък с класация, която осигурява много по-силен сигнал на популярност (Фигура 4.21).

Фигура 4.19: Пример за банерна реклама, че аз и моите колеги, използвани за набиране на участници за експерименти MusicLab (Salganik, Dodds, and Watts 2006) .

Фигура 4.20: Експериментален дизайн за експерименти MusicLab (Salganik, Dodds, and Watts 2006) . Участниците били рандомизирани в една от следните две условия: независима и социално влияние. Участниците в независима състоянието направени избора си без никаква информация за това какво другите хора бяха направили. Участниците в състояние на социално влияние са били рандомизирани в една от осемте паралелни светове, където те биха могли да видят популярността-измерен чрез сваляне на предишни участниците- на всяка песен в техния свят, но те не се виждаше никаква информация, нито са направили дори знаят за съществуването на всеки един от другите светове.

Ние открихме, че популярността на песните се различаваше през световете предполага важна роля на късмет. Например, в един свят на песента "Lockdown" от 52Metro дойде в първата, и в един друг свят той дойде в 40-то от 48 песни. Това е точно една и съща песен конкурентни срещу всички едни и същи песни, но в един свят, той извади късмет и в другите това не се случи. Освен това, чрез сравняване на резултатите между двата експеримента ние открихме, че социалното влияние води до по-неравно успех, който може би създава облика на предвидимост. Но, гледайки през световете (което не може да се направи извън този вид паралелни светове експеримент), ние открихме, че социалното влияние всъщност се е увеличил непредвидимостта. Освен това, изненадващо, че е песните на най-високо обжалване, които имат най-непредсказуеми резултати (Фигура 4.22).

Фигура 4.21: Снимки от условията на социално влияние в експериментите MusicLab (Salganik, Dodds, and Watts 2006) . В състоянието на социално влияние в експеримент 1, песни, заедно с броя на предишни изтегляния, бяха представени на участниците, подредени в 16 X 3 правоъгълна решетка, когато позициите на песните са били рандомизирани за всеки участник. В експеримент 2, участници в състояние на социално влияние бяха показани на песните, с броя изтегляния, представени в една колона в низходящ ред на текущата популярност.

Фигура 4.22: Резултати от експериментите MusicLab, показващи връзката между обжалване и успех (Salganik, Dodds, and Watts 2006) . В х-оста е пазарният дял на песента в независим свят, който служи като мярка за обжалването на песента, и оста у е пазарният дял на една и съща песен в 8 влияние светове социалните, който служи като мярка за успеха на песните. Ние открихме, че увеличаването на социалното влияние, че участниците са имали-конкретно, промяната в оформлението от експеримент 1 да експериментират 2 (Фигура 4.21) -caused успех да стане по-непредсказуемо, особено за най-високите обжалване песни.

MusicLab е в състояние да се движи с по същество нула променливи разходи заради начина, по който тя е проектирана. Първо, всичко е напълно автоматизирана, така че е в състояние да тече, докато аз спях. Второ, компенсацията е безплатно музика, така че не е имало променливи разходи компенсация участник. Използването на музиката като компенсация също илюстрира как понякога има компромис между фиксирани и променливи разходи. Използването на музика увеличава постоянните разходи, защото трябваше да прекарват времето осигуряване разрешение от лентите и изготвяне на доклади за интервалите за реакция на участниците да им музика. Но в този случай, увеличаване на фиксираните разходи, за да намали разходите променливи е правилното нещо да направя; това е, което ни позволи да тече експеримент, който е около 100 пъти по-голям от стандартен лабораторен експеримент.

Освен това, експериментите с MusicLab показват, че нула променливи разходи не трябва да бъде самоцел; Вместо това, тя може да бъде средство за провеждане на нов вид експеримент. Забележете, че ние не използваме всички наши участници да тече стандартен социално влияние лаборатория експеримент 100 пъти. Вместо това, ние направихме нещо различно, което може да ви хрумне като преминаване от един психологически експеримент, за да социологическо експеримент (Hedström 2006) . Вместо да се фокусира върху индивидуалното вземане на решения, ние се фокусирахме нашия експеримент по популярност, колективно договаряне. Този ключ към колективен резултат означава, че ние се изисква около 700 участници, за да се получи една точка данни (имало 700 души във всяка от паралелни светове). Това мащаб е възможно само благодарение на структурата на разходите на експеримента. По принцип, ако изследователите искат да учат как колективно резултати произтичат от индивидуални решения, групови експерименти като MusicLab са много вълнуващи. В миналото те са били логистично трудно, но тези трудности са замира поради възможността от нула данни на променливите разходи.

В допълнение към илюстрират предимствата на нулеви данни на променливите разходи, експерименти MusicLab също показват предизвикателство с този подход: висока фиксирани разходи. В моя случай, аз бях изключително щастлив да бъде в състояние да работи с талантливи уеб разработчик на име Питър Hausel за около шест месеца, за да се изгради на експеримента. Това е възможно само защото ми съветник, Дънкан Уотс, е получил редица грантове за подкрепа на този вид изследвания. Technology се е подобрило, тъй като ние построен MusicLab през 2004 г., и че ще бъде много по-лесно да се изгради един експеримент като този сега. Но, високи стратегии фиксираните разходи са наистина възможни само за изследователите, които могат по някакъв начин да покриват тези разходи.

В заключение, дигитални експерименти могат да имат значително различни структури на разходите, отколкото аналоговите експерименти. Ако искате да стартирате наистина големи експерименти, трябва да се опитате да намалите променливи разходи, доколкото е възможно и в идеалния случай по целия път до 0. Можете да направите това чрез автоматизиране на механиката на експеримента (например, замяна на човешкото време с компютър време) и проектиране на експерименти, които хората искат да бъдат в. Изследователите, които могат да проектират експерименти с тези функции ще бъдат в състояние да тече нови видове експерименти, които не са били възможни в миналото.