4.6.1 Создание нулевых переменных данных о затратах

Ключ к выполнении больших экспериментов вождение переменных затрат к нулю. Лучшие способы сделать это являются автоматизация и проектирование приятных экспериментов.

Цифровые эксперименты могут иметь существенно различные структуры затрат, и это позволяет исследователям проводить эксперименты, которые были невозможны в прошлом. Более конкретно, эксперименты , как правило , имеют два основных вида затрат:. Постоянных затрат и переменных издержек постоянные издержки затраты , которые не изменяются в зависимости от того, сколько участников вы имеете. Например, в лабораторных условиях эксперимента, фиксированные затраты могут быть стоимость аренды места и покупки мебели. Переменные затраты, с другой стороны, изменение в зависимости от того, сколько участников вы имеете. Например, в лабораторных условиях эксперимента, переменные затраты могут прийти от уплаты персонала и участников. В общем, аналоговые эксперименты имеют низкие постоянные затраты и высокие переменные затраты, а также цифровые эксперименты имеют высокие постоянные издержки и низкие переменные затраты (рис 4.18). При соответствующей конструкции, вы можете управлять переменную стоимость вашего эксперимента вплоть до нуля, и это может создать интересные возможности для проведения исследований.

Рисунок 4.18: Схема структуры затрат в аналоговых и цифровых экспериментов. В общем, аналоговые эксперименты имеют низкие постоянные затраты и высокие переменные затраты, тогда как цифровые эксперименты имеют высокие постоянные издержки и низкие переменные затраты. Различные структуры затрат означает, что цифровые эксперименты могут работать в масштабах, не представляется возможным с аналоговыми экспериментами.

Есть два основных элемента переменных затрат и выплат сотрудникам и выплат участникам, и каждый из них может быть доведен до нуля с использованием различных стратегий. Выплаты персоналу вытекают из работы, что научные сотрудники этого набора участников, обеспечивая лечения и оценки результатов. Например, аналог полевой эксперимент по Шульца и его коллег (2007) о социальных нормах и использования электроэнергии , требующейся научных сотрудников для поездки в каждый дом , чтобы доставить лечение и читать электрический счетчик (Рисунок 4.3). Все эти усилия научные сотрудники имел в виду, что добавление нового домашнего хозяйства к изучению добавило бы к стоимости. С другой стороны, для цифровой полевой эксперимент Restivo и ван де Rijt (2012) на награды в Википедии, исследователи могли бы добавить больше участников практически бесплатно. Общая стратегия сокращения переменных административных расходов, чтобы заменить человеческий труд (что дорого) с работы на компьютере (который является дешевым). Грубо говоря, вы можете спросить себя: может этот эксперимент работать, пока все на моей исследовательской группы спит? Если ответ да, то вы проделали огромную работу по автоматизации.

Второй основной тип переменных затрат является платежи участников. Некоторые исследователи использовали Amazon Mechanical Turk и на других рынках онлайн труда, чтобы уменьшить платежи, которые необходимы для участников. Гнать переменные затраты вплоть до нуля, однако, необходим другой подход. В течение долгого времени исследователи разработали эксперименты, которые так скучно им приходится платить людям участвовать. Но, что делать, если вы могли бы создать эксперимент, что люди хотят быть в? Это может показаться надуманным, но я дам вам пример ниже от моей собственной работы, и есть другие примеры, приведенные в таблице 4.4. Следует отметить, что такой подход к проектированию приятных экспериментов перекликается некоторые темы в главе 3 в отношении разработки более приятным обследований и в главе 5 в отношении проектирования массового сотрудничества. Таким образом, я считаю, что участник наслаждение-то, что также можно назвать пользовательский опыт, будет все более важной частью конструкции исследования в эпоху цифровых технологий.

Если вы хотите создать нулевые переменные затраты экспериментов вы хотите, чтобы убедиться, что все полностью автоматизировано и что участники не требуют каких-либо выплат. Для того, чтобы показать, как это возможно, я буду описывать мое исследование диссертации на успех и провал культурной продукции. Этот пример также показывает, что нулевая переменная данные о расходах не только о делать вещи дешевле. Скорее всего, речь идет о позволяя эксперименты, которые были бы невозможны в противном случае.

Моя диссертация была мотивирована загадочным характером успеха культурной продукции. Хит песни, лучшие продажи книг, и блокбастеры намного, намного успешнее, чем в среднем. Из-за этого, рынки для этих продуктов часто называют "победитель получает все" рынки. Тем не менее, в то же время, какой именно песня, книга или фильм станет успешным невероятно непредсказуемым. Сценарист Уильям Голдман (1989) элегантно подытожил много научных исследований, говоря , что, когда дело доходит до предсказания успеха, "никто ничего не знает." Непредсказуемости победитель получает все рынки заставило меня задаться вопросом, насколько успех является результатом качества и насколько это просто удача. Или, выражается несколько иначе, если бы мы могли создать параллельные миры и иметь их все эволюционируют независимо, будут одни и те же песни становятся популярными в каждом мире? И, если нет, то может быть механизм, который вызывает эти различия?

Для того, чтобы ответить на эти вопросы, мы-Питер Доддс, Дункан Уоттс (диссертацией по согласованию), и я побежал серию экспериментов онлайн на местах. В частности, мы создали сайт под названием MusicLab, где люди могли бы открыть для себя новую музыку, и мы использовали его для целой серии экспериментов. Мы набрали участников, запустив рекламные баннеры на подростков-процентный веб-сайт (рисунок 4.19) и через упоминаний в средствах массовой информации. Участники, прибывающие на нашем сайте при условии информированного согласия, завершил короткую анкету фона, и были случайным образом распределены в одну из двух экспериментальных условий, независимого и социального влияния. В независимом состоянии, участники приняли решения о том, какие песни слушать, учитывая только имена групп и песен. Во время прослушивания песни, участникам было предложено оценить его, после чего они имели возможность (но не обязанность), чтобы загрузить песню. В условиях социального влияния, участники имели один и тот же опыт, за исключением того, что они также могли видеть, сколько раз каждая песня была загружена предыдущими участниками. Кроме того, участники условия социального влияния были случайным образом распределены в одну из восьми параллельных миров, каждый из которых независимо друг от друга эволюционировали (рис 4.20). Используя эту конструкцию, мы провели два взаимосвязанных экспериментов. В первом случае, мы представили участникам песни в несортированных сетке, что обеспечило им слабый сигнал популярности. Во втором эксперименте мы представили песни в ранжированный список, который обеспечил намного более сильный сигнал популярности (рисунок 4.21).

Рисунок 4.19: Пример рекламного баннера , что я и мои коллеги использовали для набора участников для экспериментов MusicLab (Salganik, Dodds, and Watts 2006) .

Рисунок 4.20: Экспериментальный дизайн для экспериментов MusicLab (Salganik, Dodds, and Watts 2006) . Участники были случайным образом распределены в одну из двух условий: независимого и социального влияния. Участники независимого состояния сделали свой выбор без какой-либо информации о том, что было сделано другими людьми. Участники условия социального влияния были случайным образом распределены в одну из восьми параллельных миров, где они могли бы увидеть популярность, измеряемую загрузки предыдущих участников-каждой песни в их мире, но они не могли видеть какую-либо информацию, при этом они не даже знают о существовании, любой из других миров.

Мы обнаружили, что популярность песни различалась миров предполагая важную роль удачи. Например, в одном мире песня "Lockdown" по 52Metro пришел в 1-м, и в другом мире, он пришел в 40-х из 48 песен. Это был точно такой же песня конкурировать с теми же песнями, но в одном мире, это повезло, и в других это не так. Кроме того, путем сравнения результатов по двух экспериментов мы обнаружили, что социальное влияние приводит к более неравным успех, который, возможно, создает видимость предсказуемости. Но, глядя через миры (которые не могут быть выполнены за пределами такого рода параллельные миры эксперимента), мы обнаружили, что социальное влияние фактически увеличилась непредсказуемость. Кроме того, удивительно, что это были песни самой высокой привлекательности, которые имеют самые непредсказуемые результаты (рис 4.22).

Рисунок 4.21: Скриншоты из условий социального влияния в опытах MusicLab (Salganik, Dodds, and Watts 2006) . В условиях социального влияния в эксперименте 1, песни, наряду с количеством предыдущих загрузок, были представлены участникам организованных в 16 X 3 прямоугольной сетки, где позиции песен были случайным образом распределены для каждого участника. В эксперименте 2, участники условия социального влияния были показаны песни, с количество загрузок, представленные в одном столбце в порядке убывания популярности текущей.

Рисунок 4.22: Результаты от MusicLab экспериментов , показывающих связь между привлекательностью и успехом (Salganik, Dodds, and Watts 2006) . Ось х рыночная доля песни в независимом мире, который служит мерой привлекательности песни, а ось у является рыночная доля той же песни в 8 мирах социального влияния, который служит как мера успеха песен. Мы обнаружили, что повышение социального влияния, что участники испытали специфически, изменение макета из эксперимента 1 эксперимент 2 (рис 4.21) -caused успех, чтобы стать более непредсказуемым, особенно для высших апелляционных песен.

MusicLab был в состоянии работать по существу нулевой переменных затрат из-за способа, что он был разработан. Во-первых, все было полностью автоматизирован, так что был в состоянии работать, пока я спал. Во-вторых, компенсация была бесплатной музыки, так что не было ни одной переменной стоимости компенсации участник. Использование музыки в качестве компенсации также показывает, как иногда существует компромисс между постоянных затрат и переменных затрат. Использование музыки увеличили фиксированные затраты, потому что мне пришлось тратить время на обеспечение разрешения от полос и подготовки отчетов для групп о реакции участников на их музыку. Но, в данном случае, увеличение постоянных затрат с целью снижения затрат на переменные была правильная вещь, чтобы сделать; это то, что позволило нам провести эксперимент, который был примерно в 100 раз больше, чем стандартный лабораторный эксперимент.

Кроме того, эксперименты MusicLab показывают, что нулевая переменная стоимость не должна быть самоцелью; Скорее всего, это может быть средством для запуска нового типа эксперимента. Обратите внимание на то, что мы не использовали всех наших участников выполнения стандартного социального влияния LAB эксперимент в 100 раз. Вместо этого, мы сделали что - то другое, что вы могли бы думать , как переход от психологического эксперимента социологического эксперимента (Hedström 2006) . Вместо того, чтобы сосредоточиться на индивидуальном принятии решений, мы сосредоточили наш эксперимент по популярности, коллективный результат. Этот переход к коллективному результату означало, что нам требовалось около 700 участников, чтобы произвести одну точку данных (там было 700 человек в каждой из параллельных миров). Эта шкала была возможна только благодаря структуре себестоимости эксперимента. В общем, если исследователи хотят изучить, как коллективный результаты вытекают из индивидуальных решений, групповые эксперименты, такие как MusicLab очень интересно. В прошлом они были логистически трудно, но эти трудности исчезают из-за возможности нулевых данных переменных затрат.

Помимо иллюстрации преимущества нулевых данных переменных затрат, эксперименты MusicLab также показывают проблемы с этим подходом: высокие фиксированные расходы. В моем случае, я был очень повезло, чтобы иметь возможность работать с талантливым веб-разработчик по имени Peter Hausel около шести месяцев, чтобы построить эксперимент. Это стало возможным только потому, что мой советник, Дункан Уоттс получил ряд грантов для поддержки такого рода исследований. Технология улучшилась, так как мы построили MusicLab в 2004 году, и было бы гораздо проще построить эксперимент, как это сейчас. Но, высокие стратегии фиксированных затрат действительно возможно только для исследователей, которые могут каким-то образом покрыть эти расходы.

В заключение, цифровые эксперименты могут иметь существенно различные структуры затрат, чем аналоговых экспериментов. Если вы хотите запустить действительно большие эксперименты, вы должны попытаться уменьшить переменные затраты в максимально возможной степени и в идеале весь путь до 0. Вы можете сделать это за счет автоматизации механики эксперимента (например, замена человеческого времени с компьютером времени) и проектирования экспериментов, которые люди хотят быть. Исследователи, которые могут разрабатывать эксперименты с этими функциями будут иметь возможность запускать новые виды экспериментов, которые были невозможны в прошлом.