4.6.1 Создание нулевых переменных данных о затратах

Ключом к проведению больших экспериментов является то, что ваша переменная стоимость будет равна нулю. Лучшие способы сделать это - автоматизация и проектирование приятных экспериментов.

Цифровые эксперименты могут иметь принципиально разные структуры затрат, и это позволяет исследователям запускать эксперименты, которые в прошлом были невозможны. Один из способов подумать об этом различии - отметить, что эксперименты обычно имеют два вида затрат: постоянные издержки и переменные затраты. Фиксированные затраты - это затраты, которые остаются неизменными независимо от количества участников. Например, в лабораторном эксперименте постоянными расходами могут быть затраты на аренду помещений и покупку мебели. С другой стороны, переменные издержки изменяются в зависимости от количества участников. Например, в лабораторном эксперименте переменные затраты могут исходить от оплаты персонала и участников. В общем, аналоговые эксперименты имеют низкие фиксированные затраты и высокие переменные затраты, в то время как цифровые эксперименты имеют высокие фиксированные затраты и низкие переменные затраты (рисунок 4.19). Несмотря на то, что цифровые эксперименты имеют низкие переменные затраты, вы можете создать множество интересных возможностей, когда вы будете управлять переменной стоимостью до нуля.

Рисунок 4.19: Схема структуры затрат в аналоговых и цифровых экспериментах. В общем, аналоговые эксперименты имеют низкие фиксированные затраты и высокие переменные затраты, тогда как цифровые эксперименты имеют высокие фиксированные затраты и низкие переменные затраты. Различные структуры затрат означают, что цифровые эксперименты могут выполняться в масштабе, который невозможен с аналоговыми экспериментами.

Существует два основных элемента переменных затрат-платежей для персонала и выплаты участникам - и каждый из них может быть достигнут нуля с использованием разных стратегий. Платежи сотрудникам связаны с работой, которую помощники по научным исследованиям привлекают к участию в работе участников, проводят лечение и измеряют результаты. Например, эксперимент по аналоговому полевому эксперименту Шульца и его коллег (2007) по использованию электричества потребовал, чтобы ассистенты исследования направлялись в каждый дом, чтобы доставить обработку и прочитать электрический счетчик (рисунок 4.3). Все эти усилия помощников по исследованиям означали, что добавление нового домохозяйства в исследование добавило бы к стоимости. С другой стороны, для эксперимента в области цифровых экспериментов Restivo и van de Rijt (2012) о влиянии на награды редакторов Wikipedia исследователи могли бы добавить больше участников практически бесплатно. Общая стратегия сокращения переменных административных расходов заключается в замене работы человека (что дорого) на работу с компьютером (что является дешевым). Грубо говоря, вы можете спросить себя: может ли этот эксперимент работать, пока все члены моей исследовательской группы спали? Если да, вы проделали большую работу по автоматизации.

Второй основной тип переменной стоимости - это выплаты участникам. Некоторые исследователи использовали Amazon Mechanical Turk и другие онлайн-рынки труда для уменьшения платежей, необходимых для участников. Однако для изменения переменных затрат до нуля требуется другой подход. В течение долгого времени исследователи разработали эксперименты, которые настолько скучны, что им приходится платить людям за участие. Но что, если вы могли бы создать эксперимент, в котором хотят быть люди? Это может показаться надуманным, но я приведу вам пример из моей собственной работы, и примеров в таблице 4.4 больше. Обратите внимание, что эта идея разработки приятных экспериментов отражает некоторые темы в главе 3, касающиеся разработки более приятных обследований, а в главе 5 - о разработке массового сотрудничества. Таким образом, я думаю, что участие участников - то, что может также называться пользовательским опытом - станет все более важной частью дизайна исследований в эпоху цифровых технологий.

Если вы хотите создать эксперименты с нулевыми переменными стоимостью, вам необходимо убедиться, что все полностью автоматизировано и что участники не требуют каких-либо платежей. Чтобы показать, как это возможно, я опишу свое диссертационное исследование об успехах и неудачах культурных продуктов.

Моя диссертация была мотивирована загадочным характером успеха культурных продуктов. Хит-песни, бестселлеры и фильмы-блокбастеры намного эффективнее среднего. Из-за этого рынки для этих продуктов часто называются рынками «победитель». Тем не менее, в то же время, какая конкретная песня, книга или фильм станут успешными, невероятно непредсказуема. Сценарист Уильям Голдман (1989) William Goldman, (1989) изящно подвел итоги академических исследований, сказав, что когда дело доходит до предсказания успеха, «никто ничего не знает». Непредсказуемость рынков победителей заставило меня задуматься о том, насколько успех является результатом качества и сколько просто удачи. Или, выражаясь несколько иначе, если бы мы могли создавать параллельные миры и чтобы они эволюционировали независимо друг от друга, будут ли одни и те же песни популярными в каждом мире? И, если нет, какой может быть механизм, который вызывает эти различия?

Чтобы ответить на эти вопросы, мы - Питер Доддс, Дункан Уоттс (мой советник по вопросам диссертаций) и я - провели серию онлайн-полевых экспериментов. В частности, мы создали веб-сайт MusicLab, где люди могли открывать новую музыку, и мы использовали его для серии экспериментов. Мы набирали участников, запустив баннерную рекламу на веб-сайте для подростков (рисунок 4.20) и упоминания в средствах массовой информации. Участники, прибывшие на наш веб-сайт, получили информированное согласие, заполнили короткий справочный вопросник и были случайным образом назначены на одно из двух экспериментальных условий - независимое и социальное влияние. В независимом состоянии участники принимали решения о том, какие песни слушать, учитывая только имена групп и песен. Во время прослушивания песни участникам было предложено оценить ее, после чего у них была возможность (но не обязательство) загрузить песню. В условиях социального влияния участники имели такой же опыт, за исключением того, что они могли также видеть, сколько раз каждая песня была загружена предыдущими участниками. Кроме того, участники социального влияния были случайным образом привязаны к одному из восьми параллельных миров, каждый из которых эволюционировал независимо (рис. 4.21). Используя этот проект, мы провели два связанных эксперимента. В первом мы представили песни участникам в несортированной сетке, что дало им слабый сигнал популярности. Во втором эксперименте мы представили песни в ранжированном списке, что обеспечило гораздо более сильный сигнал популярности (рисунок 4.22).

Рисунок 4.20: Пример баннерной рекламы, с которой мы с коллегами набирали участников для экспериментов MusicLab (Salganik, Dodds, and Watts 2006) . Воспроизводится по разрешению Salganik (2007) , рисунок 2.12.

Рисунок 4.21: Экспериментальная конструкция для экспериментов MusicLab (Salganik, Dodds, and Watts 2006) . Участники были случайным образом назначены на одно из двух условий: независимое и социальное влияние. Участники независимого условия сделали свой выбор без какой-либо информации о том, что сделали другие люди. Участники социального влияния были случайным образом назначены на один из восьми параллельных миров, где они могли видеть популярность, измеряемую загрузками предыдущих участников, каждой песни в их мире, но они не могли видеть никакой информации о них, даже знать о существовании любого из других миров. Адаптировано из Salganik, Dodds, and Watts (2006) , рисунок s1.

Мы обнаружили, что популярность песен различалась по всему миру, предполагая, что удача сыграла важную роль в успехе. Например, в одном мире песня «Lockdown» от 52Metro появилась в 1-м из 48 песен, а в другом мире - в 40-м. Это была та же самая песня, конкурирующая со всеми остальными песнями, но в одном мире ей повезло, а в других - нет. Кроме того, сравнивая результаты в двух экспериментах, мы обнаружили, что социальное влияние увеличивает характер победителей всех этих рынков, что, возможно, предполагает важность навыков. Но, смотря на миры (которые нельзя сделать за пределами такого параллельного мировского эксперимента), мы обнаружили, что социальное влияние фактически увеличило важность удачи. Кроме того, удивительно, что это были песни с наивысшей привлекательностью, в которых наибольшее значение имела удача (рисунок 4.23).

Рисунок 4.22. Скриншоты из условий социального влияния в экспериментах MusicLab (Salganik, Dodds, and Watts 2006) . В условиях социального влияния в эксперименте 1 песни вместе с количеством предыдущих загрузок были представлены участникам, расположенным в прямоугольной сетке 16 \(\times\) 3, где позиции песен были случайным образом назначены для каждого участник. В эксперименте 2 участникам условия социального влияния были показаны песни с подсчетами загрузки, представленные в одном столбце в порядке убывания текущей популярности.

Рисунок 4.23: Результаты экспериментов MusicLab, показывающие взаимосвязь между апелляцией и успехом (Salganik, Dodds, and Watts 2006) . Параметр \(x\) - рыночная доля песни в независимом мире, которая служит мерилом привлекательности песни, а \(y\) - это доля рынка одной и той же песни в восемь социальных миров влияния, которые служат мерой успеха песен. Мы обнаружили, что увеличение социального влияния, которое испытывали участники, в частности, изменение макета из эксперимента 1 в эксперимент 2 (рисунок 4.22) - вызвало успех, чтобы стать более непредсказуемым, особенно для песен с наивысшей привлекательностью. Адаптировано из Salganik, Dodds, and Watts (2006) , рисунок 3.

MusicLab смог запустить практически нулевую переменную стоимость из-за того, как он был разработан. Во-первых, все было полностью автоматизировано, поэтому он смог бежать, пока я спал. Во-вторых, компенсация была бесплатной музыкой, поэтому не было никакой переменной компенсации участника. Использование музыки в качестве компенсации также иллюстрирует, как иногда возникает компромисс между фиксированными и переменными издержками. Использование музыки увеличило постоянные издержки, потому что мне пришлось тратить время на получение разрешения от групп и подготовку отчетов для них о реакции участников на их музыку. Но в этом случае правильное решение было связано с увеличением постоянных издержек с целью снижения переменных затрат; это позволило нам провести эксперимент, который был примерно в 100 раз больше, чем стандартный лабораторный эксперимент.

Кроме того, эксперименты MusicLab показывают, что нулевая переменная стоимость не должна быть самоцелью; скорее, это может быть средством для запуска нового типа эксперимента. Обратите внимание, что мы не использовали всех наших участников, чтобы 100 раз проводить стандартный лабораторный эксперимент по социальному влиянию. Вместо этого мы сделали что-то другое, о чем вы могли подумать, переходя от психологического эксперимента к социологическому (Hedström 2006) . Вместо того, чтобы уделять особое внимание индивидуальному принятию решений, мы сосредоточили наш эксперимент на популярности, общем результате. Этот переход к коллективному результату означал, что нам потребовалось около 700 участников для создания единой точки данных (в каждом из параллельных миров было 700 человек). Эта шкала была возможна только из-за структуры затрат эксперимента. В целом, если исследователи хотят изучить, как коллективные результаты возникают из отдельных решений, групповые эксперименты, такие как MusicLab, очень интересны. Раньше они были логически трудными, но эти трудности исчезают из-за возможности получения нулевых переменных затрат.

Помимо иллюстрации преимуществ данных с нулевой переменной стоимостью, эксперименты MusicLab также показывают проблему с таким подходом: высокие фиксированные затраты. В моем случае мне очень повезло, что я мог работать с талантливым веб-разработчиком Питером Хаузелем около шести месяцев, чтобы построить эксперимент. Это было возможно только потому, что мой советник, Дункан Уоттс, получил ряд грантов для поддержки такого рода исследований. Технология улучшилась с тех пор, как мы создали MusicLab в 2004 году, поэтому было бы намного легче построить такой эксперимент. Но высокие стратегии фиксированной стоимости действительно возможны только для исследователей, которые могут каким-то образом покрыть эти затраты.

В заключение, цифровые эксперименты могут иметь принципиально разные структуры затрат, чем аналоговые эксперименты. Если вы хотите запускать действительно большие эксперименты, вы должны стараться как можно меньше уменьшить переменную стоимость и в идеале до нуля. Вы можете сделать это, автоматизируя механику вашего эксперимента (например, заменяя человеческое время компьютерным временем) и разрабатывая эксперименты, в которые люди хотят быть. Исследователи, которые могут проектировать эксперименты с этими функциями, смогут запускать новые виды экспериментов, которые были в прошлом не возможно. Тем не менее, способность создавать эксперименты с нулевой переменной стоимостью может поднять новые этические вопросы, тема, которую я сейчас рассмотрю.