4.6.1 Створення нульових змінних даних про витратах

Ключ до великих експериментів - перевести вашу змінну вартість до нуля. Найкращі способи цього - автоматизація та проектування приємних експериментів.

Цифрові експерименти можуть мати різко різні структури вартості, і це дозволяє дослідникам проводити експерименти, які були неможливі в минулому. Один із способів думати про цю різницю - відзначити, що експерименти, як правило, мають два види витрат: постійні витрати та змінні витрати. Фіксовані витрати - це витрати, які залишаються незмінними незалежно від кількості учасників. Наприклад, в лабораторному експерименті фіксованими витратами можуть бути витрати на прокат приміщення та придбання меблів. Змінна витрати , з іншого боку, змінюються залежно від кількості учасників. Наприклад, в лабораторному експерименті мінлива вартість може належати від плати персоналу та учасників. Загалом, аналогові експерименти мають низькі постійні витрати та високі змінні витрати, а цифрові експерименти мають високі постійні витрати та низькі змінні витрати (рис 4.19). Незважаючи на те, що в цифрових експериментах існують низькі змінні витрати, ви можете створити багато цікавих можливостей, коли ви рухатимете змінну вартістю до нуля.

Малюнок 4.19: Схема структур вартості в аналогових та цифрових експериментах. Загалом, аналогові експерименти мають низькі постійні витрати та високі змінні витрати, тоді як цифрові експерименти мають високі постійні витрати та низькі змінні витрати. Різні структури вартості означають, що цифрові експерименти можуть працювати у масштабі, що неможливо з аналогічними експериментами.

Існує два основних елементи вартісних витрат на персонал та платежі учасникам, і кожен з них може бути виведений до нуля, використовуючи різні стратегії. Платежі співробітникам пов'язані з роботою, яку асистенти дослідників проводять за версією учасників, забезпечуючи лікування та вимірювання результатів. Наприклад, аналоговий польовий експеримент Шульца та його колег (2007) Щодо використання електроенергії вимагало дослідників помічників, щоб подорожувати до кожного будинку, щоб доставити лікування та прочитати електричний лічильник (рисунок 4.3). Всі ці зусилля помічниками дослідження означали, що додавання нового домогосподарства до дослідження призвело б до вартості. З іншого боку, для цифрового польового експерименту від Restivo та van de Rijt (2012) про вплив нагород у редакції Вікіпедії, дослідники могли б додавати більшу кількість учасників практично безкоштовно. Загальна стратегія скорочення різноманітних адміністративних витрат полягає в тому, щоб замінити роботу людини (яка є дорогою) за допомогою роботи комп'ютера (що є дешевим). Приблизно, ви можете поставити собі питання: чи може цей експеримент працювати, коли всі мої дослідницькі команди сплять? Якщо відповідь так, ви зробили велику роботу з автоматизації.

Другим основним типом змінної вартості є платежі учасникам. Деякі дослідники використали Amazon Mechanical Turk та інші онлайнові ринки праці для зменшення виплат, необхідних для учасників. Щоб загнати змінні витрати до нуля, потрібен інший підхід. Довгий час дослідники розробили експерименти, які настільки нудні, що вони повинні платити людям для участі. Але що робити, якщо ви можете створити експеримент, до якого люди хочуть бути? Це може здатися надуманим, але я дам вам приклад з моєї власної роботи, і в прикладах в таблиці 4.4 наведено більше. Зверніть увагу, що ця ідея розробки приємних експериментів відображає деякі теми в розділі 3 стосовно розробки більш приємних опитувань та у главі 5 щодо дизайну масового співробітництва. Таким чином, я думаю, що насолода учасників (те, що також можна назвати користувальницьким досвідом) стане все більш важливою частиною дизайну досліджень у цифрову епоху.

Якщо ви хочете створити експерименти з нульовими значеннями змінної вартості, вам потрібно буде переконатися, що все є повністю автоматизованим та що учасники не вимагають жодних платежів. Для того, щоб показати, як це можливо, я опишу свої дисертаційні дослідження щодо успіху та невдачі культурних продуктів.

Моя дисертація була мотивована загадковим характером успіху для культурних продуктів. Хітові пісні, бестселери та блокбастерські фільми багато, набагато успішніші, ніж у середньому. Через це ринки цих товарів часто називають ринками "переможець-беруть-все". Тим не менш, в той же час, яка конкретна пісня, книга чи фільм стануть успішними, є неймовірно непередбачуваною. Сценарій Вільям Голдман (1989) Елегантно підсумував багато наукових досліджень, заявивши, що, коли справа доходить до прогнозування успіху, "ніхто нічого не знає". Непередбачуваність ринків з переможець змусила мене замислитися, наскільки успіх є результатом якість і скільки просто щастя. Або, висловлюючись дещо по-іншому, якщо б ми могли створити паралельні світи і всі вони розвиватися самостійно, чи будуть однакові пісні популярними в кожному світі? І якщо ні, то що може бути механізмом, який викликає ці відмінності?

Щоб відповісти на ці запитання, ми - Пітер Доддс, Дункан Уоттс (мій дисертаційний радник), і я провів серію онлайнових польових експериментів. Зокрема, ми створили веб-сайт під назвою MusicLab, де люди могли відкривати нову музику, і ми використовували її для проведення серії експериментів. Ми набрали учасників шляхом запуску банерів на веб-сайті для підлітків (рис 4.20) та через згадування в засобах масової інформації. Учасники, які приїжджають на наш веб-сайт, надали інформовану згоду, заповнили коротку довідкову анкету та випадково потрапили до одного з двох експериментальних умов - незалежних та соціальних впливів. У незалежному стані учасники приймали рішення про те, які пісні слухати, дано лише назви груп та пісень. Під час прослуховування пісні учасникам пропонували оцінювати їх, після чого вони мали можливість (але не зобов'язання) завантажувати пісню. У умовах соціального впливу учасники мали однаковий досвід, крім того, вони також могли бачити, скільки разів кожна пісня була завантажена попередніми учасниками. Крім того, учасники умов соціального впливу випадковим чином були віднесені до одного з восьми паралельних світів, кожен з яких розвинувся самостійно (рис 4.21). Використовуючи цей дизайн, ми провели два пов'язані експерименти. По-перше, ми представили пісні учасникам несортованої сітки, яка надала їм слабкий сигнал популярності. У другому експерименті ми представили пісні в ранжируваному списку, що забезпечило набагато сильніший сигнал популярності (рис. 4.22).

Малюнок 4.20: приклад банерної реклами, який мої колеги і я використовували для набору учасників для експериментів MusicLab (Salganik, Dodds, and Watts 2006) . Відтворення за дозволом від Salganik (2007) , рис 2.12.

Рисунок 4.21: Експериментальний дизайн для експериментів MusicLab (Salganik, Dodds, and Watts 2006) . Учасники були випадково віднесені до однієї з двох умов: незалежного та соціального впливу. Учасники незалежного стану зробили свій вибір без будь-якої інформації про те, що зробили інші люди. Учасники стану соціального впливу випадковим чином були віднесені до одного з восьми паралельних світів, де вони могли бачити популярність (як виміряно завантаженням попередніх учасників кожної пісні у своєму світі), але вони не могли бачити ніякої інформації про них, а також навіть знаю про існування будь-якого іншого світу. Адаптовано з Salganik, Dodds, and Watts (2006) , малюнок s1.

Ми виявили, що популярність пісень відрізняється по всьому світу, що свідчить про те, що удача відіграє важливу роль у успіху. Наприклад, в одному світі пісня "Lockdown" на 52Metro з'явилася в 1-му з 48 пісень, а в іншому світі - 40-м. Це була точно та ж сама пісня, що конкурувала з усіма іншими піснями, але в одному світі вона пощастило, а в інших це не було. Крім того, порівнюючи результати двох експериментів, ми виявили, що соціальний вплив збільшує загальну привабливість цих ринків, що, можливо, свідчить про важливість майстерності. Але, розглядаючи світ (це неможливо зробити поза межами цього експерименту паралельних світів), ми виявили, що соціальний вплив фактично збільшив важливість успіху. Далі, на диво, це були пісні найвищої апеляції, де більшість мала найбільшу долю (рис. 4.23).

Малюнок 4.22: Знімки з соціальних умов впливу в експериментах MusicLab (Salganik, Dodds, and Watts 2006) . У умовах соціального впливу в експерименті 1 пісні, а також кількість попередніх завантажень були представлені учасникам, влаштованим у 16 \(\times\) 3 прямокутній сітці, де позиції пісень були випадково розподілені для кожного учасник У 2-му експерименті учасники соціального впливу показали пісні з підрахунками завантаження, представленими в одному стовпці в порядку зменшення поточної популярності.

Малюнок 4.23: Результати експериментів MusicLab, що показують зв'язок між апеляцією та успіхом (Salganik, Dodds, and Watts 2006) . \(x\) -сигнал - це частка ринку у самостійному світі, яка служить мірою привабливості пісні, а \(y\) -сихід є часткою ринку тієї ж пісні в вісім соціальних впливових світів, що служить показником успіху пісень. Ми виявили, що збільшення соціального впливу учасників - зокрема, зміна макета від експерименту 1 до експерименту 2 (рис. 4.22) - призвело до успіху, щоб стати більш непередбачуваним, особливо для пісень з найвищим закликом. Адаптовано з Salganik, Dodds, and Watts (2006) , малюнок 3.

MusicLab зміг працювати за принципом нульової змінної вартості через те, як вона була розроблена. По-перше, все було повністю автоматизоване, щоб він міг бігати, поки я спав. По-друге, компенсація була вільною музикою, тому компенсаційних витрат учасників не було. Використання музики як компенсації також показує, як іноді відбувається компроміс між фіксованими та змінними витратами. Використання музики збільшило фіксовані витрати, тому що мені доводилося витрачати час, щоб отримати дозвіл від груп та підготувати для них доповіді про реакцію учасників на свою музику. Але в такому випадку збільшення постійних витрат з метою зменшення витрат змінних - це правильне рішення; це дозволило нам провести експеримент, який приблизно в 100 разів перевищував стандартний лабораторний експеримент.

Крім того, експерименти MusicLab показують, що нульова вартість змін не повинна бути самоціллю; Скоріше, це може бути засобом проведення нового виду експерименту. Зверніть увагу, що ми не використали всіх наших учасників, щоб 100 разів проводити лабораторний експеримент із соціальних впливів. Замість цього ми зробили щось інше, яке можна було б придумати як перехід від психологічного експерименту до соціологічного (Hedström 2006) . Замість того, щоб зосереджуватися на індивідуальному прийнятті рішень, ми зосередили наш експеримент на популярності, колективний результат. Цей перехід на колективний результат означав, що нам потрібно близько 700 учасників створити єдину точку даних (у кожному з паралельних світів було 700 осіб). Ця шкала була можлива лише завдяки структурі витрат експерименту. Взагалі, якщо дослідники хочуть вивчити, як колективні результати виникають з індивідуальних рішень, групові експерименти, такі як MusicLab, дуже хвилюють. У минулому вони були логістично важкими, але ці труднощі зникають через можливість нульових даних змінної вартості.

На додаток до ілюстрування переваг від нульових даних про вартість змінної вартості, експерименти MusicLab також демонструють проблему з таким підходом: високі постійні витрати. У моєму випадку я був надзвичайно вдалим, щоб мати можливість працювати з талановитим веб-розробником Пітером Хауселем протягом півроку, щоб побудувати експеримент. Це було можливим лише тому, що мій радник Дункан Уоттс отримав ряд грантів для підтримки такого роду досліджень. Технологія покращилася з моменту, коли ми побудували MusicLab в 2004 році, так що було б набагато легше створити експеримент, як це зараз. Але високі стратегії фіксованої вартості дійсно можливі тільки для дослідників, які можуть якось покрити ці витрати.

На закінчення, цифрові експерименти можуть мати різко вартісні структури, ніж аналогові експерименти. Якщо ви хочете запустити дійсно великі експерименти, слід спробувати зменшити змінну вартість як можна більше, а в ідеалі - до нуля. Ви можете це зробити, автоматизовуючи механізм вашого експерименту (наприклад, заміни часу людини на комп'ютерний час) та розробки експериментів, якими люди хочуть бути. Дослідники, які можуть спроектувати експерименти з цими функціями, зможуть запускати нові види експериментів, які були неможливо в минулому. Проте здатність створювати нульові експерименти з переміною вартістю може викликати нові етичні питання, тема, яку я зараз звертаю.