4.6.1 Створення нульових змінних даних про витратах

Ключ до виконання великих експериментів водіння змінних витрат до нуля. Кращі способи зробити це є автоматизація і проектування приємних експериментів.

Цифрові експерименти можуть мати істотно різні структури витрат, і це дозволяє дослідникам проводити експерименти, які були неможливі в минулому. Більш конкретно, експерименти , як правило , мають два основних види витрат :. Постійних витрат і змінних витрат постійні витрати витрати , які не змінюються в залежності від того, скільки учасників ви маєте. Наприклад, в лабораторних умовах експерименту, фіксовані витрати можуть бути вартість оренди місця і покупки меблів. Змінні витрати, з іншого боку, зміна в залежності від того, скільки учасників ви маєте. Наприклад, в лабораторних умовах експерименту, змінні витрати можуть прийти від сплати персоналу та учасників. Загалом, аналогові експерименти мають низькі постійні витрати і високі змінні витрати, а також цифрові експерименти мають високі постійні витрати і низькі змінні витрати (рис 4.18). При відповідній конструкції, ви можете управляти змінну вартість вашого експерименту аж до нуля, і це може створити цікаві можливості для проведення досліджень.

Малюнок 4.18: Схема структури витрат в аналогових і цифрових експериментів. Загалом, аналогові експерименти мають низькі постійні витрати і високі змінні витрати, тоді як цифрові експерименти мають високі постійні витрати і низькі змінні витрати. Різні структури витрат означає, що цифрові експерименти можуть працювати в масштабах, не представляється можливим з аналоговими експериментами.

Є два основних елементи змінних витрат і виплат співробітникам і виплат учасникам, і кожен з них може бути доведений до нуля з використанням різних стратегій. Виплати персоналу випливають з роботи, що наукові співробітники цього набору учасників, забезпечуючи лікування і оцінки результатів. Наприклад, аналог польовий експеримент по Шульца і його колег (2007) про соціальні норми і використання електроенергії , що вимагається наукових співробітників для поїздки в кожен будинок , щоб доставити лікування і читати електричний лічильник (Малюнок 4.3). Всі ці зусилля наукові співробітники мав на увазі, що додавання нового домашнього господарства до вивчення додало б до вартості. З іншого боку, для цифрової польовий експеримент Restivo і ван де Rijt (2012) на нагороди в Вікіпедії, дослідники могли б додати більше учасників практично безкоштовно. Загальна стратегія скорочення змінних адміністративних витрат, щоб замінити людську працю (що дорого) з роботи на комп'ютері (який є дешевим). Грубо кажучи, ви можете запитати себе: може цей експеримент працювати, поки все на моєї дослідницької групи спить? Якщо відповідь так, то ви проробили величезну роботу по автоматизації.

Другий основний тип змінних витрат є платежі учасників. Деякі дослідники використовували Amazon Mechanical Turk і на інших ринках онлайн праці, щоб зменшити платежі, які необхідні для учасників. Гнати змінні витрати аж до нуля, однак, необхідний інший підхід. Протягом довгого часу дослідники розробили експерименти, які так нудно їм доводиться платити людям брати участь. Але, що робити, якщо ви могли б створити експеримент, що люди хочуть бути в? Це може здатися надуманим, але я дам вам приклад нижче від моєї власної роботи, і є інші приклади, наведені в таблиці 4.4. Слід зазначити, що такий підхід до проектування приємних експериментів перегукується деякі теми в розділі 3 щодо розробки більш приємним обстежень і в розділі 5 щодо проектування масового співробітництва. Таким чином, я вважаю, що учасник насолоду-то, що також можна назвати користувальницький досвід, буде все більш важливою частиною конструкції дослідження в епоху цифрових технологій.

Якщо ви хочете створити нульові змінні витрати експериментів ви хочете, щоб переконатися, що все повністю автоматизовано і що учасники не потребують будь-яких виплат. Для того, щоб показати, як це можливо, я буду описувати моє дослідження дисертації на успіх і провал культурної продукції. Цей приклад також показує, що нульова змінна дані про витрати не тільки про робити речі дешевше. Швидше за все, мова йде про дозволяючи експерименти, які були б неможливі в іншому випадку.

Моя дисертація була мотивована загадковим характером успіху культурної продукції. Хіт пісні, кращі продажу книг, і блокбастери набагато, набагато успішніше, ніж в середньому. Через це, ринки для цих продуктів часто називають "переможець отримує все" ринки. Проте, в той же час, який саме пісня, книга або фільм стане успішним неймовірно непередбачуваним. Сценарист Вільям Голдман (1989) елегантно підсумував багато наукових досліджень, кажучи , що, коли справа доходить до передбачення успіху, "ніхто нічого не знає." Непередбачуваною переможець отримує все ринки змусило мене замислитися питанням, наскільки успіх є результатом якості і наскільки це просто удача. Або, виражається дещо інакше, якби ми могли створити паралельні світи і мати їх все еволюціонують незалежно, будуть одні і ті ж пісні стають популярними в кожному світі? І, якщо ні, то може бути механізм, який викликає ці відмінності?

Для того, щоб відповісти на ці питання, ми-Пітер Доддс, Дункан Уоттс (дисертацією за згодою), і я побіг серію експериментів онлайн на місцях. Зокрема, ми створили сайт під назвою MusicLab, де люди могли б відкрити для себе нову музику, і ми використовували його для цілої серії експериментів. Ми набрали учасників, запустивши рекламні банери на підлітків-відсотковий веб-сайт (рисунок 4.19) і через згадок в засобах масової інформації. Учасники, які прибувають на нашому сайті за умови інформованої згоди, завершив коротку анкету фону, і були випадковим чином розподілені в одну з двох експериментальних умов, незалежного і соціального впливу. У незалежному стані, учасники прийняли рішення про те, які пісні слухати, враховуючи тільки імена груп і пісень. Під час прослуховування пісні, учасникам було запропоновано оцінити його, після чого вони мали можливість (але не обов'язок), щоб завантажити пісню. В умовах соціального впливу, учасники мали один і той же досвід, за винятком того, що вони також могли бачити, скільки разів кожна пісня була завантажена попередніми учасниками. Крім того, учасники умови соціального впливу були випадковим чином розподілені в одну з восьми паралельних світів, кожен з яких незалежно один від одного еволюціонували (рис 4.20). Використовуючи цю конструкцію, ми провели два взаємопов'язаних експериментів. У першому випадку, ми представили учасникам пісні в несортованих сітці, що забезпечило їм слабкий сигнал популярності. У другому експерименті ми представили пісні в ранжируваних список, який забезпечив набагато сильніший сигнал популярності (рисунок 4.21).

Малюнок 4.19: Приклад рекламного банера , що я і мої колеги використовували для набору учасників для експериментів MusicLab (Salganik, Dodds, and Watts 2006) .

Малюнок 4.20: Експериментальний дизайн для експериментів MusicLab (Salganik, Dodds, and Watts 2006) . Учасники були випадковим чином розподілені в одну з двох умов: незалежного і соціального впливу. Учасники незалежного стану зробили свій вибір без будь-якої інформації про те, що було зроблено іншими людьми. Учасники умови соціального впливу були випадковим чином розподілені в одну з восьми паралельних світів, де вони могли б побачити популярність, вимірювану завантаження попередніх учасників-кожної пісні в їхньому світі, але вони не могли бачити будь-яку інформацію, при цьому вони не навіть знають про існування, будь-який з інших світів.

Ми виявили, що популярність пісні розрізнялася світів припускаючи важливу роль удачі. Наприклад, в одному світі пісня "Lockdown" по 52Metro прийшов в 1-м, і в іншому світі, він прийшов в 40-х з 48 пісень. Це був точно такий же пісня конкурувати з тими ж піснями, але в одному світі, це пощастило, і в інших це не так. Крім того, шляхом порівняння результатів по двох експериментів ми виявили, що соціальний вплив призводить до більш нерівним успіх, який, можливо, створює видимість передбачуваності. Але, дивлячись через світи (які не можуть бути виконані за межами такого роду паралельні світи експерименту), ми виявили, що соціальний вплив фактично збільшилася непередбачуваність. Крім того, дивно, що це були пісні найвищої привабливості, які мають найбільш непередбачувані результати (рис 4.22).

Малюнок 4.21: Скріншоти з умов соціального впливу в дослідах MusicLab (Salganik, Dodds, and Watts 2006) . В умовах соціального впливу в експерименті 1, пісні, поряд з кількістю попередніх завантажень, були представлені учасникам організованих в 16 X 3 прямокутної сітки, де позиції пісень були випадковим чином розподілені для кожного учасника. В експерименті 2, учасники умови соціального впливу були показані пісні, з кількість завантажень, представлені в одному стовпці в порядку убування популярності поточної.

Малюнок 4.22: Результати від MusicLab експериментів , що показують зв'язок між привабливістю і успіхом (Salganik, Dodds, and Watts 2006) . Вісь х ринкова частка пісні в незалежному світі, який служить мірою привабливості пісні, а вісь у є ринкова частка тієї ж пісні в 8 світах соціального впливу, який служить як міра успіху пісень. Ми виявили, що підвищення соціального впливу, що учасники випробували специфічно, зміна макета з експерименту 1 експеримент 2 (рис 4.21) -caused успіх, щоб стати більш непередбачуваним, особливо для вищих апеляційних пісень.

MusicLab був в змозі працювати по суті нульовий змінних витрат через спосіб, що він був розроблений. По-перше, все було повністю автоматизований, так що був в змозі працювати, поки я спав. По-друге, компенсація була безкоштовної музики, так що не було жодної змінної вартості компенсації учасник. Використання музики в якості компенсації також показує, як іноді існує компроміс між постійних витрат і змінних витрат. Використання музики збільшили фіксовані витрати, тому що мені довелося витрачати час на забезпечення дозволу від смуг і підготовки звітів для груп про реакцію учасників на їхню музику. Але, в даному випадку, збільшення постійних витрат з метою зниження витрат на змінні була правильна річ, щоб зробити; це те, що дозволило нам провести експеримент, який був приблизно в 100 разів більше, ніж стандартний лабораторний експеримент.

Крім того, експерименти MusicLab показують, що нульова змінна вартість не повинна бути самоціллю; Швидше за все, це може бути засобом для запуску нового типу експерименту. Зверніть увагу на те, що ми не використали всіх наших учасників виконання стандартного соціального впливу LAB експеримент в 100 разів. Замість цього, ми зробили що - то інше, що ви могли б думати , як перехід від психологічного експерименту соціологічного експерименту (Hedström 2006) . Замість того, щоб зосередитися на індивідуальному прийнятті рішень, ми зосередили наш експеримент по популярності, колективний результат. Цей перехід до колективного результату означало, що нам було потрібно близько 700 учасників, щоб зробити одну точку даних (там було 700 чоловік в кожній з паралельних світів). Ця шкала була можлива тільки завдяки структурі собівартості експерименту. Загалом, якщо дослідники хочуть вивчити, як колективний результати випливають з індивідуальних рішень, групові експерименти, такі як MusicLab дуже цікаво. У минулому вони були логістично важко, але ці труднощі зникають через можливість нульових даних змінних витрат.

Крім ілюстрації переваги нульових даних змінних витрат, експерименти MusicLab також показують проблеми з цим підходом: високі фіксовані витрати. У моєму випадку, я був дуже пощастило, щоб мати можливість працювати з талановитим веб-розробник на ім'я Peter Hausel близько шести місяців, щоб побудувати експеримент. Це стало можливим тільки тому, що мій радник, Дункан Уоттс отримав ряд грантів для підтримки такого роду досліджень. Технологія покращилася, так як ми побудували MusicLab в 2004 році, і було б набагато простіше побудувати експеримент, як це зараз. Але, високі стратегії фіксованих витрат дійсно можливо тільки для дослідників, які можуть якимось чином покрити ці витрати.

На закінчення, цифрові експерименти можуть мати істотно різні структури витрат, ніж аналогових експериментів. Якщо ви хочете запустити дійсно великі експерименти, ви повинні спробувати зменшити змінні витрати в максимально можливій мірі і в ідеалі весь шлях до 0. Ви можете зробити це за рахунок автоматизації механіки експерименту (наприклад, заміна людського часу з комп'ютером часу) і проектування експериментів, які люди хочуть бути. Дослідники, які можуть розробляти експерименти з цими функціями матимуть можливість запускати нові види експериментів, які були неможливі в минулому.