4.5.2 Побудуйте власний експеримент

Побудова власного експерименту може бути дорогим, але це дозволить вам створити експеримент , який ви хочете.

Окрім накладання експериментів над існуючими середовищами, ви також можете створити власний експеримент. Головною перевагою цього підходу є контроль; якщо ви будуєте експеримент, ви можете створити середовище та процедури, які ви хочете. Ці спеціальні експериментальні середовища можуть створювати можливості для тестування теорій, які неможливо перевірити в природних середовищах. Головними недоліками побудови вашого власного експерименту є те, що це може бути дорогим, і що середовище, яке ви можете створити, може не мати реалізму природно існуючої системи. Дослідники, які будують власний експеримент, також повинні мати стратегію для рекрутингу учасників. Працюючи в існуючих системах, дослідники по суті представляють експерименти своїм учасникам. Але, коли дослідники створюють свій власний експеримент, їм потрібно привернути до неї учасників. На щастя, такі послуги, як Amazon Mechanical Turk (MTurk), можуть надати дослідникам зручний спосіб привернути учасників до своїх експериментів.

Одним із прикладів, який ілюструє чесноти спеціальних середовищ для тестування абстрактних теорій, є цифровий лабораторний експеримент, виконаний Григорієм Хубер, Сет Хілл і Габріелем Ленцом (2012) . Цей експеримент досліджує можливі практичні обмеження функціонування демократичного врядування. Раніше неекспериментальні дослідження фактичних виборів показали, що виборці не можуть точно оцінити ефективність політиків, що діють. Зокрема, виборці страждають від трьох упереджень: (1) вони зосереджені на останніх, а не на сукупних показниках; (2) їх можна маніпулювати риторикою, обрамленням та маркетингом; і (3) на них можуть впливати події, не пов'язані з діючими показниками, такі як успіх місцевих спортивних команд та погода. Проте в цих попередніх дослідженнях було важко виділити будь-який з цих факторів з усіх інших речей, що відбуваються на реальних, незрячих виборах. Тому Губер та його колеги створили надто спрощену систему голосування, щоб ізолювати, а потім експериментувати, кожне з цих трьох можливих упереджень.

Оскільки я опишу експериментальну установку нижче, вона звучить дуже штучно, але пам'ятайте, що реалізм не є метою в експериментах у лабораторному стилі. Навпаки, мета полягає в тому, щоб чітко ізолювати процес, який ви намагаєтеся вивчати, і ця тісна ізоляція іноді неможлива в дослідженнях з більш реалістичним (Falk and Heckman 2009) . Крім того, у цьому конкретному випадку дослідники стверджували, що, якщо виборці не зможуть ефективно оцінювати продуктивність в цьому сильно спрощеному середовищі, вони не зможуть це зробити в більш реалістичному, більш складному середовищі.

Губер та його колеги використовували MTurk для набору учасників. Як тільки учасник надавав інформовану згоду та пройшов коротку перевірку, їй повідомили, що вона бере участь у 32-раундній грі, щоб заробити токени, які можна було б конвертувати в реальні гроші. На початку гри кожному учаснику було сказано, що їй призначено «розподільника», який дасть їй безкоштовні жетони на кожному раунді, і що деякі розподілювачі були більш щедрими, ніж інші. Крім того, кожному учаснику також було сказано, що вона матиме шанс зберегти її розподіл або призначити новий після 16 турів гри. З огляду на те, що ви знаєте про дослідницькі цілі Хабер та колег, ви можете побачити, що розподіл представляє уряд, і цей вибір представляє вибори, але учасники не знали про загальні цілі дослідження. Загалом, Губер та його колеги набрали близько 4000 учасників, які заплатили близько 1,25 долара за завдання, яке тривало близько восьми хвилин.

Нагадаємо, що одне з результатів попередніх досліджень полягало в тому, що виборці винагороджують та покарають державних службовців за результатами, явно не підконтрольними їм, такими як успіх місцевих спортивних команд та погода. Щоб оцінити, чи можуть учасники голосування голосувати під впливом чисто випадкових подій у їхньому середовищі, Хубер та його колеги додавали лотерею до їх експериментальної системи. У будь-якому восьмому турі або в 16-му раунді (тобто, безпосередньо перед тим, як змінити розподіл) учасники були випадково розміщені в лотереї, де деякі з них виграли 5000 балів, деякі з них виграли 0 балів, а деякі втратили 5000 балів. Ця лотерея мала на меті імітувати хороші чи погані новини, які не залежать від результатів діяльності політика. Незважаючи на те, що учасники прямо сказали, що лотерея не має відношення до результатів їх розподілу, результат лотереї все ще вплинув на рішення учасників. Учасники, котрі отримали вигоду від лотереї, більш схильні зберігати свій розподіл, і цей ефект був сильнішим, коли лотерея сталася у 16-й раунд перед рішенням про зміну, ніж коли воно відбулося у 8 раунді (рис 4.15). Ці результати разом з результатами кількох інших експериментів у роботі привели Хубер та його колеги до висновку, що навіть у спрощеній обстановці виборцям важко приймати мудрі рішення, а це вплинуло на майбутні дослідження щодо прийняття рішень виборців (Healy and Malhotra 2013) . Експеримент Губер та його колег показує, що MTurk може бути використаний для набору учасників для експериментів в лабораторних умовах, щоб точно перевірити дуже специфічні теорії. Це також показує значення побудови власного експериментального середовища: важко уявити, як ці ж процеси могли бути ізольовані так чисто в будь-якій іншій обстановці.

Малюнок 4.15: Результати з Huber, Hill, and Lenz (2012) . Учасники, котрі отримали вигоду від лотереї, більш схильні зберігати свій розподіл, і цей ефект був сильнішим, коли лотерея сталася в 16 раундах - прямо перед прийняттям рішення про зміну - ніж коли воно відбулося у 8 раунді. Адаптовано з Huber, Hill, and Lenz (2012) , малюнок 5.

На додаток до створення лабораторних експериментів, дослідники також можуть створювати експерименти, які більш схожими на поле. Наприклад, Centola (2010) побудував цифровий польовий експеримент для вивчення впливу структури соціальної мережі на поширення поведінки. Його дослідницький запит вимагав від нього спостерігати таку саму поведінку, що поширюється в популяціях, які мали різні структури соціальної мережі, але не були розрізненими. Єдиний спосіб зробити це було з індивідуальним експериментом на замовлення. У цьому випадку, Centola побудувала веб-медичну спільноту.

Centola прийняла на роботу близько 1500 учасників через рекламу на сайти охорони здоров'я. Коли учасники прибули в онлайн-спільноту, яку називають мережею "Здоровий спосіб життя", вони надавали інформовану згоду, а потім призначалися "друзям із здоров'ям". Через те, як Centola присвоїв ці друзі зі здоров'ям, він зміг в'язати різні структури соціальної мережі в різні групи. Деякі групи були побудовані так, щоб мати випадкові мережі (де всі однаково сподобались), тоді як інші групи були побудовані так, щоб мати кластеризовані мережі (де зв'язок більш локально щільний). Потім, Centola представила нову поведінку в кожній мережі: можливість зареєструватися на новому веб-сайті з додатковою інформацією про здоров'я. Кожного разу, коли хтось підписався на цей новий веб-сайт, всі її друзі зі здоров'ям отримали електронне повідомлення про цю поведінку. Чентола виявила, що така поведінка - підписання на новий веб-сайт - поширюється далі та швидше в кластеризованій мережі, ніж у випадковій мережі, що є суперечить деяким існуючим теоріям.

Загалом, створення вашого власного експерименту дає вам набагато більший контроль; це дає змогу побудувати найкраще середовище, щоб ізолювати те, що ви хочете навчатися. Важко уявити, як два описані вище експерименти могли бути виконані в вже існуючому середовищі. Крім того, створення власної системи знижує етичні побоювання щодо експериментів у існуючих системах. Тим не менше, коли ви створюєте власний експеримент, ви стикаєтесь із багатьма проблемами, які виникають в лабораторних експериментах: вербування учасників та занепокоєння щодо реалізму. Останній недолік полягає в тому, що побудова власного експерименту може бути дорогим і трудомістким, хоча, як показують ці приклади, експерименти можуть варіюватися від відносно простих середовищ (таких як вивчення голосування Huber, Hill, and Lenz (2012) ). до відносно складних середовищ (таких як дослідження мережі та зараження Centola (2010) ).