4.5.2 Стварыце свой уласны эксперымент

Пабудова ўласнага эксперыменту можа быць дарагім, але гэта дазволіць вам стварыць эксперымент , які вы хочаце.

Акрамя накладыванія эксперыментаў па-над існуючых асяроддзяў, вы таксама можаце стварыць свой уласны эксперымент. Асноўная перавага гэтага падыходу з'яўляецца кантроль; калі вы будуеце эксперымент, вы можаце стварыць сераду і працэдуры, якія вы хочаце. Гэтыя зробленыя на заказ эксперыментальныя асяроддзя могуць стварыць магчымасці для праверкі тэорый, якія немагчыма праверыць у натуральных умовах. Асноўныя недахопы пабудовы ўласнага эксперыменту з'яўляецца тое, што яно можа быць дарагім і навакольнага асяроддзя, што вы ў стане стварыць не можа мець рэалізм прыроднай сістэмы. Даследчыкі будуюць свой уласны эксперымент павінны таксама мець стратэгію набору ўдзельнікаў. Пры працы ў існуючых сістэмах, даследчыкі, па сутнасці, у выніку чаго эксперыменты для іх удзельнікаў. Але, калі даследчыкі будуюць свой уласны эксперымент, яны павінны прынесці удзельнік да яго. На шчасце, такія паслугі, як Amazon Mechanical Turk (MTurk) можа даць даследчыкам зручны спосаб прыцягнуць удзельнікаў сваіх эксперыментаў.

Адзін прыклад , які ілюструе годнасці заказных асяроддзяў для тэставання абстрактных тэорый з'яўляецца лічбавай лабараторыі эксперымент Грэгары Huber, Сэт Хіл і Габрыэль Ленца (2012) . Гэты эксперымент даследуе магчымае практычнае абмежаванне для функцыянавання дэмакратычнага кіравання. Якія раней не-эксперыментальныя даследаванні рэальных выбараў выказалі здагадку, што выбаршчыкі не ў стане дакладна ацаніць эфектыўнасць дзеючых палітыкаў. У прыватнасці, выбаршчыкі, па ўсёй бачнасці пакутуюць ад трох ухілаў: (1) яны сканцэнтраваны на нядаўнім, а не кумулятыўнай прадукцыйнасці; (2) яны могуць маніпуляваць рыторыкай, кадравання і маркетынгу; і (3) яны могуць уплываць на падзеі, не звязаныя з цяперашняй прадукцыйнасцю, такія як поспех мясцовых спартыўных каманд і ўмовамі надвор'я. У гэтых ранніх даследаваннях, аднак, гэта было цяжка вылучыць якія-небудзь з гэтых фактараў, ад усіх іншых рэчаў, што адбываецца ў рэальных, брудных выбарах. Таму Хубер і яго калегі стварылі вельмі спрошчаную сераду галасавання, каб ізаляваць, а затым эксперыментальна даследаваць кожны з гэтых трох магчымых ухілаў.

Як я апісваю эксперыментальную ўстаноўку ніжэй, яна будзе гучаць вельмі штучнымі, але памятайце, што рэалізм не з'яўляецца мэтай у эксперыментах лабараторнага тыпу. Хутчэй, мэта складаецца ў тым, каб выразна аддзяліць працэс , які вы спрабуеце вучыцца, і гэта тугі ізаляцыя часам не ўяўляецца магчымым у даследаваннях з больш рэалістычнай (Falk and Heckman 2009) . Акрамя таго, у дадзеным канкрэтным выпадку, даследчыкі сцвярджаюць, што калі выбаршчыкі не могуць эфектыўна ацэньваць прадукцыйнасць у гэтай вельмі спрошчанай наладзе, то яны не збіраюцца, каб быць у стане зрабіць гэта ў больш рэалістычнай, больш складанай абстаноўцы.

Хубер і яго калегі выкарысталі MTurk для набору ўдзельнікаў. Пасля таго, як удзельнік пры ўмове інфармаванай згоды і прайшоў кароткі тэст, ёй сказалі, што яна прымала ўдзел у 32-раундавы гульні, каб зарабіць жэтоны, якія могуць быць ператвораныя ў рэальныя грошы. У пачатку гульні кожны ўдзельнік сказалі, што яна была прызначаная «аллокатор», які дасць ёй свабоду лексем ў кожны раунд, і што некаторыя размеркавальнікі былі больш шчодрымі, чым іншыя. Акрамя таго, кожны ўдзельнік таксама сказаў, што яна будзе мець магчымасць альбо захаваць яе аллокатор або быць прызначаны новай пасля 16 раўндаў гульні. Улічваючы тое, што вы ведаеце пра Huber і даследчых мэтах калегаў, вы можаце бачыць, што Размеркавальнік ўяўляе ўрад, і гэты выбар ўяўляе сабой выбары, але ўдзельнікі не ведалі агульных мэты даследавання. У агульнай складанасці, Huber і калегі набралі каля 4000 удзельнікаў, якія заплацілі каля $ 1,25 за задачу, якая заняла каля васьмі хвілін.

Нагадаю, што адзін з высноў з больш ранніх даследаванняў было тое, што ўзнагароджанне выбаршчыкаў і караць за вынікі якія займаюць, якія відавочна па-за іх кантролю, такія як поспех мясцовых спартыўных каманд і ўмоў надвор'я. Для таго, каб ацаніць, ці можа быць пад уплывам чыста выпадковых падзей у іх наладзе рашэнняў ўдзельнікі галасавання, Huber і яго калегі дадалі латарэю іх эксперыментальнай сістэме. У любым 8-м раўнда ці 16-га тура (гэта значыць непасрэдна перад шанцам замяніць аллокатор) ўдзельнікі былі выпадкова змешчаныя ў латарэі, дзе некаторыя выйгралі 5000 ачкоў, некаторыя выйгралі 0 ачкоў, а некаторыя страціла 5000 пунктаў. Гэтая латарэя была прызначана для імітацыі добрых або дрэнных навін, якія не залежаць ад выканання палітык. Нават калі ўдзельнікі былі відавочна сказана, што латарэя не была звязана з выкананнем іх размеркавальнікам, вынікі латарэі яшчэ паўплывалі рашэнні удзельнікаў. Удзельнікі, якія дасталі выгаду з латарэі, больш верагодна, каб трымаць іх аллокатора, і гэты эфект быў мацней, калі латарэі адбылося ў першым раўндзе 16-направа да замены рашэння, чым калі гэта здарылася ў 8-м раўндзе (мал 4,15). Гэтыя вынікі, у шэрагу тых з шэрагу іншых эксперыментаў у працы, прывялі Huber і калега зрабіць выснову , што нават у спрошчанай абстаноўцы, выбаршчыкі маюць цяжкасць прымаць мудрыя рашэнні, у выніку , што ўплыў будучых даследаванняў аб прыняцці выбаршчыка рашэнняў (Healy and Malhotra 2013) , Эксперымент Huber і калегаў паказвае, што MTurk можа быць выкарыстаны для набору ўдзельнікаў для эксперыментаў лабараторнага тыпу для таго, каб сапраўды праверыць вельмі канкрэтныя тэорыі. Ён таксама паказвае значэнне пабудовы ўласнай эксперыментальнай асяроддзя: цяжка сабе ўявіць, як гэтыя ж працэсы могуць быць вылучаныя так чыста ў любой іншай абстаноўцы.

Малюнак 4.15: Вынікі Huber, Hill, and Lenz (2012) . Удзельнікі , якія дасталі выгаду з латарэі, хутчэй за ўсё, захаваюць свой аллокатор, і гэты эфект быў мацней , калі латарэі адбыліся ў першым раўндзе 16-направа да замены рашэння, чым калі гэта здарылася ў круглых 8. адаптаваны з Huber, Hill, and Lenz (2012) , малюнак 5.

У дадатку да стварэння лабараторыі падобных эксперыментаў, даследчыкі могуць таксама пабудаваць эксперыменты, якія з'яўляюцца больш палямі тыпу. Напрыклад, Centola (2010) пабудаваў эксперымент лічбавага поля з мэтай вывучэння ўплыву структуры сацыяльнай сеткі на распаўсюд паводзін. Яго даследаванне пытання патрабуецца яго назіраць такія ж паводзіны распаўсюджвання ў папуляцыях, якія мелі розныя сацыяльныя структуры сеткі, але былі інакш немагчыма было разгледзець. Адзіны спосаб зрабіць гэта з зробленым на заказ, заказны эксперыментам. У гэтым выпадку, Centola пабудаваў вэб-медыцынскае супольнасць.

Чентола на працу каля 1500 удзельнікаў за кошт рэкламы на сайтах здароўя. Калі ўдзельнікі прыбылі ў онлайн-супольнасці, якое называецца Здаровым ладам жыцця сеткай, яны далі інфармаваныя згоду, а затым былі прызначаныя «прыяцелі здароўя.» Дзякуючы таму, як Centola прысвоенага гэтым прыяцеляў здароўя, ён быў у стане звязаць разам розныя сацыяльныя сеткавыя структуры ў розныя групы. былі пабудаваныя некаторыя групы маюць выпадковыя сеткі (дзе ўсё было аднолькава, верагодна, будзе злучана), у той час як іншыя групы былі пабудаваныя, каб мець кластарныя сеткі (дзе злучэння з'яўляюцца больш лакальна шчыльным). Затым Centola увёў новае паводзіны ў кожнай сеткі: магчымасць рэгістрацыі для новага вэб-сайта з дадатковай інфармацыі аб стане здароўя. Кожны раз, калі хто-то падпісаўся на гэты новы вэб-сайт, усё яе прыяцелямі здароўя атрымалі ліст абвяшчаючы гэта паводзіны. Centola выявіў, што такія паводзіны, падпісаўшыся на новы сайт-распаўсюджвацца далей і хутчэй у кластарнай сеткі, чым у выпадковай сеткі, у выяўленні таго, што было ў адрозненне ад некаторых існуючых тэорый.

У цэлым, стварыць свой уласны эксперымент дае значна большы кантроль; яна дазваляе будаваць аптымальныя ўмовы, каб ізаляваць тое, што вы хочаце вучыцца. Цяжка сабе ўявіць, як гэтыя два эксперыменты, якія я толькі што апісаў, магчыма, былі выкананы ва ўжо існуючую асяроддзе. Акрамя таго, стварэнне ўласнай сістэмы зніжае этычныя праблемы вакол эксперыментавання ў існуючых сістэмах. Калі вы будуеце свой уласны эксперымент, аднак, вы сутыкнуліся многія з праблем, якія сустракаюцца ў лабараторных эксперыментах рэкрутынгу ўдзельнікаў і заклапочанасці з нагоды рэалізму. Канчатковы недахопам з'яўляецца тое, што стварыць свой уласны эксперымент можа быць дарагім і працаёмкім, хоць, як паказваюць гэтыя прыклады, эксперыменты могуць вар'іравацца ад адносна простых асяроддзяў (напрыклад, вывучэнне галасавання Huber, Hill, and Lenz (2012) ) ў адносна складаных умовах (напрыклад, даследаванні сетак і заразы па Centola (2010) ).