4.6.1 Стварэнне нулявых зменных дадзеных аб выдатках

Ключ да кіравання вялікім эксперыментаў, каб кіраваць вашай зменнай коштам да нуля. Лепшыя спосабы зрабіць гэта ў аўтаматызацыі і праектавання прыемных эксперыментаў.

Лічбавыя эксперыменты могуць мець зусім розныя структуры выдаткаў, і гэта дазваляе даследчыкам праводзіць эксперыменты, якія былі немагчымыя ў мінулым. Адзін са спосабаў думаць аб гэтай розніцы, варта адзначыць, што эксперыменты, як правіла, маюць два віды выдаткаў: пастаянныя выдаткі і зменныя выдаткі. Пастаянныя выдаткі гэта выдаткі , якія застаюцца нязменнымі , незалежна ад колькасці ўдзельнікаў. Напрыклад, у лабараторным эксперыменце, фіксаваныя выдаткі могуць быць выдаткі на арэнду памяшканняў і куплю мэблі. Зменныя выдаткі, з другога боку, мяняюцца ў залежнасці ад колькасці ўдзельнікаў. Напрыклад, у лабараторным эксперыменце, зменныя выдаткі могуць прыйсці ад выплаты персаналу і ўдзельнікаў. Увогуле, аналагавыя эксперыменты маюць нізкія фіксаваныя выдаткі і высокія зменныя выдаткі, у той час як лічбавыя эксперыменты, маюць высокія фіксаваныя выдаткі і нізкія зменныя выдаткі (малюнак 4.19). Нягледзячы на ​​тое, лічбавыя эксперыменты маюць нізкія зменныя выдаткі, вы можаце стварыць шмат цікавых магчымасцяў, калі вы водзіце зменныя выдаткі аж да нуля.

Малюнак 4.19: Схема структуры выдаткаў у аналагавых і лічбавых эксперыментаў. Увогуле, аналагавыя эксперыменты маюць нізкія фіксаваныя выдаткі і высокія зменныя выдаткі, тады як лічбавыя эксперыменты, маюць высокія фіксаваныя выдаткі і нізкія зменныя выдаткі. Розныя структуры выдаткаў азначаюць, што лічбавыя эксперыменты могуць працаваць у маштабе, які не ўяўляецца магчымым з аналагавымі эксперыментамі.

Ёсць два асноўных элемента зменных выдаткаў і выплаты супрацоўнікаў і выплаты удзельнікаў, і кожны з іх можа быць даведзены да нуля, выкарыстоўваючы розныя стратэгіі. Выплаты персанал выцякаюць з працы, што асістэнты зрабіць набор удзельнікаў, дастаўляючы лячэння і ацэнку вынікаў. Напрыклад, аналаг палявой эксперымент па Шульцу і яго калегі (2007) на спажыванні электраэнергіі , неабходныя асістэнт для паездкі ў кожны дом , каб даставіць лячэнне і чытаць электрычны лічыльнік (мал 4,3). Усе гэтыя намаганні па асістэнтаў азначае, што даданне новага хатняга гаспадаркі да вывучэння дадало б да кошту. З іншага боку, для лічбавага палявога эксперыменту Restivo і ван дэ Rijt (2012) пра ўплыў ўзнагароды на Вікіпедыі рэдактарах, даследчыкі маглі б дадаць больш удзельнікаў практычна бясплатна. Агульная стратэгія скарачэння зменных адміністрацыйных выдаткаў, каб замяніць чалавечую працу (што дорага) з працы на кампутары (які з'яўляецца танным). Груба кажучы, вы можаце спытаць сябе: Ці можа гэты эксперымент працаваць, пакуль усё на маёй даследчай групы спіць? Калі адказ так, то вы прарабілі вялікую працу па аўтаматызацыі.

Другі асноўны тып зменных выдаткаў з'яўляецца плацяжы удзельнікаў. Некаторыя даследчыкі выкарыстоўвалі Amazon Mechanical Turk і на іншыя рынкі онлайн працы, каб паменшыць плацяжы, якія неабходныя для ўдзельнікаў. Гнаць зменныя выдаткі аж да нуля, аднак, неабходны іншы падыход. На працягу доўгага часу даследчыкі распрацавалі эксперыменты, якія так сумна, яны павінны плаціць людзям удзельнічаць. Але што, калі вы маглі б стварыць эксперымент, што людзі хочуць быць? Гэта можа здацца надуманых, але я дам вам прыклад ніжэй ад маёй уласнай працы, і ёсць іншыя прыклады, прыведзеныя ў табліцы 4.4. Звярніце ўвагу, што гэтая ідэя праектавання прыемных эксперыментаў пераклікаецца некаторыя тэмы ў раздзеле 3 аб распрацоўцы больш прыемных абследаванняў і ў чале 5 аб канструкцыі масавага супрацоўніцтва. Такім чынам, я лічу, што ўдзельнік асалода-то, што можна было б назваць карыстальнік вопытам будзе ўсё больш важнай часткай даследаванняў дызайну ў эпоху лічбавых тэхналогій.

Калі вы хочаце стварыць эксперыменты з нулявымі дадзенымі зменных выдаткаў, вам неабходна пераканацца, што ўсё цалкам аўтаматызавана і што ўдзельнікі не патрабуюць якой-небудзь аплаты. Для таго, каб паказаць, як гэта магчыма, я апішу маё даследаванне дысертацыі на поспех і правал культурнай прадукцыі.

Мая дысертацыя была матываваная загадкавым характарам поспеху культурнай прадукцыі. Хіт песні, кніг-бэстсэлераў, і блокбастары значна, значна больш паспяховым, чым у сярэднім. З-за гэтага, рынкі для гэтых прадуктаў часта называюць «пераможца атрымлівае ўсё» рынкі. Тым не менш, у той жа час, якая менавіта песня, кніга або фільм стане паспяховай неверагодна непрадказальны. Сцэнарыст Уільям Голдман (1989) элегантна падсумаваў шмат навуковых даследаванняў, кажучы , што, калі гаворка ідзе пра прагназаванні поспеху, "ніхто нічога не ведае.» Непрадказальна пераможца атрымлівае ўсё рынкі прымусіла мяне задацца пытаннем, наколькі поспех з'яўляецца вынікам якасці і наколькі гэта проста поспех. Або, выяўляецца некалькі інакш, калі б мы маглі стварыць паралельныя светы і яны ўсё развіваюцца незалежна адзін ад аднаго, будуць адны і тыя ж песні становяцца папулярнымі ў кожным свеце? І, калі не, то можа быць механізм, які выклікае гэтыя адрозненні?

Для таго, каб адказаць на гэтыя пытанні, мы-Піцер Доддс, Дункан Ўотс (мая дысертацыя саветнік), і я пабег серыю эксперыментаў онлайн на месцах. У прыватнасці, мы стварылі сайт пад назвай MusicLab, дзе людзі маглі б адкрыць для сябе новую музыку, і мы выкарыстоўвалі яго для серыі эксперыментаў. Мы набралі ўдзельнік, запусціўшы рэкламныя банеры на падлетак беспрацэнтнай сайта (малюнак 4.20) і праз згадкі ў сродках масавай інфармацыі. Удзельнікі, якія прыбываюць на нашым сайце пры ўмове інфармаванай згоды, завяршылі кароткую анкету фону, і былі рандомізірованный ў адну з двух эксперыментальных умоў, незалежнага і сацыяльнага ўплыву. У незалежным стане, удзельнікі прынялі рашэнне аб тым, якія песні слухаць, улічваючы толькі імёны груп і песень. Падчас праслухоўвання песні, удзельнікам было прапанавана ацаніць яго, пасля чаго яны мелі магчымасць (але не абавязак) спампаваць песню. Ва ўмовах сацыяльнага ўплыву, удзельнікі мелі адзін і той жа вопыт, за выключэннем таго, што яны таксама маглі бачыць, колькі разоў кожная песня была запампаваная папярэднімі ўдзельнікамі. Акрамя таго, удзельнікі ўмовы сацыяльнага ўплыву былі рандомізірованный ў адну з васьмі паралельных светаў, кожны з якіх эвалюцыянавалі незалежна адзін ад аднаго (малюнак 4.21). Выкарыстоўваючы гэтую канструкцыю, мы правялі два узаемазвязаных эксперыментаў. У першым, мы прадставілі песні для ўдзельнікаў у малокомплектных сеткі, якая забяспечыла іх са слабым сігналам папулярнасці. У другім эксперыменце мы прадставілі песні ў ранжыраваць спіс, у якім утрымліваецца нашмат больш моцны сігнал папулярнасці (малюнак 4.22).

Малюнак 4.20: Прыклад рэкламнага банэра , што мае калегі і я вербаваць удзельнікаў для эксперыментаў MusicLab (Salganik, Dodds, and Watts 2006) . Прайграваецца з дазволу Salganik (2007) , малюнак 2.12.

Малюнак 4.21: Эксперыментальны дызайн для эксперыментаў MusicLab (Salganik, Dodds, and Watts 2006) . Удзельнікі былі рандомізірованный да аднаго з дзвюх умоў: незалежная і сацыяльнага ўплыву. Удзельнікі незалежнага стану зрабілі свой выбар без якой-небудзь інфармацыі пра тое, што было зроблена іншымі людзьмі. Удзельнікі ўмовы сацыяльнага ўплыву былі рандомізірованный на адзін з васьмі паралельных светаў, дзе яны маглі бачыць папулярнасць, якія вымяраюцца загрузка папярэдніх удзельнікаў-кожную песню ў іх свеце, але яны не маглі бачыць якую-небудзь інфармацыі аб, пры гэтым яны не нават не ведаюць пра існаванне, любы з іншых светаў. Ўзята з Salganik, Dodds, and Watts (2006) , фігурнае s1.

Мы выявілі, што папулярнасць песень адрозніваліся праз светы, мяркуючы, што поспех гуляе важную ролю ў поспеху. Напрыклад, у адным свеце песня «Lockdown» па 52Metro прыйшлі ў 1 з 48 песень, у той час як у іншым свеце, ён прыйшоў у 40-м. Гэта быў сапраўды такі ж песня канкураваць з тымі ж іншымі песнямі, але ў адным свеце, гэта пашанцавала, і ў іншых гэта не так. Акрамя таго, шляхам параўнання вынікаў па двух эксперыментаў, мы выявілі, што сацыяльнае ўплыў павялічвае пераможца атрымлівае ўсю прыроду гэтых рынкаў, што, магчыма, сведчыць пра важнасць майстэрства. Але, гледзячы праз светы (якія не могуць быць выкананы за межамі такога роду паралельных светаў эксперыменту), мы выявілі, што сацыяльнае ўплыў фактычна ўзрасла важнасць ўдачы. Акрамя таго, дзіўна, што гэта песні вышэйшай прывабнасці дзе ўдача важней за ўсё (малюнак 4.23).

Малюнак 4.22: Скрыншоты з умоў сацыяльнага ўплыву ў эксперыментах MusicLab (Salganik, Dodds, and Watts 2006) . Ва ўмовах сацыяльнага ўздзеяння ў эксперыменце 1, песні, разам з колькасцю папярэдніх загрузак, былі прадстаўлены ўдзельнікам , размешчаных у 16 \(\times\) 3 прамавугольнай сеткі, дзе пазіцыі песні былі рандомізірованный для кожнага ўдзельнік. У эксперыменце 2, удзельнікі ўмовы сацыяльнага ўздзеяння былі паказаны песні, з спампаваць падлікі, прадстаўленых у адным слупку ў парадку бягучай папулярнасці па змяншэнні.

Малюнак 4.23: Вынікі ад MusicLab эксперыментаў , якія паказваюць сувязь паміж прывабнасцю і поспехам (Salganik, Dodds, and Watts 2006) . \(x\) вось з'яўляецца доля рынку песні ў незалежным свеце, які служыць мерай прывабнасці песні, а \(y\) вось з'яўляецца доля рынку адной і той жа песні ў восем сацыяльнага ўплыву свету, які служыць мерай поспеху песень. Мы выявілі, што павышэнне сацыяльнага ўплыву, што ўдзельнікі адчувалі, у прыватнасці, змена макета з эксперыменту 1 паэксперыментаваць 2 (малюнак 4.22) -caused поспех, каб стаць больш непрадказальным, асабліва для песень з самым высокім узроўнем прывабнасці. Ўзята з Salganik, Dodds, and Watts (2006) , малюнак 3.

MusicLab быў у стане працаваць па сутнасці нулявы зменных выдаткаў з-за спосабу, якім ён быў распрацаваны. Па-першае, усё было цалкам аўтаматызаваны, так што быў у стане працаваць, пакуль я спаў. Па-другое, кампенсацыя была бясплатнай музыкі, так што не было ні адной зменнай кошту кампенсацыі ўдзельнік. Выкарыстанне музыкі ў якасці кампенсацыі таксама паказвае, як часам існуе кампраміс паміж фіксаванымі і зменнымі выдаткамі. Выкарыстанне музыкі павялічылася фіксаваныя выдаткі, таму што мне прыйшлося марнаваць час на забеспячэнне дазволу палос і падрыхтоўку справаздач для іх аб рэакцыі ўдзельнікаў на іх музыку. Але ў гэтым выпадку павелічэнне фіксаваных выдаткаў у мэтах зніжэння выдаткаў на зменныя была правільная рэч, каб зрабіць; гэта тое, што дазволіла нам правесці эксперымент, які быў прыкладна ў 100 разоў больш, чым стандартны лабараторны эксперымент.

Акрамя таго, эксперыменты MusicLab паказваюць, што нулявая пераменная кошт не павінна быць самамэтай; хутчэй, гэта можа быць сродкам для запуску новага тыпу эксперыменту. Звярніце ўвагу на тое, што мы не выкарыстоўвалі ўсе нашы ўдзельнік выканання стандартнага сацыяльнае ўплыў LAB эксперымент у 100 разоў. Замест гэтага, мы зрабілі што - нешта іншае, што вы маглі б думаць , як пераход ад псіхалагічнага эксперыменту сацыялагічнага (Hedström 2006) . Замест таго, каб засяродзіцца на індывідуальным прыняцці рашэнняў, мы засяродзілі наш эксперымент па папулярнасці, калектыўны вынік. Гэты пераход да калектыўнага выніку меў на ўвазе, што патрабуецца каля 700 удзельнікаў, каб вырабіць адну кропку дадзеных (там было 700 чалавек у кожным з паралельных светаў). Гэтая шкала была магчымая толькі дзякуючы структуры сабекошту эксперыменту. У агульным выпадку, калі даследчыкі маюць намер вывучыць, як калектыўныя вынікі ўзнікаюць з індывідуальных рашэнняў, групавыя эксперыменты, такія як MusicLab вельмі цікава. У мінулым яны былі лагістычны цяжка, але гэтыя цяжкасці знікаюць з-за магчымасці нулявых дадзеных зменных выдаткаў.

Акрамя ілюстрацыі перавагі нулявых дадзеных зменных выдаткаў, эксперыменты таксама паказваюць, MusicLab выкліку з гэтым падыходам: высокія фіксаваныя выдаткі. У маім выпадку, я быў вельмі пашанцавала, каб мець магчымасць працаваць з таленавітым вэб-распрацоўшчык па імя Пітэр Hausel каля шасці месяцаў, каб пабудаваць эксперымент. Гэта стала магчымым толькі таму, што мой саветнік, Дункан Ўотс атрымаў шэраг грантаў для падтрымкі такога роду даследаванняў. Тэхналогія палепшылася з тых часоў мы пабудавалі MusicLab ў 2004 годзе, і было б значна прасцей пабудаваць эксперымент, як гэта цяпер. Але, высокія стратэгіі фіксаваных выдаткаў сапраўды магчыма толькі для даследчыкаў, якія могуць нейкім чынам пакрыць гэтыя выдаткі.

У зняволенні, лічбавыя эксперыменты могуць мець істотна розныя структуры выдаткаў, чым аналагавыя эксперыменты. Калі вы хочаце запусціць сапраўды вялікія эксперыменты, вы павінны паспрабаваць паменшыць зменныя выдаткі настолькі, наколькі гэта магчыма, і ў ідэале ўсе шляхі да нуля. Вы можаце зрабіць гэта за кошт аўтаматызацыі механікі вашага эксперыменту (напрыклад, замена чалавечага часу з кампутарам часу) і праектавання эксперыментаў, якія людзі хочуць быць. Даследнікі, якія могуць распрацоўваць эксперыменты з гэтымі функцыямі будуць мець магчымасць запускаць новыя віды эксперыментаў, якія былі не ўяўляецца магчымым у мінулым. Тым не менш, здольнасць ствараць нулявыя эксперыменты зменных выдаткаў можа падняць новыя этычныя пытанні, тэма, што я зараз звярнуцца.