4.6.1 Креирање нула податоци варијабилни трошоци

Клучот за водење големи експерименти е да се вози Вашата варијабла цена на нула. Најдобрите начини да го направите ова се автоматизација и дизајнирање пријатни експерименти.

Дигиталните експерименти можат да имаат драматично различни структури на трошоци, а тоа им овозможува на истражувачите да работат со експерименти кои во минатото беа невозможни. Еден начин да се размислува за оваа разлика е да се напомене дека експериментите обично имаат два типа на трошоци: фиксни трошоци и варијабилни трошоци. Фиксни трошоци се трошоци кои остануваат непроменети, без оглед на бројот на учесници. На пример, во лабораториски експеримент, фиксни трошоци може да бидат трошоците за изнајмување на простор и купување на мебел. Променливите трошоци , од друга страна, се менуваат во зависност од бројот на учесници. На пример, во лабораториски експеримент, варијабилните трошоци може да потекнуваат од плаќање на персоналот и учесниците. Генерално, аналогните експерименти имаат ниски фиксни трошоци и високи варијабилни трошоци, додека дигиталните експерименти имаат високи фиксни трошоци и ниски варијабилни трошоци (слика 4.19). Иако дигиталните експерименти имаат ниски варијабилни трошоци, можете да создадете многу возбудливи можности кога управувате со променливата цена до нула.

Слика 4.19: Схематична структура на трошоци во аналогни и дигитални експерименти. Генерално, аналогните експерименти имаат ниски фиксни трошоци и високи варијабилни трошоци, додека дигиталните експерименти имаат високи фиксни трошоци и ниски варијабилни трошоци. Различните структури на трошоци значат дека дигиталните експерименти можат да работат на скала што не е можно со аналогните експерименти.

Постојат два главни елементи на варијабилни трошоци за вработените и исплатите за учесниците - и секоја од нив може да се придвижи до нула користејќи различни стратегии. Плаќањата на вработените произлегуваат од работата што асистенти за истражување ги регрутираат учесниците, доставуваат третмани и ги мерат резултатите. На пример, експериментот на аналогно поле на Шулц и неговите колеги (2007) за користење на електрична енергија бараше помошници за истражување да патуваат во секој дом за да го пренесат третманот и да го прочитаат електричниот метар (слика 4.3). Сите овие напори од страна на асистенти за истражување значеа дека додавањето на ново домаќинство во студијата ќе се зголеми на трошоците. Од друга страна, за дигиталниот експеримент на полето на Restivo и van de Rijt (2012) за ефектот на наградите за уредниците на Википедија, истражувачите би можеле да додадат повеќе учесници без никакви трошоци. Општата стратегија за намалување на варијабилните административни трошоци е да се замени хуманата работа (што е скапо) со компјутерска работа (што е евтино). Грубо, можете да се запрашате: Може ли овој експеримент да работи додека сите во мојот истражувачки тим спијат? Ако одговорот е да, сте направиле одлична работа за автоматизација.

Вториот главен тип на варијабилни трошоци е исплата на учесниците. Некои истражувачи го користеа Amazon Mechanical Turk и другите онлајн пазари на трудот за да ги намалат плаќањата што се потребни за учесниците. За да се придвижат варијабилните трошоци до нула, сепак, потребен е поинаков пристап. Долго време, истражувачите дизајнираа експерименти кои се толку здодевни што мора да платат луѓе да учествуваат. Но, што ако може да создадете експеримент во кој луѓето сакаат да бидат? Ова може да звучи пресилно, но јас ќе ви дадам пример подолу од мојата работа, и има повеќе примери во табела 4.4. Имајте на ум дека оваа идеја за дизајнирање пријатни експерименти одекнува на некои од темите во поглавје 3 во врска со дизајнирањето на повеќе пријатни истражувања и во поглавје 5 во врска со дизајнот на масовната соработка. Така, мислам дека уживањето на учесниците - она ​​што исто така може да се нарече корисничко искуство - ќе претставува се повеќе важен дел од истражувачкиот дизајн во дигиталната ера.

Ако сакате да создавате експерименти со податоци за нула варијабилни трошоци, ќе треба да осигурате дека сè е целосно автоматизирано и дека учесниците не бараат никакво плаќање. За да покажам како е тоа можно, ќе го опишам моето дисертативно истражување за успехот и неуспехот на културните производи.

Мојата дисертација беше мотивирана од збунувачката природа на успехот на културните производи. Хит песни, најдобро продавани книги и блокбастер филмови се многу, многу поуспешни од просекот. Поради ова, пазарите за овие производи често се нарекуваат пазари "winner-take-all". Сепак, во исто време, која одредена песна, книга или филм ќе стане успешна е неверојатно непредвидлива. Сценаристот Вилијам Голдман (1989) елегантно сумираше многу академски истражувања велејќи дека, кога станува збор за предвидување на успех, "никој не знае ништо". Непредвидливоста на пазарите со победнички успеси ме зачуди колку успех е резултат на квалитет и колку е само среќа. Или, изразено малку поинаку, ако можеме да создадеме паралелни светови и да ги развиваме сите независно, дали истите песни ќе станат популарни во секој свет? И, ако не, што може да биде механизам што ги предизвикува овие разлики?

За да одговориме на овие прашања, ние-Питер Доддс, Данкан Вотс (мојот советник за дисертација), и јас се кандидирав за низа онлајн експерименти. Особено, изградивме веб-сајт наречен MusicLab, каде што луѓето можеа да откријат нова музика, а ние го користевме за серија експерименти. Ние ги регрутиравме учесниците со прикажување на банери на веб-страница за интереси на тинејџер (слика 4.20) и преку споменување во медиумите. Учесниците кои пристигнаа на нашата веб-страница обезбедија информирана согласност, пополнија краток прашалник и беа случајно доделени на еден од двата експериментални услови - независно и социјално влијание. Во независна состојба учесниците донесоа одлуки за тоа кои песни да ги слушаат, со оглед на само имињата на бендовите и песните. Додека слушав песна, учесниците беа замолени да го рангираат, по што тие имаа можност (но не и обврска) да ја преземат песната. Во услови на социјално влијание, учесниците имаа исто искуство, освен што можеа да видат колку пати секоја песна била преземена од претходните учесници. Понатаму, учесниците во условот за социјално влијание беа случајно доделени на еден од осумте паралелни светови, од кои секоја еволуира независно (слика 4.21). Користејќи го овој дизајн, водевме два поврзани експерименти. Во првиот, ние ги презентиравме песните на учесниците во несортирана мрежа, што им даваше слаб сигнал за популарност. Во вториот експеримент, ние ги претставивме песните на рангирана листа, која обезбеди многу посилен сигнал за популарност (слика 4.22).

Слика 4.20: Пример за реклама со банери со која моите колеги и јас регрутираа учесници за експериментите (Salganik, Dodds, and Watts 2006) . Репродуцирано со дозвола од Salganik (2007) , слика 2.12.

Слика 4.21: Експериментален дизајн за експериментите (Salganik, Dodds, and Watts 2006) . Учесниците беа случајно доделени на еден од двата услови: независно и социјално влијание. Учесниците во независна состојба ги направија своите избори без какви било информации за тоа што другите луѓе го направиле. Учесниците во условите за социјално влијание беа случајно доделени на еден од осумте паралелни светови, каде што можеа да ја видат популарноста - мерена со преземања на претходни учесници - од секоја песна во нивниот свет, но не можеа да видат никакви информации, ниту пак дури и знаат за постоењето на, било кој од другите светови. Прилагодени од Salganik, Dodds, and Watts (2006) , слика s1.

Откривме дека популарноста на песните се разликува низ светот, што сугерира дека среќата одигра важна улога во успехот. На пример, во еден свет песната "Lockdown" од 52Metro дојде во 1. од 48 песни, додека во друг свет дојде на 40. место. Ова беше токму истата песна која се натпреваруваше против сите други песни, но во еден свет имаше среќа и во другите тоа не беше. Понатаму, со споредување на резултатите во двата експерименти, откривме дека општественото влијание ја зголемува природата на овие пазари, што можеби ја сугерира важноста на вештината. Но, гледајќи ги низ световите (што не може да се направи надвор од ваков вид експерименти со паралелни светови), откривме дека социјалното влијание всушност ја зголеми важноста на среќата. Понатаму, изненадувачки, тоа беа песните со највисок апел каде најважната важност беше (слика 4.23).

Слика 4.22: Слики за екрани од условите на социјалното влијание во експериментите (Salganik, Dodds, and Watts 2006) . Во услови на социјално влијание во експериментот 1, песните, заедно со бројот на претходни преземања, беа презентирани на учесниците наредени во 16 \(\times\) 3 правоаголна мрежа, каде што позициите на песните беа случајно доделени за секој учесник. Во експериментот 2, учесниците во условот за социјално влијание беа прикажани песните, со броеви за превземање, презентирани во една колона во опаѓачки редослед на сегашната популарност.

Слика 4.23: Резултати од експериментите MusicLab кои покажуваат врската помеѓу привлечноста и успехот (Salganik, Dodds, and Watts 2006) . \(x\) е пазарен удел во песната во независен свет, која служи како мерка на привлечноста на песната, а \(y\) -axis е пазарниот удел на истата песна во осумте општествени влијателни светови, што служи како мерка за успехот на песните. Откривме дека зголемувањето на социјалното влијание што учесниците го доживеале - конкретно, промената во распоредот од експериментот 1 до експериментот 2 (слика 4.22) - го искористи успехот за да стане непредвидлив, особено за песните со највисок апел. Прилагодени од Salganik, Dodds, and Watts (2006) , слика 3.

MusicLab беше во можност да работи во суштина нула варијабилна цена поради начинот на кој тој беше дизајниран. Прво, сè беше целосно автоматизирано, па беше во можност да се кандидира додека спиев. Второ, компензацијата беше бесплатна музика, така што немаше варијабилни трошоци за варијабилни учесници. Употребата на музика како надомест, исто така, илустрира како понекогаш постои компромис помеѓу фиксни и варијабилни трошоци. Употребата на музика ги зголеми фиксните трошоци, бидејќи морав да потрошам време обезбедување дозвола од бендовите и подготвување извештаи за нив за реакцијата на учесниците на нивната музика. Но, во овој случај, зголемувањето на фиксните трошоци со цел да се намалат трошоците на променливите беше вистинската работа; тоа е она што ни овозможи да извршиме експеримент кој бил околу 100 пати поголем од стандардниот лабораториски експеримент.

Понатаму, експериментите MusicLab покажуваат дека нултата варијабилна цена не мора да биде цел сама по себе; Напротив, тоа може да биде средство за водење нов вид на експеримент. Забележете дека ние не ги искористивме сите наши учесници да извршиме стандарден лабораториски експеримент за општествено влијание 100 пати. Наместо тоа, направивме нешто поинакво, што може да се замисли како префрлување од психолошки експеримент во социолошки (Hedström 2006) . Наместо да се фокусираме на индивидуално донесување на одлуки, нашиот експеримент го фокусиравме на популарност, колективен исход. Ова преминување кон колективен исход значеше дека ние баравме околу 700 учесници да создадат единствена точка за податоци (во секој од паралелните светови имало 700 луѓе). Таа скала беше можна само поради структурата на трошоците на експериментот. Општо земено, ако истражувачите сакаат да учат како колективните резултати произлегуваат од индивидуалните одлуки, групни експерименти како MusicLab се многу возбудливи. Во минатото, тие биле логистички тешки, но тие тешкотии се намалуваат поради можноста за нула варијабилни податоци.

Покрај тоа што ги илустрира придобивките од податоците за нула варијабилни трошоци, експериментите MusicLab, исто така, покажуваат предизвик со овој пристап: високи фиксни трошоци. Во мојот случај, бев многу среќен што можев да работам со талентиран веб-развивач Петер Хаусел околу шест месеци за да го изградам експериментот. Ова беше можно само затоа што мојот советник, Данкан Вотс, доби голем број на грантови за поддршка на овој вид на истражување. Технологијата е подобрена откако изградивме MusicLab во 2004 година, па сега е многу полесно да се изгради експеримент како овој. Но, високите стратегии за фиксни трошоци се навистина можни само за истражувачи кои некако можат да ги покријат тие трошоци.

Како заклучок, дигиталните експерименти може да имаат драматично различни структури на трошоци од аналогните експерименти. Ако сакате да извршите навистина големи експерименти, треба да се обидете да ја намалите променливата цена што е можно повеќе и идеално до нула. Можете да го направите ова со автоматизирање на механиката на вашиот експеримент (на пример, заменување на човечкото време со времето на компјутерот) и дизајнирање експерименти кои луѓето сакаат да бидат вклучени. Истражувачите кои можат да дизајнираат експерименти со овие функции ќе можат да водат нови видови експерименти кои беа не е можно во минатото. Сепак, способноста да се создадат експерименти со нула варијабилни трошоци можат да покренат нови етички прашања, тема што сега ќе ја разгледам.