4.6.1 Креирање нула податоци варијабилни трошоци

Клучот за водење големи експерименти е вашиот возење варијабилни трошоци на нула. Најдобар начин да го направите ова се автоматизација и пријатно дизајнирање експерименти.

Дигитални експерименти може да има драстично различни структури на трошоци и тоа им овозможува на истражувачите да се кандидира на експерименти, кои беа невозможно во минатото. Поконкретно, експерименти обично имаат два главни видови на трошоци:. Фиксни трошоци и варијабилни трошоци Фиксни трошоци се трошоци кои не се менуваат во зависност од колку учесници ќе имаат. На пример, во лабораториски експеримент, фиксни трошоци може да биде цената на изнајмување на простор и купување на мебел. Варијабилни трошоци, од друга страна, пак, се менуваат во зависност од тоа колку учесниците ќе имаат. На пример, во лабораториски експеримент, променливи трошоци може да дојде од плаќање на персоналот и учесници. Во принцип, аналогни експерименти имаат ниски фиксни трошоци и висок варијабилни трошоци, и дигитални експерименти имаат високи фиксни трошоци и ниски варијабилни трошоци (Слика 4.18). Со соодветен дизајн, може да се вози на варијабилни трошоци на експериментот на целиот пат до нула, а тоа може да се создаде возбудлив истражувачки можности.

Слика 4.18: Шематски на структури на трошоци во аналогна и дигитална експерименти. Во принцип, аналогни експерименти имаат ниски фиксни трошоци и висок варијабилни трошоци со оглед на дигитални експерименти имаат високи фиксни трошоци и ниски варијабилни трошоци. различни структури на трошоците значи дека дигитални експерименти може да работи на скала која не е можно со аналоген експерименти.

Постојат два главни елементи со променливи трошоци и исплати на вработените и плаќањата на учесниците, и секоја од овие може да се вози на нула со користење на различни стратегии. Плаќања на вработените произлегуваат од работата што стручни соработници се регрутирање на учесници, доставување третмани, и мерење на резултатите. На пример, на аналогни областа експеримент на Шулц и колеги (2007) на општествените норми и користење на електрична енергија потребна за истражување асистенти да патуваат во секој дом за реализација на третманот и да чита електрични метар (Слика 4.3). Сите овие напори од страна на истражувачки асистенти значи дека додавањето на новите апарати со студијата ќе се додаде на трошоците. Од друга страна, за дигитални поле експеримент на Restivo и ван де Rijt (2012) на награди во Википедија, истражувачите можеле да додадете повеќе учесници во практично нема цена. А општо за стратегија за намалување на променлива административни трошоци е да се замени човековите работа (што е скапо) со работа на компјутер (што е евтини). Грубо, може да се запрашате: дали може овој експеримент се кандидира додека сите на мојот тим за истражување спие? Ако одговорот е да, сте го направиле одлична работа на автоматизација.

Втората главна тип на променлива цена е плаќања на учесниците. Некои истражувачи се користи Амазон Машински Турк и други онлајн пазари на труд за намалување на плаќања, кои се потребни за учесниците. Да се ​​вози варијабилни трошоци на целиот пат до нула, сепак, потребен е поинаков пристап. За долго време, истражувачите имаат дизајниран експерименти, кои се толку здодевни тие треба да плаќаат луѓе да учествуваат. Но, што ако можете да креирате експеримент кој луѓето сакаат да бидат во? Ова можеби звучи далеку Земени се, но јас ќе ви дадам еден пример подолу од мојата работа, и постојат повеќе примери во Табела 4.4. Имајте на ум дека овој пристап на дизајнирање експерименти пријатно повторува некои од темите во Глава 3 во врска со дизајнирање и повеќе пријатни истражувања и во Поглавје 5 во врска со дизајнот на маса соработка. Така, мислам дека учесникот уживање, што би можело да се нарече корисничкото искуство, ќе биде повеќе важен дел на истражување дизајн во дигиталната ера.

Ако сакате да се создаде нулта променлива експерименти трошоци ќе сакате да се осигура дека сè е целосно автоматизиран и дека учесниците не бара никакви плаќања. Со цел да се покаже како тоа е можно, јас ќе ја опишам мојата дисертација истражување на успехот и неуспехот на културните производи. Овој пример покажува дека нула податоци варијабилен трошок не е само за вршење на работите поевтини. Напротив, тоа е за овозможување на експерименти, кои не би било можно поинаку.

Мојата дисертација беше мотивирана од збунувачки природата на успех за културни производи. Хит песни, најдобро продаваните книги и блокбастер филмови се многу, многу поуспешни од просекот. Поради ова, на пазарите за овие производи се често се нарекува "победникот зема сите" пазари. Сепак, во исто време, што одредена песна, книга или филм ќе стане успешен е неверојатно непредвидливи. Сценаристот Вилијам Голдман (1989) елегантно сумираше многу академски истражувања, велејќи дека, кога станува збор за предвидување на успех ", никој не знае ништо." Непредвидливоста на победникот зема сите пазари ме натера да се прашувам колку за успех е резултат на на квалитетот и колку е само среќа. Или, пак, изрази малку поинаку, ако можеме да се создаде паралелни светови и ги имаат сите нив да се развива независно, ќе исти песни станаа популарни во секоја светот? И, ако не, што би можело да биде механизам што предизвикува овие разлики?

Со цел да се одговори на овие прашања, ние-Peter Dodds, Данкан Вотс (мојата дисертација советник), а јас-имаше серија на онлајн поле експерименти. Конкретно, ние се изгради веб-сајт наречен MusicLab каде што луѓето може да се открие нова музика, а ние тоа го користат за серија на експерименти. Ние регрутирани учесници од страна на водење на банер реклами на веб страната на тинејџерски интерес (Слика 4.19) и преку споменува во медиумите. Учесниците пристигнаа на нашиот сајт се предвидени информирана согласност, заврши Кратко позадина прашалник, и беа случајно доделен на една од двете експериментални услови, независна и социјално влијание. Во независна состојба, учесниците донесуваат одлуки за кои песни да се слуша, со оглед на само имињата на групите и песните. Додека го слушате песна, од учесниците беше побарано да го оценувате по што тие имаа можност (но не и обврска) да ја преземете песната. Во состојба на општествено влијание, учесниците имаа слично искуство, освен тие исто така може да се види колку пати секоја песна беше симнат од претходните учесници. Исто така, учесниците во состојбата на социјално влијание беа случајно доделен на една од осумте паралелни светови секоја од кои еволуирале независно (Слика 4.20). Користење на овој дизајн, ние се стрча две поврзани со експерименти. Во првиот, ние претстави учесниците на песни во несортиран мрежа, која ги обезбеди слаб сигнал на популарноста. Во вториот експеримент, ние го претстави песни во листата на рангирани, кои се предвидени со многу силен сигнал на популарноста (Слика 4.21).

Слика 4.19: Пример на банер реклама, која моите колеги и јас се користи да се регрутираат учесници за експерименти MusicLab (Salganik, Dodds, and Watts 2006) .

Слика 4.20: Експериментален дизајн за експерименти MusicLab (Salganik, Dodds, and Watts 2006) . Учесниците беа случајно доделен во еден од два услови: независна и социјално влијание. Учесниците во независна состојба направи својот избор, без било какви информации во врска со она што другите луѓе го сторил. Учесниците во состојбата на социјално влијание беа случајно доделен во една од осумте паралелни светови, каде што може да се види популарноста, што се мери со преземање на претходни учесници-на секоја песна во нивниот свет, но тие не може да се види какви било информации, ниту пак тоа го правеа дури и знаат за постоењето на која било од други светови.

Откривме дека популарноста на песните се разликува преку световите укажува на важната улога на среќа. На пример, во еден свет на песната "Заклучување" од 52Metro дојде во 1-во, и во некој друг свет дојде во 40 од 48 песни. Ова беше точно истата песна се натпреваруваат против сите исти песни, но во еден свет што се насмевна и во други не. Понатаму, со споредување на резултати во овие два експерименти ние откривме дека социјалното влијание доведува до повеќе нееднаков успех, кој можеби создава изглед на предвидливост. Но, гледајќи преку световите (што не може да се направи надвор од овој вид на паралелни светови експеримент), ние откривме дека влијанието на општеството всушност, се зголеми на непредвидливост. Понатаму, изненадувачки, тоа беше на песни од највисоките жалба, кои имаат најмногу непредвидливи резултати (Слика 4.22).

Слика 4.21: screenshot-и од условите на социјалното влијание во експериментите на MusicLab (Salganik, Dodds, and Watts 2006) . Во состојба на социјалното влијание во експериментот 1, песни, заедно со бројот на претходни преземања, беа презентирани пред учесниците наредени во 16 X 3 правоаголна мрежа, каде позициите на песните беа случајно доделен за секој учесник. Во експериментот 2, учесници во состојбата на социјално влијание беа прикажани на песни, со преземање точки од обвинението, презентирани во една колона во опаѓачки редослед на моменталната популарност.

Слика 4.22: Резултати од експерименти MusicLab го покажува односот помеѓу жалба и успех (Salganik, Dodds, and Watts 2006) . X-оската е пазарниот удел на песната во независен свет, кој служи како мерка за жалбата на песната, а на y-оската е уделот на пазарот на истата песна во 8 влијание света на социјалниот, кој служи како мерка за успехот на песните. Откривме дека зголемување на влијанието на општеството дека учесниците искусни конкретно, промената во изгледот од 1 експеримент да експериментирате 2 (Слика 4.21) -caused успех да станат непредвидливи, особено за највисок жалба песни.

MusicLab беше во можност да се кандидира во суштина нула варијабилни трошоци поради начинот на кој таа беше наменета. Прво, се што беше целосно автоматски, така што бев во можност да се кандидира додека спиев. Второ, за надомест на штета е слободна музика па немаше варијабилен трошок надомест учесник. Употребата на музиката, како компензација, исто така, покажува како таму понекогаш е трампа помеѓу фиксни трошоци и варијабилни трошоци. Користење на музика зголеми фиксни трошоци, бидејќи морав да го поминуваат своето време обезбедување на дозвола од бендови и подготовка на извештаи за бендовите за реакциите на учесниците во нивната музика. Но, во овој случај, зголемување на фиксни трошоци, со цел да се намалат трошоците променливи е право нешто да се направи; тоа е она што ни овозможи да се кандидира експеримент кој беше околу 100 пати поголема од стандарден лабораториски експеримент.

Понатаму, експерименти покажуваат дека MusicLab нула варијабилни трошоци, не мора да биде цел сама по себе; Наместо тоа, таа може да биде средство за водење на нов вид на експеримент. Забележете дека ние не го користат сите наши учесници да се кандидира стандарден социјалното влијание лабораториски експеримент 100 пати. Наместо тоа, ние го сторивме нешто друго, за кое можете да мислам на како префрлување од психолошки експеримент за социолошки експеримент (Hedström 2006) . Наместо да се фокусира на индивидуалните донесување на одлуки, ние се фокусиравме нашиот експеримент на популарноста, колективен исход. Оваа опција за да колективен исход значи дека ние потребни околу 700 учесници да се произведе еден податоци точка (имаше 700 луѓе во секоја од паралелни светови). Тоа скала беше можно само поради структурата на трошоците на експериментот. Во принцип, ако истражувачите сакаат да учат како колективни резултати произлегуваат од поединечните одлуки, група експерименти како MusicLab се многу возбудливо. Во минатото, тие биле логистички тешко, но тие тешкотии се избледени поради можноста од нула податоци варијабилни трошоци.

Во прилог да се илустрираат придобивките од нула податоци варијабилни трошоци, експерименти MusicLab покаже и предизвик со овој пристап: високите фиксни трошоци. Во мојот случај, јас бев многу среќен да биде во можност да работат со талентирани веб програмер по име Петар Hausel за околу шест месеци да се изгради на експериментот. Ова е можно само затоа што мојот советник, Данкан Вотс, добил голем број на грантови за поддршка на овој вид на истражување. Технологијата е подобрена, бидејќи ние MusicLab изградена во 2004 година, и тоа ќе биде многу полесно да се изгради еден експеримент вака сега. Но, висок стратегии фиксни трошоци се навистина можно само за истражувачите кои некако може да ги покрие овие трошоци.

Во заклучок, дигитални експерименти може да има драстично различни структури на трошоци од аналогни експерименти. Ако сакате да ја извршите навистина големи експерименти, треба да се обидете да ја намалите вашата променлива на трошоците колку што е можно и идеално сите на патот до 0. Можете да го направите ова со автоматизирање на механика на експериментот (на пример, на местото на човековите време со компјутер време) и дизајнирање експерименти, кои луѓето сакаат да бидат во. Истражувачите кои можат да дизајн експерименти со овие карактеристики ќе бидат во можност да се кандидира нови видови на експерименти кои не се можни во минатото.