4.6.1 Crear cero de datos de custos variables

A clave para que executan grandes experimentos está dirixido o seu custo variable a cero. As mellores formas de facelo son automatización e deseño de experiencias agradables.

experimentos dixitais poden ter drasticamente distintas estruturas de custos e iso permite que os investigadores para realizar experiencias que eran imposibles no pasado. En concreto, experimentos xeralmente teñen dous tipos principais de custos :. custos fixos e custos variables os custos fixos son custos que non cambian dependendo de cantos participantes ten. Por exemplo, nun experimento de laboratorio, os custos fixos sexa o custo de alugar o espazo e compra de mobiliario. Os custos variables, por outra banda, o cambio dependendo de cantos participantes ten. Por exemplo, nun experimento de laboratorio, os custos variables poden vir de pagar o persoal e os participantes. En xeral, os experimentos analóxicos teñen baixos custos fixos e custos variables altos, e as experiencias dixitais teñen custos fixos altos e custos variables baixos (Figura 4.18). Con deseño axeitado, pode dirixirse o custo variable da súa experiencia todo o camiño a cero, e iso pode crear oportunidades de investigación emocionantes.

Figura 4.18: Esquema das estruturas de custos en analóxico e experiencias dixitais. En xeral, os experimentos analóxicos teñen baixos custos fixos e custos variables altos mentres experimentos dixitais teñen custos fixos altos e baixos custos variables. As estruturas de custos diferentes significa que as experiencias dixitais pode ser executado en unha escala que non é posible con experimentos analóxicos.

Existen dous principais elementos do custo-pagos variables ao persoal e pagos aos participantes e cada un deles pode ser conducido a cero usando estratexias diferentes. Pagos a persoal resulten do traballo que asistentes de investigación que contratar participantes, ofrecendo tratamentos e medir os resultados. Por exemplo, o experimento de campo analóxico de Schultz e compañeiros (2007) sobre as normas sociais e uso de electricidade asistentes de investigación necesario para viaxar a cada casa para entregar o tratamento e ler o contador eléctrico (Figura 4.3). Todo este esforzo por asistentes de investigación significa que a adición dun novo fogar co estudo tería engadido ao custo. Por outra banda, ao experimento de campo dixital do Restivo e van de Rijt (2012) en recompensas en Wikipedia, os investigadores poderían engadir máis participantes sen practicamente ningún custo. A estratexia xeral para reducir os custos administrativos variables é substituír o traballo humano (que é caro), co traballo de equipo (que é barato). Grosso modo, pode preguntar: Pode esta experiencia correr mentres todos na miña equipo de investigación está durmindo? Se a resposta é si, fixo un gran traballo de automatización.

A segunda principal tipo de custo variable é pagos aos participantes. Algúns investigadores utilizaron Amazon Mechanical Turk e outros mercados de traballo en liña para diminuír os pagamentos que son necesarios para os participantes. Para conducir os custos variables todo o camiño a cero, con todo, é necesaria unha visión diferente. Durante moito tempo, os investigadores deseñaron experiencias que son tan chat que teñen que pagar a xente para participar. Pero o que se podería crear unha experiencia que a xente quere estar? Isto pode parecer improbable, pero eu vou che dar un exemplo de abaixo do meu propio traballo, e hai máis exemplos na táboa 4.4. Nótese que esta visión para proxectar experiencias agradables ecoa algúns dos temas do capítulo 3 sobre deseño de investigacións máis agradable e no capítulo 5 en relación ao proxecto de colaboración en masa. Así, eu creo que ese participante goce o que tamén pode ser chamado de experiencia do usuario-se unha parte cada vez máis importante do proxecto de investigación na era dixital.

Se desexa crear cero de custos variables experiencias que vai querer garantir que todo é totalmente automatizado e que os participantes non necesitan de calquera pagamentos. Para mostrar como iso é posible, vou describir a miña investigación de disertación sobre o éxito eo fracaso de produtos culturais. Este exemplo mostra tamén que os datos de custo variable cero non é só sobre facer as cousas máis barato. Pola contra, é sobre como activar experimentos que non sería posible doutro xeito.

Miña disertación foi motivada pola natureza do éxito de produtos culturais. cancións de éxito, mellor que vende libros e películas de gran éxito son moito máis acertada que a media. Debido a iso, os mercados destes produtos son moitas veces chamados de "o gañador leva todo" mercados. Con todo, á vez, o que en particular música, libro ou película vai facer un éxito é moi imprevisible. O guionista William Goldman (1989) elegantemente resumiu moita investigación académica por dicir que, cando se trata de prever o éxito, "ninguén sabe nada." A imprevisibilidade do gañador leva todos os mercados me fixo pensar o que de éxito é resultado de calidade e que é só sorte. Ou, expresado de forma lixeiramente diferente, se puidésemos crear mundos paralelos e telos todos evolucionar de forma independente, tería as mesmas cancións tornáronse populares en cada mundo? E, se non, o que podería ser un mecanismo que fai que estas diferenzas?

Para responder a estas preguntas, -Peter Dodds, Duncan Watts (miña tese de conselleiro) e I-realizou unha serie de experimentos de campo en liña. En particular, nós construímos un sitio chamado MusicLab onde as persoas puidesen descubrir novas músicas, e utilizado para unha serie de experimentos. Foron recrutados participantes executando banners nunha web para adolescentes (Figura 4.19) ea través de mencións nos medios. Os participantes que chegan ao noso sitio forneceu consentimento informado, completaron un cuestionario curto de fondo, e foron distribuídos aleatoriamente a un dos dous influencia experimentais condicións-independente e social. Na condición de independente, os participantes fixeron decisións sobre cales cancións para escoitar, dada só os nomes das bandas e as cancións. Mentres escoita música, os participantes foron solicitados a clasificar-lo despois que eles tiveron a oportunidade (pero non a obriga) para baixar a música. Na condición de influencia social, os participantes tiveron a mesma experiencia, a non ser que tamén podería ver cantas veces cada canción fora descargada polos participantes anteriores. Ademais, os participantes na condición de influencia social foron aleatoriamente designados para un dos oito mundos paralelos, cada un dos cales evolucionaron de forma independente (Figura 4.20). Usando este proxecto, nós corremos dous experimentos relacionados. No primeiro, foron presentados aos participantes as cancións nunha reixa indiferenciados, o que lles proporcionou un sinal débil de popularidade. No segundo experimento, presentamos as cancións dunha lista ordenada, que proporcionou un sinal máis forte da popularidade (Figura 4.21).

Figura 4.19: Un exemplo de anuncio de bandeira que os meus compañeiros e eu utilizado para contratar asistentes para os experimentos MusicLab (Salganik, Dodds, and Watts 2006) .

Figura 4.20: Proxecto Experimental aos experimentos MusicLab (Salganik, Dodds, and Watts 2006) . Os participantes foron distribuídos aleatoriamente nunha de dúas condicións: influencia independente e social. Os participantes na condición independente fixeron as súas opcións sen ningunha información sobre o que outros fixeran. Participantes na condición de influencia social foron distribuídos aleatoriamente nun dos oito mundos paralelos, onde eles poderían ver a popularidade, como medida por transferencias de participantes-de anteriores cada canción no seu mundo, pero eles non podían ver calquera información, nin sequera saber sobre a existencia, calquera dos outros mundos.

Descubrimos que a popularidade das cancións diferiu entre os mundos, suxerindo un papel importante de sorte. Por exemplo, nun mundo da música "Lockdown" por 52Metro veu primeiro, e noutro mundo que veu en 40 das 48 cancións. Esta foi exactamente a mesma canción competencia contra os mesmos temas, pero nun mundo que ten sorte e nos outros que non. Ademais, comparando resultados entre ambos experimentos, descubrimos que a influencia social leva ao éxito máis desigual, o que quizais crea a aparencia previsibilidade. Pero mirando para os mundos (que non se pode facer fóra deste tipo de experimento mundos paralelo), verificouse que a influencia social en realidade aumentou a imprevisibilidade. Ademais, sorprendentemente, era as cancións de maior chamamento que os resultados máis imprevisibles (Figura 4.22).

Figura 4.21: Imaxes de as condicións de influencia social nos experimentos MusicLab (Salganik, Dodds, and Watts 2006) . Na condición de influencia social no experimento 1, as cancións, xunto co número de descargas anteriores, foron presentados aos participantes organizados nunha reixa rectangular 16 x 3, no que as posicións das cancións foron aleatoriamente designados para cada participante. No experimento 2, os participantes na condición de influencia social foron mostradas as cancións, con contas de descarga, presentados nunha columna en orde de popularidade corrente descendente.

Figura 4.22: Os resultados dos experimentos MusicLab mostrando a relación entre o chamamento e éxito (Salganik, Dodds, and Watts 2006) . O eixe x é a parte da música do mundo independente, que serve como unha medida do chamamento da canción de mercado, eo eixe y é a acción da mesma canción nos 8 mundos de influencia social, que serve mercado como unha medida do éxito das cancións. Descubrimos que o aumento da influencia social que os participantes experimentaron-especificamente, o cambio no esquema desde experimento 1 experimentando 2 (Figura 4.21) -caused éxito para facerse máis imprevisible, especialmente para os máis altos cancións de recurso.

MusicLab era capaz de executar esencialmente custo variable de cero por mor da maneira que foi deseñado. En primeiro lugar, todo foi totalmente automatizado para que el era capaz de correr mentres eu estaba durmindo. En segundo lugar, a compensación era a música libre polo que non houbo custo de compensación participante variable. O uso da música como compensación tamén ilustra como ás veces hai un trade-off entre custos fixos e custos variables. Usando a música aumentou os custos fixos porque eu tiven que gastar tempo garantir o permiso das bandas e preparar informes para as bandas sobre a reacción dos participantes a súa música. Pero, neste caso, o aumento dos custos fixos, a fin de diminuír os custos variables foi a cousa ben a facer; iso é o que nos permitiu realizar un experimento que foi preto de 100 veces máis grande que un experimento de laboratorio estándar.

Ademais, os experimentos mostran que MusicLab custo cero variable non ten que ser un fin en si mesmo; en vez diso, pode ser un medio para a execución dun novo tipo de experiencia. Teña en conta que non usan os nosos participantes para realizar unha influencia social experimento de laboratorio estándar 100 veces. Pola contra, nós fixemos algo diferente, o que podería pensar de como o cambio dun experimento psicolóxico a un experimento sociolóxico (Hedström 2006) . En vez de centrarse sobre a toma de decisións individual, Focamos noso experimento en popularidade, un resultado colectivo. Este cambio para un resultado colectivo significou que necesarios uns 700 participantes para producir un único punto de datos (había 700 persoas en cada un dos mundos paralelos). Esta escala foi posible debido á estrutura de custos do experimento. En xeral, os investigadores queren estudar como os resultados colectivos derivan de decisións individuais, as experiencias de grupo, como MusicLab son moi emocionante. No pasado, eles foron loxística difícil, pero esas dificultades están desaparecendo por mor da posibilidade de cero datos de custos variables.

Ademais de ilustrar os beneficios de cero dos datos de custos variables, as experiencias mostran MusicLab tamén un reto con esta visión: altos custos fixos. No meu caso, eu tiven moita sorte de poder traballar con un programador web talentoso chamado Peter Häusel por uns seis meses para construír o experimento. Isto só foi posible porque o meu orientador, Duncan Watts, recibira un número de bolsas para apoiar este tipo de investigación. A tecnoloxía mellorou desde que nós construímos MusicLab en 2004, e sería moito máis fácil construír unha experiencia como esta agora. Pero as estratexias de altos custos fixos son realmente só é posible para os investigadores que dalgún xeito pode cubrir eses gastos.

En conclusión, as experiencias dixitais pode drasticamente distintas estruturas de custos que experimentos analóxicos. Se desexa realizar realmente grandes experimentos, ten que tentar diminuír o custo variable, na medida do posible e, idealmente, todo o camiño para 0. Podes facelo, automatizando a mecánica da súa experiencia (por exemplo, substituíndo o tempo humano co tempo de ordenador) e deseño de experiencias que a xente quere estar no. investigadores que poden proxectar experimentos con estas características poderá realizar novos tipos de experiencias que non eran posibles no pasado.