4.6.1 Criar zero de dados de custos variáveis

A chave para que executam grandes experimentos está dirigindo o seu custo variável para zero. As melhores maneiras de fazer isso são automação e concepção de experiências agradáveis.

experimentos digitais pode ter drasticamente diferentes estruturas de custos e isso permite que pesquisadores para executar experiências que eram impossíveis no passado. Mais especificamente, experimentos geralmente têm dois tipos principais de custos:. Custos fixos e custos variáveis ​​os custos fixos são custos que não mudam dependendo de quantos participantes você tem. Por exemplo, em um experimento de laboratório, os custos fixos pode ser o custo de alugar o espaço e compra de mobiliário. Os custos variáveis, por outro lado, a mudança dependendo de quantos participantes você tem. Por exemplo, em um experimento de laboratório, os custos variáveis ​​podem vir de pagar o pessoal e os participantes. Em geral, os experimentos analógicos têm baixos custos fixos e custos variáveis ​​altos, e as experiências digitais têm custos fixos elevados e custos variáveis ​​baixos (Figura 4.18). Com design adequado, você pode dirigir o custo variável da sua experiência todo o caminho para zero, e isso pode criar oportunidades de pesquisa emocionantes.

Figura 4.18: Esquema das estruturas de custos em analógico e experiências digitais. Em geral, os experimentos analógicos têm baixos custos fixos e custos variáveis ​​altos enquanto experimentos digitais têm custos fixos elevados e baixos custos variáveis. As estruturas de custos diferentes significa que as experiências digitais pode ser executado em uma escala que não é possível com experimentos analógicos.

Existem dois principais elementos do custo-pagamentos variáveis ​​ao pessoal e pagamentos aos participantes e cada um deles pode ser conduzido a zero usando estratégias diferentes. Pagamentos a pessoal resultem do trabalho que assistentes de pesquisa que recrutar participantes, oferecendo tratamentos e medir os resultados. Por exemplo, o experimento de campo analógico de Schultz e colegas (2007) sobre as normas sociais e uso de eletricidade assistentes de pesquisa necessário para viajar para cada casa para entregar o tratamento e ler o medidor elétrico (Figura 4.3). Todo esse esforço por assistentes de pesquisa significa que a adição de um novo lar com o estudo teria adicionado ao custo. Por outro lado, para o experimento de campo digital do Restivo e van de Rijt (2012) em recompensas em Wikipedia, os pesquisadores poderiam adicionar mais participantes sem praticamente nenhum custo. A estratégia geral para reduzir os custos administrativos variáveis ​​é substituir o trabalho humano (que é caro), com o trabalho de computador (que é barato). Grosso modo, você pode se perguntar: pode esta experiência correr enquanto todos na minha equipe de pesquisa está dormindo? Se a resposta for sim, você fez um grande trabalho de automação.

O segundo principal tipo de custo variável é pagamentos aos participantes. Alguns pesquisadores têm utilizado Amazon Mechanical Turk e outros mercados de trabalho on-line para diminuir os pagamentos que são necessários para os participantes. Para conduzir os custos variáveis ​​todo o caminho para zero, no entanto, é necessária uma abordagem diferente. Durante muito tempo, os investigadores conceberam experiências que são tão chatas que eles têm de pagar as pessoas para participar. Mas, o que se poderia criar uma experiência que as pessoas querem estar em? Isto pode parecer improvável, mas eu vou te dar um exemplo abaixo do meu próprio trabalho, e há mais exemplos na Tabela 4.4. Note-se que esta abordagem para projetar experiências agradáveis ​​ecoa alguns dos temas no Capítulo 3 sobre concepção de pesquisas mais agradável e no capítulo 5 em relação ao projeto de colaboração em massa. Assim, eu acho que esse participante desfrute-o que também pode ser chamado de experiência do usuário-será uma parte cada vez mais importante do projeto de pesquisa na era digital.

Se você deseja criar zero de custos variáveis ​​experiências que você vai querer garantir que tudo é totalmente automatizado e que os participantes não necessitam de quaisquer pagamentos. Para mostrar como isso é possível, vou descrever a minha pesquisa de dissertação sobre o sucesso eo fracasso de produtos culturais. Este exemplo mostra também que os dados de custo variável zero não é apenas sobre fazer as coisas mais barato. Pelo contrário, é sobre como ativar experimentos que não seria possível de outra forma.

Minha dissertação foi motivada pela natureza do sucesso de produtos culturais. canções de sucesso, melhor que vende livros e filmes de grande sucesso são muito, muito mais bem sucedida do que a média. Devido a isso, os mercados desses produtos são muitas vezes chamados de "o vencedor leva tudo" mercados. No entanto, ao mesmo tempo, o que em particular música, livro ou filme vai se tornar um sucesso é extremamente imprevisível. O roteirista William Goldman (1989) elegantemente resumiu muita pesquisa acadêmica por dizer que, quando se trata de prever o sucesso, "ninguém sabe nada." A imprevisibilidade do vencedor leva todos os mercados me fez pensar o quanto de sucesso é resultado de qualidade e quanto é apenas sorte. Ou, expresso de forma ligeiramente diferente, se pudéssemos criar mundos paralelos e tê-los todos evoluir de forma independente, teria as mesmas músicas tornaram-se populares em cada mundo? E, se não, o que poderia ser um mecanismo que faz com que essas diferenças?

Para responder a estas perguntas,-Peter Dodds, Duncan Watts (minha tese de conselheiro) e I-realizou uma série de experimentos de campo on-line. Em particular, nós construímos um site chamado MusicLab onde as pessoas pudessem descobrir novas músicas, e nós utilizado para uma série de experimentos. Foram recrutados participantes executando banners em um site para adolescentes (Figura 4.19) e através de menções na mídia. Os participantes que chegam ao nosso site forneceu consentimento informado, completaram um questionário curto de fundo, e foram distribuídos aleatoriamente para um dos dois influência experimentais condições-independente e social. Na condição de independente, os participantes fizeram decisões sobre quais músicas para ouvir, dada apenas os nomes das bandas e as músicas. Enquanto ouve uma música, os participantes foram solicitados a classificar-lo depois que eles tiveram a oportunidade (mas não a obrigação) para baixar a música. Na condição de influência social, os participantes tiveram a mesma experiência, a não ser que também poderia ver quantas vezes cada música tinha sido baixado pelos participantes anteriores. Além disso, os participantes na condição de influência social foram aleatoriamente designados para um dos oito mundos paralelos, cada um dos quais evoluíram de forma independente (Figura 4.20). Usando este projeto, nós corremos dois experimentos relacionados. No primeiro, foram apresentados aos participantes as canções em uma grade indiferenciados, o que lhes proporcionou um sinal fraco de popularidade. No segundo experimento, apresentamos as músicas de uma lista ordenada, que forneceu um sinal muito mais forte da popularidade (Figura 4.21).

Figura 4.19: Um exemplo de anúncio de bandeira que os meus colegas e eu utilizado para recrutar participantes para os experimentos MusicLab (Salganik, Dodds, and Watts 2006) .

Figura 4.20: Projeto Experimental para os experimentos MusicLab (Salganik, Dodds, and Watts 2006) . Os participantes foram distribuídos aleatoriamente em uma de duas condições: influência independente e social. Os participantes na condição independente fizeram as suas escolhas sem qualquer informação sobre o que outras pessoas tinham feito. Participantes na condição de influência social foram distribuídos aleatoriamente em um dos oito mundos paralelos, onde eles poderiam ver a popularidade, como medido por transferências de participantes-de anteriores cada canção em seu mundo, mas eles não podiam ver qualquer informação, nem sequer saber sobre a existência de, qualquer um dos outros mundos.

Descobrimos que a popularidade das canções diferiu entre os mundos, sugerindo um papel importante de sorte. Por exemplo, em um mundo da música "Lockdown" por 52Metro veio em primeiro, e em outro mundo que veio em 40 das 48 canções. Esta foi exatamente a mesma canção competindo contra as mesmas músicas, mas em um mundo que tem sorte e nos outros que não. Além disso, comparando resultados entre os dois experimentos, descobrimos que a influência social leva ao sucesso mais desigual, o que talvez cria a aparência de previsibilidade. Mas, olhando para os mundos (que não pode ser feito fora desse tipo de experimento mundos paralelo), verificou-se que a influência social na verdade aumentou a imprevisibilidade. Além disso, surpreendentemente, era as canções de maior apelo que têm os resultados mais imprevisíveis (Figura 4.22).

Figura 4.21: Imagens de as condições de influência social nos experimentos MusicLab (Salganik, Dodds, and Watts 2006) . Na condição de influência social no experimento 1, as canções, juntamente com o número de downloads anteriores, foram apresentados aos participantes organizados em uma grade retangular 16 x 3, em que as posições das canções foram aleatoriamente designados para cada participante. No experimento 2, os participantes na condição de influência social foram mostradas as músicas, com contagens de download, apresentados em uma coluna em ordem de popularidade corrente descendente.

Figura 4.22: Os resultados dos experimentos MusicLab mostrando a relação entre o apelo e sucesso (Salganik, Dodds, and Watts 2006) . O eixo x é a parte da música do mundo independente, que serve como uma medida do apelo da canção de mercado, e o eixo y é a ação da mesma canção nos 8 mundos de influência social, que serve mercado como uma medida do sucesso das canções. Descobrimos que o aumento da influência social que os participantes experimentaram-especificamente, a mudança no layout a partir de experimento 1 a experimentar 2 (Figura 4.21) -caused sucesso para tornar-se mais imprevisível, especialmente para os mais altos canções de recurso.

MusicLab era capaz de correr essencialmente custo variável de zero por causa da maneira que ele foi projetado. Em primeiro lugar, tudo foi totalmente automatizado para que ele era capaz de correr enquanto eu estava dormindo. Em segundo lugar, a compensação era a música livre por isso não houve custo de compensação participante variável. O uso da música como compensação também ilustra como às vezes há um trade-off entre custos fixos e custos variáveis. Usando a música aumentou os custos fixos porque eu tive que gastar tempo garantir a permissão das bandas e preparar relatórios para as bandas sobre a reação dos participantes a sua música. Mas, neste caso, o aumento dos custos fixos, a fim de diminuir os custos variáveis ​​foi a coisa certa a fazer; isso é o que nos permitiu executar um experimento que foi cerca de 100 vezes maior do que um experimento de laboratório padrão.

Além disso, os experimentos mostram que MusicLab custo zero variável não tem que ser um fim em si mesmo; em vez disso, ele pode ser um meio para a execução de um novo tipo de experiência. Observe que não usamos todos os nossos participantes para executar uma influência social experimento de laboratório padrão 100 vezes. Em vez disso, nós fizemos algo diferente, o que você poderia pensar de como a mudança de um experimento psicológico a um experimento sociológico (Hedström 2006) . Ao invés de focar sobre a tomada de decisão individual, focamos nosso experimento em popularidade, um resultado coletivo. Esta mudança para um resultado coletivo significou que nós necessários cerca de 700 participantes para produzir um único ponto de dados (havia 700 pessoas em cada um dos mundos paralelos). Essa escala só foi possível por causa da estrutura de custos do experimento. Em geral, se os pesquisadores querem estudar como os resultados coletivos decorrem de decisões individuais, as experiências de grupo, como MusicLab são muito emocionante. No passado, eles foram logisticamente difícil, mas essas dificuldades estão desaparecendo por causa da possibilidade de zero dados de custos variáveis.

Além de ilustrar os benefícios de zero dos dados de custos variáveis, as experiências mostram MusicLab também um desafio com esta abordagem: elevados custos fixos. No meu caso, eu tive muita sorte de ser capaz de trabalhar com um desenvolvedor web talentoso chamado Peter Häusel por cerca de seis meses para construir o experimento. Isso só foi possível porque o meu orientador, Duncan Watts, tinha recebido um número de bolsas para apoiar esse tipo de pesquisa. A tecnologia tem melhorado desde que nós construímos MusicLab em 2004, e seria muito mais fácil construir uma experiência como esta agora. Mas, as estratégias de altos custos fixos são realmente só é possível para os pesquisadores que de alguma forma pode cobrir esses custos.

Em conclusão, as experiências digitais pode ter drasticamente diferentes estruturas de custos do que experimentos analógicos. Se você deseja executar realmente grandes experimentos, você deve tentar diminuir o custo variável, tanto quanto possível e, idealmente, todo o caminho para 0. Você pode fazer isso, automatizando a mecânica da sua experiência (por exemplo, substituindo o tempo humano com o tempo de computador) e concepção de experiências que as pessoas querem estar no. os investigadores que podem projetar experimentos com estas características será capaz de executar novos tipos de experiências que não eram possíveis no passado.