4.6.1 Criar zero de dados de custos variáveis

A chave para executar grandes experimentos é direcionar seu custo variável para zero. As melhores maneiras de fazer isso são automação e projetar experimentos agradáveis.

Os experimentos digitais podem ter estruturas de custo dramaticamente diferentes, e isso permite que os pesquisadores executem experimentos que eram impossíveis no passado. Uma maneira de pensar sobre essa diferença é observar que os experimentos geralmente têm dois tipos de custos: custos fixos e custos variáveis. Custos fixos são custos que permanecem inalterados, independentemente do número de participantes. Por exemplo, em um experimento de laboratório, os custos fixos podem ser os custos de alugar espaço e comprar móveis. Os custos variáveis , por outro lado, mudam dependendo do número de participantes. Por exemplo, em um experimento em laboratório, os custos variáveis ​​podem vir do pagamento de funcionários e participantes. Em geral, os experimentos analógicos têm baixos custos fixos e altos custos variáveis, enquanto os experimentos digitais têm altos custos fixos e baixos custos variáveis ​​(figura 4.19). Mesmo que os experimentos digitais tenham custos variáveis ​​baixos, você pode criar muitas oportunidades interessantes quando direcionar o custo variável até zero.

Figura 4.19: Esquema das estruturas de custos em experimentos analógicos e digitais. Em geral, os experimentos analógicos têm baixos custos fixos e altos custos variáveis, enquanto os experimentos digitais têm altos custos fixos e baixos custos variáveis. As diferentes estruturas de custo significam que os experimentos digitais podem ser executados em uma escala que não é possível com experimentos analógicos.

Existem dois elementos principais de custo variável - pagamentos à equipe e pagamentos aos participantes - e cada um deles pode ser direcionado para zero usando estratégias diferentes. Os pagamentos para o pessoal resultam do trabalho que os assistentes de pesquisa recrutam, distribuem tratamentos e medem os resultados. Por exemplo, o experimento de campo analógico de Schultz e colegas (2007) sobre o uso de eletricidade exigiu que assistentes de pesquisa viajassem para cada casa para entregar o tratamento e ler o medidor elétrico (figura 4.3). Todo esse esforço dos assistentes de pesquisa significava que acrescentar um novo domicílio ao estudo aumentaria o custo. Por outro lado, para o experimento de campo digital de Restivo e van de Rijt (2012) sobre o efeito dos prêmios nos editores da Wikipédia, os pesquisadores poderiam adicionar mais participantes virtualmente sem nenhum custo. Uma estratégia geral para reduzir os custos administrativos variáveis ​​é substituir o trabalho humano (que é caro) pelo trabalho com computadores (que é barato). Grosso modo, você pode se perguntar: esse experimento pode ser executado enquanto todos da minha equipe de pesquisa estão dormindo? Se a resposta for sim, você fez um ótimo trabalho de automação.

O segundo tipo principal de custo variável é o pagamento aos participantes. Alguns pesquisadores usaram o Amazon Mechanical Turk e outros mercados de trabalho on-line para diminuir os pagamentos necessários para os participantes. Para direcionar os custos variáveis ​​até zero, no entanto, é necessária uma abordagem diferente. Por muito tempo, os pesquisadores projetaram experimentos que são tão entediantes que precisam pagar as pessoas para participar. Mas e se você pudesse criar um experimento no qual as pessoas querem estar? Isso pode parecer exagero, mas vou dar um exemplo abaixo do meu próprio trabalho, e há mais exemplos na tabela 4.4. Observe que essa ideia de projetar experimentos agradáveis ​​ecoa alguns dos temas no capítulo 3, referentes à criação de pesquisas mais agradáveis, e no capítulo 5, sobre o projeto de colaboração em massa. Assim, acho que o prazer do participante - o que também pode ser chamado de experiência do usuário - será uma parte cada vez mais importante do design da pesquisa na era digital.

Se você quiser criar experimentos com dados de custo variável zero, será necessário garantir que tudo esteja totalmente automatizado e que os participantes não precisem de nenhum pagamento. Para mostrar como isso é possível, descreverei minha pesquisa de dissertação sobre o sucesso e o fracasso de produtos culturais.

Minha dissertação foi motivada pela natureza intrigante do sucesso de produtos culturais. Músicas de sucesso, livros best-sellers e filmes de grande sucesso são muito mais bem-sucedidos do que a média. Por causa disso, os mercados para esses produtos são geralmente chamados de mercados “ganhadores levam tudo”. No entanto, ao mesmo tempo, qual música, livro ou filme em particular terá sucesso é incrivelmente imprevisível. O roteirista William Goldman (1989) resumiu elegantemente muita pesquisa acadêmica dizendo que, quando se trata de prever o sucesso, “ninguém sabe de nada”. A imprevisibilidade dos mercados ganhadores leva-me a imaginar quanto de sucesso é resultado de qualidade e quanto é apenas sorte. Ou, expressas de forma ligeiramente diferente, se pudéssemos criar mundos paralelos e fazer com que todos evoluíssem independentemente, as mesmas músicas se tornariam populares em cada mundo? E, se não, o que pode ser um mecanismo que cause essas diferenças?

Para responder a essas perguntas, nós - Peter Dodds, Duncan Watts (meu orientador de dissertações) e eu - realizamos uma série de experimentos de campo on-line. Em particular, construímos um site chamado MusicLab, onde as pessoas podiam descobrir novas músicas, e usávamos isso para uma série de experimentos. Recrutamos participantes exibindo banners em um site de interesse adolescente (figura 4.20) e através de menções na mídia. Os participantes que chegaram ao nosso site forneceram o consentimento informado, completaram um breve questionário de fundo e foram aleatoriamente designados para uma das duas condições experimentais - influência independente e social. Na condição independente, os participantes tomavam decisões sobre quais músicas ouvir, dados apenas os nomes das bandas e das músicas. Enquanto escutava uma música, os participantes foram solicitados a avaliá-la, após o que eles tiveram a oportunidade (mas não a obrigação) de baixar a música. Na condição de influência social, os participantes tiveram a mesma experiência, exceto que eles também puderam ver quantas vezes cada música foi baixada pelos participantes anteriores. Além disso, os participantes da condição de influência social foram designados aleatoriamente para um dos oito mundos paralelos, cada um dos quais evoluiu independentemente (figura 4.21). Usando esse design, fizemos duas experiências relacionadas. No primeiro, apresentamos as músicas aos participantes em uma grade não ordenada, o que lhes proporcionou um fraco sinal de popularidade. No segundo experimento, apresentamos as músicas em uma lista de classificação, que forneceu um sinal muito mais forte de popularidade (figura 4.22).

Figura 4.20: Um exemplo de banner que meus colegas e eu usamos para recrutar participantes para os experimentos do MusicLab (Salganik, Dodds, and Watts 2006) . Reproduzido com permissão de Salganik (2007) , figura 2.12.

Figura 4.21: Projeto experimental para os experimentos do MusicLab (Salganik, Dodds, and Watts 2006) . Os participantes foram aleatoriamente designados para uma das duas condições: influência independente e social. Os participantes da condição independente fizeram suas escolhas sem qualquer informação sobre o que outras pessoas haviam feito. Os participantes da condição de influência social foram aleatoriamente designados para um dos oito mundos paralelos, onde puderam ver a popularidade - medida pelos downloads de participantes anteriores - de cada música em seu mundo, mas eles não conseguiam ver nenhuma informação sobre eles, nem até mesmo saber sobre a existência de qualquer um dos outros mundos. Adaptado de Salganik, Dodds, and Watts (2006) , figura s1.

Descobrimos que a popularidade das músicas diferia em todos os mundos, sugerindo que a sorte desempenhou um papel importante no sucesso. Por exemplo, em um mundo a música “Lockdown” de 52Metro chegou em 1 de 48 músicas, enquanto em outro mundo chegou em 40º lugar. Esta foi exatamente a mesma música competindo contra todas as mesmas músicas, mas em um mundo ela teve sorte e nos outros não. Além disso, comparando os resultados dos dois experimentos, descobrimos que a influência social aumenta a natureza do vencedor leva tudo desses mercados, o que talvez sugere a importância da habilidade. Mas, olhando através dos mundos (o que não pode ser feito fora desse tipo de experimento de mundos paralelos), descobrimos que a influência social na verdade aumentou a importância da sorte. Além disso, surpreendentemente, foram as canções de maior apelo onde a sorte mais importava (figura 4.23).

Figura 4.22: Capturas de tela das condições de influência social nos experimentos do MusicLab (Salganik, Dodds, and Watts 2006) . Na condição de influência social no experimento 1, as músicas, juntamente com o número de downloads anteriores, foram apresentadas aos participantes organizadas em uma grade retangular de 16 \(\times\) 3, onde as posições das músicas foram distribuídas aleatoriamente para cada uma. participante. No experimento 2, os participantes da condição de influência social foram mostrados as músicas, com contagens de download, apresentadas em uma coluna em ordem decrescente de popularidade atual.

Figura 4.23: Resultados dos experimentos do MusicLab mostrando a relação entre apelo e sucesso (Salganik, Dodds, and Watts 2006) . O \(x\) eixo é a quota de mercado da música no mundo independente, que serve como uma medida do apelo da música, e o \(y\) -áxis é a quota de mercado da mesma música em os oito mundos de influência social, que servem como uma medida do sucesso das músicas. Descobrimos que aumentar a influência social que os participantes experimentaram - especificamente, a mudança no layout do experimento 1 para o experimento 2 (figura 4.22) - causou sucesso para se tornar mais imprevisível, especialmente para as músicas com maior apelo. Adaptado de Salganik, Dodds, and Watts (2006) , figura 3.

O MusicLab conseguiu executar um custo variável praticamente zero devido à maneira como foi projetado. Primeiro, tudo foi totalmente automatizado, por isso foi possível correr enquanto eu dormia. Em segundo lugar, a compensação era música livre, portanto, não havia custo variável de remuneração do participante. O uso da música como compensação também ilustra como às vezes há um trade-off entre custos fixos e variáveis. O uso da música aumentou os custos fixos porque eu precisava gastar tempo garantindo a permissão das bandas e preparando relatórios para eles sobre a reação dos participantes à sua música. Mas, nesse caso, aumentar os custos fixos para diminuir os custos das variáveis ​​era a coisa certa a fazer; foi o que nos permitiu executar um experimento que foi cerca de 100 vezes maior que um experimento de laboratório padrão.

Além disso, os experimentos do MusicLab mostram que o custo variável zero não precisa ser um fim em si mesmo; em vez disso, pode ser um meio de executar um novo tipo de experimento. Observe que não usamos todos os nossos participantes para executar um experimento padrão de laboratório de influência social 100 vezes. Em vez disso, fizemos algo diferente, que você poderia imaginar mudando de um experimento psicológico para um sociológico (Hedström 2006) . Em vez de nos concentrarmos na tomada de decisões individuais, concentramos nossa experiência em popularidade, um resultado coletivo. Essa mudança para um resultado coletivo exigiu que cerca de 700 participantes produzissem um único ponto de dados (havia 700 pessoas em cada um dos mundos paralelos). Essa escala só foi possível devido à estrutura de custos do experimento. Em geral, se os pesquisadores quiserem estudar como os resultados coletivos surgem de decisões individuais, experimentos em grupo como o MusicLab são muito empolgantes. No passado, eles foram logisticamente difíceis, mas essas dificuldades estão desaparecendo devido à possibilidade de dados de custo variável zero.

Além de ilustrar os benefícios dos dados de custo variável zero, os experimentos do MusicLab também mostram um desafio com essa abordagem: custos fixos altos. No meu caso, tive muita sorte de poder trabalhar com um talentoso desenvolvedor web chamado Peter Hausel por cerca de seis meses para construir o experimento. Isso só foi possível porque meu orientador, Duncan Watts, havia recebido vários subsídios para apoiar esse tipo de pesquisa. A tecnologia melhorou desde que construímos o MusicLab em 2004, então seria muito mais fácil construir um experimento como este agora. Mas, estratégias de alto custo fixo são realmente possíveis apenas para pesquisadores que possam de alguma forma cobrir esses custos.

Em conclusão, experimentos digitais podem ter estruturas de custo dramaticamente diferentes do que experimentos analógicos. Se você deseja executar experimentos muito grandes, tente diminuir o custo variável o máximo possível e, idealmente, até zero. Você pode fazer isso automatizando a mecânica do seu experimento (por exemplo, substituindo o tempo humano pelo tempo do computador) e projetando experimentos nos quais as pessoas querem estar. Pesquisadores que podem projetar experimentos com esses recursos poderão executar novos tipos de experimentos. não é possível no passado. No entanto, a capacidade de criar experimentos com custo variável zero pode levantar novas questões éticas, o tópico que abordarei agora.