4.5.1 Use ambientes existentes

Você pode executar experimentos dentro de ambientes existentes, muitas vezes sem qualquer codificação ou de parceria.

Logisticamente, a maneira mais fácil de fazer uma experiência digital é sobrepor sua experiência sobre um ambiente existente. Esses experimentos podem ser executados em uma escala razoavelmente grande e não exigem parceria com uma empresa ou desenvolvimento extensivo de software.

Por exemplo, Jennifer Doleac e Luke Stein (2013) tiraram vantagem de um mercado on-line semelhante ao Craigslist para realizar um experimento que media a discriminação racial. Eles anunciavam milhares de iPods e, variando sistematicamente as características do vendedor, puderam estudar o efeito da corrida nas transações econômicas. Além disso, eles usaram a escala de seu experimento para estimar quando o efeito era maior (heterogeneidade dos efeitos do tratamento) e para oferecer algumas idéias sobre por que o efeito poderia ocorrer (mecanismos).

Os anúncios de Doleac e Stein de iPod variavam ao longo de três dimensões principais. Primeiro, os pesquisadores variaram as características do vendedor, o que foi sinalizado pela mão fotografada segurando o iPod [branco, preto, branco com tatuagem] (figura 4.13). Segundo, eles variaram o preço pedido [$ 90, $ 110, $ 130]. Terceiro, eles variaram a qualidade do texto do anúncio [alta qualidade e baixa qualidade (por exemplo, erros de autorização e erros de spelin)]. Assim, os autores tinham um design 3 \(\times\) 3 \(\times\) 2 que foi implantado em mais de 300 mercados locais, variando de cidades (por exemplo, Kokomo, Indiana e North Platte, Nebraska) até mega- cidades (por exemplo, Nova York e Los Angeles).

Figura 4.13: Mãos usadas no experimento de Doleac and Stein (2013) . Os iPods foram vendidos por vendedores com características diferentes para medir a discriminação em um mercado on-line. Reproduzido com permissão de Doleac and Stein (2013) , figura 1.

Averaged em todas as condições, os resultados foram melhores para os vendedores brancos do que os vendedores negros, com os vendedores tatuados com resultados intermediários. Por exemplo, os vendedores brancos receberam mais ofertas e tiveram preços de venda finais mais altos. Além desses efeitos médios, Doleac e Stein estimaram a heterogeneidade dos efeitos. Por exemplo, uma previsão da teoria anterior é que a discriminação seria menor nos mercados em que há mais concorrência entre os compradores. Usando o número de ofertas nesse mercado como uma medida da quantidade de concorrência dos compradores, os pesquisadores descobriram que os vendedores negros de fato recebiam piores ofertas em mercados com um baixo grau de competição. Além disso, comparando os resultados para os anúncios com textos de alta qualidade e baixa qualidade, Doleac e Stein descobriram que a qualidade dos anúncios não afetava a desvantagem enfrentada pelos vendedores negros e tatuados. Finalmente, aproveitando o fato de que as propagandas foram colocadas em mais de 300 mercados, os autores descobriram que os vendedores negros eram mais desfavorecidos em cidades com altas taxas de criminalidade e alta segregação residencial. Nenhum desses resultados nos dá uma compreensão precisa do motivo exato pelo qual os vendedores negros tiveram resultados piores, mas, quando combinados com os resultados de outros estudos, eles podem começar a informar teorias sobre as causas da discriminação racial em diferentes tipos de transações econômicas.

Outro exemplo que mostra a capacidade dos pesquisadores de realizar experimentos de campo digitais em sistemas existentes é a pesquisa de Arnout van de Rijt e colaboradores (2014) sobre as chaves do sucesso. Em muitos aspectos da vida, pessoas aparentemente semelhantes acabam tendo resultados muito diferentes. Uma possível explicação para esse padrão é que as vantagens pequenas - e essencialmente aleatórias - podem se fixar e crescer com o tempo, um processo que os pesquisadores chamam de vantagem cumulativa . A fim de determinar se os pequenos sucessos iniciais se fecham ou desaparecem, van de Rijt e colegas (2014) interveio em quatro sistemas diferentes, dando sucesso em participantes selecionados aleatoriamente e, em seguida, medindo os impactos subsequentes desse sucesso arbitrário.

Mais especificamente, van de Rijt e colegas (1) prometeram dinheiro para projetos selecionados aleatoriamente no Kickstarter, um site de crowdfunding; (2) avaliaram positivamente as revisões selecionadas aleatoriamente no Epinions, um site de revisão de produtos; (3) deu prêmios a colaboradores escolhidos aleatoriamente para a Wikipedia; e (4) assinaram petições selecionadas aleatoriamente no site change.org. Eles encontraram resultados muito parecidos em todos os quatro sistemas: em cada caso, os participantes que receberam aleatoriamente algum sucesso inicial tiveram mais sucesso subsequente do que seus pares de outro modo completamente indistinguíveis (figura 4.14). O fato de que o mesmo padrão apareceu em muitos sistemas aumenta a validade externa desses resultados porque reduz a chance de que esse padrão seja um artefato de qualquer sistema em particular.

Figura 4.14: Efeitos a longo prazo do sucesso obtido aleatoriamente em quatro sistemas sociais diferentes. Arnout van de Rijt e colegas (2014) (1) prometeram dinheiro para projetos selecionados aleatoriamente no Kickstarter, um site de crowdfunding; (2) avaliaram positivamente as revisões selecionadas aleatoriamente no Epinions, um site de revisão de produtos; (3) deu prêmios a colaboradores escolhidos aleatoriamente para a Wikipedia; e (4) assinaram petições selecionadas aleatoriamente no site change.org. Adaptado de Rijt et al. (2014) , figura 2.

Juntos, esses dois exemplos mostram que os pesquisadores podem realizar experimentos de campo digitais sem a necessidade de fazer parcerias com empresas ou construir sistemas digitais complexos. Além disso, a tabela 4.2 fornece ainda mais exemplos que mostram o alcance do que é possível quando os pesquisadores usam a infraestrutura dos sistemas existentes para fornecer tratamento e / ou medir os resultados. Esses experimentos são relativamente baratos para os pesquisadores e oferecem um alto grau de realismo. Mas eles oferecem aos pesquisadores controle limitado sobre os participantes, tratamentos e resultados a serem medidos. Além disso, para experimentos que ocorrem em apenas um sistema, os pesquisadores precisam se preocupar que os efeitos poderiam ser impulsionados por dinâmicas específicas do sistema (por exemplo, o modo como o Kickstarter classifica os projetos ou o modo como o change.org classifica petições; para mais informações, veja a discussão sobre confusões algorítmicas no capítulo 2). Finalmente, quando os pesquisadores intervêm nos sistemas de trabalho, surgem questões éticas complicadas sobre possíveis danos aos participantes, não participantes e sistemas. Vamos considerar essas questões éticas em mais detalhes no capítulo 6, e há uma excelente discussão delas no apêndice de van de Rijt et al. (2014) . Os trade-offs que vêm com o trabalho em um sistema existente não são ideais para cada projeto, e por isso alguns pesquisadores constroem seu próprio sistema experimental, como ilustrarei a seguir.