4.5.1.1 ambientes de uso existentes

Você pode executar experimentos dentro de ambientes existentes, muitas vezes sem qualquer codificação ou de parceria.

Logisticamente, a maneira mais fácil de fazer experiências digitais é a sobreposição de sua experiência no topo de um ambiente existente, permitindo-lhe executar um experimento de campo digital. Estas experiências podem ser executados em um razoavelmente grande escala e não necessitam de parceria com uma empresa ou de desenvolvimento de software extensa.

Por exemplo, Jennifer Doleac e Luke Stein (2013) aproveitou um mercado online (por exemplo, craigslist) para executar um experimento que medida a discriminação racial. Doleac e Stein anunciado milhares de iPods, e variando sistematicamente as características do vendedor, eles foram capazes de estudar o efeito da raça sobre as transacções económicas. Além disso, Doleac e Stein utilizada a escala de sua experiência para estimar quando o efeito é maior (heterogeneidade dos efeitos do tratamento) e oferecer algumas ideias sobre por que o efeito pode ocorrer (mecanismos).

Antes do estudo de Doleac e Stein, houve duas abordagens principais para medir experimentalmente discriminação. Em correspondência estudos pesquisadores criar currículos de pessoas fictícias de diferentes raças e utilizar esses currículos para, por exemplo, aplicar para trabalhos diferentes. Bertrand e de Mullainathan (2004) papel com o título memorável "são Emily e Greg mais empregáveis ​​do que Lakisha e Jamal? Um experimento de campo no Mercado de Trabalho Discriminação "é uma ilustração maravilhosa de um estudo de correspondência. estudos correspondência tem um custo relativamente baixo e por observação, que permite que um único pesquisador para recolher milhares de observações em um estudo típico. Mas, estudos correspondência de discriminação racial têm sido questionadas porque os nomes potencialmente sinalizar muitas coisas além da raça do candidato. Ou seja, nomes como Greg, Emily, Lakisha, e Jamal pode sinalizar classe social, além de correr. Assim, qualquer diferença no tratamento de currículos de Greg e Jamal pode ser devido a mais do que as diferenças raciais presumidos dos requerentes. Estudos de auditoria, por outro lado, envolver a contratação de atores de diferentes raças para aplicar em pessoa para o emprego. Apesar de estudos de auditoria fornecem um sinal claro de raça requerente, eles são extremamente caros por observação, o que significa que eles normalmente só tem centenas de observações.

Em seu experimento de campo digitais, Doleac e Stein foram capazes de criar um híbrido atraente. Eles foram capazes de recolher dados a um custo relativamente baixo e por observação, resultando em milhares de observações (como em um estudo de correspondência) -e eles foram capazes de sinalizar corrida usando fotografias, resultando em um sinal uncounfounded clara de corrida (como em um estudo de auditoria ). Assim, o ambiente em linha permite, por vezes, os investigadores para criar novos tratamentos que têm propriedades que são difíceis de construir o contrário.

As propagandas do iPod de Doleac e Stein variou ao longo de três dimensões principais. Primeiro, eles variaram as características do vendedor, que foi sinalizado pela mão fotografado segurando o iPod [branco, preto, branco com tatuagem] (Figura 4.12). Em segundo lugar, elas variaram o preço pedido [US $ 90, US $ 110, $ 130]. Terceiro, eles variaram a qualidade do texto do anúncio [de alta qualidade e de baixa qualidade (por exemplo, erros de Capitalização e erros spelin)]. Assim, os autores tinha um design 3 X 3 X 2, que foi implantado em mais de 300 mercados locais que variam de cidades (por exemplo, Kokomo, IN e North Platte, NE) para mega-cidades (por exemplo, Nova York e Los Angeles).

Figura 4.12: Mãos utilizados no experimento de Doleac and Stein (2013) . iPods foram vendidos por vendedores com características diferentes para medir a discriminação em um mercado online.

Na média entre todas as condições, os resultados foram melhores para o vendedor branca do que o vendedor preto, com o vendedor tatuado ter resultados intermediários. Por exemplo, os vendedores brancos recebeu mais ofertas e tinha preços de venda finais mais elevados. Para além destes efeitos médios, Doleac e Stein estima a heterogeneidade dos efeitos. Por exemplo, uma previsão da teoria anterior é que a discriminação seria menos em mercados que são mais competitivos. Usando o número de propostas recebidas como um proxy para a concorrência no mercado, os autores descobriram que os vendedores negros, de fato, receber ofertas piores nos mercados com um baixo grau de concorrência. Além disso, comparando os resultados para os anúncios com alta qualidade e um texto de baixa qualidade, Doleac e Stein descobriram que a qualidade do anúncio não afeta a desvantagem dos vendedores preto e tatuados. Finalmente, aproveitando-se do fato de que os anúncios foram colocados em mais de 300 mercados, os autores acham que os vendedores negros são mais desfavorecidos nas cidades com altas taxas de criminalidade e de alta segregação residencial. Nenhum desses resultados nos dar uma compreensão precisa de exatamente por isso que os vendedores negros tinham piores resultados, mas, quando combinado com os resultados de outros estudos, eles podem começar a informar as teorias sobre as causas da discriminação racial em diferentes tipos de transacções económicas.

Outro exemplo que mostra a capacidade dos investigadores para realizar experimentos de campo digitais em sistemas existentes é a pesquisa por Arnout van de Rijt e seus colegas (2014) sobre as chaves para o sucesso. Em muitos aspectos da vida, as pessoas aparentemente semelhantes acabar com resultados muito diferentes. Uma possível explicação para esse padrão é que pequenos e essencialmente aleatórias-vantagens podem lock-in e crescer ao longo do tempo, um processo que os pesquisadores chamam de vantagem cumulativa. A fim de determinar se os pequenos sucessos iniciais lock-in ou desaparecer, van de Rijt e seus colegas (2014) interveio em quatro diferentes sistemas conferindo sucesso em participantes selecionados aleatoriamente, e depois mediram os impactos de longo prazo desse sucesso arbitrária.

Mais especificamente, van de Rijt e colegas 1) prometeram dinheiro para selecionados aleatoriamente projectos sobre kickstarter.com , um site crowdfunding; 2) avaliaram positivamente comentários selecionados aleatoriamente no site epinions ; 3) premiou escolhidos aleatoriamente contribuintes para Wikipedia ; e 4) assinado selecionados aleatoriamente petições sobre change.org . Os pesquisadores descobriram resultados muito semelhantes em todos os quatro sistemas: em cada caso, os participantes que receberam aleatoriamente algum sucesso inicial passou a ter mais sucesso posterior do que seus pares de outra forma totalmente indistinguíveis (Figura 4.13). O facto de o mesmo padrão apareceu em muitos sistemas aumenta a validade externa destes resultados, porque reduz a possibilidade de que este padrão é um artefacto de qualquer sistema particular.

Figura 4.13: Efeitos a longo prazo de sucesso concedido aleatoriamente em quatro sistemas sociais diferentes. Arnout van de Rijt e seus colegas (2014) 1) prometeu dinheiro para selecionados aleatoriamente projectos sobre kickstarter.com , um site crowdfunding; 2) avaliaram positivamente comentários selecionados aleatoriamente no site epinions ; 3) premiou escolhidos aleatoriamente contribuintes para Wikipedia ; e 4) assinado selecionados aleatoriamente petições sobre change.org .

Juntos, estes dois exemplos mostram que os investigadores possam realizar experimentos de campo digitais sem a necessidade de parcerias com empresas ou a necessidade de construir sistemas digitais complexos. Além disso, a Tabela 4.2 oferece ainda mais exemplos que mostram a gama de que é possível quando os pesquisadores usam a infra-estrutura de sistemas existentes para fornecer tratamento e / ou medir os resultados. Estas experiências são relativamente baratos para os pesquisadores e eles oferecem um alto grau de realismo. Mas, estas experiências oferecem pesquisadores controle limitado sobre os participantes, tratamentos e resultados a serem medidos. Além disso, para as experiências que ocorrem em um único sistema, os pesquisadores precisam estar preocupados que os efeitos poderiam ser conduzidos por dinâmicas específicas do sistema (por exemplo, a forma como o Kickstarter classifica projectos ou a maneira que change.org classifica petições; para mais informações, veja a discussão sobre a confusão algorítmica no Capítulo 2). Finalmente, quando os pesquisadores intervir nos sistemas de trabalho, questões éticas complicadas surgir sobre possíveis danos aos participantes, não participantes, e sistemas. Vamos considerar estes questão ética em mais detalhes no Capítulo 6, e há uma excelente discussão deles no apêndice de van de Rijt (2014) . Os trade-offs que vêm com o trabalho em um sistema existente não são ideais para cada projeto, e por essa razão alguns pesquisadores construir seu próprio sistema experimental, o tema da próxima seção.