4.3 Duas dimensões de experimentos: laboratório de campo e analógico-digitais

Experimentos de laboratório oferecem controle, experimentos de campo oferecem realismo, e experimentos de campo digitais combinam controle e realismo em grande escala.

As experiências vêm em muitas formas e tamanhos diferentes. Mas, apesar dessas diferenças, os pesquisadores descobriram que é útil para organizar experiências ao longo de um continuum entre experimentos de laboratório e experimentos de campo. Agora, no entanto, os pesquisadores devem também organizar experiências ao longo de um continuum entre experimentos analógicos e experiências digitais. Este espaço desenho em duas dimensões o ajudará a entender os pontos fortes e fracos de diferentes abordagens e sugerir áreas de maior oportunidade (Figura 4.1).

Figura 4.1: Esquema de espaço de design para experimentos. No passado, as experiências variou ao longo da dimensão laboratório-campo. Agora, também eles variar de dimensão analógico-digital. Na minha opinião, a área de maior oportunidade é experimentos de campo digitais.

No passado, a principal forma que os pesquisadores organizaram experimentos foi ao longo da dimensão lab-campo. A maioria dos experimentos nas ciências sociais são experimentos de laboratório onde os alunos de graduação realizam tarefas estranhas em um laboratório de crédito de curso. Este tipo de experiência domina pesquisa em psicologia, porque permite aos pesquisadores criar tratamentos muito específicas destinadas a testar as teorias muito específicas sobre o comportamento social. Para certos problemas, no entanto, algo se sente um pouco estranho sobre tirar conclusões fortes sobre o comportamento humano de tais pessoas incomuns que executam tais tarefas incomuns em um cenário tão incomum. Estas preocupações levaram a um movimento em direção a experimentos de campo. experimentos de campo combinar o design forte de experimentos controlados e randomizados com grupos mais representativos dos participantes, realizando tarefas mais comuns, em ambientes mais naturais.

Embora algumas pessoas pensam de laboratório e de campo experimentos como métodos concorrentes, o melhor é pensar neles como métodos complementares, com diferentes pontos fortes e fracos. Por exemplo, Correll, Benard, and Paik (2007) usado tanto um experimento de laboratório e um experimento de campo, na tentativa de encontrar as fontes da "pena de maternidade". Nos Estados Unidos, as mães ganham menos dinheiro do que as mulheres sem filhos, mesmo quando comparando mulheres com habilidades semelhantes que trabalham em trabalhos semelhantes. Há muitas explicações possíveis para esse padrão, e um é que os empregadores são tendenciosos contra as mães. (Curiosamente, o oposto parece ser verdade para os pais: eles tendem a ganhar mais do que os homens sem filhos comparáveis). A fim de avaliar a possível preconceito contra as mães, Correll e seus colegas correram dois experimentos: um em laboratório e um no campo.

Primeiro, em um experimento de laboratório Correll e colegas disse aos participantes, que eram estudantes universitários, que uma empresa de comunicações start-up com sede na Califórnia foi a realização de uma pesquisa de emprego para uma pessoa para liderar o seu novo departamento de marketing Costa Leste. Os estudantes foram informados de que a empresa queria sua ajuda no processo de contratação e eles foram convidados a avaliar currículos dos diversos candidatos potenciais e para avaliar os candidatos em um número de dimensões, como sua inteligência, calor e compromisso de trabalhar. Além disso, os estudantes foram questionados se recomendaria a contratação do candidato e o que recomendaria como um salário inicial. Sem o conhecimento dos alunos, no entanto, os currículos foram especificamente construídos para ser semelhante, exceto por uma coisa: alguns dos currículos sinalizou a maternidade (listando participação numa associação de pais e professores) e outros não. Correll descobriu que os estudantes eram menos propensos a recomendar a contratação de mães e ofereceu-lhes menor salário inicial. Além disso, através de uma análise estatística de ambas as classificações e as decisões relativas às contratações, Correll descobriram que as desvantagens das mães foram em grande parte explicado pelo fato de que as mães obtiveram uma classificação inferior em termos de competência e compromisso. Em outras palavras, Correll argumenta que essas características são o mecanismo através do qual as mães são desfavorecidos. Assim, esta experiência de laboratório permitiram Correl e colegas para medir um efeito causal e proporcionar um possível explicação para esse efeito.

Claro, pode ser cético sobre tirar conclusões sobre todo o mercado de trabalho dos EUA com base nas decisões de algumas centenas de alunos de graduação que provavelmente nunca tiveram um emprego a tempo inteiro, e muito menos contratados pessoas. Portanto, Correll e colegas também realizaram um experimento de campo complementar. Os pesquisadores respondeu a centenas de vagas publicitadas através do envio de cartas de apresentação e currículos falsos. Similar aos materiais apresentados aos alunos de graduação, alguns currículos sinalizou maternidade e outros não. Correll e seus colegas descobriram que as mães tinham menos probabilidade de ser chamado de volta para entrevistas do que as mulheres sem filhos igualmente qualificados. Em outras palavras, os empregadores reais que tomam decisões consequentes em um ambiente natural se comportou muito parecido com os estudantes. Será que eles tomam decisões semelhantes para a mesma razão? Infelizmente, não sabemos. Os pesquisadores não foram capazes de pedir aos empregadores para avaliar os candidatos ou explicar suas decisões.

Este par de experiências revela muito sobre de laboratório e de campo experimentos em geral. experimentos de laboratório oferecem pesquisadores controle quase total sobre o ambiente em que os participantes estão a tomar decisões. Assim, por exemplo, na experiência de laboratório, Correll foi capaz de garantir que todos os currículos foram lidas em um ambiente tranquilo; No experimento de campo, alguns dos currículos pode não ter sequer sido lido. Além disso, porque os participantes no ambiente de laboratório sabem que estão sendo estudados, os pesquisadores são capazes de recolher dados adicionais que podem ajudá-los a entender por que os participantes estão fazendo suas decisões. Por exemplo, Correll pediu aos participantes na experiência de laboratório para avaliar os candidatos em diferentes dimensões. Este tipo de dados do processo poderia ajudar os pesquisadores a entender os mecanismos por trás diferenças na forma como os participantes tratar os currículos.

Por outro lado, estas mesmas características exactas que acabaram de ser descritas como vantagens são também por vezes considerada desvantagens. Os pesquisadores que preferem experiências de campo argumentam que os participantes em experimentos de laboratório poderia agir de forma muito diferente quando eles estão sendo observados de perto. Por exemplo, no laboratório de participantes do experimento deve ter adivinhado o objetivo da pesquisa e alterado o seu comportamento de modo a não apareça tendencioso. Além disso, os pesquisadores que preferem experiências de campo pode-se argumentar que as pequenas diferenças sobre currículos só pode se destacar em um ambiente de laboratório estéril muito limpo, e assim a experiência de laboratório sobre-estimar o efeito da maternidade sobre decisões de contratação real. Finalmente, muitos defensores de experimentos de campo criticar experimentos de laboratório dependência de participantes estranho: principalmente estudantes da Western, educado, industrializados, ricos e países democráticos (Henrich, Heine, and Norenzayan 2010) . Os experimentos por Correll e seus colegas (2007) ilustram os dois extremos no contínuo lab-campo. Entre esses dois extremos, há uma variedade de modelos híbridos, incluindo abordagens tais como trazer não-estudantes em um laboratório ou ir para o campo, mas ainda tendo os participantes realizam uma tarefa incomum.

Além da dimensão lab-campo que tem existido no passado, a era digital significa que os investigadores têm agora uma segunda dimensão importante ao longo dos quais experiências podem variar: analógico-digital. Assim como existem experimentos puros de laboratório, experimentos de campo puras, e uma variedade de híbridos entre eles, existem experimentos puros analógicos, experiências digitais puros, e uma variedade de híbridos. É complicado para oferecer uma definição formal desta dimensão, mas uma definição de trabalho útil é que as experiências totalmente digitais são experiências que fazem uso de infra-estrutura digital para recrutar participantes, aleatoriamente, entregar tratamentos, e medir os resultados. Por exemplo, Restivo e van de Rijt de (2012) estudo da barnstars e Wikipedia foi uma experiência totalmente digital porque usou sistemas digitais para todos os quatro dessas etapas. Da mesma forma totalmente experimentos analógicos são experimentos que não fazem uso de infra-estrutura digital para qualquer uma destas quatro etapas. Muitos dos experimentos clássicos em psicologia são experiências analógicas. Entre esses dois extremos existem parcialmente experiências digitais que usam uma combinação de sistemas analógicos e digitais para as quatro etapas.

Criticamente, as oportunidades para realizar experiências digitais não são apenas online. Os pesquisadores podem executar experiências parcialmente digitais, utilizando dispositivos digitais no mundo físico, a fim de oferecer tratamentos ou medir os resultados. Por exemplo, os pesquisadores poderiam usar telefones inteligentes para entregar tratamentos ou sensores no ambiente construído para medir os resultados. De fato, como veremos mais adiante neste capítulo, os pesquisadores já utilizados medidores de energia em casa para medir os resultados em experiências sobre normas sociais e consumo de energia, envolvendo 8,5 milhões de domicílios (Allcott 2015) . Como dispositivos digitais se tornam cada vez mais integrados na vida das pessoas e sensores de integrarem-se no ambiente construído, essas oportunidades para realizar experiências parcialmente digitais no mundo físico irá aumentar dramaticamente. Em outras palavras, as experiências digitais não são apenas experiências on-line.

sistemas digitais criam novas possibilidades para experimentos em todos os lugares ao longo do contínuo lab-campo. Em experimentos de laboratório puros, por exemplo, os pesquisadores podem usar sistemas digitais para medição mais fino do comportamento dos participantes; Um exemplo deste tipo de melhorar a medição é um equipamento de rastreamento ocular que fornece medidas precisas e contínuas de localização olhar. A era digital também cria a possibilidade de executar experimentos de laboratório-like online. Por exemplo, os pesquisadores rapidamente adotado Amazon Mechanical Turk (MTurk) para recrutar participantes para experiências on-line (Figura 4.2). MTurk jogos "empregadores" que têm tarefas que precisam ser concluídas com "trabalhadores" que desejam concluir essas tarefas para o dinheiro. Ao contrário de mercados de trabalho tradicionais, no entanto, as tarefas envolvidas normalmente requerem apenas alguns minutos para ser concluído e toda a interação entre empregador e trabalhador é virtual. Porque imita MTurk aspectos das experiências de pagamento de laboratório tradicionais de pessoas para completar tarefas que não faria de graça, ele é naturalmente adequadas para certos tipos de experimentos. Essencialmente, MTurk criou a infra-estrutura para o gerenciamento de um grupo de participantes-recrutar e pagar as pessoas e pesquisadores têm aproveitado essa infra-estrutura para tocar em uma piscina sempre disponível dos participantes.

Figura 4.2: Artigos publicados utilizando dados do Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk e outros mercados de trabalho on-line oferecem aos investigadores uma maneira conveniente para recrutar participantes para experimentos.

experimentos digitais criam ainda mais possibilidades para experimentos de campo-like. experimentos de campo digitais pode oferecer dados de controle e de processo apertados para elucidar possíveis mecanismos (como experimentos de laboratório) e mais diversos participantes que tomam decisões reais em um ambiente natural (como experimentos de campo). Além desta combinação de boas características de experiências anteriores, experimentos de campo digitais também oferecem três oportunidades que eram difíceis no laboratório e de campo experimentos analógicos.

Em primeiro lugar, enquanto a maioria de laboratório e de campo experimentos analógicos têm centenas de participantes, experimentos de campo digitais pode ter milhões de participantes. Esta mudança de escala é porque algumas experiências digitais podem produzir dados a um custo variável de zero. Isto é, uma vez que os investigadores têm criado uma infra-estrutura experimental, o aumento do número de participantes que normalmente não aumentar o custo. O aumento do número de participantes por um fator de 100 ou mais não é apenas uma mudança quantitativa, é uma mudança qualitativa, porque permite aos pesquisadores aprender coisas diferentes a partir de experiências (por exemplo, a heterogeneidade dos efeitos do tratamento) e executar inteiramente diferentes desenhos experimentais ( por exemplo, grandes experiências de grupo). Este ponto é tão importante, eu vou voltar a ele no final do capítulo, quando eu oferecer conselhos sobre a criação de experiências digitais.

Em segundo lugar, enquanto a maioria de laboratório e de campo experimentos analógicos tratar participantes como widgets indistinguíveis, experimentos de campo digitais costumam usar informações básicas sobre os participantes nas fases de concepção e de análise da pesquisa. Esta informação de fundo, que é chamado de informação pré-tratamento, muitas vezes está disponível em experimentos digitais, porque eles ocorrem em ambientes totalmente medidos. Por exemplo, um pesquisador do Facebook tem muito mais informação pré-tratamento do que um pesquisador concepção de um experimento de laboratório padrão com estudantes universitários. Esta informação pré-tratamento permite aos pesquisadores para mover além do tratamento participantes de widgets como indistinguíveis. Mais especificamente, a informação pré-tratamento possibilita designs-tal mais eficientes experimentais como o bloqueio (Higgins, Sävje, and Sekhon 2016) e recrutamento alvo de participantes (Eckles, Kizilcec, and Bakshy 2016) -e análise em tal mais perspicaz como estimativa da heterogeneidade dos efeitos do tratamento (Athey and Imbens 2016a) e ajuste de co-variável para melhorar a precisão (Bloniarz et al. 2016) .

Em terceiro lugar, ao passo que muitos de laboratório analógico e campo experimentos entregar tratamentos e resultados de medida em uma quantidade relativamente comprimido de tempo, alguns experimentos de campo digitais envolvem tratamentos que podem ser entregues ao longo do tempo e os efeitos também podem ser medidos ao longo do tempo. Por exemplo, o experimento de Restivo e van de Rijt tem o resultado medido diariamente por 90 dias, e uma das experiências Vou informá-lo sobre mais tarde neste capítulo (Ferraro, Miranda, and Price 2011) acompanha os resultados ao longo de 3 anos, basicamente, não há custo. Estes três oportunidades de tamanho, informação pré-tratamento e tratamento longitudinal e resultados de dados-são mais comuns quando as experiências são executados em cima do sempre-em sistemas de medição (ver Capítulo 2 para mais informações sobre always-on sistemas de medição).

Enquanto experimentos de campo digitais oferecem muitas possibilidades, eles também compartilham algumas fraquezas com ambos laboratório analógico e experimentos de campo. Por exemplo, em experiências não pode ser utilizado para estudar o passado, e elas só podem estimar os efeitos de tratamentos que podem ser manipulados. Além disso, embora experimentos são, sem dúvida útil para orientar a política, a orientação exata que eles podem oferecer é um pouco limitado por causa de complicações como a dependência ambiental, problemas de conformidade, e os efeitos de equilíbrio (Banerjee and Duflo 2009; Deaton 2010) . Finalmente, experimentos de campo digitais ampliar as preocupações éticas criadas por experimentos de campo. Os proponentes de experimentos de campo alardear sua capacidade de intervir de forma discreta e aleatoriamente em decisões consequentes feitas por milhões de pessoas. Esses recursos oferecem certas vantagens científicas, mas eles também podem fazer experimentos de campo eticamente complexa (pense nisso como pesquisadores tratar as pessoas como "ratos de laboratório" em grande escala). Além disso, além de possíveis danos aos participantes, experimentos de campo digitais, devido à sua escala, também pode levantar preocupações sobre a ruptura dos sistemas sociais de trabalho (por exemplo, preocupações sobre interromper sistema de recompensa da Wikipedia se Restivo e van der Rijt deu muitas barnstars) .