4.3 Duas dimensões de experimentos: laboratório de campo e analógico-digitais
Experimentos de laboratório oferecem controle, experimentos de campo oferecem realismo, e experimentos de campo digitais combinam controle e realismo em grande escala.
Os experimentos vêm em diversos formatos e tamanhos. No passado, os pesquisadores acharam útil organizar experimentos ao longo de um continuum entre experimentos de laboratório e experimentos de campo . Agora, no entanto, os pesquisadores também devem organizar experimentos ao longo de um segundo continuum entre experimentos analógicos e experimentos digitais . Este espaço de design bidimensional irá ajudá-lo a entender os pontos fortes e fracos das diferentes abordagens e destacar as áreas de maior oportunidade (figura 4.1).
Figura 4.1: Esquema do espaço de design para experimentos. No passado, os experimentos variavam ao longo da dimensão do campo de laboratório. Agora, eles também variam na dimensão analógico-digital. Este espaço de design bidimensional é ilustrado por quatro experiências que descrevo neste capítulo. Na minha opinião, a área de maior oportunidade é a experiência de campo digital.
Uma dimensão ao longo da qual os experimentos podem ser organizados é a dimensão do campo de laboratório. Muitos experimentos nas ciências sociais são experimentos de laboratório em que estudantes de graduação realizam tarefas estranhas em um laboratório para crédito no curso. Esse tipo de experimento domina a pesquisa em psicologia porque permite que os pesquisadores criem ambientes altamente controlados para isolar e testar com precisão teorias específicas sobre o comportamento social. Para certos problemas, no entanto, algo parece um pouco estranho em tirar conclusões fortes sobre o comportamento humano de pessoas tão incomuns que executam tarefas tão incomuns em um ambiente tão incomum. Essas preocupações levaram a um movimento em direção a experimentos de campo . Experimentos de campo combinam o forte design de experimentos de controle randomizados com grupos mais representativos de participantes executando tarefas mais comuns em ambientes mais naturais.
Embora algumas pessoas pensem em experimentos de laboratório e campo como métodos concorrentes, é melhor pensar neles como complementares, com diferentes pontos fortes e fracos. Por exemplo, Correll, Benard, and Paik (2007) usaram uma experiência de laboratório e um experimento de campo na tentativa de encontrar as fontes da “penalidade maternidade”. Nos Estados Unidos, mães ganham menos dinheiro do que mulheres sem filhos, mesmo quando comparando mulheres com habilidades similares trabalhando em trabalhos similares. Há muitas explicações possíveis para esse padrão, uma das quais é que os empregadores são tendenciosos contra as mães. (Curiosamente, o oposto parece ser verdadeiro para os pais: eles tendem a ganhar mais do que os homens sem filhos comparáveis.) Para avaliar possíveis preconceitos contra as mães, Correll e seus colegas realizaram dois experimentos: um no laboratório e outro no campo.
Primeiro, em um experimento em laboratório, eles disseram aos participantes, que eram estudantes universitários, que uma empresa estava conduzindo uma busca de emprego para que uma pessoa liderasse seu novo departamento de marketing da Costa Leste. Os alunos foram informados de que a empresa queria a ajuda deles no processo de contratação, e eles foram solicitados a revisar os currículos de vários candidatos em potencial e avaliar os candidatos em várias dimensões, como inteligência, entusiasmo e comprometimento com o trabalho. Além disso, perguntou-se aos alunos se recomendariam contratar o candidato e o que recomendariam como salário inicial. Sem o conhecimento dos alunos, no entanto, os currículos foram construídos especificamente para ser semelhante, exceto por uma coisa: alguns deles sinalizavam a maternidade (listando o envolvimento em uma associação de pais e professores) e outros não. Correll e seus colegas descobriram que os alunos eram menos propensos a recomendar a contratação de mães e que eles ofereciam um salário inicial mais baixo. Além disso, por meio de uma análise estatística das avaliações e das decisões relacionadas à contratação, Correll e seus colegas descobriram que as desvantagens das mães eram em grande parte explicadas pelo fato de terem sido classificadas como inferiores em termos de competência e comprometimento. Assim, este experimento de laboratório permitiu que Correll e seus colegas medissem um efeito causal e fornecessem uma possível explicação para esse efeito.
É claro, pode-se ser cético sobre tirar conclusões sobre todo o mercado de trabalho dos EUA com base nas decisões de algumas centenas de estudantes que provavelmente nunca tiveram um emprego em tempo integral, e muito menos contrataram alguém. Portanto, Correll e seus colegas também realizaram um experimento de campo complementar. Eles responderam a centenas de vagas anunciadas com cartas falsas e currículos. Semelhante aos materiais mostrados aos alunos de graduação, alguns currículos sinalizavam a maternidade e outros não. Correll e colegas descobriram que as mães eram menos propensas a serem chamadas de volta para entrevistas do que as mulheres sem filhos igualmente qualificadas. Em outras palavras, os verdadeiros empregadores que tomam decisões consequentes em um cenário natural se comportam de maneira muito semelhante aos estudantes universitários. Eles tomaram decisões semelhantes pelo mesmo motivo? Infelizmente não sabemos. Os pesquisadores não foram capazes de pedir aos empregadores que classificassem os candidatos ou explicassem suas decisões.
Este par de experimentos revela muito sobre experimentos de laboratório e campo em geral. Experimentos de laboratório oferecem aos pesquisadores um controle quase total do ambiente no qual os participantes estão tomando decisões. Por exemplo, no experimento de laboratório, Correll e seus colegas conseguiram garantir que todos os currículos fossem lidos em um ambiente silencioso; no experimento de campo, alguns dos currículos podem nem ter sido lidos. Além disso, como os participantes do laboratório sabem que estão sendo estudados, os pesquisadores muitas vezes conseguem coletar dados adicionais que podem ajudar a explicar por que os participantes estão tomando suas decisões. Por exemplo, Correll e seus colegas pediram aos participantes do experimento de laboratório que classificassem os candidatos em diferentes dimensões. Esse tipo de dados de processo pode ajudar os pesquisadores a entender os mecanismos por trás das diferenças na forma como os participantes tratam os currículos.
Por outro lado, essas mesmas características que acabei de descrever como vantagens também são, às vezes, consideradas desvantagens. Pesquisadores que preferem experimentos de campo argumentam que os participantes em experimentos de laboratório poderiam agir de forma muito diferente, porque sabem que estão sendo estudados. Por exemplo, no experimento de laboratório, os participantes poderiam ter adivinhado o objetivo da pesquisa e alterado seu comportamento de modo a não parecerem tendenciosos. Além disso, os pesquisadores que preferem experimentos de campo podem argumentar que pequenas diferenças em currículos só podem se destacar em um ambiente de laboratório muito limpo e estéril, e assim o experimento de laboratório irá superestimar o efeito da maternidade nas decisões reais de contratação. Finalmente, muitos proponentes de experimentos de campo criticam a confiança de experimentos de laboratório em participantes da WEIRD: principalmente estudantes de países ocidentais, educados, industrializados, ricos e democratas (Henrich, Heine, and Norenzayan 2010a) . Os experimentos de Correll e colegas (2007) ilustram os dois extremos no contínuo de campo de laboratório. Entre esses dois extremos, há também uma variedade de projetos híbridos, incluindo abordagens como levar os não-estudantes para um laboratório ou ir a campo, mas ainda assim os participantes realizam uma tarefa incomum.
Além da dimensão do campo de laboratório que existiu no passado, a era digital significa que os pesquisadores agora têm uma segunda dimensão maior, ao longo da qual os experimentos podem variar: analógico-digital. Assim como há experimentos puros de laboratório, experimentos de campo puros e uma variedade de híbridos intermediários, há experimentos analógicos puros, experimentos digitais puros e uma variedade de híbridos. É complicado oferecer uma definição formal dessa dimensão, mas uma definição de trabalho útil é que os experimentos totalmente digitais são experimentos que fazem uso da infraestrutura digital para recrutar participantes, randomizar, fornecer tratamentos e medir resultados. Por exemplo, o estudo de Restivo e van de Rijt (2012) de barnstars e Wikipedia foi um experimento totalmente digital porque utilizou sistemas digitais para todas essas quatro etapas. Da mesma forma, experimentos totalmente analógicos não fazem uso da infraestrutura digital para qualquer uma dessas quatro etapas. Muitos dos experimentos clássicos em psicologia são experimentos totalmente analógicos. Entre esses dois extremos, há experimentos parcialmente digitais que usam uma combinação de sistemas analógicos e digitais.
Quando algumas pessoas pensam em experiências digitais, elas pensam imediatamente em experimentos on-line. Isso é lamentável porque as oportunidades de realizar experimentos digitais não são apenas on-line. Os pesquisadores podem realizar experimentos parcialmente digitais usando dispositivos digitais no mundo físico para fornecer tratamentos ou medir resultados. Por exemplo, os pesquisadores poderiam usar smartphones para fornecer tratamentos ou sensores no ambiente construído para medir os resultados. De fato, como veremos mais adiante neste capítulo, os pesquisadores já usaram medidores de energia em casa para medir resultados em experimentos sobre consumo de energia envolvendo 8,5 milhões de residências (Allcott 2015) . À medida que os dispositivos digitais se tornam cada vez mais integrados à vida das pessoas e os sensores se integram ao ambiente construído, essas oportunidades de realizar experimentos parcialmente digitais no mundo físico aumentarão dramaticamente. Em outras palavras, experimentos digitais não são apenas experimentos on-line.
Os sistemas digitais criam novas possibilidades para experimentos em todos os lugares ao longo do contínuo do campo de laboratório. Em experimentos puros de laboratório, por exemplo, os pesquisadores podem usar sistemas digitais para medir melhor o comportamento dos participantes; Um exemplo deste tipo de medição melhorada é o equipamento de rastreamento ocular que fornece medidas precisas e contínuas da localização do olhar. A era digital também cria a possibilidade de realizar experimentos em laboratório online. Por exemplo, os pesquisadores adotaram rapidamente o Amazon Mechanical Turk (MTurk) para recrutar participantes para experimentos on-line (figura 4.2). O MTurk combina “empregadores” que têm tarefas que precisam ser concluídas com “trabalhadores” que desejam concluir essas tarefas por dinheiro. Ao contrário dos mercados de trabalho tradicionais, no entanto, as tarefas envolvidas geralmente requerem apenas alguns minutos para serem concluídas, e toda a interação entre empregador e trabalhador é on-line. Como MTurk imita aspectos de experimentos tradicionais de laboratório - pagando pessoas para concluir tarefas que eles não fariam de graça - é naturalmente adequado para certos tipos de experimentos. Essencialmente, a MTurk criou a infraestrutura para gerenciar um grupo de participantes - recrutando e pagando pessoas - e os pesquisadores aproveitaram essa infraestrutura para acessar um grupo sempre disponível de participantes.
Figura 4.2: Artigos publicados usando dados do Amazon Mechanical Turk (MTurk). O MTurk e outros mercados de trabalho on-line oferecem aos pesquisadores uma maneira conveniente de recrutar participantes para experimentos. Adaptado de Bohannon (2016) .
Os sistemas digitais criam ainda mais possibilidades para experimentos em campo. Em particular, eles permitem que os pesquisadores combinem o controle rígido e os dados do processo que estão associados a experimentos de laboratório com participantes mais diversos e configurações mais naturais associadas a experimentos de laboratório. Além disso, experimentos de campo digitais também oferecem três oportunidades que tendem a ser difíceis em experimentos analógicos.
Primeiro, enquanto a maioria dos experimentos analógicos de campo e laboratório tem centenas de participantes, os experimentos de campo digitais podem ter milhões de participantes. Essa mudança de escala ocorre porque alguns experimentos digitais podem produzir dados a custo variável zero. Ou seja, uma vez que os pesquisadores criaram uma infraestrutura experimental, aumentar o número de participantes normalmente não aumenta o custo. Aumentar o número de participantes por um fator de 100 ou mais não é apenas uma mudança quantitativa ; é uma mudança qualitativa , porque permite que os pesquisadores aprendam coisas diferentes a partir de experimentos (por exemplo, heterogeneidade de efeitos de tratamento) e executem projetos experimentais inteiramente diferentes (por exemplo, experimentos de grupos grandes). Este ponto é tão importante que voltarei ao final do capítulo quando oferecer conselhos sobre a criação de experimentos digitais.
Em segundo lugar, enquanto a maioria dos experimentos analógicos de laboratório e campo tratam os participantes como widgets indistinguíveis, os experimentos de campo digitais frequentemente usam informações básicas sobre os participantes nos estágios de projeto e análise da pesquisa. Esta informação de fundo, que é chamada de informação de pré-tratamento , está frequentemente disponível em experimentos digitais porque eles são executados em cima de sistemas de medição sempre ativos (veja o capítulo 2). Por exemplo, uma pesquisadora do Facebook tem muito mais informações pré-tratamento sobre pessoas em seu experimento de campo digital do que uma pesquisadora universitária sobre as pessoas em seu experimento de campo analógico. Esse pré-tratamento permite projetos experimentais mais eficientes - como bloqueio (Higgins, Sävje, and Sekhon 2016) e recrutamento direcionado de participantes (Eckles, Kizilcec, and Bakshy 2016) - e análises mais perspicazes - como estimativa da heterogeneidade dos efeitos do tratamento (Athey and Imbens 2016a) e ajuste de covariáveis para melhor precisão (Bloniarz et al. 2016) .
Terceiro, enquanto muitos laboratórios analógicos e experimentos de campo fornecem tratamentos e medem resultados em uma quantidade de tempo relativamente comprimida, alguns experimentos de campo digitais acontecem em prazos muito mais longos. Por exemplo, o experimento de Restivo e van de Rijt teve o resultado medido diariamente por 90 dias, e um dos experimentos que vou lhe contar mais adiante no capítulo (Ferraro, Miranda, and Price 2011) acompanhou os resultados ao longo de três anos basicamente custo. Essas três oportunidades - tamanho, informações de pré-tratamento e tratamento longitudinal e dados de resultados - ocorrem mais comumente quando os experimentos são executados em cima de sistemas de medição sempre ativos (consulte o capítulo 2 para obter mais informações sobre sistemas de medição sempre ativos).
Embora os experimentos de campo digital ofereçam muitas possibilidades, eles também compartilham alguns pontos fracos com experimentos analógicos de laboratório e campo analógico. Por exemplo, experimentos não podem ser usados para estudar o passado, e eles só podem estimar os efeitos de tratamentos que podem ser manipulados. Além disso, embora os experimentos sejam indubitavelmente úteis para orientar as políticas, a orientação exata que eles podem oferecer é um tanto limitada por causa de complicações como dependência ambiental, problemas de conformidade e efeitos de equilíbrio (Banerjee and Duflo 2009; Deaton 2010) . Experimentos de campo digital também aumentam as preocupações éticas criadas por experimentos de campo - um tópico que abordarei mais adiante neste capítulo e no capítulo 6.
