4.3 Dúas dimensións de experimentos: laboratorio de campo e analóxico-dixital
Experimentos de laboratorio ofrecen control, experimentos de campo ofrecen realismo, e experimentos de campo dixital combinan control e realismo a grande escala.
Os experimentos veñen en diferentes formas e tamaños diferentes. No pasado, os investigadores consideraron útil organizar experimentos ao longo dun continuo entre experimentos de laboratorio e experimentos de campo . Agora, con todo, os investigadores tamén deben organizar experimentos nun segundo continuo entre experimentos analóxicos e experimentos dixitais . Este espazo de deseño bidimensional axudaralle a comprender os puntos fortes e débiles das distintas aproximacións e destacar as áreas de maior oportunidade (figura 4.1).
Figura 4.1: Esquemas de espazo de deseño para experimentos. No pasado, os experimentos variaron ao longo da dimensión do laboratorio. Agora, tamén varían na dimensión analóxico-dixital. Este espazo de deseño bidimensional está ilustrado por catro experimentos que describo neste capítulo. Na miña opinión, a área de maior oportunidade son os experimentos de campo dixital.
Unha dimensión na que se poden organizar os experimentos é a dimensión do laboratorio. Moitos experimentos nas ciencias sociais son experimentos de laboratorio onde os estudantes de primeiro grao realizan tarefas estrañas nun laboratorio para o crédito do curso. Este tipo de experimento domina a investigación en psicoloxía porque permite aos investigadores crear conxuntos altamente controlados para illar e probar con precisión as teorías específicas sobre o comportamento social. Por certo problema, porén, algo séntese un pouco estraño ao sacar conclusións sobre o comportamento humano de persoas tan inusuales que realizan tarefas tan inusuales nunha configuración tan inusual. Estas preocupacións levaron a un movemento cara a experimentos de campo . Os experimentos de campo combinan o forte deseño de experimentos de control aleatorio con grupos máis representativos de participantes que realizan tarefas máis comúns en contextos máis naturais.
Aínda que algunhas persoas pensan en experimentos de laboratorio e campo como métodos competitivos, o mellor é pensar neles como complementarias, con diferentes puntos fortes e débiles. Por exemplo, Correll, Benard, and Paik (2007) usaron tanto un experimento de laboratorio como un experimento de campo co obxectivo de atopar as fontes da "pena de maternidade". Nos Estados Unidos, as nais gañan menos diñeiro que as mulleres sen fogar, mesmo cando comparando mulleres con habilidades similares que traballan en traballos similares. Existen moitas explicacións posibles para este patrón, unha das cales é que os empresarios están sesgados contra as nais. (Curiosamente, o contrario parece ser verdadeiro para os pais: tenden a gañar máis que homes comparables sen fillos.) Para avaliar posibles prexuízos contra as nais, Correll e compañeiros realizaron dous experimentos: un no laboratorio e outro no campo.
Primeiro, nun experimento de laboratorio, dixéronlles aos participantes, que eran estudantes universitarios, que unha empresa realizaba unha procura de emprego para que unha persoa liderase o seu novo departamento de marketing da Costa Este. Os estudantes dixéronlle que a empresa quería a súa axuda no proceso de contratación e pedíuselles que revisasen currículos de varios candidatos potenciais e que valoren os candidatos en varias dimensións, como a súa intelixencia, a súa calor e o seu compromiso co traballo. Ademais, preguntáronse aos estudantes se recomendarían contratar ao solicitante e que recomendarían como salario inicial. Sen coñecemento dos estudantes, con todo, os currículos foron construídos específicamente para ser similares, agás por unha cousa: algúns deles sinalaron a maternidade (mediante a inclusión da participación nunha asociación entre pais e profesores) e algúns non. Correll e os seus colegas descubriron que os alumnos tiñan menos probabilidades de recomendar a contratación das nais e que lles ofrecía un salario inicial máis baixo. Ademais, a través dunha análise estatística das clasificacións e das decisións relacionadas coa contratación, Correll e os seus colegas descubriron que as desvantaxes das nais foron explicadas en gran parte polo feito de que foron avaliadas en termos de competencia e compromiso. Así, este experimento de laboratorio permitiu a Correll e os seus compañeiros medir un efecto causal e proporcionar unha posible explicación a tal efecto.
Por suposto, un podería ser escéptico sobre a obtención de conclusións sobre o mercado laboral estadounidense en base ás decisións dalgúns centenares de estudantes que probabelmente nunca tiveron traballo a tempo completo, e moito menos contratou a alguén. Por iso, Correll e compañeiros tamén realizaron un experimento de campo complementario. Eles responderon a centos de ofertas de emprego anunciadas con cartas falsas e currículos. Do mesmo xeito que os materiais que se mostran aos estudantes universitarios, algúns currículos sinalan a maternidad e algúns non o fixeron. Correll e os seus colegas descubriron que as nais eran menos propensas a recibir chamadas para entrevistas que mulleres igualmente cualificadas sen fillos. Noutras palabras, os empresarios reais que toman decisións consecuentes nun ambiente natural comportáronse como os estudantes. Tomaron decisións similares polo mesmo motivo? Desafortunadamente, non o sabemos. Os investigadores non puideron pedir aos empresarios que califiquen os candidatos ou que expliquen as súas decisións.
Este par de experimentos revela moito sobre laboratorio e experimentos de campo en xeral. Os experimentos de laboratorio ofrecen aos investigadores un control total próximo ao ambiente no que os participantes toman decisións. Así, por exemplo, no experimento de laboratorio, Correll e os seus colegas puideron asegurar que todos os currículos fosen lidos nun lugar tranquilo; No experimento de campo, algúns dos currículos poden non ser leídos. Ademais, porque os participantes na configuración do laboratorio saben que están sendo estudados, os investigadores adoitan ser capaces de recoller datos adicionais que poden axudar a explicar por que os participantes toman as súas decisións. Por exemplo, Correll e colegas pediron aos participantes no experimento de laboratorio que califiquen os candidatos en diferentes dimensións. Este tipo de datos de proceso podería axudar aos investigadores a comprender os mecanismos detrás das diferenzas na forma en que os participantes tratan os currículos.
Por outra banda, estas mesmas características que acabo de describir como vantaxes tamén son ás veces consideradas desvantaxes. Os investigadores que prefiren experimentos de campo argumentan que os participantes nos experimentos de laboratorio poderían actuar de forma moi diferente porque saben que están sendo estudados. Por exemplo, no experimento de laboratorio, os participantes poderían adiviñar o obxectivo da investigación e alterar o seu comportamento para non aparecer sesgados. Ademais, os investigadores que prefiren experimentos de campo poden argumentar que as pequenas diferenzas nos currículos só poden destacarse nun ambiente de laboratorio moi limpo e estéril e, polo tanto, o experimento de laboratorio sobreestimará o efecto da maternidade nas decisións reais de contratación. Finalmente, moitos defensores dos experimentos de campo critican a dependencia dos experimentos de laboratorio sobre os participantes do WEIRD: principalmente estudantes de países occidentais, educados, industrializados, ricos e demócratas (Henrich, Heine, and Norenzayan 2010a) . Os experimentos de Correll e colegas (2007) ilustran os dous extremos no continuo de laboratorio. Entre estes dous extremos hai tamén unha variedade de deseños híbridos, incluíndo enfoques como levar os non-estudantes a un laboratorio ou entrar no campo pero aínda ter participantes realizar unha tarefa inusual.
Ademais da dimensión de laboratorio que existiu no pasado, a era dixital significa que os investigadores agora teñen unha segunda dimensión importante na que os experimentos poden variar: analóxico-dixital. Do mesmo xeito que hai experimentos de laboratorio puro, experimentos de campo puro e unha variedade de híbridos no medio, hai experimentos analóxicos puros, experimentos digitales puros e unha variedade de híbridos. É complicado ofrecer unha definición formal desta dimensión, pero unha definición de traballo útil é que os experimentos totalmente digitales son experimentos que fan uso da infraestrutura dixital para reclutar participantes, aleatorizar, entregar tratamentos e medir os resultados. Por exemplo, o estudo de Restivo e van de Rijt (2012) de barnstars e Wikipedia foi un experimento totalmente dixital porque utilizaba sistemas dixitais para os catro destes pasos. Do mesmo xeito, os experimentos totalmente analóxicos non utilizan a infraestrutura dixital para calquera destes catro pasos. Moitos dos experimentos clásicos na psicoloxía son experimentos completamente analóxicos. Entre estes dous extremos, hai experimentos parcialmente digitales que usan unha combinación de sistemas analóxicos e dixitais.
Cando algunhas persoas pensan en experimentos dixitais, eles inmediatamente pensan en experimentos en liña. Isto é lamentable porque as oportunidades para realizar experimentos dixitais non son só en liña. Os investigadores poden realizar experimentos parcialmente digitales utilizando dispositivos dixitais no mundo físico para entregar tratamentos ou medir os resultados. Por exemplo, os investigadores poderían utilizar teléfonos intelixentes para entregar tratamentos ou sensores no ambiente construído para medir os resultados. De feito, como veremos máis adiante neste capítulo, os investigadores xa usaron os contadores de enerxía domésticos para medir os resultados nos experimentos sobre o consumo de enerxía que inclúen 8,5 millóns de fogares (Allcott 2015) . A medida que os dispositivos dixitais se integran cada vez máis na vida das persoas e os sensores se integran ao ambiente construído, estas oportunidades para realizar experimentos parcialmente digitales no mundo físico aumentarán de xeito espectacular. Noutras palabras, os experimentos dixitais non son só experimentos en liña.
Os sistemas dixitais crean novas posibilidades para experimentos en todo o laboratorio do laboratorio. En experimentos de laboratorio puro, por exemplo, os investigadores poden usar sistemas dixitais para medir máis o comportamento dos participantes; Un exemplo deste tipo de medida mellorada é o equipo de seguimento de ollos que proporciona medidas precisas e continuas de localización de miradas. A idade dixital tamén crea a posibilidade de realizar experimentos en forma de laboratorio en liña. Por exemplo, os investigadores adoptaron rapidamente Amazon Mechanical Turk (MTurk) para reclutar participantes para experimentos en liña (figura 4.2). MTurk corresponde a "empresarios" que teñen tarefas que deben completarse con "traballadores" que desexen completar esas tarefas por cartos. A diferenza dos mercados tradicionais de traballo, con todo, as tarefas implicadas adoitan requirir só uns minutos para completarse, e toda a interacción entre empresario e traballador está en liña. Porque MTurk imita aspectos dos experimentos de laboratorio tradicionais: pagar ás persoas para completar tarefas que non farían de xeito gratuíto; é naturalmente adecuado para determinados tipos de experimentos. Esencialmente, MTurk creou a infraestrutura para xestionar un grupo de participantes: contratar e pagar persoas e os investigadores aproveitaron esa infraestrutura para aproveitar un grupo de participantes sempre dispoñible.
Figura 4.2: Publicacións publicadas con datos de Amazon Mechanical Turk (MTurk). MTurk e outros mercados de traballo en liña ofrecen aos investigadores un xeito cómodo de reclutar participantes para experimentos. Adaptado de Bohannon (2016) .
Os sistemas dixitais crean aínda máis posibilidades para experimentos similares ao campo. En particular, permiten aos investigadores combinar o control rigoroso e os datos do proceso que están asociados a experimentos de laboratorio cos participantes máis diversos e con configuracións máis naturais que están asociadas a experimentos de laboratorio. Ademais, os experimentos de campo dixital tamén ofrecen tres oportunidades que tiñan dificultades nos experimentos analóxicos.
En primeiro lugar, mentres que a maioría dos experimentos analóxicos de laboratorio e campo teñen centos de participantes, os experimentos de campo dixital poden ter millóns de participantes. Este cambio de escala é porque algúns experimentos dixitais poden producir datos a cero custo variable. É dicir, unha vez que os investigadores crearon unha infraestrutura experimental, aumentar o número de participantes normalmente non aumenta o custo. Aumentar o número de participantes por un factor de 100 ou máis non é só un cambio cuantitativo ; é un cambio cualitativo , xa que permite aos investigadores aprender cousas diferentes a partir de experimentos (por exemplo, a heteroxeneidade dos efectos do tratamento) e executar deseños experimentais completamente diferentes (por exemplo, experimentos de grupo grande). Este punto é tan importante, volverei ao final do capítulo cando ofrezo consellos sobre a creación de experimentos dixitais.
En segundo lugar, mentres que a maioría dos experimentos análogos de laboratorio e campo tratan aos participantes como widgets indistinguibles, os experimentos de campo dixital a miúdo usan información de antecedentes sobre os participantes nas etapas de deseño e análise da investigación. Esta información de fondo, que se denomina información de pre-tratamento , está a miúdo dispoñible en experimentos dixitais porque se executan encima dos sistemas de medición sempre (ver capítulo 2). Por exemplo, un investigador en Facebook ten moita máis información de tratamento previamente sobre as persoas na súa experiencia de campo dixital que o investigador universitario sobre as persoas na súa experiencia de campo analóxico. Este pre-tratamento permite proxectos experimentais máis eficientes -como o bloqueo (Higgins, Sävje, and Sekhon 2016) e o reclutamento específico dos participantes (Eckles, Kizilcec, and Bakshy 2016) e unha análise máis perspicaz, como a estimación da heteroxeneidade dos efectos do tratamento (Athey and Imbens 2016a) e un axuste covariante para unha mellor precisión (Bloniarz et al. 2016) .
En terceiro lugar, mentres que moitos experimentos analóxicos de laboratorio e campo entregados tratan e miden os resultados nun período de tempo relativamente comprimido, algúns experimentos de campo dixital ocorren durante longos períodos de tempo. Por exemplo, o experimento de Restivo e van de Rijt tivo o resultado medido diariamente durante 90 días e un dos experimentos que vos contarei máis adiante no capítulo (Ferraro, Miranda, and Price 2011) seguiu os resultados durante tres anos, basicamente non custo. Estas tres informacións sobre o tamaño das oportunidades, o tratamento previo eo tratamento lonxitudinal e os datos de resultado xorden máis comúnmente cando se executan experimentos enriba dos sistemas de medición sempre (ver capítulo 2 para máis información sobre sistemas de medición sempre).
Mentres os experimentos de campo dixital ofrecen moitas posibilidades, tamén comparten algúns puntos débiles con laboratorios analóxicos e experimentos de campo analóxicos. Por exemplo, os experimentos non se poden usar para estudar o pasado, e só poden estimar os efectos dos tratamentos que poden ser manipulados. Ademais, aínda que os experimentos son, sen dúbida, útiles para orientar a política, a orientación exacta que poden ofrecer é un tanto limitada debido a complicacións como a dependencia ambiental, os problemas de conformidade e os efectos de equilibrio (Banerjee and Duflo 2009; Deaton 2010) . Os experimentos de campo dixital tamén aumentan as preocupacións éticas creadas polos experimentos de campo, un tema que abordarei máis adiante neste capítulo e no capítulo 6.
