4.3 Dúas dimensións de experimentos: laboratorio de campo e analóxico-dixital
Experimentos de laboratorio ofrecen control, experimentos de campo ofrecen realismo, e experimentos de campo dixital combinan control e realismo a grande escala.
As experiencias veñen en moitas formas e tamaños diferentes. Pero, a pesar destas diferenzas, os investigadores descubriron que é útil para organizar experiencias ao longo dun continuum entre experimentos de laboratorio e experimentos de campo. Agora, con todo, os investigadores deben tamén organizar experiencias ao longo dun continuum entre experimentos analóxicos e experiencias dixitais. Este espazo deseño en dúas dimensións o axudará a entender os puntos fortes e débiles de diferentes enfoques e suxerir áreas de maior oportunidade (Figura 4.1).
Figura 4.1: Esquema de espazo de deseño para experimentos. No pasado, as experiencias varía ao longo da dimensión laboratorio-campo. Agora, tamén eles variar dimensión analóxico-dixital. Na miña opinión, a área de maior oportunidade é experimentos de campo dixital.
No pasado, a principal forma que os investigadores organizaron experimentos foi ao longo da dimensión lab-campo. A maioría dos experimentos nas ciencias sociais son experimentos de laboratorio onde os alumnos de graduación realizan tarefas estrañas nun laboratorio de crédito de curso. Este tipo de experiencia domina investigación en psicoloxía, porque permite aos investigadores crear tratamentos moi específicas destinadas a probar as teorías moi específicas sobre o comportamento social. Para determinados problemas, con todo, algo se sente un pouco raro sobre sacar conclusións fortes sobre o comportamento humano de tales persoas pouco comúns que executan tales tarefas pouco comúns nun escenario tan inusual. Estas preocupacións levaron a un movemento cara a experimentos de campo. experimentos de campo combinar o deseño forte de experimentos controlados e randomizados con grupos máis representativos dos participantes, realizando tarefas máis comúns, en ambientes máis naturais.
Aínda que algunhas persoas pensan de laboratorio e de campo experimentos como métodos competidores, o mellor é pensar neles como métodos complementarios, con diferentes puntos fortes e débiles. Por exemplo, Correll, Benard, and Paik (2007) usa tanto un experimento de laboratorio e un experimento de campo, no intento de atopar as fontes de "pena de maternidade". En Estados Unidos, as nais gañan menos diñeiro do que as mulleres sen fillos, mesmo cando comparando mulleres con habilidades similares que traballan en traballos similares. Hai moitas explicacións posibles para este estándar, e un é que os empresarios son tendenciosos contra as nais. (Curiosamente, o contrario parece ser verdade para os pais: tenden a gañar máis que os homes sen fillos comparables). Co fin de avaliar a posible prexuízo contra as nais, Correll e os seus colegas correron dous experimentos: un en laboratorio e un no campo.
En primeiro lugar, nun experimento de laboratorio Correll e compañeiros dixo aos participantes, que eran estudantes universitarios, que unha empresa de comunicacións start-up con sede en California foi a realización dunha investigación de emprego para unha persoa para liderar o novo departamento de marketing Costa Leste. Os estudantes foron informados de que a empresa quería súa axuda no proceso de contratación e eles foron convidados a avaliar programas dos diversos candidatos potenciais e para avaliar os candidatos nun número de dimensións, como a súa intelixencia, calor e compromiso de traballar. Ademais, os estudantes foron cuestionados se recomenda a contratación do candidato eo que recomenda como un salario inicial. Sen o coñecemento dos alumnos, con todo, os currículos foron especialmente construídos para ser semellante, salvo por unha cousa: algúns dos currículos marcou a maternidade (list participación nunha asociación de pais e profesores) e outros non. Correll descubriu que os estudantes eran menos propensos a recomendar a contratación de nais e ofreceu-lles menor salario inicial. Ademais, a través dunha análise estatística de ambas clasificacións e as decisións relativas ás contratacións, Correll descubriron que as desvantaxes das nais foron en gran parte explicado polo feito de que as nais obtiveron unha clasificación inferior en termos de competencia e compromiso. Noutras palabras, Correll argumenta que estas características son o mecanismo a través do cal as nais son desfavorecidos. Así, esta experiencia de laboratorio permitiron CORREL e compañeiros para medir un efecto causal e proporcionar un posible explicación para ese efecto.
Por suposto, pode ser escéptico sobre sacar conclusións sobre todo o mercado de traballo de Estados Unidos en base ás decisións de algúns centenares de alumnos de graduación que probablemente nunca tiveron un emprego a tempo completo, e moito menos contratados persoas. Polo tanto, Correll e compañeiros tamén realizaron un experimento de campo complementaria. Os investigadores respondeu a centos de prazas publicitadas a través do envío de cartas de presentación e currículos falsos. Similar aos materiais presentados aos alumnos de graduación, algúns programas marcou maternidade e outros non. Correll e os seus colegas descubriron que as nais tiñan menos probabilidades de ser chamado de volta a entrevistas que as mulleres sen fillos igualmente cualificados. Noutras palabras, os empresarios reais que toman decisións consecuentes nun contorno natural se comportou moi parecido os estudantes. Será que eles toman decisións semellantes para a mesma razón? Desafortunadamente, non sabemos. Os investigadores non puideron solicitar aos empresarios para avaliar os candidatos ou explicar as súas decisións.
Este par de experiencias revela moito sobre de laboratorio e de campo experimentos en xeral. experimentos de laboratorio ofrecen investigadores control case total sobre o ambiente no que os participantes están a tomar decisións. Así, por exemplo, na experiencia de laboratorio, Correll foi capaz de garantir que todos os currículos foron lidas nun ambiente tranquilo; No experimento de campo, algúns dos currículos pode non ter sequera foi lido. Ademais, porque os participantes no ambiente de laboratorio saben que están a ser estudados, os investigadores son capaces de recoller datos adicionais que poden axuda-los a entender por que os participantes están a facer as súas decisións. Por exemplo, Correll pediu aos participantes na experiencia de laboratorio para avaliar os candidatos en diferentes dimensións. Este tipo de datos do proceso podería axudar aos investigadores a entender os mecanismos detrás diferenzas na forma na que os participantes tratar os currículos.
Por outra banda, estas mesmas características exactas que acabaron de ser descritas como vantaxes son tamén por veces considerada desvantaxes. Os investigadores que prefiren experiencias de campo argumentan que os participantes en experimentos de laboratorio podería actuar de forma moi diferente cando están sendo observados de preto. Por exemplo, no laboratorio de participantes do experimento que ter difícil de adiviñar o obxectivo da investigación e cambiou o seu comportamento para non aparecer tendencioso. Ademais, os investigadores que prefiren experiencias de campo pódese argumentar que as pequenas diferenzas sobre currículos só pode destacar nun ambiente de laboratorio estéril moi limpo, e así a experiencia de laboratorio sobreestimar o efecto da maternidade sobre decisións de contratación real. Finalmente, moitos defensores de experimentos de campo criticar experimentos de laboratorio dependencia de participantes estraño: principalmente estudantes da Western, educado, industrializados, ricos e países democráticos (Henrich, Heine, and Norenzayan 2010) . Os experimentos por Correll e os seus colegas (2007) ilustran os dous extremos no continuo lab-campo. Entre estes dous extremos, hai unha variedade de modelos híbridos, incluíndo formulacións como traer non estudantes nun laboratorio ou ir ao campo, pero aínda tendo os participantes realizan unha tarefa inusual.
Ademais da dimensión lab-campo que existiu no pasado, a era dixital significa que os investigadores teñen agora unha segunda dimensión importante ao longo dos cales experiencias poden variar: analóxico-dixital. Así como hai experimentos puros de laboratorio, experimentos de campo puras, e unha variedade de híbridos entre eles, hai experimentos puros analóxicos, experiencias dixitais puros, e unha variedade de híbridos. É complicado para ofrecer unha definición formal desta dimensión, pero unha definición de traballo útil é que as experiencias totalmente dixitais son experiencias que fan uso de infraestruturas dixital para contratar asistentes, ao azar, entregar tratamentos, e medir os resultados. Por exemplo, Restivo e van de Rijt de (2012) estudo da barnstars e Wikipedia foi unha experiencia totalmente dixital porque usou sistemas dixitais para os catro destas etapas. Do mesmo xeito totalmente experimentos analóxicos son experimentos que non fan uso de infraestruturas dixital para calquera destas catro etapas. Moitos dos experimentos clásicos en psicoloxía son experiencias analóxicas. Entre estes dous extremos hai parcialmente experiencias dixitais que empregan unha combinación de sistemas analóxicos e dixitais para as catro etapas.
Criticamente, as oportunidades para realizar experiencias dixitais non son só en liña. Os investigadores poden realizar experiencias parcialmente dixitais, utilizando dispositivos dixitais no mundo físico, a fin de ofrecer tratamentos ou medir os resultados. Por exemplo, os investigadores poderían usar teléfonos intelixentes para entregar tratamentos ou sensores no ámbito construído para medir os resultados. De feito, como veremos máis adiante neste capítulo, os investigadores xa utilizados Medidores de enerxía na casa para medir os resultados en experiencias sobre normas sociais e consumo de enerxía, que inclúen 8,5 millóns de domicilios (Allcott 2015) . Como dispositivos dixitais se fan cada vez máis integrados na vida das persoas e sensores de integraren-se no ambiente construído, esas oportunidades para realizar experiencias parcialmente dixitais no mundo físico aumentará dramáticas. Noutras palabras, as experiencias dixitais non son só experiencias en liña.
sistemas dixitais crean novas posibilidades para experimentos en todas partes ao longo do continuo lab-campo. En experimentos de laboratorio puros, por exemplo, os investigadores poden usar sistemas dixitais de medir máis fino do comportamento dos participantes; Un exemplo deste tipo de mellorar a medición é un equipo de seguimento ocular que ofrece medidas precisas e continuas de localización ollar. A era dixital tamén crea a posibilidade de realizar experimentos de laboratorio-like liña. Por exemplo, os investigadores rapidamente adoptado Amazon Mechanical Turk (MTurk) para contratar asistentes para experiencias en liña (Figura 4.2). MTurk xogos "empresarios" que teñen tarefas que precisan ser concluídas con "traballadores" que desexan completar estas tarefas para o diñeiro. A diferenza de mercados de traballo tradicionais, con todo, as tarefas implicadas normalmente requiren só uns minutos para ser completado e toda a interacción entre empresario e traballador é virtual. Porque imita MTurk aspectos das experiencias de pago de laboratorio tradicionais de persoas para completar tarefas que non faría de balde, é naturalmente axeitadas para certos tipos de experimentos. Esencialmente, MTurk creou a infraestrutura para a xestión dun grupo de participantes-contratar e pagar as persoas e investigadores aproveitado esa infraestrutura para tocar nunha piscina sempre dispoñible dos participantes.
Figura 4.2: Artigos publicados utilizando datos do Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk e outros mercados de traballo en liña ofrecen aos investigadores un xeito cómodo para contratar asistentes para experimentos.
experimentos dixitais crean aínda máis posibilidades para experimentos de campo-like. experimentos de campo dixital pode ofrecer datos de control e de proceso axustado para elucidar posibles mecanismos (como experimentos de laboratorio) e máis diversos participantes que toman decisións reais nun ambiente natural (como experimentos de campo). Ademais desta combinación de boas características de experiencias anteriores, experimentos de campo dixitais ofrecen tres oportunidades que eran difíciles no laboratorio e de campo experimentos analóxicos.
En primeiro lugar, mentres que a maioría de laboratorio e de campo experimentos analóxicos teñen centos de participantes, experimentos de campo dixital pode millóns de participantes. Este cambio de escala é porque algunhas experiencias dixitais poden producir datos a un custo variable de cero. Isto é, unha vez que os investigadores crearon unha infraestrutura experimental, o aumento do número de participantes que normalmente non aumentar o custo. O aumento do número de participantes por un factor de 100 ou máis non é só un cambio cuantitativo, é un cambio cualitativo, porque permite aos investigadores aprender cousas diferentes a partir de experiencias (por exemplo, a heteroxeneidade dos efectos do tratamento) e realizar enteiramente diferentes deseños experimentais ( por exemplo, grandes experiencias de grupo). Este punto é tan importante, eu vou volver a el ao final do capítulo, cando ofrecer consellos sobre a creación de experiencias dixitais.
En segundo lugar, mentres que a maioría de laboratorio e de campo experimentos analóxicos tratar participantes como widgets indistinguibles, experimentos de campo dixitais adoitan usar información básica sobre os participantes nas fases de deseño e de análise da investigación. Esta información de fondo, que se chama de información pretratamento, moitas veces está dispoñible en experimentos dixitais, porque producen en ambientes totalmente medidos. Por exemplo, un investigador de Facebook ten moito máis información pretratamento que un investigador deseño dun experimento de laboratorio estándar con estudantes universitarios. Esta información pretratamento permite aos investigadores para mover ademais do tratamento participantes de widgets como indistinguibles. En concreto, a información pretratamento posibilita deseños-tal máis eficientes experimentais como o bloqueo (Higgins, Sävje, and Sekhon 2016) e contratación obxectivo de participantes (Eckles, Kizilcec, and Bakshy 2016) -e análise en tal máis perspicaz como estimación da heteroxeneidade dos efectos do tratamento (Athey and Imbens 2016a) e axuste de co-variable para mellorar a precisión (Bloniarz et al. 2016) .
En terceiro lugar, mentres que moitos de laboratorio analóxico e campo experimentos entregar tratamentos e resultados de medida nunha cantidade relativamente comprimido de tempo, algúns experimentos de campo dixital implica tratamentos que poden ser entregados ao longo do tempo e os efectos poden ser medidos ao longo do tempo. Por exemplo, o experimento de Restivo e van de Rijt ten o resultado medida diariamente por 90 días, e unha das experiencias Vou informarlles sobre máis tarde neste capítulo (Ferraro, Miranda, and Price 2011) acompaña os resultados ao longo de 3 anos, basicamente, non hai custo. Estes tres oportunidades de tamaño, información pretratamento e tratamento lonxitudinal e resultados de datos-son máis comúns cando as experiencias son executados encima do sempre-en sistemas de medida (ver capítulo 2 para máis información sobre always-on sistemas de medida).
Mentres experimentos de campo dixitais ofrecen moitas posibilidades, tamén comparten algunhas debilidades con ambos laboratorio analóxico e experimentos de campo. Por exemplo, en experiencias non se pode empregar para estudar o pasado, e elas só poden estimar os efectos de tratamentos que poden ser manipulados. Ademais, aínda que experimentos son, sen dúbida útil para orientar a política, a orientación exacta que poden ofrecer é algo limitado por mor complicacións como a dependencia ambiental, problemas de conformidade, e os efectos de equilibrio (Banerjee and Duflo 2009; Deaton 2010) . Finalmente, experimentos de campo dixital ampliar as preocupacións éticas creadas por experimentos de campo. Os proponentes de experimentos de campo alardear súa capacidade de intervir de forma discreta e aleatoriamente en decisións consecuentes feitas por millóns de persoas. Estes recursos ofrecen certas vantaxes científicas, pero eles tamén poden facer experimentos de campo eticamente complexa (pense nisto como investigadores tratar as persoas como "ratos de laboratorio" a grande escala). Ademais, ademais de posibles danos aos participantes, experimentos de campo dixital, debido á súa escala, tamén pode levantar preocupacións sobre a ruptura dos sistemas sociais de traballo (por exemplo, problemas sobre interromper sistema de recompensa da Wikipedia se Restivo e van der Rijt deu moitas barnstars) .
