4.4.3 Mecanismos

Los experimentos miden lo que sucedió. Mecanismos explican por qué y cómo sucedió.

La tercera idea clave para ir más allá de experimentos simples son los mecanismos . Los mecanismos nos dicen por qué o cómo un tratamiento causó un efecto. El proceso de búsqueda de mecanismos a veces también se denomina buscar variables intermedias o variables intermedias . Aunque los experimentos son buenos para estimar los efectos causales, a menudo no están diseñados para revelar mecanismos. Los experimentos digitales pueden ayudarnos a identificar los mecanismos de dos maneras: (1) nos permiten recopilar más datos de proceso y (2) nos permiten probar muchos tratamientos relacionados.

Debido a que los mecanismos son difíciles de definir formalmente (Hedström and Ylikoski 2010) , voy a comenzar con un ejemplo simple: limas y escorbuto (Gerber and Green 2012) . En el siglo dieciocho, los médicos tenían una muy buena idea de que cuando los marineros comían limas, no sufrían de escorbuto. El escorbuto es una enfermedad terrible, así que esta fue información poderosa. Pero estos médicos no sabían por qué las limas previenen el escorbuto. No fue sino hasta 1932, casi 200 años después, que los científicos pudieron demostrar de manera confiable que la vitamina C era la razón por la cual la cal impedía el escorbuto (Carpenter 1988, 191) . En este caso, la vitamina C es el mecanismo a través del cual las limas previenen el escorbuto (figura 4.10). Por supuesto, identificar el mecanismo también es muy importante desde el punto de vista científico; mucha ciencia se trata de comprender por qué suceden las cosas. Identificar mecanismos también es muy importante en la práctica. Una vez que entendemos por qué funciona un tratamiento, podemos desarrollar potencialmente nuevos tratamientos que funcionan aún mejor.

Figura 4.10: Las limas previenen el escorbuto y el mecanismo es la vitamina C.

Desafortunadamente, los mecanismos de aislamiento son muy difíciles. A diferencia de las limas y el escorbuto, en muchos entornos sociales, los tratamientos probablemente operan a través de muchas vías interrelacionadas. Sin embargo, en el caso de las normas sociales y el uso de energía, los investigadores han tratado de aislar los mecanismos mediante la recopilación de datos de proceso y pruebas de tratamientos relacionados.

Una forma de probar posibles mecanismos es mediante la recopilación de datos del proceso sobre cómo el tratamiento ha tenido un impacto en los posibles mecanismos. Por ejemplo, recuerde que Allcott (2011) demostró que los informes de energía en el hogar causaron que las personas redujeran su consumo de electricidad. Pero, ¿cómo disminuyeron estos informes el consumo de electricidad? ¿Cuáles fueron los mecanismos? En un estudio de seguimiento, Allcott and Rogers (2014) asociaron con una compañía eléctrica que, a través de un programa de reembolsos, había adquirido información sobre qué consumidores actualizaban sus electrodomésticos a modelos más eficientes en el consumo de energía. Allcott and Rogers (2014) descubrieron que un poco más de personas que recibían los Informes de Energía del Hogar actualizaban sus electrodomésticos. Pero esta diferencia era tan pequeña que podría representar solo el 2% de la disminución en el consumo de energía en los hogares tratados. En otras palabras, las actualizaciones de electrodomésticos no fueron el mecanismo dominante a través del cual el Informe de energía del hogar disminuyó el consumo de electricidad.

Una segunda forma de estudiar los mecanismos es realizar experimentos con versiones ligeramente diferentes del tratamiento. Por ejemplo, en el experimento de Schultz et al. (2007) y todos los posteriores experimentos de Informe de energía del hogar, los participantes recibieron un tratamiento que tenía dos partes principales (1) consejos sobre ahorro de energía y (2) información sobre su uso de energía en relación con sus pares (figura 4.6). Por lo tanto, es posible que los consejos de ahorro de energía fueran los que causaron el cambio, no la información de pares. Para evaluar la posibilidad de que los consejos solos hubieran sido suficientes, Ferraro, Miranda, and Price (2011) asociaron con una compañía de agua cerca de Atlanta, Georgia, y llevaron a cabo un experimento relacionado con la conservación del agua en el que participaron alrededor de 100.000 hogares. Hubo cuatro condiciones:

• un grupo que recibió consejos para ahorrar agua
• un grupo que recibió consejos sobre cómo ahorrar agua más un atractivo moral para ahorrar agua
• un grupo que recibió consejos sobre el ahorro de agua más un atractivo moral para ahorrar agua, además de información sobre su uso del agua en relación con sus pares
• un grupo de control

Los investigadores encontraron que el tratamiento de solo propinas no tuvo efecto en el uso del agua a corto plazo (un año), mediano (dos años) y largo (tres años). Los consejos más el tratamiento de apelación provocaron que los participantes redujeran el consumo de agua, pero solo a corto plazo. Finalmente, los consejos más el atractivo más el tratamiento de información entre pares causaron una disminución en el uso a corto, mediano y largo plazo (figura 4.11). Este tipo de experimentos con tratamientos desagregados son una buena forma de descubrir qué parte del tratamiento, o qué partes juntas, son las que están causando el efecto (Gerber and Green 2012, sec. 10.6) . Por ejemplo, el experimento de Ferraro y sus colegas nos muestra que los consejos para ahorrar agua por sí solos no son suficientes para disminuir el consumo de agua.

Figura 4.11: Resultados de Ferraro, Miranda, and Price (2011) . Los tratamientos se enviaron el 21 de mayo de 2007 y los efectos se midieron durante los veranos de 2007, 2008 y 2009. Al desagregar el tratamiento, los investigadores esperaban desarrollar un mejor sentido de los mecanismos. El tratamiento de solo propinas no tuvo efecto esencialmente en el corto (un año), mediano (dos años) y largo (tres años). Los consejos más el tratamiento de apelación causaron que los participantes redujeran el consumo de agua, pero solo a corto plazo. El asesoramiento más el atractivo más el tratamiento de información entre pares hizo que los participantes redujeran el uso de agua a corto, mediano y largo plazo. Las barras verticales son intervalos de confianza estimados. Ver Bernedo, Ferraro, and Price (2014) para ver los materiales de estudio reales. Adaptado de Ferraro, Miranda, and Price (2011) , cuadro 1.

Idealmente, uno iría más allá de la superposición de componentes (consejos, sugerencias más atractivo, consejos más atractivo más información de iguales) a un diseño factorial completo, también denominado diseño factorial \(2^k\) , donde cada posible combinación de se prueban tres elementos (tabla 4.1). Al probar cada posible combinación de componentes, los investigadores pueden evaluar completamente el efecto de cada componente en forma aislada y en combinación. Por ejemplo, el experimento de Ferraro y sus colegas no revela si la comparación entre iguales por sí sola habría sido suficiente para provocar cambios en el comportamiento a largo plazo. En el pasado, estos diseños factoriales completos han sido difíciles de ejecutar porque requieren una gran cantidad de participantes y requieren que los investigadores puedan controlar y administrar con precisión una gran cantidad de tratamientos. Pero, en algunas situaciones, la era digital elimina estas limitaciones logísticas.

En resumen, los mecanismos, las vías a través de las cuales un tratamiento tiene un efecto, son increíblemente importantes. Los experimentos de edad digital pueden ayudar a los investigadores a conocer los mecanismos al (1) recopilar datos del proceso y (2) habilitar diseños factoriales completos. Los mecanismos sugeridos por estos enfoques pueden luego probarse directamente mediante experimentos específicamente diseñados para probar mecanismos (Ludwig, Kling, and Mullainathan 2011; Imai, Tingley, and Yamamoto 2013; Pirlott and MacKinnon 2016) .

En total, estos tres conceptos (validez, heterogeneidad de los efectos del tratamiento y mecanismos) brindan un poderoso conjunto de ideas para diseñar e interpretar experimentos. Estos conceptos ayudan a los investigadores a ir más allá de simples experimentos sobre lo que "funciona" para enriquecer los experimentos que tienen vínculos más estrechos con la teoría, que revelan dónde y por qué funcionan los tratamientos, y que incluso pueden ayudar a los investigadores a diseñar tratamientos más efectivos. Dado este trasfondo conceptual sobre los experimentos, ahora voy a ver cómo puedes hacer que tus experimentos sucedan.