4.2 ¿Cuáles son los experimentos?
Experimentos controlados aleatorios tienen cuatro ingredientes principales: reclutamiento de participantes, la asignación al azar del tratamiento, la administración de tratamientos y medición de los resultados.
Los experimentos controlados aleatorios tienen cuatro ingredientes principales: reclutamiento de participantes, aleatorización del tratamiento, administración del tratamiento y medición de los resultados. La era digital no cambia la naturaleza fundamental de la experimentación, pero sí hace que sea más fácil logísticamente. Por ejemplo, en el pasado, podría haber sido difícil medir el comportamiento de millones de personas, pero eso ahora sucede rutinariamente en muchos sistemas digitales. Los investigadores que puedan descubrir cómo aprovechar estas nuevas oportunidades podrán realizar experimentos que antes eran imposibles.
Para hacer esto un poco más concreto, tanto lo que ha permanecido igual como lo que ha cambiado, consideremos un experimento de Michael Restivo y Arnout van de Rijt (2012) . Querían entender el efecto de las recompensas informales entre compañeros sobre las contribuciones editoriales a Wikipedia. En particular, estudiaron los efectos de los barnstars , una recompensa que cualquier wikipedista puede otorgar a cualquier otro wikipedista para reconocer el trabajo arduo y la debida diligencia. Restivo y van de Rijt dieron barnstars a 100 dignatarios merecedores. Luego, rastrearon las contribuciones posteriores de los destinatarios a Wikipedia durante los siguientes 90 días. Para su sorpresa, las personas a quienes otorgaron Barnstars tendieron a hacer menos ediciones después de recibir uno. En otras palabras, los barnstars parecían desalentar en lugar de alentar la contribución.
Afortunadamente, Restivo y van de Rijt no realizaban un experimento de "perturbar y observar"; estaban ejecutando un experimento controlado aleatorio. Entonces, además de elegir a los 100 principales contribuyentes para recibir una granada, también escogieron a los 100 principales contribuyentes a quienes no les dieron una. Estos 100 sirvieron como grupo de control. Y, críticamente, quién estaba en el grupo de tratamiento y quién estaba en el grupo de control se determinó al azar.
Cuando Restivo y van de Rijt observaron el comportamiento de las personas en el grupo de control, descubrieron que sus contribuciones también estaban disminuyendo. Además, cuando Restivo y van de Rijt compararon personas en el grupo de tratamiento (es decir, ganadoras recibidas) con personas del grupo de control, encontraron que las personas en el grupo de tratamiento contribuyeron aproximadamente un 60% más. En otras palabras, las contribuciones de ambos grupos estaban disminuyendo, pero las del grupo de control lo estaban haciendo mucho más rápido.
Como lo ilustra este estudio, el grupo de control en experimentos es crítico de una manera paradójica. Con el fin de medir con precisión el efecto de las estrellas de establo, Restivo y van de Rijt tuvieron que observar a las personas que no recibieron barnstars. Muchas veces, los investigadores que no están familiarizados con los experimentos no pueden apreciar el increíble valor del grupo de control. Si Restivo y van de Rijt no hubieran tenido un grupo de control, habrían sacado la conclusión equivocada. Los grupos de control son tan importantes que el CEO de una importante empresa de casinos ha dicho que solo hay tres formas de despedir empleados de su empresa: por robo, por acoso sexual o por realizar un experimento sin un grupo de control (Schrage 2011) .
El estudio de Restivo y van de Rijt ilustra los cuatro ingredientes principales de un experimento: reclutamiento, aleatorización, intervención y resultados. Juntos, estos cuatro ingredientes permiten a los científicos ir más allá de las correlaciones y medir el efecto causal de los tratamientos. Específicamente, la aleatorización significa que las personas en los grupos de tratamiento y control serán similares. Esto es importante porque significa que cualquier diferencia en los resultados entre los dos grupos se puede atribuir al tratamiento y no a un factor de confusión.
Además de ser una buena ilustración de la mecánica de los experimentos, el estudio de Restivo y van de Rijt también muestra que la logística de los experimentos digitales puede ser completamente diferente de la de los experimentos analógicos. En el experimento de Restivo y van de Rijt, fue fácil darle la granada a cualquiera, y fue fácil seguir el resultado-número de ediciones-durante un período prolongado de tiempo (porque el historial de edición se registra automáticamente en Wikipedia). Esta capacidad de ofrecer tratamientos y medir los resultados sin costo es cualitativamente diferente a los experimentos del pasado. Aunque este experimento involucró a 200 personas, pudo haberse realizado con 2,000 o incluso 20,000 personas. Lo principal que impedía a los investigadores ampliar su experimento en un factor de 100 no era el costo; fue ética Es decir, Restivo y van de Rijt no querían dar barnstars a editores que no lo merecían, y no querían que su experimento alterara la comunidad de Wikipedia (Restivo and Rijt 2012, 2014) . Volveré sobre algunas de las consideraciones éticas planteadas por los experimentos más adelante en este capítulo y en el capítulo 6.
En conclusión, el experimento de Restivo y van de Rijt muestra claramente que si bien la lógica básica de la experimentación no ha cambiado, la logística de los experimentos de la era digital puede ser radicalmente diferente. A continuación, para aislar más claramente las oportunidades creadas por estos cambios, compararé los experimentos que los investigadores pueden hacer ahora con los tipos de experimentos que se han realizado en el pasado.
