4.2 ¿Cuáles son los experimentos?

Experimentos controlados aleatorios tienen cuatro ingredientes principales: reclutamiento de participantes, la asignación al azar del tratamiento, la administración de tratamientos y medición de los resultados.

experimentos controlados aleatorios pueden tomar muchas formas y puede ser utilizado para estudiar muchos tipos de comportamiento. Pero, en el fondo, los experimentos controlados aleatorios tienen cuatro ingredientes principales: reclutamiento de participantes, la asignación al azar del tratamiento, la administración de tratamientos y medición de los resultados. La era digital no cambia la naturaleza fundamental de la experimentación, pero hace que sean más fáciles de vista logístico. Por ejemplo, en el pasado que podría haber sido difícil medir el comportamiento de millones de personas, pero que ahora está sucediendo de forma rutinaria en muchos sistemas digitales. Los investigadores que se puede encontrar la manera de aprovechar estas nuevas oportunidades podrán llevar a cabo experimentos que eran imposibles anteriormente.

Para hacer todo esto un poco más concreto, tanto lo que ha permanecido igual y lo que ha cambiado, vamos a considerar Michael Restivo y Arnout van de Rijt de (2012) . Los investigadores deseaban entender el efecto de recompensas por pares informales sobre las contribuciones de redacción en Wikipedia. En particular, se estudiaron los efectos de barnstars, un premio que cualquier wikipedista puede dar a cualquier otro wikipedista reconocer el trabajo duro y la diligencia debida. Restivo y van de Rijt dieron barnstars a 100 wikipedistas que merecen. Entonces, Restivo y van de Rijt rastreados aportaciones posteriores de los beneficiarios de Wikipedia durante los próximos 90 días. Para su sorpresa, las personas a las que otorgan barnstars tendían a hacer menos cambios después de recibir uno. En otras palabras, los barnstars parecían estar desalentando en lugar de fomentar la contribución.

Afortunadamente, Restivo y van de Rijt no estaban corriendo un experimento de "perturbar y observar"; que estaban corriendo un experimento controlado aleatorio. Así, además de la elección de 100 contribuyentes principales para recibir una estrella de granero, también recogieron 100 principales contribuyentes a los que no dio una estrella de granero. Estos cien sirvieron como grupo de control, y que tiene una estrella de granero y que no se determinó al azar. Cuando Restivo y van de Rijt observaron el grupo de control se encontró que tenía una fuerte caída de las cotizaciones también. Por último, cuando los investigadores compararon las personas en el grupo de tratamiento (es decir, recibida barnstars) y las personas en el grupo de control, se encontraron con que la estrella de granero causado a los editores contribuyen con alrededor del 60% más. Sin embargo, este aumento de la contribución se llevaba a cabo como parte de una disminución general en ambos grupos.

Como ilustra este estudio, el grupo de control en los experimentos es crítica en una forma que es algo paradójico. Con el fin de medir con precisión el efecto de barnstars, Restivo y van der Rijt necesario observar a las personas que no recibieron barnstars. Muchas veces los investigadores que no están familiarizados con los experimentos no tienen en cuenta el increíble valor del grupo de control. Si Restivo y van de Rijt no tenían un grupo de control, se habrían dibujado exactamente la conclusión equivocada. Los grupos de control son tan importantes que el CEO de una importante compañía de casino ha dicho que sólo hay tres formas en que los empleados pueden ser despedidos de su empresa: robo, acoso sexual, y la ejecución de un experimento sin un grupo control (Schrage 2011) .

Restivo y de van de Rijt estudio ilustra los cuatro ingredientes principales de un experimento: el reclutamiento, la asignación al azar, la intervención y los resultados. En conjunto, estos cuatro ingredientes permiten a los científicos van más allá de las correlaciones y miden el efecto causal de tratamientos. En concreto, la asignación al azar significa que cuando se comparan los resultados para los grupos de tratamiento y de control se obtiene una estimación del efecto causal de que la intervención para ese conjunto de participantes. En otras palabras, con un experimento controlado aleatorio que puede estar seguro de que cualquier diferencia en los resultados son causados ​​por la intervención y no un factor de confusión, una afirmación que hago precisa en el apéndice técnico utilizando el marco de posibles resultados.

Además de ser una buena ilustración de la mecánica de experimentos, Restivo y de van de Rijt estudio también muestra que la logística de experimentos digitales pueden ser completamente diferente de experimentos analógicos. En Restivo y el experimento de van de Rijt, era fácil dar la estrella de granero a cualquier persona en el mundo y era fácil para seguir el resultado-número de ediciones, durante un período prolongado de tiempo (debido a editar la historia se registra automáticamente por Wikipedia). Esta capacidad de ofrecer tratamientos y medir los resultados sin costo es cualitativamente a diferencia de los experimentos en el pasado. Aunque este experimento consistió en 200 personas, que podría haber sido ejecutado con 2.000 o 20.000 personas. Lo principal la prevención de los investigadores de la ampliación de su experimento en un factor de 100 no fue el costo, que era la ética. Es decir, Restivo y van de Rijt no quieren dar barnstars a los editores que no lo merecen y que no quieren que su experimento para interrumpir la comunidad Wikipedia (Restivo and Rijt 2012; Restivo and Rijt 2014) . Por lo tanto, aunque el experimento de Restivo y van de Rijt es relativamente simple, se muestra claramente que algunas cosas acerca de los experimentos se han mantenido igual y algunos han cambiado. En particular, la lógica básica de la experimentación es el mismo, pero la logística han cambiado. A continuación, con el fin de aislar con mayor claridad las oportunidades creadas por este cambio, voy a comparar los experimentos que los investigadores pueden hacer ahora para el tipo de experimentos que se han hecho en el pasado.