4.2 Cales son as experiencias?
Experimentos controlados e randomizados teñen catro ingredientes principais: contratación de asistentes, randomização do tratamento, a entrega do tratamento, e medida de resultados.
Os experimentos controlados aleatorizados teñen catro ingredientes principais: o reclutamento dos participantes, a aleatorización do tratamento, a entrega do tratamento e a medición dos resultados. A era dixital non cambia a natureza fundamental da experimentación, pero facilita a logística. Por exemplo, no pasado, pode que fose difícil medir o comportamento de millóns de persoas, pero isto ocorre habitualmente en moitos sistemas dixitais. Os investigadores que poden descubrir como aproveitar estas novas oportunidades poderán realizar experimentos que antes eran imposibles.
Para facelo todo un pouco máis concreto -tanto o que quedou o mesmo e o que cambiou- imos considerar un experimento de Michael Restivo e Arnout van de Rijt (2012) . Eles querían entender o efecto das recompensas informais pares en contribucións editoriais a Wikipedia. En particular, estudaron os efectos dos barnstars , un premio que calquera wikipedista pode dar a calquera outro wikipedio para recoñecer o traballo duro ea dilixencia debida. Restivo e Van de Rijt deron barnstars a 100 wikipedistas que merecen. Logo, seguiron as contribucións posteriores dos destinatarios a Wikipedia nos próximos 90 días. Moita cousa para a súa sorpresa, as persoas ás que concederon os barnstars tendían a facer menos edicións despois de recibir unha. Noutras palabras, os barnstars parecían desalentar no canto de incentivar a contribución.
Afortunadamente, Restivo e Van de Rijt non estaban executando un experimento de "perturbación e observación". estaban executando un experimento aleatorizado controlado. Así, ademais de elixir a 100 colaboradores máis importantes para recibir un barnstar, elixiron tamén 100 colaboradores principais aos que non lles deu. Estes 100 serviron como grupo de control. E, críticamente, quen estaba no grupo de tratamento e quen estaba no grupo de control determinouse aleatoriamente.
Cando Restivo e van de Rijt observaron o comportamento das persoas no grupo de control, descubriron que as súas contribucións tamén estaban a diminuír. Ademais, cando Restivo e van de Rijt compararon a xente no grupo de tratamento (é dicir, recibiron hórreos) ás persoas do grupo de control, descubriron que as persoas no grupo trataron un 60% máis. Dito doutro xeito, as contribucións de ambos grupos foron falecidas, pero as do grupo de control estaban facendo moito máis rápido.
Como este estudo ilustra, o grupo de control en experimentos é crítico dun xeito que é algo paradoxal. Para medir con precisión o efecto dos barnstars, Restivo e van de Rijt necesitaban observar persoas que non recibían barnstars. Moitas veces, os investigadores que non están familiarizados cos experimentos non aprecian o valor incrible do grupo de control. Se Restivo e Van de Rijt non tiñan un grupo de control, terían deseñado exactamente a conclusión incorrecta. Os grupos de control son tan importantes que o CEO dunha importante compañía de casinos dixo que só hai tres formas de despedimento dos seus empregados da súa compañía: por roubo, por acoso sexual ou por realizar un experimento sen un grupo de control (Schrage 2011) .
O estudo de Restivo e van de Rijt ilustra os catro ingredientes principais dun experimento: reclutamiento, aleatorización, intervención e resultados. Xuntos, estes catro ingredientes permiten aos científicos ir máis alá das correlacións e medir o efecto causal dos tratamentos. En concreto, a aleatorización fai que as persoas nos grupos de tratamento e control sexan similares. Isto é importante porque significa que calquera diferenza nos resultados entre os dous grupos pode atribuírse ao tratamento e non a un confundor.
Ademais de ser unha boa ilustración da mecánica de experimentos, o estudo de Restivo e van de Rijt tamén mostra que a loxística dos experimentos dixitais pode ser completamente diferente dos experimentos analóxicos. No experimento de Restivo e van de Rijt, era fácil darlle a alguén, e era fácil rastrexar o resultado -número de edicións- durante un longo período de tempo (porque a historia de edición rexistrárase automaticamente pola Wikipedia). Esta capacidade de entregar tratamentos e medir os resultados sen custo é cualitativamente diferente aos experimentos no pasado. Aínda que este experimento conlleva a 200 persoas, podería haberse executado con 2.000 ou ata 20.000 persoas. A principal cousa que impedía aos investigadores ampliar o seu experimento por un factor de 100 non era custo; era ética. É dicir, Restivo e van de Rijt non querían dar aos editores inmerecibles, e non querían que o seu experimento (Restivo and Rijt 2012, 2014) a comunidade Wikipedia (Restivo and Rijt 2012, 2014) . Vou volver a algunhas das consideracións éticas suscitadas polos experimentos máis adiante neste capítulo e no capítulo 6.
En conclusión, o experimento de Restivo e van de Rijt mostra claramente que aínda que a lóxica básica da experimentación non cambiou, a logística dos experimentos en idade dixital pode ser dramaticamente diferente. A continuación, para illar máis claramente as oportunidades creadas por estes cambios, compararei os experimentos que os investigadores poden facer agora cos tipos de experimentos que se fixeron no pasado.
