4.2 Cales son as experiencias?

Experimentos controlados e randomizados teñen catro ingredientes principais: contratación de asistentes, randomização do tratamento, a entrega do tratamento, e medida de resultados.

experiencias controladas randomizados poden asumir moitas formas e pódense empregar para estudar moitos tipos de comportamento. Pero, no seu núcleo, experimentos controlados e randomizados teñen catro ingredientes principais: contratación de asistentes, randomização do tratamento, a entrega do tratamento, e medida de resultados. A era dixital non altera a natureza fundamental da experimentación, pero non sexa los máis fácil loxística. Por exemplo, no pasado, podería ser difícil medir o comportamento de millóns de persoas, pero que agora rutineiramente suceder en moitos sistemas dixitais. Investigadores que pode descubrir como aproveitar estas novas oportunidades poderá realizar experimentos que eran imposibles anteriormente.

Para facer isto un pouco todo máis concreto, tanto o que permaneceu o mesmo eo que mudouse imos considerar Michael Restivo e Arnout van de Rijt de (2012) . Os investigadores querían entender o efecto das recompensas pares informais sobre contribucións editoriais para Wikipedia. En particular, eles estudaron os efectos da barnstars, un premio que calquera wikipedista pode dar a calquera outro wikipedista de recoñecer o traballo duro e dilixencia. Restivo e van de Rijt deu barnstars a 100 Wikipedians merecedores. Entón, Restivo e van de Rijt ruta contribucións posteriores dos beneficiarios en Wikipedia nos próximos 90 días. Para a súa sorpresa, a xente a quen atribuídos barnstars tenden a facer menos edicións despois de recibir un. Noutras palabras, os barnstars parecía estar desencorajando ao contrario de fomentar a achega.

Afortunadamente, Restivo e van de Rijt non estaban realizando unha experiencia "perturbar e observar"; estaban correndo un experimento controlado randomizado. Así, ademais de elixir 100 maiores contribuíntes para recibir unha barnstar, tamén escolleu 100 principais contribuíntes para os que non dan unha barnstar. Estes cen serviron como grupo de control, e que ten un barnstar e que non foi determinada aleatoriamente. Cando Restivo e van de Rijt mirou para o grupo de control que descubriron que tiña unha caída acentuada nas contribucións tamén. Finalmente, cando os investigadores compararon as persoas no grupo de tratamento (ou sexa, recibiu barnstars) e persoas no grupo control, descubriron que o barnstar causada editores para contribuír con preto de 60% máis. Pero este aumento da contribución estaba ocorrendo como parte dun descenso xeral en ambos os grupos.

Como este estudo ilustra, o grupo de control en experimentos é crítica de forma que é un pouco paradoxal. Co fin de medir con precisión o efecto barnstars, Restivo e van der Rijt necesaria para observar as persoas que non recibiron barnstars. Moitas veces os investigadores que non está familiarizado cos experimentos non conseguen apreciar o incrible valor do grupo de control. Se Restivo e van de Rijt non tiña un grupo de control, terían atraído exactamente a conclusión errónea. Grupos de control son tan importantes que o CEO dunha gran empresa Casino dixo que hai só tres formas que os empregados poden ser disparados da súa compañía: roubo, acoso sexual, e executando un experimento sen un grupo de control (Schrage 2011) .

O estudo de Restivo e van de Rijt ilustra as catro principais ingredientes dun experimento: contratación, aleatorização, intervención e resultados. Xuntos, estes catro ingredientes permitirá aos científicos para ir máis alá correlacións e medir o efecto causal de tratamentos. En concreto, randomização significa que cando comparar os resultados para os grupos de tratamento e control que obter unha estimación do efecto causal de que a intervención para ese conxunto de participantes. Noutras palabras, con un experimento controlado randomizado pode que seguro que os diferenzas nos resultados son causados ​​pola intervención e non un factor de confusión, unha reivindicación que fago que o Apéndice Técnico usando a estrutura de potenciais resultados.

Ademais de ser unha ilustración agradable de mecánica de experiencias, o estudo de Restivo e van de Rijt tamén mostra que a loxística de experiencias dixitais poden ser completamente diferente a partir de experimentos analóxicos. En Restivo e experiencia de van de Rijt, foi fácil para dar o barnstar para calquera persoa no mundo e foi fácil de controlar o resultado-número de edicións-durante un período prolongado de tempo (porque a historia de edición automaticamente gardada pola Wikipedia). Esta capacidade de ofrecer tratamentos e medir os resultados, sen ningún custo é cualitativamente diferente de experiencias no pasado. Aínda que este experimento implica 200 persoas, podería ser executado con 2.000 ou 20.000 persoas. A principal cousa que impide os investigadores de ampliación do seu experimento por un factor de 100 Non se custa, era ética. É dicir, Restivo e van de Rijt non quería dar barnstars aos editores indignos e eles non queren que a súa experiencia para perturbar a comunidade Wikipedia (Restivo and Rijt 2012; Restivo and Rijt 2014) . Así, aínda que o experimento de Restivo e van de Rijt é relativamente sinxelo, amosa claramente que algunhas cousas sobre as experiencias teñen permaneceu o mesmo e algúns cambiaron. En particular, a lóxica de base de experimentación é a mesma, pero a loxística cambiaron. A continuación, a fin de illar máis claramente as oportunidades creadas por este cambio, eu vou comparar as experiencias que os investigadores poden facer agora para os tipos de experiencias que foron feitos no pasado.