4.4 Indo alén experimentos simples
Imos ir alén experimentos simples. Tres conceptos son útiles para experiencias ricas: validez, a heteroxeneidade dos efectos do tratamento e mecanismo.
Investigadores que son novos para experimentos miúdo o foco sobre unha cuestión moi específica, estreito: fai este tratamento "traballo"? Por exemplo, fai unha chamada dun voluntario fomentar a alguén a votar? Será que cambiar un botón web do azul ao click-through rate aumento verde? Desafortunadamente, fraseado solta sobre o que "funciona" obscurece o feito de que os experimentos con foco limitado realmente non dicir se un tratamento "funciona" nun sentido xeral. Pola contra, estreitamente focado experimentos responder a unha pregunta máis específico: o que é o efecto medio do tratamento específico con esta aplicación específica para esta poboación de participantes neste momento? Vou chamar a experimentos que inciden sobre esta estreita pregunta experiencias simples.
experimentos simples pode fornecer información valiosa, pero non poden responder a moitas preguntas que son importantes e interesantes, tales como: hai algunhas persoas para quen o tratamento tivo un efecto maior ou menor?; hai outro tratamento que sería máis eficaz?; e como é que esta experiencia se relacionan coas teorías sociais máis amplas?
Co fin de dar a coñecer o valor de superar experiencias simples, imos considerar unha das miñas experiencias de campo analóxicos favoritos, un estudo realizado por P. Wesley Schultz e compañeiros sobre a relación entre normas sociais e do consumo de enerxía (Schultz et al. 2007) . Schultz e compañeiros colgado doorhangers en 300 domicilios en San Marcos, California, e estes doorhangers entregados diferentes mensaxes destinadas a fomentar a conservación de enerxía. Logo Schultz e colaboradores mediron o efecto destas mensaxes sobre o consumo de enerxía eléctrica, tanto tras unha semana e tres semanas; ver Figura 4.3 para unha descrición máis detallada do deseño experimental.
Figura 4.3: Esquema do deseño de Schultz et al. (2007) . O experimento de campo implica a visita de preto de 300 familias en San Marcos, California cinco veces ao longo dun período de oito semanas. En cada visita os investigadores levaron a man unha lectura do contador de enerxía da casa. En dúas das visitas aos investigadores puxeron doorhangers na casa dando unha información sobre o seu consumo de enerxía. A cuestión de investigación foi a forma como o contido destas mensaxes afectaría o uso de enerxía.
O experimento tivo dúas condicións. Na primeira condición, as familias recibiron consellos de aforro de enerxía xeral (por exemplo, o uso de ventiladores en vez de aire acondicionado) e información sobre o uso de enerxía da súa casa en comparación coa media do consumo de enerxía na súa veciñanza. Schultz e compañeiros esta chamada de condición normativa descritiva porque a información sobre o uso de enerxía na súa veciñanza proporcionou información sobre o comportamento típico (ou sexa, unha norma descritiva). Cando Schultz e compañeiros analizaron o uso de enerxía, resultando neste grupo, o tratamento parecía ter ningún efecto, sexa a curto prazo ou a longo prazo; noutras palabras, o tratamento non parecen "traballo" (Figura 4.4).
Pero, por sorte, Schultz et al. (2007) non se contentou con esta análise simplista. Antes do inicio da experiencia que argumentou que os usuarios pesados de electricidade da rede de persoas por riba da media-pode reducir o seu consumo, e que os usuarios lixeiros de electricidade da rede de persoas por baixo da media-se realmente aumentar o seu consumo. Cando analizaron os datos, iso é o que eles atoparon (Figura 4.4). Así, o que parecía ser un tratamento que estaba tendo ningún efecto foi realmente un tratamento que tivo dous efectos compensatorios. Os investigadores chamaron este aumento contraataque produtivo entre os usuarios luz un efecto boomerang.
Figura 4.4: Resultados de Schultz et al. (2007) . O primeiro panel mostra que o tratamento estándar descritiva ten un efecto de tratamento estimada media cero. Con todo, o segundo panel mostra que este efecto de tratamento medio é de feito composto por dous efectos compensatorios. Para usuarios pesados, o tratamento diminuíu uso, pero para usuarios leves, o tratamento aumento do uso. Finalmente, o terceiro panel mostra que o segundo tratamento, que utilizou normas explicativas e de injunção, tiña aproximadamente o mesmo efecto sobre os usuarios pesados, pero atenuado o efecto boomerang en usuarios de luz.
Ademais, Schultz e compañeiros anticipado esa posibilidade, e na segunda condición que implantou un tratamento un pouco diferente, un explicitamente deseñado para eliminar o efecto boomerang. Os fogares na segunda condición recibiu exactamente as mesmas consellos de aforro de enerxía de tratamento xeral e información sobre uso de enerxía da súa casa en relación ao seu barrio, cunha pequena adición: para as persoas con consumo baixo da media, os investigadores engadiron a :) e para persoas con consumo por riba da media eles engadiron un :(. Estes emoticons foron deseñados para desencadear o que os investigadores chamaron normas inibitórias. normas mandados de referirse a percepción do que é comunmente aprobado (e reprobado), mentres que as normas descritivas refírense a percepción do que é comunmente feito (Reno, Cialdini, and Kallgren 1993) .
Engadindo esta pequena emoticon, os investigadores reduciron drasticamente o efecto boomerang (Figura 4.4). Así, facendo esta unha simple cambio un cambio que foi motivado por unha teoría abstracta social, psicolóxica (Cialdini, Kallgren, and Reno 1991) -os investigadores foron capaces de transformar un programa dun que non parecen funcionar en un que traballou, e, á vez, eles foron capaces de contribuír á comprensión xeral de como as normas sociais afectan o comportamento humano.
Neste punto, con todo, pode notar que algo é algo diferente sobre esta experiencia. En particular, o experimento de Schultz e compañeiros realmente non ten un grupo de control do mesmo xeito que randomizado controlado experimentos facer. A comparación entre este proxecto e deseño de Restivo e van de Rijt ilustra as diferenzas entre dous debuxos principais utilizados polos investigadores. No entre-asuntos proxectos, tales como Restivo e van de Rijt, hai un grupo de tratamento e un grupo de control e, en intra-suxeitos proxecta o comportamento dos participantes é comparada antes e despois do tratamento (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Nun experimento intra-suxeito, é como se cada participante actúa como o seu propio grupo control. A forza de entre-suxeitos deseños é que ofrece protección contra factores de confusión (como descrito anteriormente), ea forza de experiencias intra-suxeitos é maior precisión nas estimacións. Cando cada participante actúa como o seu propio control, variación entre participante é eliminado (ver apéndice técnico). Prenunciar un que virá máis tarde cando ofrecer consellos sobre a creación de experiencias dixitais, hai un proxecto final, chamado un proxecto mixto, que combina a precisión mellorada de modelos intra-suxeitos e á protección contra a confusión de modelos entre suxeitos.
Figura 4.5: Tres debuxos experimentais. Estándar experimentos aleatorios controlados usar entre suxeitos deseños. Un exemplo dun proxecto entre suxeitos é Restivo e da van de Rijt (2012) experimento sobre barnstars e contribucións á Wikipedia: investigadores participantes en grupos de tratamento e control divididos aleatoriamente, deu aos participantes no grupo de tratamento dunha barnstar, e compararon os resultados para os dous grupos. Un segundo tipo de proxecto é un proxecto intra-suxeitos. Os dous experimentos en Schultz e compañeiro de (2007) estudo sobre as normas sociais e uso de enerxía ilustran un deseño intra-suxeitos: os investigadores compararon o uso de electricidade dos participantes antes e despois de recibir o tratamento. Intra-suxeitos modelos ofrecen unha mellor precisión estatística, eliminando entre varianza tema (ver apéndice técnico), pero eles están abertos a posibles factores de confusión (por exemplo, cambios no tempo entre o período de pretratamento e tratamento) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Intra-suxeitos debuxos tamén son medidas ás veces chamado repetidas debuxos. Finalmente, proxectos mixtos combinar a mellora da precisión dos asuntos dentro-deseños e á protección contra a confusión de modelos entre suxeitos. Nun proxecto mixto, un investigador compara a variación nos resultados para a xente nos grupos de tratamento e control. Cando os investigadores xa teñen información de pretratamento, como é o caso de moitos experimentos dixitais, proxectos mixtos son preferibles a entre-asuntos proxectos por mor beneficios de precisión (ver apéndice técnico).
En xeral, o deseño e os resultados de Schultz et al. (2007) mostran o valor de superar experiencias simples. Afortunadamente, non necesita ser un xenio para crear experiencias como esta. Os científicos sociais desenvolveron tres conceptos que han guía-lo cara a máis rica e experiencias creativas: 1) validez, 2) heteroxeneidade dos efectos do tratamento, e 3) mecanismos. É dicir, se mantiver estas tres ideas presente mentres está designado súa experiencia, por suposto creará experiencias máis interesantes e útiles. Para ilustrar estes tres conceptos en acción, vou describir unha serie de follow-up experimentos de campo parcialmente dixitais que construíron sobre o deseño elegante e resultados animadores en Schultz et al. (2007) . Como verás, a través dun deseño máis coidado, implementación, análise e interpretación, tamén se pode ir máis alá de experiencias simples.
