4.4 Més enllà d'experiments senzills
Anem a passar més enllà d'experiments senzills. Tres conceptes són útils per a experiments rics: validesa, l'heterogeneïtat dels efectes del tractament, i el mecanisme.
Els investigadors que són nous experiments sovint se centren en una qüestió molt específica i restringida: Té aquest tractament "treball"? Per exemple, fa una trucada telefònica d'un voluntari animar algú a votar? Com canviar un botó de pàgina web del blau a l'augment de la taxa de clics verd? Malauradament, frases soltes sobre el que "funciona" enfosqueix el fet que els experiments es van centrar estrictament en realitat no et diuen si un tractament "treballa" en un sentit general. Més aviat, molt centrats experiments respondre a una pregunta molt més específic: quin és l'efecte mitjà d'aquest tractament específic amb aquesta aplicació específica per a aquesta població de participants en aquest moment? Vaig a trucar als experiments que es centren en aquesta estreta qüestió experiments senzills.
experiments senzills poden proporcionar informació valuosa, però deixen de respondre a moltes preguntes que són importants i interessants, com ara: ¿hi ha algunes persones per a les quals el tractament va tenir un efecte més o menys?; Hi ha algun altre tractament que seria més eficaç?; i com aquest experiment es relacionen amb les teories socials més amplis?
Per tal de mostrar el valor d'anar més enllà de simples experiments, considerarem una de les meves favorites experiments de camp analògiques, un estudi realitzat per P. Wesley Schultz i els seus col·legues sobre la relació entre les normes socials i el consum d'energia (Schultz et al. 2007) . Schultz i els seus col·legues per penjar a portes penjades a 300 llars a San Marcos, Califòrnia, i aquestes penjar a portes lliuren diferents missatges dissenyats per fomentar l'estalvi energètic. Llavors, Schultz i els seus col·legues van mesurar l'efecte d'aquests missatges en el consum d'electricitat, tant després d'una setmana i tres setmanes; vegeu la figura 4.3 per a una descripció més detallada del disseny experimental.
Figura 4.3: Esquema del disseny de Schultz et al. (2007) . L'experiment de camp relacionada visitant a uns 300 llars a San Marcos, Califòrnia cinc vegades al llarg d'un període de vuit setmanes. A cada visita els investigadors van prendre manualment una lectura a partir de la casa central de mesura. En dues de les visites dels investigadors van col·locar per penjar a portes de la casa de proporcionar alguna informació sobre el seu consum d'energia. La pregunta d'investigació era com el contingut d'aquests missatges impactaria l'ús d'energia.
L'experiment va tenir dues condicions. A la primera condició, les llars van rebre consells sobre l'estalvi d'energia en general (per exemple, fer servir ventiladors en lloc d'aire condicionat) i informació sobre l'ús d'energia de la seva llar en comparació amb la mitjana del consum d'energia en el seu veïnat. Schultz i els seus col·legues van cridar a aquest la condició normativa descriptiva causa de que la informació sobre l'ús d'energia en el seu veïnat proporciona informació sobre el comportament típic (és a dir, una norma descriptiva). Quan Schultz i els seus col·legues van estudiar l'ús de l'energia resultant en aquest grup, el tractament va semblar tenir cap efecte, ja sigui en el curt termini o llarg termini; en altres paraules, no sembla que el "treball" (Figura 4.4) el tractament.
Però, afortunadament, Schultz et al. (2007) no es van establir per a aquesta anàlisi simplista. Abans que comencés l'experiment van raonar que els grans consumidors d'electricitat-persones per sobre de la mitjana-podrien reduir el seu consum, i que els usuaris de llum de l'electricitat-persones per sota de la mitjana-realitat podria incrementar el seu consum. Quan van examinar les dades, això és exactament el que van trobar (Figura 4.4). Per tant, el que semblava ser un tractament que estava tenint cap efecte era en realitat un tractament que va tenir dos efectes contraposats. Els investigadors van cridar a aquest augment contraproduent entre els usuaris de llum un efecte bumerang.
Figura 4.4: Resultats de Schultz et al. (2007) . El primer panell mostra que el tractament norma descriptiva té un efecte de tractament mitjà estimat zero. No obstant això, el segon panell mostra que aquest efecte mitjà del tractament es compon realment de dos efectes de compensació. Per als grans consumidors, el tractament va reduir l'ús, però per als usuaris poc freqüents, el tractament va augmentar el seu ús. Finalment, el tercer panell mostra que el segon tractament, que utilitza normes descriptives i judicials, tenia més o menys el mateix efecte en els grans consumidors, però mitiga l'efecte bumerang en usuaris de llum.
A més, Schultz i els seus col·legues preveuen aquesta possibilitat, i en la segona condició que van desplegar un tractament lleugerament diferent, un dissenyat expressament per eliminar l'efecte bumerang. Les llars de la segona condició van rebre els mateixos consells d'estalvi d'energia de tractament general exactes i la informació sobre l'ús d'energia de la seva llar en comparació amb el del seu barri, amb una petita addició: per a les persones amb un consum per sota de la mitjana, els investigadors van afegir un :) i per les persones amb consum superior a la mitjana van afegir un :(. Aquests emoticones van ser dissenyats per desencadenar el que els investigadors denominen normes de cessació. normes per mandat judicial es refereixen a la percepció del que s'aprova comunament (i rebutjat) mentre que les normes descriptives es refereixen a la percepció del que es fa habitualment (Reno, Cialdini, and Kallgren 1993) .
Mitjançant l'addició d'aquest petit emoticon, els investigadors van reduir dràsticament l'efecte bumerang (Figura 4.4). D'aquesta manera, pel que és un simple selecció d'un canvi que va ser motivat per una teoria abstracta social, psicològica (Cialdini, Kallgren, and Reno 1991) -els investigadors van ser capaços de convertir un programa d'un que no sembla funcionar en un que treballat, i, al mateix temps, que van ser capaços de contribuir a la comprensió general de com les normes socials afecten el comportament humà.
En aquest punt, però, és possible que explica que és una cosa una mica diferent en aquest experiment. En particular, l'experiment de Schultz i els seus col·legues en realitat no té un grup de control de la mateixa manera que els experiments controlats aleatoris fan. La comparació entre aquest disseny i el disseny de Restivo i van de Rijt il·lustra les diferències entre dos dissenys principals utilitzats pels investigadors. En inter-subjectes dissenys, com ara Restivo i van de Rijt, hi ha un grup de tractament i un grup control, i en l'intra-subjectes dissenya el comportament dels participants es compara abans i després del tractament (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . En un experiment en un mateix subjecte és com si cada participant actua com el seu propi grup de control. La força d'inter-subjectes dissenys és que proporciona protecció davant factors de confusió (com he descrit anteriorment), i la força d'experiments intra-subjectes s'incrementa la precisió en les estimacions. Quan cada participant actua com el seu propi control, la variació entre el participant és eliminat (vegeu l'apèndix tècnic). Presagiar una que vindrà després, quan ofereixo consells sobre el disseny d'experiments digitals, hi ha un disseny final, anomenat un disseny mixt, que combina la millora de la precisió dels dissenys intra-subjectes i la protecció contra la confusió dels dissenys inter-subjectes.
Figura 4.5: Tres dissenys experimentals. Estàndard aleatoritzats controlats experiments utilitzen dissenys entre subjectes. Un exemple d'un disseny entre subjectes és Restivo i de van de Rijt (2012) experiment sobre barnstars i contribucions a Wikipedia: investigadors participants en grups de tractament i control van dividir a l'atzar, van donar als participants en el grup de tractament amb una estrella de graner, i es comparen els resultats per als dos grups. Un segon tipus de disseny és un disseny intra-subjectes. Els dos experiments en Schultz i del col·lega (2007) estudi sobre les normes socials i l'ús d'energia il·lustren un disseny dins dels subjectes: els investigadors van comparar el consum d'electricitat dels participants abans i després de rebre el tractament. Dins dels subjectes dissenys ofereixen una major precisió estadística mitjançant l'eliminació de variància entre subjectes (vegeu l'apèndix tècnic), però que estan oberts a possibles factors de confusió (per exemple, canvis en el temps entre el període de pretractament i tractament) (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . Dins dels subjectes dissenys són també mesures repetides ocasions es coneix com dissenys. Finalment, els dissenys mixtes combinen la millora de la precisió dels dissenys dins dels subjectes i la protecció contra la confusió dels dissenys inter-subjectes. En un disseny mixt, un investigador compara el canvi en els resultats per a les persones en els grups de tractament i control. Quan els investigadors ja tenen informació prèvia al tractament, com és el cas en molts experiments digitals, dissenys mixtos són preferibles als dissenys inter-subjectes, a causa de augments en la precisió (vegeu l'apèndix tècnic).
En general, el disseny i els resultats de Schultz et al. (2007) mostren el valor d'anar més enllà d'experiments senzills. Afortunadament, vostè no necessita ser un geni per crear experiments d'aquest tipus. Els científics socials han desenvolupat tres conceptes que li guiarà cap a experiments creatius més riques i més: 1) la validesa, 2) l'heterogeneïtat dels efectes del tractament, i 3 mecanismes). És a dir, si vostè té aquestes tres idees en ment mentre està dissenyant l'experiment, es crearà de forma natural experiments més interessants i útils. Per tal d'il·lustrar aquests tres conceptes en acció, descriuré una sèrie d'experiments de seguiment de camp parcialment digitals que van construir en el disseny elegant i resultats interessants en Schultz et al. (2007) . Com es veurà, a través del disseny més acurat, implementació, anàlisi i interpretació, vostè també pot anar més enllà d'experiments senzills.
