4.3 Dues dimensions d'experiments: laboratori de camp i analògic-digitals
Els experiments de laboratori ofereixen un control, els experiments de camp ofereixen realisme, i experiments de camp combinen digitals de control i realisme a escala.
Els experiments vénen en moltes formes i mides diferents. Però, malgrat aquestes diferències, els investigadors han trobat útil organitzar experiments al llarg d'un continu entre els experiments de laboratori i experiments de camp. Ara, però, els investigadors haurien també organitzar experiments al llarg d'un continu entre els experiments analògics i digitals experiments. Aquest espai de disseny en dues dimensions l'ajudarà a entendre les fortaleses i debilitats dels diferents enfocaments i suggerir àrees de major oportunitat (Figura 4.1).
Figura 4.1: Esquema d'espai de disseny d'experiments. En el passat, els experiments van variar al llarg de la dimensió del camp de laboratori. Ara, també varien en la dimensió d'analògic a digital. Al meu entendre, la zona de major oportunitat està experiments de camp digitals.
En el passat, la principal forma que els investigadors van organitzar experiments va ser al llarg de la dimensió del camp de laboratori. La majoria dels experiments en les ciències socials són experiments de laboratori on els estudiants universitaris realitzen tasques estranyes en un laboratori per al crèdit del curs. Aquest tipus d'experiment domina la investigació en psicologia, ja que permet als investigadors per crear tractaments molt específics dissenyats per posar a prova les teories molt específiques sobre el comportament social. Per certs problemes, però, alguna cosa se sent una mica estrany a treure conclusions fermes sobre el comportament humà a partir de tals persones inusuals que realitzen aquest tipus de tasques inusuals en un entorn tan inusual. Aquestes preocupacions han portat a un moviment cap a experiments de camp. Els experiments de camp combinen la forta disseny d'experiments controlats aleatoris amb grups més representatius dels participants, la realització de les tasques més comunes, en els entorns més naturals.
Encara que algunes persones pensen d'experiments de laboratori i de camp com els mètodes de la competència, el millor és pensar en ells com a mètodes complementaris amb diferents fortaleses i debilitats. Per exemple, Correll, Benard, and Paik (2007) utilitza tant un experiment de laboratori i un experiment de camp en un intent de trobar les fonts de la "penalització de la maternitat". Als Estats Units, les mares guanyen menys diners que les dones sense fills, fins i tot quan que comparen dones amb habilitats similars que treballen en llocs de treball similars. Hi ha moltes explicacions possibles per a aquest model, i una és que els ocupadors estan esbiaixades en contra de les mares. (Curiosament, el contrari sembla ser cert per als pares: tendeixen a guanyar més que els homes sense fills comparables). Per tal d'avaluar el possible biaix en contra de les mares, Correll i col·legues van realitzar dos experiments: un al laboratori i un altre al camp.
En primer lloc, en un experiment de laboratori Correll i els seus col·legues van dir els participants, que eren estudiants universitaris, que una companyia de comunicacions de posada en marxa amb seu a Califòrnia estava duent a terme una recerca de feina per a una persona per dirigir el seu nou departament de màrqueting de la Costa Est. Els estudiants se'ls va dir que la companyia volia la seva ajuda en el procés de contractació i se'ls va demanar revisar fulls de vida de diversos possibles candidats i per avaluar els candidats en una sèrie de dimensions tals com la intel·ligència, la calor, i el compromís de treballar. A més, es va demanar als estudiants si recomanarien la contractació de la demandant i el recomanaria com un salari inicial. Sense el coneixement dels estudiants, però, les fulles de vida van ser construïts específicament per a ser similar excepte per una cosa: algunes de les fulles de vida senyalitza la maternitat (fent una llista de participació en una associació de pares i professors) i altres no. Correll va trobar que els estudiants eren menys propensos a recomanar la contractació de les mares i els ofereixen menys salari inicial. A més, a través d'una anàlisi estadística dels dos les votacions i les decisions relacionades amb el subministrament de mà, Correll va trobar que els desavantatges de les mares s'expliquen en gran mesura pel fet que les mares van ser classificades sota en termes de competència i compromís. En altres paraules, Correll argumenta que aquests trets són el mecanisme a través del qual les mares estan en desavantatge. Per tant, aquest experiment de laboratori va permetre Correll i col·legues per mesurar un efecte causal i proporcionar una possible explicació per a l'efecte.
Per descomptat, un podria ser escèptics sobre treure conclusions sobre la totalitat del mercat laboral dels Estats Units sobre la base de les decisions d'uns pocs centenars d'estudiants que probablement mai han tingut un treball a temps complet, i molt menys contractats persones. Per tant, Correll i els seus col·legues també van dur a terme un experiment de camp complementària. Els investigadors van respondre a centenars d'ofertes de treball anunciades mitjançant l'enviament de cartes de presentació i fulles de vida falsos. De manera similar als materials que es mostren als estudiants universitaris, alguns fulls de vida senyalitzen la maternitat i alguns no ho van fer. Correll i els seus col·legues van trobar que les mares eren menys propensos a ser cridat de nou per a les entrevistes que les dones sense fills igualment qualificats. En altres paraules, els ocupadors real de presa de decisions de conseqüències en un entorn natural es van comportar molt similar als estudiants universitaris. Es prenen decisions similars per la mateixa raó? Per desgràcia, no sabem. Els investigadors no van poder fer els ocupadors per avaluar els candidats o explicar les seves decisions.
Aquest parell d'experiments revela molt sobre els experiments de laboratori i de camp en general. Els experiments de laboratori ofereixen als investigadors prop d'un control total del medi ambient en el qual els participants estan prenent decisions. Així, per exemple, en l'experiment de laboratori, Correll va ser capaç d'assegurar que tots els fulls de vida es van llegir en un entorn tranquil; en l'experiment de camp, algunes de les fulles de vida podria ni tan sols han estat llegits. A més, atès que els participants en l'entorn de laboratori saben que estan sent estudiats, els investigadors són sovint capaços de recollir dades addicionals que poden ajudar a entendre per què els participants estan fent les seves decisions. Per exemple, Correll va demanar als participants en l'experiment de laboratori per avaluar els candidats de diferents dimensions. Aquest tipus de dades de procés podria ajudar els investigadors a entendre els mecanismes subjacents a les diferències en com els participants tracten les fulles de vida.
D'altra banda, aquestes mateixes característiques exactes que he descrit com avantatges són també de vegades es consideren desavantatges. Els investigadors que prefereixen els experiments de camp argumenten que els participants en els experiments de laboratori podrien actuar de manera molt diferent quan estan sent observats de prop. Per exemple, al laboratori participants de l'experiment podrien haver endevinat l'objectiu de la investigació i alterat el seu comportament de manera que no apareixen esbiaixats. A més, els investigadors que prefereixen els experiments de camp podria argumentar que les petites diferències en fulls de vida només poden sobresortir en un entorn de laboratori molt net, estèril, i per tant l'experiment de laboratori es sobre-estimar l'efecte de la maternitat en les decisions de contractació de béns. Finalment, molts defensors dels experiments de camp critiquen experiments de laboratori dependència dels participants ESTRANY: principalment estudiants d'occidental, educat, industrialitzat, ric i països Democràtica (Henrich, Heine, and Norenzayan 2010) . Els experiments realitzats per Correll et al (2007) il·lustren els dos extrems del continu camp de laboratori. Entre aquests dos extrems hi ha una gran varietat de dissenys híbrids que inclouen enfocaments com ara portar no estudiants en un laboratori o d'entrar al camp però segueix tenint els participants realitzen una tasca inusual.
A més de la dimensió del camp de laboratori que ha existit en el passat, l'era digital significa que els investigadors ara tenen una segona dimensió principal per la qual els experiments poden variar: analògic-digital. Igual que hi ha experiments purs de laboratori, experiments de camp purs, i una varietat d'híbrids en el medi, hi ha experiments purs analògiques, digitals experiments purs, i una varietat d'híbrids. És difícil oferir una definició formal d'aquesta dimensió, però una definició de treball útil és que els experiments són totalment digitals experiments que fan ús de la infraestructura digital per reclutar els participants, de forma aleatòria, aplicar tractaments i mesurar els resultats. Per exemple, Restivo i van de Rijt de (2012) estudi de barnstars i Wikipedia va ser un experiment completament digital, ja que utilitza sistemes digitals per als quatre d'aquests passos. De la mateixa manera totalment experiments analògics són experiments que no fan ús de la infraestructura digital per qualsevol d'aquests quatre passos. Molts dels experiments clàssics de la psicologia són experiments analògics. Entre aquests dos extrems hi ha parcialment experiments digitals que utilitzen una combinació de sistemes analògics i digitals per als quatre passos.
Fonamentalment, les oportunitats per executar experiments digitals no són només en línia. Els investigadors poden realitzar experiments parcialment digitals mitjançant l'ús de dispositius digitals en el món físic per tal d'oferir tractaments o mesurar els resultats. Per exemple, els investigadors podrien utilitzar els telèfons intel·ligents per oferir tractaments o sensors en l'entorn construït per mesurar els resultats. De fet, com veurem més endavant en aquest capítol, els investigadors han utilitzat i als mesuradors de potència a casa per mesurar els resultats dels experiments sobre les normes socials i el consum d'energia que implica 8,5 milions de llars (Allcott 2015) . Atès que els dispositius digitals integrat cada vegada més en la vida de les persones i els sensors s'integrin en l'entorn construït, aquestes oportunitats per realitzar experiments parcialment digitals en el món físic augmentarà dramàticament. En altres paraules, els experiments digitals no són només experiments en línia.
Els sistemes digitals creen noves possibilitats per a experiments a tot arreu al llarg del continu de camp de laboratori. En experiments de laboratori pures, per exemple, els investigadors poden utilitzar els sistemes digitals per al mesurament més fina del comportament dels participants; un exemple d'aquest tipus d'equips és una millor mesura de seguiment ocular que proporciona mesures precises i contínues d'ubicació mirada. L'era digital també crea la possibilitat de realitzar experiments en laboratori com en línia. Per exemple, els investigadors han adoptat ràpidament Amazon Mechanical Turk (MTurk) per reclutar participants per als experiments en línia (Figura 4.2). MTurk coincideix amb "ocupadors" que tenen tasques que han de completar amb "treballadors" que desitgin completar les tasques per els diners. A diferència dels mercats de treball tradicionals, però, les tasques que implica en general només requereixen uns minuts per completar i tota la interacció entre l'ocupador i el treballador és virtual. A causa que imita MTurk aspectes dels experiments de laboratori tradicionals de pagament de les persones per realitzar les tasques que no anaven a fer per lliure que s'adapta de forma natural per a certs tipus d'experiments. Essencialment, MTurk ha creat la infraestructura per a la gestió d'un grup de participants de la contractació i el pagament de les persones i els investigadors han aprofitat d'aquesta infraestructura per aprofitar la piscina sempre disponible dels participants.
Figura 4.2: articles publicats a partir de dades d'Amazon Mechanical Turk (MTurk) (Bohannon 2016) . MTurk i altres mercats de treball en línia ofereixen als investigadors una manera convenient per reclutar participants per als experiments.
experiments digitals creen encara més possibilitats per a experiments de camp similars. experiments de camp digitals poden oferir dades de control i de procés ajustats per comprendre els mecanismes possibles (com experiments de laboratori) i major diversitat de participants que prenen decisions reals en un entorn natural (com els experiments de camp). A més d'aquesta combinació de bones característiques d'experiments anteriors, els experiments de camp digitals també ofereixen tres oportunitats que eren difícils en els experiments de laboratori i de camp analògiques.
En primer lloc, mentre que la majoria dels experiments de laboratori i de camp analògics tenen centenars de participants, els experiments de camp digitals poden tenir milions de participants. Aquest canvi d'escala es deu al fet que alguns experiments digitals poden produir dades a un cost variable de zero. És a dir, una vegada que els investigadors han creat una infraestructura experimental, augmentant el nombre de participants normalment no augmenta el cost. L'augment del nombre de participants en un factor de 100 o més no és només un canvi quantitatiu, és un canvi qualitatiu, ja que permet als investigadors a aprendre coses diferents d'experiments (per exemple, l'heterogeneïtat dels efectes del tractament) i executar completament diferents dissenys experimentals ( per exemple, experiments de grups grans). Aquest punt és tan important, vaig a tornar-hi cap al final del capítol, quan ofereixo consells sobre la creació d'experiments digitals.
En segon lloc, mentre que la majoria dels experiments de laboratori i de camp analògiques tracten els participants com widgets indistingibles, els experiments de camp digitals solen utilitzar la informació de fons sobre els participants en les etapes de disseny i anàlisi de la investigació. Aquesta informació de fons, que es diu informació prèvia al tractament, sovint està disponible en experiments digitals perquè tenen lloc en ambients totalment mesurats. Per exemple, un investigador a Facebook té molta més informació de pretractament d'un investigador que dissenya un experiment de laboratori estàndard amb estudiants universitaris. Aquesta informació pretractament permet als investigadors a moure més enllà de tractar els participants components tal com indistingibles. Més específicament, la informació pretractament permet dissenys més eficients-com ara el bloqueig experimentals (Higgins, Sävje, and Sekhon 2016) i el reclutament selectiu dels participants (Eckles, Kizilcec, and Bakshy 2016) -i-anàlisi més profunda, com ara l'estimació de l'heterogeneïtat dels efectes del tractament (Athey and Imbens 2016a) i l'ajust de covariància per a la millora de la precisió (Bloniarz et al. 2016) .
En tercer lloc, mentre que molts experiments de laboratori i de camp analògica ofereixen tractaments i mesurar els resultats en una quantitat relativament comprimit de temps, alguns experiments de camp digitals impliquen tractaments que poden ser lliurats en el temps i els efectes també es poden mesurar amb el temps. Per exemple, l'experiment Restivo i de van de Rijt té el resultat mesurat al dia durant 90 dies, i un dels experiments que et dirà més endavant en el capítol (Ferraro, Miranda, and Price 2011) rastreja els resultats de més de 3 anys en bàsicament, no hi ha cost. són les dades més comú aquestes tres oportunitats de mida, d'informació prèvia al tractament, i el tractament longitudinal i de resultats quan els experiments s'executen a la part superior del sempre-en sistemes de mesurament (vegeu el capítol 2 per a més informació sobre sempre-en els sistemes de mesurament).
Mentre que els experiments de camp digitals ofereixen moltes possibilitats, també comparteixen algunes debilitats tant amb laboratori analògic i experiments de camp. Per exemple, els experiments no es poden utilitzar per estudiar el passat, i només poden estimar els efectes dels tractaments que poden ser manipulats. A més, tot i que els experiments són, sens dubte, útil per orientar la política, l'orientació exacta que poden oferir és una cosa limitada a causa de complicacions com ara la dependència del medi ambient, problemes de compliment i els efectes d'equilibri (Banerjee and Duflo 2009; Deaton 2010) . Finalment, els experiments de camp digitals magnifiquen els problemes ètics creats per experiments de camp. Els defensors dels experiments de camp trompeta seva capacitat d'intervenir discretament i de forma aleatòria en les decisions de conseqüències fetes per milions de persones. Aquestes característiques ofereixen certs avantatges científiques, però també poden fer experiments de camp èticament complexa (pensar-hi com a investigadors tractar a les persones com a "rates de laboratori" en una escala massiva). D'altra banda, a més dels possibles danys als participants, els experiments de camp digitals, per la seva magnitud, poden també plantejar inquietuds sobre la interrupció dels sistemes socials de treball (per exemple, la preocupació per la interrupció del sistema de recompensa Wikipedia si Restivo i van der Rijt van donar massa barnstars) .
