4.3 Dues dimensions d'experiments: laboratori de camp i analògic-digitals
Els experiments de laboratori ofereixen un control, els experiments de camp ofereixen realisme, i experiments de camp combinen digitals de control i realisme a escala.
Els experiments vénen en moltes formes i mides diferents. En el passat, els investigadors han trobat que és útil organitzar experiments al llarg d'un continu entre experiments de laboratori i experiments de camp . Ara bé, però, els investigadors també han d'organitzar experiments al llarg d'un segon continu entre experiments analògics i experiments digitals . Aquest espai de disseny bidimensional l'ajudarà a comprendre les fortaleses i debilitats dels diferents enfocaments i ressaltar les àrees de major oportunitat (figura 4.1).
Figura 4.1: Esquema de l'espai de disseny per a experiments. En el passat, els experiments van variar al llarg de la dimensió del camp de laboratori. Ara, també varien en la dimensió analògica-digital. Aquest espai de disseny bidimensional està il·lustrat per quatre experiments que descriu en aquest capítol. Al meu entendre, l'àrea de major oportunitat són els experiments en camp digital.
Una dimensió en què es poden organitzar experiments és la dimensió del laboratori. Molts experiments en ciències socials són experiments de laboratori on els estudiants de primer cicle realitzen tasques estranyes en un laboratori per obtenir crèdits de curs. Aquest tipus d'experiència domina la investigació en psicologia, ja que permet als investigadors crear entorns altament controlats per a aïllar i provar amb precisió teories específiques sobre el comportament social. Tanmateix, per a alguns problemes, alguna cosa se sent una mica estrany per extreure conclusions fortes sobre el comportament humà de gent tan inusual que realitza tasques tan inusuals en un entorn tan inusual. Aquestes preocupacions han conduït a un moviment cap als experiments de camp . Els experiments de camp combinen el fort disseny d'experiments de control aleatoris amb grups de participants més representatius que realitzen tasques més habituals en entorns més naturals.
Encara que algunes persones pensen en experiments de laboratori i camp com a mètodes competitius, el millor és pensar-los com a complementaris, amb diferents punts forts i febles. Per exemple, Correll, Benard, and Paik (2007) utilitzar tant un experiment de laboratori com un experiment de camp en un intent de trobar les fonts de la "pena de maternitat". Als Estats Units, les mares guanyen menys diners que les dones sense fills, fins i tot quan comparant dones amb habilitats similars treballant en treballs similars. Hi ha moltes explicacions possibles per a aquest patró, una de les quals és que els empresaris tenen prejudicis contra les mares. (Curiosament, el contrari sembla ser veritable per als pares: tendeixen a guanyar més que homes sense fills comparables). Per avaluar el biaix positiu contra les mares, Correll i col·legues van realitzar dos experiments: un al laboratori i un altre al camp.
Primer, en una prova de laboratori, es va dir als participants, que eren estudiants universitaris, que una empresa estava realitzant una recerca d'ocupació per a una persona per dirigir el seu nou departament de màrqueting de la Costa Est. Es va dir als alumnes que la companyia volia ajudar-los en el procés de contractació, i se'ls va demanar que repassessin currículums de diversos candidats potencials i que valoren els candidats en diverses dimensions, com ara la seva intel·ligència, la seva calidesa i el seu compromís de treballar. A més, es va preguntar als estudiants si recomanarien contractar el sol·licitant i el que recomanarien com a salari inicial. No obstant això, per als estudiants, els currículums van ser construïts específicament per ser similars, excepte una cosa: alguns van assenyalar la maternitat (incloent la participació en una associació de pares i professors) i alguns no. Correll i els seus col · legues van trobar que els estudiants eren menys propensos a recomanar la contractació de les mares i que els oferia un menor salari inicial. A més, a través d'una anàlisi estadística tant de les qualificacions com de les decisions relacionades amb la contractació, Correll i els seus col · legues van trobar que els desavantatges de les mares eren àmpliament explicades pel fet que tenien una qualificació més baixa en termes de competència i compromís. Per tant, aquesta experiència de laboratori va permetre a Correll i als seus col·legues mesurar un efecte causal i proporcionar una possible explicació a aquest efecte.
Per descomptat, un podria ser escèptic sobre treure conclusions sobre tot el mercat de treball dels EUA a partir de les decisions d'uns pocs centenars de graduats que probablement no hagin tingut mai un treball a temps complet, i molt menys contractat per algú. Per tant, Correll i col·legues també van realitzar una experiència de camp complementària. Van respondre a centenars d'obertures publicitàries anunciades amb cartes falses i fulls de vida. De la mateixa manera que els materials que es mostren als estudiants universitaris, alguns currículums van anunciar la maternitat i alguns no ho van fer. Correll i els seus col · legues van trobar que les mares eren menys propenses a rebre respostes per a entrevistes que les dones sense fills qualificats. Dit d'una altra manera, els empresaris reals que prenen decisions conseqüents en un entorn natural es comporten molt com els estudiants de pregrau. Van prendre decisions similars pel mateix motiu? Malauradament, no ho sabem. Els investigadors no van poder demanar als empresaris que valoressin els candidats ni expliquessin les seves decisions.
Aquest parell d'experiments revela molt sobre experiments de laboratori i camp en general. Els experiments de laboratori ofereixen als investigadors gairebé el control total de l'entorn en què els participants prenen decisions. Així, per exemple, a l'experiment de laboratori, Correll i els seus col·legues van poder assegurar-se que tots els currículums es van llegir en un entorn tranquil; en l'experiment de camp, alguns dels currículums encara no han estat llegits. A més, perquè els participants en l'entorn del laboratori saben que s'estan estudiant, sovint els investigadors poden recopilar dades addicionals que poden ajudar a explicar per què els participants prenen les decisions. Per exemple, Correll i els seus col · legues van demanar als participants en l'experiment de laboratori valorar els candidats en diferents dimensions. Aquest tipus de dades de procés podria ajudar els investigadors a comprendre els mecanismes darrere de les diferències en la manera com els participants tracten els currículums.
D'altra banda, aquestes mateixes característiques que acaben de descriure com a avantatges també es consideren desavantatges. Els investigadors que prefereixen experiments en camp argumenten que els participants en experiments de laboratori podrien actuar de manera molt diferent perquè saben que s'estan estudiant. Per exemple, a l'experiment de laboratori, els participants haurien pogut endevinar l'objectiu de la investigació i alterar el seu comportament per no aparèixer parcials. A més, els investigadors que prefereixen experiments en camp poden argumentar que les petites diferències en els currículums només es poden destacar en un entorn de laboratori molt net i estèril i, per tant, l'experiment de laboratori sobreestimarà l'efecte de la maternitat en decisions reals de contractació. Finalment, molts defensors dels experiments sobre camp critiquen la dependència dels experiments de laboratori en els participants de WEIRD: principalment estudiants de països occidentals, educats, industrialitzats, rics i demòcrates (Henrich, Heine, and Norenzayan 2010a) . Els experiments de Correll i col·legues (2007) il·lustren els dos extrems del continu de camp de laboratori. Entre aquests dos extrems també hi ha una varietat de dissenys híbrids, incloent-hi enfocaments com el fet d'acostar als no estudiants a un laboratori o entrar al camp, però encara tenir participants a realitzar una tasca inusual.
A més de la dimensió del camp de laboratori que ha existit en el passat, l'era digital significa que els investigadors ara tenen una segona dimensió principal a la qual els experiments poden variar: analògic-digital. De la mateixa manera que hi ha experiments de laboratori purs, experiments de camp pur i una varietat d'híbrids en el medi, hi ha experiments analògics purs, experiments digitals purs i una varietat d'híbrids. És difícil oferir una definició formal d'aquesta dimensió, però una útil definició de treball és que els experiments totalment digitals són experiments que fan ús de la infraestructura digital per reclutar participants, aleatoritzar, lliurar tractaments i mesurar els resultats. Per exemple, l'estudi de Restivo i van de Rijt (2012) de barnstars i Wikipedia va ser un experiment totalment digital, ja que va utilitzar sistemes digitals per a tots quatre d'aquests passos. De la mateixa manera, els experiments totalment analògics no fan ús de la infraestructura digital per a cap d'aquests quatre passos. Molts dels experiments clàssics en psicologia són experiments totalment analògics. Entre aquests dos extrems, hi ha experiments parcialment digitals que utilitzen una combinació de sistemes analògics i digitals.
Quan algunes persones pensen en experiments digitals, immediatament pensen en experiments en línia. Això és lamentable perquè les oportunitats d'executar experiments digitals no són només en línia. Els investigadors poden realitzar experiments parcialment digitals utilitzant dispositius digitals en el món físic per tal d'oferir tractaments o mesurar els resultats. Per exemple, els investigadors podrien utilitzar telèfons intel·ligents per oferir tractaments o sensors en l'entorn construït per mesurar els resultats. De fet, com veurem més endavant en aquest capítol, els investigadors ja han utilitzat comptadors d'energia domèstica per mesurar els resultats en experiments sobre el consum d'energia que inclouen 8,5 milions de llars (Allcott 2015) . A mesura que els dispositius digitals s'integren cada cop més en la vida de les persones i els sensors s'integren en l'entorn construït, aquestes oportunitats per executar experiments parcialment digitals en el món físic augmentaran de forma espectacular. En altres paraules, els experiments digitals no són només experiments en línia.
Els sistemes digitals creen noves possibilitats per a experiments a tot arreu al llarg del continu de camp de laboratori. En experiments de laboratori purs, per exemple, els investigadors poden utilitzar sistemes digitals per mesurar millor el comportament dels participants; un exemple d'aquest tipus de mesura millorat és l'equip de seguiment d'ulls que proporciona mesures precises i contínues de la ubicació de la mirada. L'era digital també crea la possibilitat d'experimentar experiments en forma de laboratori en línia. Per exemple, els investigadors han adoptat ràpidament Amazon Mechanical Turk (MTurk) per reclutar participants per a experiments en línia (figura 4.2). MTurk coincideix amb "empresaris" que tenen tasques que cal completar amb "treballadors" que volen completar aquestes tasques per diners. A diferència dels mercats laborals tradicionals, però, les tasques que intervenen solen requerir només uns minuts per completar-se, i tota la interacció entre empresari i treballador està en línia. Atès que MTurk imita aspectes dels experiments de laboratori tradicionals-pagant a les persones per completar les tasques que no farien de forma gratuïta, és naturalment adequat per a certs tipus d'experiments. Fonamentalment, MTurk ha creat la infraestructura per a gestionar un grup de participants: reclutar i pagar persones, i els investigadors han aprofitat aquesta infraestructura per aprofitar un grup de participants sempre disponible.
Figura 4.2: Documents publicats amb dades d'Amazon Mechanical Turk (MTurk). MTurk i altres mercats de treball en línia ofereixen als investigadors una forma pràctica de reclutar participants per a experiments. Adaptació de Bohannon (2016) .
Els sistemes digitals creen encara més possibilitats per a experiments en camp. En particular, permeten als investigadors combinar el control estricte i la informació del procés que s'associa amb experiments de laboratori amb els participants més diversos i amb paràmetres més naturals que estan associats amb experiments de laboratori. A més, els experiments en camp digital també ofereixen tres oportunitats que tendeixen a ser difícils en experiments analògics.
En primer lloc, mentre que la majoria de laboratoris analògics i experimentals de camp tenen centenars de participants, els experiments en camp digital poden tenir milions de participants. Aquest canvi d'escala es deu a que alguns experiments digitals poden produir dades a un cost variable zero. És a dir, una vegada que els investigadors han creat una infraestructura experimental, augmentar el nombre de participants normalment no augmenta el cost. Augmentar el nombre de participants per un factor de 100 o més no és només un canvi quantitatiu ; és un canvi qualitatiu , ja que permet als investigadors aprendre coses diferents d'experiments (p.ex., heterogeneïtat dels efectes del tractament) i executar dissenys experimentals completament diferents (p. ex., experiments amb grups grans). Aquest punt és tan important, ho tornaré cap al final del capítol quan ofereixi consells sobre la creació d'experiments digitals.
En segon lloc, mentre que la majoria dels experiments de camp analògic i de laboratori tracten als participants com a ginys indistinguibles, els experiments en camp digital sovint utilitzen informació de fons sobre els participants en les etapes de disseny i anàlisi de la recerca. Aquesta informació de fons, que s'anomena informació de pre-tractament , sovint està disponible en experiments digitals, ja que s'executen a sobre dels sistemes de mesurament sempre (veure capítol 2). Per exemple, un investigador de Facebook té molta més informació de pretractament sobre les persones en el seu camp d'experimentació digital que un investigador universitari sobre la gent en el seu experiment de camp analògic. Aquest pretractament permet dissenys experimentals més eficients -com ara el bloqueig (Higgins, Sävje, and Sekhon 2016) i el reclutament objectiu dels participants (Eckles, Kizilcec, and Bakshy 2016) i una anàlisi més perspicaç, com ara l'estimació de l'heterogeneïtat dels efectes del tractament (Athey and Imbens 2016a) i l'ajust covariant per a una millor precisió (Bloniarz et al. 2016) .
En tercer lloc, mentre que molts experiments analítics de laboratori i de camp lliuren tractaments i mesuren resultats en un temps de compressió relativament comprimit, alguns experiments en camp digital passen per períodes de temps molt més llargs. Per exemple, l'experiment de Restivo i van de Rijt va obtenir el resultat mesurat diàriament durant 90 dies, i un dels experiments que us explicaré més tard en el capítol (Ferraro, Miranda, and Price 2011) va aconseguir resultats durant tres anys, bàsicament no cost Aquestes tres oportunitats, la informació de pre-tractament i el tractament longitudinal i les dades de resultat-sorgeixen amb més freqüència quan els experiments s'executen sobre els sistemes de mesurament sempre (veure capítol 2 per obtenir més informació sobre els sistemes de mesurament sempre).
Tot i que els experiments en camp digital ofereixen moltes possibilitats, també comparteixen algunes debilitats amb experiments analògics i de camp analògic. Per exemple, els experiments no es poden utilitzar per estudiar el passat, i només poden estimar els efectes dels tractaments que es poden manipular. A més, si bé els experiments són, sens dubte, útils per guiar la política, la guia exacta que poden oferir és una mica limitada a causa de complicacions com la dependència ambiental, els problemes de compliment i els efectes d'equilibri (Banerjee and Duflo 2009; Deaton 2010) . Els experiments en camp digital també augmenten les preocupacions ètiques creades pels experiments de camp, un tema que tractaré més endavant en aquest capítol i en el capítol 6.
