4.5.1 Utilitzar entorns existents

Podeu executar experiments dins dels entorns existents, sovint sense cap tipus de codificació o societat.

Logísticament, la forma més senzilla de fer un experiment digital és superposar l'experiment sobre un entorn existent. Aquests experiments es poden executar a una escala raonablement gran i no requereixen associacions amb una empresa o un ampli desenvolupament de programari.

Per exemple, Jennifer Doleac i Luke Stein (2013) van aprofitar un mercat en línia similar a Craigslist per executar un experiment que mesurava la discriminació racial. Van anunciar milers d'iPods i, de manera sistemàtica, van variar les característiques del venedor, van poder estudiar l'efecte de la raça en les transaccions econòmiques. A més, van utilitzar l'escala del seu experiment per estimar quan l'efecte era més gran (heterogeneïtat dels efectes del tractament) i oferir algunes idees sobre per què es podria produir l'efecte (mecanismes).

Els anuncis d'iPod de Doleac i Stein van variar en tres dimensions principals. En primer lloc, els investigadors van variar les característiques del venedor, que va ser senyalitzat per la mà fotografiada sostenint l'iPod [blanc, negre, blanc amb tatuatge] (figura 4.13). En segon lloc, van variar el preu de venda [$ 90, $ 110, $ 130]. En tercer lloc, van variar la qualitat del text de l'anunci [d'alta qualitat i de baixa qualitat (p.ex., errors de cita i errors d'espelta)]. Així, els autors tenien un disseny 3 \(\times\) 3 \(\times\) 2 que es va desplegar a més de 300 mercats locals, que van des de ciutats (per exemple, Kokomo, Indiana i North Platte, Nebraska) fins a mega- ciutats (per exemple, Nova York i Los Angeles).

Figura 4.13: Mans utilitzades en l'experiment de Doleac and Stein (2013) . Els iPod van ser venuts per venedors amb diferents característiques per mesurar la discriminació en un mercat en línia. Reproduït amb permís de Doleac and Stein (2013) , figura 1.

Mitjana de totes les condicions, els resultats eren millors per als venedors blancs que els venedors negres, amb els venedors tatuats que tenien resultats intermedis. Per exemple, els venedors blancs van rebre més ofertes i van tenir preus de venda finals més alts. Més enllà d'aquests efectes mitjos, Doleac i Stein van estimar la heterogeneïtat dels efectes. Per exemple, una predicció de la teoria anterior és que la discriminació seria menor en els mercats on hi ha més competència entre els compradors. Utilitzant el nombre d'ofertes d'aquest mercat com a mesura de la competència del comprador, els investigadors van trobar que els venedors negres van rebre pitjor oferta en mercats amb un baix grau de competència. A més, mitjançant la comparació dels resultats dels anuncis amb text d'alta qualitat i de baixa qualitat, Doleac i Stein van trobar que la qualitat de l'anunci no afectava el desavantatge als venedors negre i tatuat. Finalment, aprofitant que els anuncis es van col·locar en més de 300 mercats, els autors van trobar que els venedors negres eren més desfavorits a les ciutats amb altes taxes de criminalitat i alta segregació residencial. Cap d'aquests resultats ens dóna una comprensió precisa de per què els venedors negres van tenir resultats pitjors, però, quan es combinen amb els resultats d'altres estudis, poden començar a informar les causes de la discriminació racial en diferents tipus de transaccions econòmiques.

Un altre exemple que demostra la capacitat dels investigadors de dur a terme experiments en camp digital en sistemes existents és la recerca de Arnout van de Rijt i col·legues (2014) sobre les claus de l'èxit. En molts aspectes de la vida, persones aparentment semblants acaben amb resultats molt diferents. Una possible explicació d'aquest patró és que els avantatges petits i essencialment aleatoris poden bloquejar-se i créixer amb el pas del temps, un procés que els investigadors consideren un avantatge acumulatiu . Per determinar si els petits èxits inicials s'aplegaven o es desvanien, van de Rijt i els seus col·legues (2014) intervenir en quatre sistemes diferents que van donar èxit als participants seleccionats aleatòriament i després van mesurar els impactes posteriors d'aquest èxit arbitrari.

Més específicament, van de Rijt i els seus col·legues (1) es van comprometre amb projectes seleccionats aleatòriament a Kickstarter, un lloc web de crowdfunding; (2) va avaluar positivament els resums seleccionats aleatòriament a Epinions, un lloc web de revisió de productes; (3) va atorgar premis a col·laboradors escollits aleatòriament a Wikipedia; i (4) va signar peticions seleccionades aleatòriament a change.org. Van trobar resultats molt similars en els quatre sistemes: en cada cas, els participants que van obtenir un èxit primerenc van tenir més èxits successius que els seus companys d'altra banda completament indistinguibles (figura 4.14). El fet que el mateix patró aparegués en molts sistemes augmenta la validesa externa d'aquests resultats ja que redueix la probabilitat que aquest patró sigui un artefacte de qualsevol sistema particular.

Figura 4.14: efectes a llarg termini de l'èxit atorgat aleatòriament en quatre sistemes socials diferents. Arnout van de Rijt i els seus col·legues (2014) (1) es van comprometre amb projectes seleccionats aleatòriament a Kickstarter, un lloc web de crowdfunding; (2) va avaluar positivament els resums seleccionats aleatòriament a Epinions, un lloc web de revisió de productes; (3) va atorgar premis a col·laboradors escollits aleatòriament a Wikipedia; i (4) va signar peticions seleccionades aleatòriament a change.org. Adaptat de Rijt et al. (2014) , figura 2.

Junts, aquests dos exemples mostren que els investigadors poden realitzar experiments en camp digital sense la necessitat d'associar-se amb empreses o construir sistemes digitals complexos. A més, la taula 4.2 proporciona fins i tot més exemples que mostren l'abast del que és possible quan els investigadors utilitzen la infraestructura dels sistemes existents per proporcionar tractament i / o mesures de resultats. Aquests experiments són relativament barats per als investigadors i ofereixen un alt grau de realisme. Però ofereixen als investigadors un control limitat sobre els participants, els tractaments i els resultats que cal mesurar. A més, per als experiments que tenen lloc en un sol sistema, els investigadors han de preocupar-se que els efectes es puguin derivar de dinàmiques específiques del sistema (per exemple, la forma en què Kickstarter classifica els projectes o la forma en que change.org classifica les peticions, per obtenir més informació, vegeu la discussió sobre confusió algorítmica al capítol 2). Finalment, quan els investigadors intervenen en els sistemes de treball, sorgeixen qüestions ètiques difícils sobre possibles danys als participants, als no participants i als sistemes. Anem a considerar aquesta qüestió ètica amb més detall al capítol 6, i hi ha una excel·lent discussió en l'apèndix de van de Rijt et al. (2014) . Les compensacions que vénen amb el treball en un sistema existent no són ideals per a cada projecte, i per aquest motiu alguns investigadors construeixen el seu propi sistema experimental, tal com il·lustraré a continuació.