4.1 Introducció

En els enfocaments abordats fins ara en aquest comportament d'observació de llibres (capítol 2) i fent preguntes (capítol 3), els cercadors recullen dades sense canviar el món de manera intencionada i sistemàtica. L'enfocament cobert en aquest capítol -treballs en execució- és fonamentalment diferent. Quan els investigadors realitzen experiments, intervenen sistemàticament en el món per crear dades adequades per respondre preguntes sobre relacions de causa i efecte.

Les preguntes sobre la causa i l'efecte són molt freqüents en la recerca social, i els exemples inclouen preguntes com ara: augmentar els sous dels professors augmentar l'aprenentatge dels estudiants? Quin és l'efecte del salari mínim en les taxes d'ocupació? Com afecta la raça d'un candidat a l'ocupació la possibilitat d'obtenir una feina? A més d'aquestes preguntes explícitament causals, de vegades les preguntes de causa i efecte estan implícites en qüestions més generals sobre la maximització d'algunes mètriques de rendiment. Per exemple, la pregunta "Quin color hauria de tenir el botó de donar en el lloc web d'una ONG?" És realment moltes preguntes sobre l'efecte dels diferents colors dels botons sobre les donacions.

Una manera de respondre a les preguntes de causa i efecte és buscar patrons en dades existents. Per exemple, tornant a la pregunta sobre l'efecte dels sous dels docents en l'aprenentatge dels estudiants, podeu calcular que els estudiants aprenen més a les escoles que ofereixen salaris alts dels professors. Però, aquesta correlació mostra que els salaris més alts fan que els estudiants aprenguin més? És clar que no. Les escoles on els professors guanyen més podrien ser diferents de moltes maneres. Per exemple, els estudiants d'escoles amb elevats salaris dels professors poden provenir de famílies més riques. Per tant, el que sembla un efecte dels professors podria venir de comparar diferents tipus d'estudiants. Aquestes diferències no mesura entre els estudiants es denominen confusors i, en general, la possibilitat de confusió causa estralls en la capacitat dels investigadors de respondre preguntes de causa i efecte buscant patrons en dades existents.

Una solució al problema dels confusors és intentar fer comparacions imparcials ajustant-se a les diferències observables entre grups. Per exemple, és possible que pugueu descarregar dades d'impostos sobre la propietat de diversos llocs web del govern. A continuació, podeu comparar el rendiment dels estudiants a les escoles on els preus de les cases són similars, però els salaris dels professors són diferents, i encara podeu trobar que els estudiants aprenguin més a les escoles amb un salari més alt de professorat. Però encara hi ha molts confusors possibles. Potser els pares d'aquests estudiants difereixen en el seu nivell d'educació. O potser les escoles difereixen en la seva proximitat amb les biblioteques públiques. O potser les escoles amb més mestres de professors també tenen un salari més alt per als directors, i el sou principal, i no el salari dels professors, és realment el que augmenta l'aprenentatge dels estudiants. També podeu tractar de mesurar i ajustar per aquests factors, però la llista de possibles confusors és essencialment sense fi. En moltes situacions, no es pot mesurar i ajustar-se per tots els possibles confusors. En resposta a aquest repte, els investigadors han desenvolupat una sèrie de tècniques per fer estimacions causals a partir de dades no experimentals: he discutit algunes d'elles al capítol 2, però, per a determinats tipus de preguntes, aquestes tècniques són limitades i els experiments ofereixen un esperit prometedor alternativa

Els experiments permeten als investigadors anar més enllà de les correlacions en les dades naturals per respondre de forma fiable a determinades preguntes de causa i efecte. En l'edat analògica, els experiments eren sovint logísticament difícils i cars. Ara, en l'era digital, les restriccions logístiques s'estan esgotant gradualment. No només és més fàcil fer experiments com els realitzats en el passat, ara és possible executar nous tipus d'experiments.

En el que he escrit fins ara he estat una mica solt en el meu idioma, però és important distingir entre dues coses: experiments i experiments controlats aleatoris. En un experiment , un investigador intervé en el món i després mesura un resultat. He escoltat aquest enfocament descrit com "pertorbar i observar". En un experiment controlat aleatori, un investigador intervé per a algunes persones i no per a altres, i l'investigador decideix quines persones reben la intervenció per aleatorització (per exemple, llançar una moneda). Els experiments controlats aleatoris creen comparacions imparcials entre dos grups: un que ha rebut la intervenció i un que no. En altres paraules, els experiments controlats aleatoris són una solució als problemes de confusors. Els experiments pertorbadors i observadors, tanmateix, només impliquen un sol grup que hagi rebut la intervenció i, per tant, els resultats poden conduir els investigadors a una conclusió equivocada (com veurem aviat). Malgrat les importants diferències entre experiments i experiments controlats aleatoris, els investigadors socials sovint utilitzen aquests termes de manera indistinta. Seguiré aquesta convenció, però, en alguns punts, vaig a trencar la convenció per emfatitzar el valor dels experiments controlats aleatoris sobre els experiments sense l'aleatorització i un grup de control.

Els experiments controlats aleatoris han demostrat ser una manera poderosa d'aprendre sobre el món social, i en aquest capítol, us mostraré més sobre com utilitzar-los en la vostra recerca. A la secció 4.2, il·lustraré la lògica bàsica de l'experimentació amb un exemple d'un experiment sobre Wikipedia. A continuació, a la secció 4.3, descriuré la diferència entre experiments de laboratori i experiments de camp i les diferències entre experiments analògics i experiments digitals. A més, argumentaré que els experiments en camp digital poden oferir les millors característiques dels experiments de laboratori analògic (control estricte) i experiments analògics de camp (realisme), tots a una escala que abans no era possible. A continuació, a la secció 4.4, vaig a descriure tres conceptes: la validesa, l'heterogeneïtat dels efectes del tractament i els mecanismes que són crítics per dissenyar experiments rics. Amb aquests antecedents, vaig a descriure les compensacions implicades en les dues estratègies principals per dur a terme experiments digitals: fer-ho tu mateix o associar-te amb els poderosos. Finalment, vaig a concloure amb alguns consells de disseny sobre com podeu aprofitar el poder real dels experiments digitals (secció 4.6.1) i descriure la responsabilitat que comporta aquest poder (secció 4.6.2).