4.1 Introducció

En els enfocaments inclosos fins ara en aquest llibre el comportament d'observació (Capítol 2) i fent preguntes (Capítol 3) -investigadors recullen dades sobre el que està passant de forma natural al món. L'enfocament d'aquest capítol es-córrer-experiments és fonamentalment diferent. Quan els investigadors realitzar experiments, intervenen de forma sistemàtica en el món per crear dades que és ideal per a respondre a preguntes sobre les relacions de causa i efecte.

Causa i efecte preguntes són molt comuns en la investigació social, i els exemples inclouen preguntes com ¿L'augment de salaris dels mestres incrementar l'aprenentatge de l'estudiant? Quin és l'efecte del salari mínim sobre les taxes d'ocupació? Com afecta la carrera d'un sol·licitant d'ocupació seva oportunitat d'aconseguir una feina? A més d'aquestes preguntes de manera explícita causals, de vegades causa-efecte preguntes estan implícites en les preguntes més generals sobre la maximització d'alguna mètrica de rendiment. Per exemple, la pregunta "Què botó de color maximitzarà les donacions en un lloc web de les ONG?" És realment un munt de preguntes sobre l'efecte dels diferents colors dels botons de les donacions.

Una manera de respondre a les preguntes de causa i efecte és buscar patrons en les dades existents. Per exemple, l'ús de dades de milers d'escoles, és possible calcular que els estudiants aprenen més a les escoles que ofereixen alts salaris dels mestres. No obstant això, aquesta correlació no mostren que els salaris més alts fan que els estudiants aprenguin més? Esclar que no. Escoles on els mestres guanyen més podrien ser diferents en molts aspectes. Per exemple, els estudiants a les escoles amb alts salaris de mestres podrien venir de les famílies més riques. Per tant, el que sembla ser un efecte dels professors només podria venir de la comparació de diferents tipus d'estudiants. Aquestes diferències no mesures entre els estudiants són anomenats factors de confusió i, en general, la possibilitat de factors de confusió causa estralls en els investigadors la capacitat de respondre a les preguntes de causa i efecte mitjançant la recerca de patrons en les dades existents.

Una solució al problema de la confusió és tractar de fer comparacions justes amb la configuració de les diferències observables entre els grups. Per exemple, és possible que pugui descarregar les dades d'impostos a la propietat d'un nombre de llocs web del govern. A continuació, es podia comparar el rendiment dels estudiants a les escoles on els preus són similars, però els salaris docents són diferents, i encara es pot trobar que els estudiants aprenen més a les escoles amb major salari dels mestres. No obstant això, encara hi ha molts possibles factors de confusió. Potser els pares d'aquests estudiants difereixen en el seu nivell d'educació o potser les escoles difereixen en la seva proximitat a les biblioteques públiques o potser les escoles amb més salari dels mestres també tenen una major remuneració per als directors i la remuneració principal, no pagament dels mestres, és realment el que està en augment aprenentatge dels estudiants. Es podria tractar de mesurar aquests altres factors, però la llista de possibles factors de confusió és essencialment sense fi. En moltes situacions, que no es pot mesurar i ajustar per a tots els possibles factors de confusió. Aquest mètode només es pot portar molt lluny.

Una millor solució per al problema dels factors de confusió s'està executant experiments. Els experiments permeten als investigadors anar més enllà de les correlacions en les dades d'origen natural per tal de respondre de manera fiable qüestió de causa i efecte. En l'era analògica, els experiments eren sovint logísticament difícil i costós. Ara, en l'era digital, les limitacions logístiques estan esvaint a poc a poc. No només és més fàcil fer experiments com els investigadors han fet en el passat, ara és possible executar nous tipus d'experiments.

Pel que he escrit fins ara he estat una mica fluixa en el meu idioma, però és important distingir entre dues coses: experiments i experiments controlats aleatoris. En un experiment investigador intervé en el món i, després, mesura un resultat. He sentit aquest enfocament es descriu com "pertorbar i observar." Aquesta estratègia és molt eficaç en les ciències naturals, però en les ciències mèdiques i socials, hi ha un altre mètode que funciona millor. En un experiment controlat aleatori investigador intervé per a algunes persones i no per a altres, i, fonamentalment, l'investigador decideix quines persones reben la intervenció de l'assignació a l'atzar (per exemple, llançar una moneda). Aquest procediment garanteix que els experiments controlats aleatoris creen comparacions justes entre els dos grups: un que ha rebut la intervenció i un que no ho ha fet. En altres paraules, els experiments controlats aleatoris són una solució als problemes dels factors de confusió. Tot i les diferències importants entre els experiments i experiments controlats aleatoris, els investigadors socials sovint fan servir aquests termes indistintament. Vaig a seguir aquesta convenció, però, en certs punts, vaig a trencar la convenció per emfatitzar el valor d'experiments controlats aleatoris sobre els experiments sense aleatorització i un grup control.

experiments controlats aleatoris han demostrat ser una poderosa manera d'aprendre sobre el món social, i en aquest capítol, et vaig a ensenyar més sobre com utilitzar-los en la seva recerca. A la secció 4.2, vaig a il·lustrar la lògica bàsica de l'experimentació amb un exemple d'un experiment a la Viquipèdia. A continuació, a la Secció 4.3, vaig a descriure la diferència entre els experiments de laboratori i experiments de camp i les diferències entre els experiments analògics i digitals experiments. A més, vaig a argumentar que els experiments de camp digitals poden oferir les millors característiques dels experiments de laboratori analògiques (control estricte) i experiments de camp analògic (realisme), tot això a una escala que no era possible anteriorment. A continuació, a la Secció 4.4, descriuré tres conceptes-validesa, l'heterogeneïtat dels efectes del tractament, i els mecanismes que són crítics per al disseny d'experiments rics. Amb aquests antecedents, descriuré les compensacions involucrades en les dues estratègies principals per a la realització d'experiments digitals: fer-ho vostè mateix (Secció 4.5.1) o associar-se amb els poderosos (Secció 4.5.2). Finalment, vaig a concloure amb alguns consells de disseny sobre com pot aprofitar el poder real dels experiments digitals (Secció 4.6.1) i descriure algunes de responsabilitat que ve amb aquest poder (Secció 4.6.2). El capítol es presentarà amb un mínim de notació matemàtica i llenguatge formal; els lectors interessats en un enfocament més formal, matemàtic per a experiments també haurien de llegir l'apèndix tècnic al final del capítol.