U pristupi do sada obuhvaćeni u ovoj knjizi-posmatrajući ponašanje (Poglavlje 2) i postavljanje pitanja (Poglavlje 3) oni istraživači prikuplja podatke o tome šta se prirodno javlja u svijetu. Pristup obuhvaćeni u ovom poglavlju-radi eksperimente-je fundamentalno drugačiji. Kada istraživači rade eksperimente, oni sistematski intervenirati u svijetu za stvaranje podataka koji je idealan za odgovaranje na pitanja o uzročno-posljedičnih veza.
Uzročno-posljedična pitanja su vrlo česta u društvenim istraživanjima, i primjeri uključuje pitanja kao što su li povećanje plaće nastavnika povećati student učenje? Kakav je efekat minimalne zarade na stope zaposlenosti? Kako trka posao podnosioca uticati joj šanse za dobivanje posla? Pored ovih eksplicitno kauzalne pitanja, ponekad uzročno-efekt pitanja su implicitne u više opšta pitanja o maksimizacija nekog učinka metričkih. Na primjer, na pitanje: "Šta dugme boje će maksimizirati donacije na NVO sajtu sajt?" Je zaista mnogo pitanja o uticaju različitih dugme boje na donacije.
Jedan od načina da se odgovori na pitanja uzročno-efekt je tražiti uzorke u postojećim podacima. Na primjer, koristeći podatke iz hiljade škola, možda izračunali da studenti nauče više u školama koje nude visoke plate nastavnika. Ali, da li to korelacija pokazuje da veće plate izazvati studentima da nauče više? Naravno da ne. Škola u kojima nastavnici zarađuju više mogu biti različiti na mnogo načina. Na primjer, učenici u školama s visokim plate nastavnika mogu doći iz bogatijih obitelji. Dakle, ono što izgleda kao efekat nastavnika mogao samo doći iz poređenje različitih tipova studenata. Ove neodmereno razlike između studenata nazivaju confounders, i općenito, mogućnost confounders teško pogodio o istraživačima sposobnost da odgovori na pitanja uzročno-posljedična gledajući za obrasce u postojećim podacima.
Jedno rješenje problema confounders je pokušaj da se fer poređenja podešavanjem za uočljive razlike između grupa. Na primjer, možda ćete moći skinuti porez na imovinu podataka iz brojnih vladinih web stranica. Zatim, mogli uporediti postignuća učenika u školama u kojima su slične cijene kuća, ali plaće nastavnika su različiti, a vi još uvijek može naći da studenti nauče više u školama sa veće plate nastavnika. Ali, još uvijek postoje mnogi mogući confounders. Možda roditelji ovih studentskih razlikuju u njihov nivo obrazovanja ili možda škole razlikuju u njihovu bliskost javnim bibliotekama ili možda škole sa veće plate nastavnika također imaju veće plate za direktore i glavne plate, ne plaćaju učitelj, zaista je ono je u porastu student učenje. Možete pokušati za mjerenje ovih drugih faktora, ali je lista mogućih confounders je u suštini beskrajna. U mnogim situacijama, vi jednostavno ne mogu mjeriti i prilagoditi za sve moguće confounders. Ovaj pristup može odvesti samo do sada.
A bolje rješenje za problem confounders radi eksperimente. Eksperimenti omogućiti istraživačima da prevaziđe korelacije u prirodno podataka kako bi se pouzdano odgovoriti na uzročno-efekt pitanje. U analognom dobu, eksperimenti su često logistički teško i skupo. Sada, u digitalnom dobu, logistička ograničenja postepeno nestaje. Ne samo da je to lakše učiniti eksperimentima poput onih istraživači su činili u prošlosti, to je sada moguće pokrenuti nove vrste eksperimenata.
U onome što sam do sada napisao da sam bio malo labav u svom jeziku, ali je važno da se napravi razlika između dvije stvari: eksperimenti i randomizirane kontrolirane eksperimente. U jednom eksperimentu istraživač interveniše u svijetu, a zatim mjeri ishod. Čuo sam ovaj pristup opisao kao "remete i posmatrati." Ova strategija je vrlo efikasna u prirodnim naukama, ali u medicinske i društvenih nauka, postoji još jedan pristup koji radi bolje. U randomizirane kontrolirane eksperiment istraživač intervenira za neke ljude, a ne za druge, i, kritički, istraživač odlučuje koje ljudi primaju intervencije randomizacije (npr bacanje novčića). Ovaj postupak osigurava da randomizovanih eksperimentima stvoriti fer usporedbe između dvije grupe: onaj koji je dobio intervencije i onaj koji nije. Drugim riječima, randomizovanih eksperimenti su rješenje za probleme confounders. Uprkos značajne razlike između eksperimenata i randomizirane kontrolirane eksperimente, društvene istraživači često koriste ove termine naizmjenično. Ja ću pratiti ove konvencije, ali, na određenim tačkama, ja ću slomiti konvencije naglasiti vrijednost randomizovanih eksperimenata nad eksperimentima bez randomizacije i kontrolne grupe.
Randomizirane kontrolirane eksperimente su dokazali da je moćan način da se upoznaju sa društvenim svijeta, au ovom poglavlju, ja ću vas naučiti više o tome kako da ih koriste u svojim istraživanjima. U poglavlju 4.2, ja ću ilustriraju osnovne logike eksperimentisanja sa primjer eksperiment na Wikipediji. Zatim, u poglavlju 4.3, ja ću opisati razliku između laboratorija eksperimenti i eksperimenti na terenu i razlike između analognog eksperimenata i digitalni eksperimente. Nadalje, ja ću reći da digitalni eksperimenti polje može ponuditi najbolje karakteristike analognih laboratorijske eksperimente (strogu kontrolu) i eksperimenata analognog na terenu (realizam), sve na skali to nije bilo moguće ranije. Zatim, u poglavlju 4.4, ja ću opisati tri koncepta-valjanost, heterogenost efekata tretmana, i mehanizme-koje su ključne za izradu bogatih eksperimente. S tim u pozadini, ja ću opisati kompromisi koji su uključeni u dva glavna strategija za provođenje digitalne eksperimenata: rade sami (odjeljak 4.5.1) ili u partnerstvu sa moćnim (Odjeljak 4.5.2). Na kraju, ja ću zaključiti s nekim dizajn savjete o tome kako možete iskoristiti stvarnu moć digitalne eksperimenata (Odjeljak 4.6.1) i opisati neke od odgovornosti koja dolazi sa tu moć (Odjeljak 4.6.2). Ovo poglavlje će biti predstavljen sa najmanje matematičke notacije i formalnog jezika; čitaoci zainteresirani za više formalni, matematički pristup eksperimenata treba da pročita Tehnički prilogu na kraju ovog poglavlja.