Selles raamatus vaadeldavas käitumises seni käsitletud lähenemisviiside (2. peatükk) ja küsimuste esitamise (3. peatükk) puhul otsivad uurijad andmeid ilma tahtlikult ja maailma süstemaatiliselt muutmata. Selles peatükis käsitletud lähenemisviisi katsetused on põhimõtteliselt erinevad. Kui teadlased katsetavad, siis nad süstemaatiliselt sekkuvad maailmas, et luua andmeid, mis sobivad ideaalseks põhjuste ja tagajärgedega suhete küsimustele vastamiseks.
Põhjus-mõju küsimused on sotsiaalteadustes väga levinud ja näited hõlmavad selliseid küsimusi nagu: kas õpetajate palkade tõstmine suurendab õpilaste õppimist? Mis on miinimumpalga mõju tööhõivemääradele? Kuidas tööotsija rassi mõjutab tema töökoha leidmise võimalust? Lisaks neile otseselt põhjuslikele küsimustele on mõnikord põhjustavad ja mõjutavad küsimused ka üldisemates küsimustes mõne toimivuse mõõdiku maksimeerimise kohta. Näiteks küsimus "Milline värv peaks annetuse nupp olema valitsusvälise organisatsiooni veebisaidil?" On tõesti palju küsimusi erinevate nupuvajutuste mõju kohta annetustele.
Üks põhjuste ja tagajärgedega küsimuste lahendamise viis on olemasolevate andmete mustrite otsimine. Näiteks, kui pöördute tagasi õpetajate palga mõju õpilaste õppimisele, võite arvutada, et õppurid õpivad rohkem koolides, kus pakutakse kõrgemaid õpetajate palkasid. Kuid kas see korrelatsioon näitab, et kõrgemad palgad põhjustavad õpilastel rohkem õppida? Muidugi mitte. Koolid, kus õpetajad teenivad rohkem, võivad mitmel moel olla erinevad. Näiteks kõrgkooli õpetajate palkadega õpilased võivad tulla rikkamatest peredest. Seega näib, et õpetajate mõju võib lihtsalt tulla erinevat tüüpi õpilaste võrdlemisest. Neid mõõdetud erinevusi üliõpilaste vahel nimetatakse segavaks ja üldiselt võib segaduste tekitamine häirida teadlaste suutlikkust vastata põhjus- ja tagajärgedele küsimustele, otsides olemasolevaid andmeid.
Üheks lahenduseks probleemide lahendamiseks on püüda teha õiglasi võrdlusi, korrigeerides jälgitavaid erinevusi rühmade vahel. Näiteks võite olla võimeline alla laadida varade maksu andmeid paljudest valitsuse veebisaitidest. Siis võite võrrelda õpilaste jõudlust koolides, kus koduhinnad on sarnased, kuid õpetajate palgad on erinevad, ja te võite ikkagi leida, et üliõpilased õpivad rohkem koolides, kus õpetaja maksab kõrgemat tasu. Kuid seal on veel palju võimalikke segadusi. Võib-olla nende õpilaste vanemad erinevad oma haridustasemel. Või ehk koolid erinevad avalike raamatukogude lähedusest. Või äkki kõrgema õpetajaga koolides makstakse ka põhitöötajate eest kõrgemat tasu, ja põhipalk, mitte õpetaja tasu, on tõesti üliõpilaste õppimise kasv. Võite proovida ka neid tegureid mõõta ja kohandada, kuid võimalike segiajamiste loend on sisuliselt lõputu. Paljudes olukordades ei saa te lihtsalt mõõta ja kohandada kõiki võimalikke segi. Vastuseks sellele väljakutsele on teadlased välja töötanud mitmeid meetodeid põhjuslike hinnangute tegemiseks mitte-eksperimentaalsetest andmetest. Mõned neist arutlesin peatükis 2, kuid teatud tüüpi küsimuste puhul on need tehnikad piiratud ja katsed pakuvad paljulubavaid alternatiivne.
Katsed võimaldavad teadlastel liikuda looduslikult esinevate andmete korrelatsioonist kaugemale, et usaldusväärselt vastata teatud põhjuste ja tagajärgede küsimustele. Analoogiaastal olid eksperimendid sageli logistiliselt keerukad ja kallid. Nüüd digitaalajastul on logistilised piirangud järk-järgult kadumas. Mitte ainult seda, et on lihtsam teha katseid nagu minevikus tehtud, on nüüd võimalik käivitada uut tüüpi eksperimente.
Selles, mida olen siiani kirjutanud, olen oma keeles olnud natuke lahti, kuid on oluline eristada kahte asja: eksperimente ja randomiseeritud kontrollitud eksperimente. Katse puhul sekkub teadlane maailmas ja mõõdab tulemust. Olen kuulnud seda lähenemisviisi, mida kirjeldatakse kui "häirivat ja jälgitavat". Randomiseeritud kontrollitud eksperimendis tegeleb teadlane mõne inimese, mitte teiste jaoks, ja teadlane otsustab, millised inimesed saavad sekkumise juhusliku valimise kaudu (nt mündi klappimine). Randomiseeritud kontrollitud eksperimendid loovad õiglased võrdlused kahe rühma vahel: üks, kes on saanud sekkumise ja üks, mis pole seda teinud. Teisisõnu, randomiseeritud kontrollitud eksperimendid on probleemide lahendamine. Kordumatud ja jälgitavad eksperimendid sisaldavad siiski ainult ühte rühma, kes on sekkumist saanud, mistõttu võivad tulemused viia teadlastele valele järeldusele (nagu ma varsti näitame). Hoolimata eksperimentide ja randomiseeritud kontrollitud eksperimentide vahelistest olulistest erinevustest kasutavad sotsiaalteadlased sageli neid mõisteid üksteisega. Järgin seda konventsiooni, kuid teatud punktides ma purustan konventsiooni, et rõhutada randomiseeritud kontrollitud eksperimentide väärtust randomiseerimisel ja kontrollrühmas.
Randomiseeritud kontrollitud eksperimendid on osutunud võimsaks viisiks sotsiaalmaailma õppimiseks ja selles peatükis ma näitan sulle rohkem, kuidas neid oma uurimistöös kasutada. Jaotises 4.2 illustreerib eksperimentide põhilist loogikat Wikipedia eksperimendi näitena. Seejärel kirjeldame punktis 4.3 la eksperimentide ja välieksperimentide erinevusi ning analoog eksperimentide ja digitaalsete eksperimentide erinevusi. Veelgi enam, ma väidan, et digitaalsed välieksperimendid võivad pakkuda analooglab eksperimentide (ranget juhtimist) ja analoogvälja eksperimentide (realism) parimaid omadusi, mis kõik olid varem võimatud. Järgmisena kirjeldame punktis 4.4 kolme mõistet - kehtivus, raviefektide heterogeensus ja mehhanismid, mis on rikaste eksperimentide kujundamisel kriitilised. Selle taustal kirjeldan ma digitaalsete eksperimentide läbiviimise kahel peamisel strateegial põhinevaid kompromisse: tehes seda ise või võites partnerlusega. Lõpuks lõpetan ma mõnede disainilahendustega, kuidas saaksite kasutada digitaalsete eksperimentide tegelikku jõudu (punkt 4.6.1) ja kirjeldage mõnda vastutust, mis kaasneb selle võimuga (punkt 4.6.2).