V prístupoch doteraz podliehajúcich v tejto knihe sa sledovaním správania (kapitola 2) a klásť otázky (Kapitola 3) -researchers zbierať dáta o tom, čo je prirodzene sa vyskytujúce vo svete. Tento prístup sa vzťahuje táto kapitola-beh experimentov, je zásadne odlišný. Keď vedci vykonávať experimenty, ktoré systematicky zasiahnuť vo svete vytvoriť dáta, ktoré sa ideálne hodí pre odpovedať na otázky o vzťahu príčiny a následkov.
Spôsobí-and-Effect otázky sú veľmi bežné v sociálnej oblasti výskumu a príklady obsahujú otázky ako Znamená zvýšenie platov učiteľov zvýšiť študenta učenie? Aký je vplyv minimálnej mzdy na mieru zamestnanosti? Ako sa závod uchádzač o zamestnanie má vplyv jej šance na získanie zamestnania? Okrem týchto výslovne príčinných otázky, niekedy spôsobiť a účinok otázky sú implicitné v všeobecnejších otázok o maximalizáciu nejaké výkonnostné parametre. Napríklad otázka "Čo farebných tlačidiel bude maximalizovať dary na webovej stránke mimovládnej organizácie?" Je naozaj veľa otázok o vplyve rôznych farbách tlačidla na dary.
Jeden spôsob, ako odpovedať na otázky príčiny a následku je hľadať vzory v existujúcich dát. Napríklad podľa údajov z tisícov škôl, môžete spočítať, že sa študenti učia viac škôl, ktoré ponúkajú vysoké platy učiteľov. Ale to korelácia ukazujú, že vyššie platy spôsobiť študenti sa dozvedieť viac? Samozrejme, že nie. Školách, kde učitelia zarábajú viac sa môže líšiť v mnohých ohľadoch. Napríklad študentov v školách s vysokými platmi učiteľov by mohli pochádzať z bohatších rodín. To, čo vyzerá účinok učiteľov mohol pochádzať z porovnania rôznych typov študentov. Tieto nezmeranej rozdiely medzi žiakmi sa nazývajú confounders a všeobecne možnosť confounders vykoná zmätok na výskumníkmi schopnosť odpovedať na otázky príčiny a následku tým, že hľadá vzory v existujúcich dát.
Jedným z možných riešení problému confounders je pokúsiť sa urobiť objektívne porovnanie úpravou pre pozorovateľné rozdiely medzi skupinami. Napríklad, mali by ste byť schopní stiahnuť daň z nehnuteľnosti dáta z celej rady vládnych internetových stránok. Potom by ste mohli porovnať výsledky študentov v školách, kde sú podobné ceny domov, ale platy učiteľov sú odlišné, a napriek tomu by mohol zistiť, že sa študenti učia viac v školách s vyšším platom učiteľov. Ale stále existuje veľa možných zmätočné. Možno, že rodičia týchto študentov sa líšia v ich úroveň vzdelania alebo možno školy sa líšia v ich blízkosti k verejným knižniciam alebo možno školy s vyšším platom učiteľov majú tiež vyšší plat pre princípy a hlavné platu, nie plat učiteľa, je naozaj to, čo rastie učenie študenta. Dalo by sa pokúsiť merať tieto iné faktory ako dobre, ale zoznam možných confounders je v podstate nekonečné. V mnohých situáciách si jednoducho nemôže merať a prispôsobiť pre všetky možné confounders. Tento postup môže trvať len vás tak ďaleko.
Lepším riešením problému confounders beží experimenty. Experimenty výskumným pracovníkom umožnilo prekonať koreláciou v prirodzene sa vyskytujúce údaje, aby mohol spoľahlivo odpovedať príčiny a následku otázku. V analógovom veku, experimenty boli často logisticky náročná a nákladná. Teraz, v digitálnom veku, logistické obmedzenia sú postupne mizne. Nielen, že je ľahšie robiť experimenty podobné tým, ktoré vedci v minulosti, je teraz možné spúšťať nové druhy experimentov.
V akom som zatiaľ napísal, že som bol trochu uvoľnila v mojom jazyku, ale je dôležité rozlišovať medzi dvoma vecami: experimentov a randomizovanej kontrolovanej experimenty. V experimente výskumník zasiahne na svete a potom meria výsledku. Počul som, že tento prístup opísať ako "znepokojovať a pozorovať." Táto stratégia je veľmi účinná v prírodných vedách, ale v zdravotníckych a sociálnych vedách, tam je iný prístup, ktorý funguje lepšie. V randomizovanej kontrolovanej experiment vedec zasahuje pre niektorých ľudí a nie pre ostatné, a kriticky, výskumný pracovník rozhodne, ktoré ľudia dostávali zásah náhodnosti (napr hodiť mincí). Tento postup zaistí, že randomizovanej kontrolovanej pokusy vytvoriť spravodlivé porovnanie medzi dvoma skupinami: ten, ktorý dostal zásah a ten, ktorý má nie. Inými slovami, randomizovanej kontrolovanej experimenty sú riešením problémov confounders. Napriek obrovským rozdielom medzi experimenty a randomizovanej kontrolovanej experimenty, sociálne vedci často používajú tieto termíny zameniteľne. Budem sledovať túto konvenciu, ale v určitých bodoch, budem prelomiť konvencie zdôrazniť hodnotu randomizovanej kontrolovanej experimenty v priebehu experimentov bez randomizácie a kontrolnou skupinou.
Randomizovanej kontrolovanej experimenty sa ukázali byť účinný spôsob, ako sa dozvedieť o sociálnom svete a v tejto kapitole, budem vás naučí viac o tom, ako ich používať vo svojom výskume. V oddiele 4.2, budem ilustrovať základné logiku experimentovanie s príkladom experimentu na Wikipédii. Potom v bode 4.3, budem popisovať rozdiel medzi laboratórnych pokusov a experimentov v teréne a rozdiely medzi analógových a digitálnych experimentov experimentov. Ďalej sa budem argumentovať, že pokusy digitálne teréne môže ponúknuť tie najlepšie vlastnosti analógových laboratórnych experimentov (tesný ovládanie) a analógový poľné experimenty (realizmus), všetko v mierke, ktoré nebolo možné skôr. Ďalej v oddiele 4.4, budem popisovať tri pojmy-platnosť, nesúrodosť účinkov liečby a mechanismy-, ktoré sú kritické pre tvorbu bohatých experimenty. Vďaka tejto súvislosti budem popisovať kompromisy zapojené do dvoch hlavných stratégií na vykonávanie digitálnej experimenty: robiť to sami (pozri kapitolu 4.5.1), alebo spolupracuje s výkonným (§ 4.5.2). A konečne, budem uzavrieť s niektorými dizajnu rád o tom, ako môžete využiť skutočnú silu digitálnych experimentov (§ 4.6.1) a popísať niektoré zodpovednosti, ktorý je dodávaný s týmto silu (bod 4.6.2). V kapitole budú prezentované s minimálnymi nárokmi na matematickom zápise a formálnym jazyku; Čitatelia majú záujem o viac formálne, matematické prístupu k experimentom by mal tiež prečítať Technické dodatok na konci tejto kapitoly.