Nyob rau hauv lub le caag them kom deb li deb nyob rau hauv phau ntawv no-tsom kwm tus cwj pwm (Chapter 2) thiab nug cov lus nug (Tshooj 3) -researchers sau cov ntaub ntawv hais txog dab tsi yog lawm tshwm sim nyob rau lub ntiaj teb no. Tus mus kom ze them nyob rau hauv tshooj no-khiav thwmsim-yog fundamentally sib txawv. Thaum soj ntsuam khiav thwmsim, lawv systematically cuam tshuam nyob rau hauv lub ntiaj teb no los tsim cov ntaub ntawv uas yog hom phiaj haum rau teb cov lus nug txog ua-thiab-sib raug zoo nyhuv.
Ua-thiab-nyhuv lus nug yog heev nyob rau hauv kev sib raug zoo kev tshawb fawb, thiab cov piv txwv muaj xws li cov nqe lus nug xws li puas kom cov xib fwb cov nyiaj hli ntawm kom tus menyuam kawm ntawv kawm? Yuav ua li cas yog cov nyhuv ntawm minimum wage rau kev ua hauj lwm cov nqi? Yuav ua li cas ib txoj hauj lwm ua ntawv thov haiv neeg effect nws lub caij nyoog ntawm tau txais ib txoj hauj lwm? Nyob rau hauv tas li ntawd mus rau cov ntsees causal lus nug, tej zaum ua rau-thiab-nyhuv lus nug yog implicit nyob rau hauv ntau yam lus nug txog maximization ntawm ib co kev ua tau zoo metric. Piv txwv li, cov lus nug "Yuav ua li cas xim khawm yuav maximize donations rau ib tug NGO website site?" Yog tiag tiag ntau ntau cov lus nug txog cov nyhuv ntawm txawv khawm xim rau donations.
Ib txoj kev uas yuav teb ua-thiab-nyhuv lus nug yog mus nrhiav cov qauv nyob rau hauv uas twb muaj lawm cov ntaub ntawv. Piv txwv li, siv cov ntaub ntawv los ntawm txhiab ntawm cov tsev kawm ntawv, tej zaum koj yuav xam hais tias cov tub ntxhais kawm kawm paub ntau ntxiv nyob rau hauv cov tsev kawm ntawv uas muaj kev siab xib fwb cov nyiaj hli ntawm. Tab sis, qhov no correlation qhia tias ntau dua cov nyiaj hli ua me nyuam kawm ntawv kom paub ntau ntxiv? Ntawm cov hoob kawm tsis tau. Cov tsev kawm ntawv uas cov xibfwb qhia khwv tau nyiaj ntau tej zaum yuav txawv nyob rau hauv ntau txoj kev. Piv txwv li, cov menyuam kawm nyob rau hauv cov tsev kawm ntawv uas muaj nyiaj hli xib fwb yuav tuaj los ntawm wealthier tsev neeg. Yog li, dab tsi zoo li ib cov nyhuv ntawm cov xib fwb yuav cia li tuaj los ntawm muab piv ntau hom ntawm cov tub ntxhais kawm. Cov unmeasured sib txawv ntawm cov menyuam kawm ntawv hu ua confounders, thiab nyob rau hauv Feem ntau, cov tau confounders wreaks fav rau kev soj ntsuam muaj peev xwm los teb ua-thiab-nyhuv lus nug los ntawm tab tom nrhiav rau cov qauv nyob rau hauv uas twb muaj lawm cov ntaub ntawv.
Ib lub tshuaj rau qhov teeb meem ntawm confounders yog sim ua kom ncaj ncees kev sib piv los kho rau observable sib txawv ntawm cov pab pawg neeg. Piv txwv li, tej zaum koj yuav tau mus download tau cov se vaj tse cov ntaub ntawv los ntawm ib tug xov tooj ntawm tsoom fwv websites. Ces, koj yuav piv me nyuam kawm ntawv kev ua tau zoo nyob rau hauv cov tsev kawm ntawv nyob qhov twg lub tsev tus nqi yog zoo xws li cov tab sis nyiaj hli xib fwb yog cov sib txawv, thiab koj tseem yuav nrhiav tau hais tias cov tub ntxhais kawm kawm paub ntau ntxiv nyob rau hauv cov tsev kawm ntawv nrog ntau dua cov xib fwb nyiaj. Tab sis, muaj cov tseem ntau tau confounders. Tej zaum cov niam txiv ntawm cov tub ntxhais kawm ntawv txawv nyob rau hauv lawv qib ntawm kev kawm ntawv los yog tej zaum cov tsev kawm ntawv txawv nyob rau hauv lawv txav los nyob ze rau cov tsev qiv ntawv los yog tej zaum cov tsev kawm ntawv nrog ntau dua cov xib fwb nyiaj kuj muaj ntau dua them rau thawj xib fwb thiab tus thawj xibfwb them nyiaj, tsis xib fwb them, yog tiag tiag yog dab tsi yog nce tub ntxhais kawm ntawv txoj kev kawm. Koj yuav sim mus ntsuas cov lwm yam zoo li, tab sis cov daim ntawv uas tau confounders no yeej tseem zoo txom. Nyob rau hauv muaj ntau yam teeb meem, koj cia li yuav tsis ntsuas thiab kho rau tag nrho cov tau confounders. Qhov no mus kom ze tsuas nqa tau koj kom deb li deb.
Ib tug zoo tshuaj rau qhov teeb meem ntawm confounders yog khiav thwmsim. Sim kawm pab kom soj ntsuam dhau mus lub sib txheeb nyob rau hauv lawm tshwm sim cov ntaub ntawv nyob rau hauv thiaj li yuav nti teb ua-thiab-nyhuv lo lus nug. Nyob rau hauv lub analog muaj hnub nyoog, kev twb feem ntau yog ib qho uas yooj yim thiab kim heev. Tam sim no, nyob rau hauv lub digital muaj hnub nyoog, logistical xyuas yog maj fading tam sim ntawd. Tsis tsuas yog nws yooj yim mus ua thwmsim zoo li cov neeg soj ntsuam tau ua nyob rau hauv lub dhau los lawm, nws yog tam sim no tau khiav tshiab hom thwmsim.
Nyob rau hauv dab tsi kuv twb sau ntawv kom deb li deb kuv twb tau ib tug me ntsis xoob nyob rau hauv kuv cov lus, tab sis nws yog ib qho tseem ceeb kom paub qhov txawv ntawm ob yam: thwmsim thiab xaiv tswj thwmsim. Nyob rau hauv ib tug xyaum ua tej yam tug neeg soj ntsuam intervenes nyob rau hauv lub ntiaj teb no thiab ces ntsuas ib tug tshwm sim. Kuv twb hnov qhov no mus kom ze piav raws li "perturb thiab soj ntsuam." Qhov no lub tswv yim yog zoo heev nyob rau hauv lub natural sciences, tab sis nyob rau hauv kev kho mob thiab kev sciences, muaj lwm txoj kev uas ua hauj lwm zoo dua. Nyob rau hauv ib tug xaiv tswj xyaum ua tej yam tug neeg soj ntsuam intervenes rau ib txhia neeg thiab tsis yog rau lwm tus neeg, thiab, critically, tus kws tshawb fawb txiav txim siab uas cov neeg tau txais cov kev pab los ntawm randomization (eg, flipping ib npib nyiaj). Qhov no txoj kev kom xaiv tswj thwmsim tsim kev ncaj ncees kev sib piv ntawm ob pawg: ib tug uas tau txais cov kev pab thiab ib tug uas tsis muaj. Nyob rau hauv lwm yam lus, xaiv tswj thwmsim yog ib tug tshuaj rau qhov teeb meem ntawm confounders. Txawm tias qhov tseem ceeb sib txawv ntawm thwmsim thiab xaiv tswj thwmsim, kev soj ntsuam ntawm ntau siv tau cov no cov ntsiab lus uas interchangeably. Kuv mam li ua raws li no convention, tab sis, nyob tej lub ntsiab lus, Kuv mam li ua txhaum lub convention mus sab laj txog cov nqi ntawm xaiv tswj thwmsim tshaj thwmsim tsis randomization thiab ib tug pab pawg neeg tswj.
Xaiv tswj thwmsim tau pov thawj los ua ib tug haib txoj kev kawm kom paub txog lub ntiaj teb no kev, thiab nyob rau hauv tshooj no, Kuv mam qhia koj ntxiv txog yuav ua li cas siv lawv nyob rau hauv koj tshawb nrhiav. Nyob rau hauv Section 4.2, kuv mam li qhia, qhov yooj yim logic ntawm experimentation nrog ib qho piv txwv ntawm ib qho kev xyaum ua tej yam rau Wikipedia. Ces, nyob rau hauv Section 4.3, Kuv mam li piav qhia txog qhov sib txawv ntawm lab thwmsim thiab teb thwmsim thiab qhov sib txawv ntawm analog thwmsim thiab cov thwmsim. Ntxiv mus, kuv mam li hais lus cam uas cov teb thwmsim yuav muab qhov zoo tshaj plaws nta ntawm analog lab thwmsim (kaw ntom nti ua tswj) thiab analog teb thwmsim (realism), tag nrho cov ntawm ib tug scale uas yog tsis tau yav tas los. Tom ntej no, nyob rau hauv Section 4.4, Kuv mam li piav qhia txog peb lub tswv yim-validity, heterogeneity ntawm kev kho mob los, thiab mechanisms-uas yog ib qho tseem ceeb vim nplua nuj thwmsim. Cov uas keeb kwm yav dhau, Kuv mam li piav qhia txog lub trade-offs muab kev koom tes nyob rau hauv lub ob lub ntsiab tswv yim rau kev cov thwmsim: ua koj tus kheej (Section 4.5.1) los yog koom tes nrog cov haib (Section 4.5.2). Thaum kawg, kuv mam li xaus nrog ib co qauv qhia txog yuav ua li cas koj yuav tau coj kom zoo dua ntawm lub lub hwj chim ntawm cov thwmsim (Section 4.6.1) thiab piav qhia txog ib co ntawm lub luag hauj lwm uas los nrog lub hwj chim (Section 4.6.2). Cov tshooj yuav tsum tau nthuav tawm nrog ib tug tsawg kawg nkaus ntawm zauv cim thiab kev hom lus; txawj nyeem ntawv xav nyob rau hauv ib tug ntau formal, zauv mus kom ze rau thwmsim yuav tsum tau nyeem cov Kev Qhia Ntxiv nyob rau thaum kawg ntawm tshooj.