Nyob rau hauv cov kev mus saib kom deb li deb ntawm phau ntawv no-saib tus cwj pwm (tshooj 2) thiab nug cov lus nug (tshooj 3) -researchers sau cov ntaub ntawv tsis muaj kev txhob txwm thiab systematically hloov lub ntiaj teb. Txoj kev qhia nyob rau hauv tshooj-sim no yog qhov sib txawv - yog txawv txav. Thaum cov neeg tshawb xyuas khiav cov kev sim, lawv muaj kev cuam tshuam rau hauv ntiaj teb los tsim cov ntaub ntawv uas zoo tsim nyog los teb cov lus nug txog kev sib raug zoo-thiab-qhov kev sib raug zoo.
Cov lus nug thiab cov lus nug muaj feem xyuam nrog kev tshawb fawb, thiab cov piv txwv muaj xws li cov lus nug xws li: Ua kom cov xib fwb nyiaj hli nce ntxiv ntawm cov tub ntxhais kawm ntawv? Dab tsi yog qhov txiaj ntsim ntawm qhov nyiaj tsawg kawg nkaus ntawm cov nqi hauj lwm? Tus neeg ua haujlwm hauv daim ntawv thov kev pabcuam puas pab tau nws txoj haujlwm tau licas? Ntxiv rau cov lus nug no, qee zaum cov lus nug uas ua rau-thiab-muaj kev cuam tshuam yog cov lus nug ntau tshaj plaws txog qhov kev qhia ntawm qhov kev kawm ntawm ntau qhov kev ntsuas. Piv txwv li, lo lus nug "Dab tsi xim yuav tsum pub lub khawm rau ntawm NGO lub website?" Yog tiag tiag ntau ntau cov lus nug txog cov nyhuv ntawm khawm xim txawv ntawm kev pub dawb.
Ib txoj hauv kev los teb cov lus nug thiab teeb meem yog los nrhiav cov qauv hauv cov ntaub ntawv uas twb muaj lawm. Piv txwv, rov qab mus rau lo lus nug hais txog cov txiaj ntsig ntawm cov xib fwb cov nyiaj tau los ntawm cov tub ntxhais kawm kev kawm, koj yuav suav tias cov tub ntxhais kawm kawm tau ntau dua hauv cov tsev kawm ntawv uas muaj cov xibfwb qhia ntawv zoo. Tab sis, qhov no piv tsis tau hais tias cov nyiaj hli siab dua ua rau cov tub ntxhais kawm ntawv kawm tau ntau dua? Tau kawg tsis. Cov tsev kawm ntawv uas cov kws qhia ntawv tau khwv tau ntau dua los ntawm ntau txoj kev. Piv txwv, cov tub ntxhais kawm hauv cov tsev kawm ntawv uas muaj cov xib fwb qhia siab tshaj plaws tuaj yeem los ntawm cov tsev neeg muaj nyiaj muaj txiaj. Yog li, zoo nkaus li zoo li cov xibfwb tau los ntawm kev sib piv ntau hom ntawm cov menyuam kawm ntawv. Cov kev sib txawv ntawm cov menyuam kawm ntawv no yog hu ua confounders , thiab, feem ntau, cov kev nkag siab ntawm cov neeg ua haujlwm tsis sib haum xeeb los ntawm cov neeg tshawb xyuas qhov kev muaj peev xwm los teb cov lus nug thiab ua haujlwm ntawm kev nrhiav cov qauv hauv cov ntaub ntawv.
Ib qho kev daws teeb meem ntawm cov teebmeem yog ua kom ncaj ncees sib piv los ntawm kev kho kom muaj kev sib txawv ntawm pawg. Piv txwv, tej zaum koj yuav tau muab cov ntaub ntawv them se ntawm ib tug xov tooj ntawm tsoom fwv cov websites. Tom qab ntawd, koj tuaj yeem sib piv cov menyuam kawm ntawv hauv tsev kawm ntawv uas muaj nqi tsev zoo ib yam, tiam sis cov xib fwb cov nyiaj hli sib txawv, thiab koj tseem yuav pom tau tias cov tub ntxhais kawm kawm tau ntau dua hauv cov tsev kawm ntawv uas muaj cov xibfwb them nyiaj ntau dua. Tab sis kuj tseem muaj ntau yam ua rau muaj kev ntxhov siab. Tej zaum cov niam txiv ntawm cov tub ntxhais kawm no txawv ntawm lawv txoj kev kawm. Los yog tej zaum cov tsev kawm ntawv sib txawv hauv lawv txoj kev sib raug zoo rau cov tsev qiv ntawv pej xeem. Los yog tej zaum cov tsev kawm ntawv uas muaj cov xibfwb qhia ntawv tau them nyiaj ntau dua rau cov thawj xibfwb, thiab tus thawj xibfwb them nuj nqis, tsis yog xibfwb them nyiaj, yog qhov tseeb ntawm cov menyuam kawm ntawv kev kawm. Koj yuav sim ntsuas thiab kho rau cov xwm txheej zoo li no, tab sis daim ntawv teev cov kev tsis sib haum xeeb yog qhov tseem ceeb kawg nkaus. Nyob rau ntau qhov xwm txheej, koj tsuas ntsuas tsis tau thiab kho rau txhua tus neeg tau taub. Nyob rau hauv kev teb rau qhov kev sib tw no, cov neeg tshawb nrhiav tau tsim ntau cov tswv yim los ua qhov kev ntsuas ntawm cov ntaub ntawv tsis yog-kuv tham txog qee leej hauv tshooj 2-tab sis, txog qee hom lus nug, cov tswv yim no muaj kev txwv, thiab cov kev sim muaj kev cog lus lwm txoj.
Kev sim ua kom cov kws tshawb fawb tsiv dhau kev sib haum xeeb hauv cov ntaub ntawv ua tau tshwm sim kom thiaj li muaj peev xwm teb tau cov lus nug thiab teeb meem. Hauv lub hnub nyoog analog, cov kev sim muaj feem ntau nyuaj thiab kim heev. Tam sim no, nyob rau hauv cov hnub nyoog digital, logistical xyuas yog maj fading tseg. Tsis yog nws yooj yim dua ua cov kev sim zoo li cov uas tau ua yav dhau los, nws yog tam sim no ua tau los khiav cov hom kev sim tshiab.
Hauv qhov kuv tau sau tseg kom deb li deb kuv tau xoob me ntsis hauv kuv cov lus, tab sis nws yog qhov tseem ceeb kom paub qhov txawv ntawm ob yam: cov kev sim thiab cov kev sim randomized. Hauv kev sim , ib tug neeg tshawb nrhiav cuam tshuam hauv lub ntiaj teb thiab tom qab ntsuas qhov tshwm sim. Kuv tau hnov cov lus qhia ua "perturb thiab soj ntsuam." Hauv kev sim tshuaj randomized ib tus neeg tshawb nrhiav cuam tshuam rau qee tus neeg thiab tsis rau lwm tus, thiab tus neeg tshawb xyuas txiav txim siab uas cov neeg tau txais kev cuam tshuam los ntawm randomization (xws li, tig ib npib nyiaj). Cov kev sim zauv tshwm sim los ua cov kev sib piv ncaj ntawm ob pawg: ib qho uas tau txais kev cuam tshuam thiab ib qho uas tsis tau muaj. Hauv lwm cov lus, kev sim kev sim randomized yog ib qho kev daws teeb meem ntawm cov teebmeem. Perturb-and-observe experiments, txawm li cas los xij, tsuas yog ib pab pawg neeg uas tau txais kev cuam tshuam, thiab yog li ntawd cov qhab-nees thiaj ua rau cov neeg soj ntsuam tshawb xyuas qhov kev txiav txim tsis tiav (raws li kuv mam li qhia sai). Txawm tias cov kev sib txawv ntawm cov kev sim thiab cov kev sim randomized tswj, cov kws tshawb fawb feem ntau siv cov lus sib hloov no. Kuv mam li ua raws li lub rooj sib txoos no, tab sis, ntawm tej lub ntsiab lus, Kuv mam li ua lub rooj sib txoos rau qhov tseem ceeb ntawm cov kev sim randomized kev sim dhau kev sim uas tsis muaj kev tshaj tawm thiab pawg tswj hwm.
Cov kev sim uas tau lam ceem tau ua pov thawj los ua kom paub txog lub ntiaj teb, thiab hauv tshooj lus no, kuv mam li qhia koj ntau ntxiv txog kev siv lawv hauv koj txoj kev tshawb fawb. Hauv seem 4.2, kuv mam li qhia cov logic ntawm kev sim nrog ib qho piv txwv ntawm kev sim ntawm Wikipedia. Tom qab ntawd, hauv seem 4.3, kuv yuav piav qhia qhov txawv ntawm kev sim (lab) thiab qhov kev sim thiab kev sib txawv ntawm cov kev sim analog thiab cov kev sim. Tsis tas li ntawd, kuv mam li sib cav hais tias cov kev kawm thooj av muaj peev xwm muab qhov zoo tshaj plaws ntawm cov kev sim (analog) (kev kaw ntom nti) thiab kev sim (realism) thwmsim (tiag), tag nrho ntawm qhov ntsuas uas tsis tau yav tas los. Tom ntej no, hauv Tshooj 4.4, kuv mam li piav txog peb lub ntsiab lus-qhov tseeb, qhov kev kho mob ntawm kev kho mob, thiab cov mechanisms-uas yog qhov tseem ceeb rau kev tsim cov kev nplua nuj. Nrog rau tom qab ntawd, kuv yuav piav txog cov lag luam tawm hauv ob lub tswv yim tseem ceeb rau kev sim ua cov kev sim: ua koj tus kheej los yog koom tes nrog cov neeg muaj hwj chim. Thaum kawg, kuv mam li xaus nrog ib co tswv yim tsim tawm txog qhov koj yuav ua li cas thiaj li siv tau lub hwj chim ntawm cov kev sim (seem 4.6.1) thiab piav txog qee yam ntawm txoj dej num uas muaj lub hwj chim (nqe lus 4.6.2).