Niini nga appendix, akong pag-summarize ang pipila ka mga ideya mahitungod sa paghimo sa kasaypanan nga panghunahuna gikan sa dili eksperimento nga datos sa usa ka gamay nga dagway sa matematika. Adunay duha ka pangunang mga pamaagi: ang causal graph framework, nga labing nakig-uban sa Judea Pearl ug mga kaubanan, ug ang potensyal nga outcome framework, kadaghanan nga nakig-uban ni Donald Rubin ug mga kaubanan. Akong ipaila ang potensyal nga resulta nga balangkas tungod kay kini mas suod nga konektado sa mga ideya sa mathematical nga mga nota sa katapusan sa kapitulo 3 ug 4. Alang sa dugang sa mga causal graphs framework, girekomendar ko ang Pearl, Glymour, and Jewell (2016) (pasiuna ) ug Pearl (2009) (advanced). Alang sa usa ka book-length nga pagtratar sa hinungdan nga panghunahuna nga naghiusa sa mga potensyal nga resulta nga balangkas ug ang gambalay sa causal graph, akong gisugyot ang Morgan and Winship (2014) .
Ang tumong niini nga appendix mao ang pagtabang kanimo nga mahimong komportable sa notasyon ug estilo sa potensyal nga mga resulta nga tradisyon aron nga ikaw makahimo sa pagbalhin ngadto sa pipila sa labaw nga teknikal nga materyal nga gisulat niini nga hilisgutan. Una, akong ihulagway ang potensyal nga resulta nga balangkas. Dayon, akong gamiton kini aron dugang nga mahisgutan ang mga natural nga mga eksperimento sama sa usa ni Angrist (1990) sa epekto sa serbisyo sa militar sa kinitaan. Kini nga apendiks nagdugang sa Imbens and Rubin (2015) .
Potensyal nga mga resulta nga gambalay
Ang potensyal nga outcome framework adunay tulo ka nag-unang mga elemento: mga yunit , mga pagtambal , ug mga potensyal nga resulta . Aron paghulagway niini nga mga elemento, atong hisgutan ang usa ka estilo nga bersyon sa pangutana nga gisulbad sa Angrist (1990) : Unsa ang epekto sa serbisyo militar sa kinitaan? Sa kini nga kaso, mahimo natong isaysay ang mga yunit aron mahimong mga tawo nga kwalipikado alang sa 1970 draft sa Estados Unidos, ug kita maka-index niini nga mga tawo pinaagi sa \(i = 1, \ldots, N\) . Ang mga paagi sa pagtambal sa niini nga kaso mahimong "sa pag-alagad sa militar" o "dili sa pag-alagad sa militar." Ako motawag niini nga sa pagtambal ug pagpugong sa mga kahimtang, ug ako mosulat \(W_i = 1\) kon nga tawo \(i\) anaa sa kondisyon sa pagtambal ug \(W_i = 0\) kung ang tawo \(i\) anaa sa kondisyon sa pagkontrol. Sa katapusan, ang posible nga mga sangputanan mas lisud kaayo nga konsepto tungod kay kini naglangkob sa "potensyal nga" resulta; mga butang nga mahimong nahitabo. Alang sa matag tawo nga kwalipikado alang sa 1970 draft, mahanduraw nato ang kantidad nga ilang nakuha niadtong 1978 kung sila nag-alagad sa militar, nga akong tawagan \(Y_i(1)\) , ug ang kantidad nga ilang makuha sa 1978 kon wala sila mag-alagad sa militar, nga akong tawgon nga \(Y_i(0)\) . Sa potensyal nga sangputanan nga balangkas, \(Y_i(1)\) ug \(Y_i(0)\) gikonsiderar nga gitakdo nga gidaghanon, samtang ang \(W_i\) usa ka random nga kapilian.
Ang pagpili sa mga yunit, mga pagtambal, ug mga resulta kritikal tungod kay kini naghubit kung unsa ang mahimo-ug dili-makat-unan gikan sa pagtuon. Ang pagpili sa mga yunit-mga tawo nga takos sa 1970 draft-wala maglakip sa mga kababayen-an, ug busa wala'y dugang nga mga pagpakaingon, kini nga pagtuon wala magsulti kanato bisan unsa mahitungod sa epekto sa serbisyo militar sa kababayen-an. Ang mga desisyon kon unsaon paghulagway ang mga pagtambal ug mga resulta mahinungdanon usab. Pananglitan, kinahanglan ba nga ang pagtagad sa interes mag-focus sa pag-alagad sa militar o pagsinati sa kombat? Kinahanglan ba nga ang sangputanan sa interes mahimong kinitaan o katagbawan sa trabaho? Sa katapusan, ang pagpili sa mga yunit, pagtambal, ug mga sangputanan kinahanglan nga gihatud sa mga tumong sa siyensya ug palisiya sa pagtuon.
Tungod sa mga pagpili sa mga yunit, mga pagtambal, ug mga potensyal nga resulta, ang sangputanan nga epekto sa pagtambal sa tawo \(i\) , \(\tau_i\) , mao
\[ \tau_i = Y_i(1) - Y_i(0) \qquad(2.1)\]
Sa laing mga pulong, atong itandi sa unsa nga paagi sa daghang nga tawo \(i\) unta nakaangkon human sa pag-alagad sa kon sa unsang paagi sa daghan nga tawo \(i\) unta nakaangkon sa walay pag-alagad. Kanako, eq. 2.1 mao ang pinakasimple nga paagi sa pagpatin-aw sa usa ka hinungdan nga epekto, ug bisan pa nga yano ra kaayo, kini nga balangkas nahimong kadaghanan sa importante ug makapaikag nga mga paagi (Imbens and Rubin 2015) .
Kung gamiton ang potensyal nga resulta nga balangkas, sa kasagaran makatabang ko sa pagsulat sa usa ka lamesa nga nagpakita sa posibleng mga resulta ug mga epekto sa pagtambal sa tanan nga mga yunit (lamesa 2.5). Kung dili nimo mahanduraw ang usa ka lamesa nga ingon niini alang sa imong pagtuon, nan kinahanglan nimo nga mas tukma sa imong mga kahulugan sa imong mga yunit, mga pagtambal, ug mga posibleng resulta.
Tawo | Mga kita sa kondisyon sa pagtambal | Kinitaan sa pagkontrol sa kondisyon | Epekto sa pagtambal |
---|---|---|---|
1 | \(Y_1(1)\) | \(Y_1(0)\) | \(\tau_1\) |
2 | \(Y_2(1)\) | \(Y_2(0)\) | \(\tau_2\) |
\(\vdots\) | \(\vdots\) | \(\vdots\) | \(\vdots\) |
\(N\) | \(Y_N(1)\) | \(Y_N(0)\) | \(\tau_N\) |
Kahulogan | \(\bar{Y}(1)\) | \(\bar{Y}(0)\) | \(\bar{\tau}\) |
Apan, sa pagdeterminar sa hinungdan nga epekto niining paagiha, kita adunay problema. Sa hapit tanan nga mga kaso, dili nato makita ang posible nga resulta. Nga mao, ang usa ka piho nga tawo nag-alagad o wala mag-alagad. Busa, nakita nato ang usa sa mga posibleng resulta - \(Y_i(1)\) o \(Y_i(0)\) -apan dili pareho. Ang pagkawalay katakos sa pag-obserbar sa posibleng resulta mao ang usa ka dakong problema nga gitawag ni Holland (1986) nga Pangunang Pangutana sa Hinungdan nga Pagbalibad .
Maayo na lang, sa diha nga kita nagsiksik, dili lang kita adunay usa ka tawo; hinoon, daghan kita nga mga tawo, ug kini naghatag og usa ka paagi sa palibot sa Mga Nag-unang Suliran sa Hinungdan nga Pagduhaduha. Imbis nga sulayan ang pagtantiya sa indibidwal nga pagtambal nga epekto, mahimo natantiya ang kasagaran nga epekto sa pagtambal sa tanan nga mga yunit:
\[ \text{ATE} = \bar{\tau} = \frac{1}{N} \sum_{i=1}^N \tau_i \qquad(2.2)\]
Kini nga equation gipahayag gihapon sa termino nga \(\tau_i\) , nga dili maobserbahan, apan uban sa pipila ka algebra (eq 2.8 sa Gerber and Green (2012) ), kita
\[ \text{ATE} = \frac{1}{N} \sum_{i=1}^N Y_i(1) - \frac{1}{N} \sum_{i=1}^N Y_i(0) \qquad(2.3)\]
Kini nagpakita nga kon kita Gibanabana sa sa populasyon average resulta sa ilalum sa pagtambal ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ) ug ang populasyon average resulta ubos sa kontrol ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ), nan kita makagasto sa kasagaran nga epekto sa pagtambal, bisan pa wala'y pagtantiya sa treatment effect alang sa bisan kinsa nga partikular nga tawo.
Karon nga akong gihubit ang among bili-ang butang nga among gisulayan sa pagtantiya-Akong ibalik kon giunsa nato kini matantiya sa datos. Ug dinhi kita direktang modagan sa sulud nga atong makita ang usa sa posibleng resulta alang sa matag tawo; Makita nato ang \(Y_i(0)\) o \(Y_i(1)\) (basahan 2.6). Mahimo namon ang pagbanabana sa kasagaran nga epekto sa pagpatambal pinaagi sa pagtandi sa mga kinitaan sa mga tawo nga nagsilbi sa kinitaan sa mga tawo nga wala mag-alagad:
\[ \widehat{\text{ATE}} = \underbrace{\frac{1}{N_t} \sum_{i:W_i=1} Y_i(1)}_{\text{average earnings, treatment}} - \underbrace{\frac{1}{N_c} \sum_{i:W_i=0} Y_i(0)}_{\text{average earnings, control}} \qquad(2.4)\]
diin ang \(N_t\) ug \(N_c\) mao ang gidaghanon sa mga tawo sa mga kondisyon sa pagtambal ug pagkontrol. Kini nga pamaagi magamit nga maayo kung ang pagtambal nga pagtambal walay kalabutan sa posible nga resulta, usa ka kondisyon nga usahay gitawag nga pagkawalay-pagtagad . Ikasubo, sa pagkawala sa usa ka eksperimento, ang pagkawalay alamag dili kasagaran matagbaw, nga nagpasabot nga ang estimator sa eq. 2.4 dili makahatag og maayo nga pagbanabana. Usa ka paagi sa paghunahuna mahitungod niini mao nga sa pagkawala sa random assignment sa pagtambal, eq. 2.4 dili itandi sama sa sama; kini nagatandi sa kinitaan sa nagkalainlaing matang sa mga tawo. O gipahayag nga diyutay ra ang kalainan, nga walay random assignment sa pagtambal, ang alokasyon sa pagtambal tingali may kalabutan sa potensyal nga resulta.
Sa kapitulo 4, isaysay nako kung giunsa pagtabang sa mga tigdukiduki ang kontrolado nga mga eksperimento, ug dinhi akong isaysay kung unsa ang mahimo sa mga tigdukiduki sa natural nga mga eksperimento, sama sa draft loterya.
Tawo | Mga kita sa kondisyon sa pagtambal | Kinitaan sa pagkontrol sa kondisyon | Epekto sa pagtambal |
---|---|---|---|
1 | ? | \(Y_1(0)\) | ? |
2 | \(Y_2(1)\) | ? | ? |
\(\vdots\) | \(\vdots\) | \(\vdots\) | \(\vdots\) |
\(N\) | \(Y_N(1)\) | ? | ? |
Kahulogan | ? | ? | ? |
Natural nga eksperimento
Usa ka pamaagi sa paghimo sa mga gibanabanang panghimatuud nga wala magpadagan sa usa ka eksperimento mao ang pagpangita alang sa usa ka butang nga nagakahitabo sa kalibutan nga adunay usa ka pagtagad nga usa ka pagtambal alang kanimo. Kini nga paagi gitawag nga natural nga mga eksperimento . Sa daghang mga sitwasyon, Subo nga, ang kinaiyahan dili kanunay nga naghatag sa pagtambal nga gusto nimo sa populasyon nga interesado. Apan usahay, ang kinaiyahan sa walay pagtagad naghatag sa usa ka may kalabutan nga pagtambal. Ilabi na, akong hisgotan ang kaso diin adunay pipila nga ikaduha nga pagtambal nga nag-awhag sa mga tawo nga makadawat sa unang pagtambal . Pananglitan, ang draft mahimong ikonsiderar nga usa ka random nga gitudlo nga secondary treatment nga nagdasig sa pipila ka mga tawo sa pagkuha sa nag-una nga pagtambal, nga nagsilbi sa militar. Kini nga disenyo usahay gitawag nga pagdasig sa pagdasig . Ug ang pamaagi sa pag-analisar nga akong gihulagway nga pagdumala niini nga sitwasyon usahay gitawag nga mga instrumento sa instrumento . Sa niini nga kahimtang, uban sa pipila nga mga panghunahuna, ang mga tigdukiduki mahimo nga mogamit sa pagdasig aron mahibal-an ang mahitungod sa epekto sa nag-una nga pagtratar alang sa usa ka partikular nga bahin sa mga yunit.
Aron masulbad ang duha ka nagkalainlain nga mga pagtambal-ang pag-awhag ug ang nag-una nga pagtambal-nagkinahanglan kita og bag-ong notasyon. Hunahunaa nga ang pipila ka mga tawo nga gihulma sa random ( \(Z_i = 1\) ) o dili gi-draft ( \(Z_i = 0\) ); sa niini nga sitwasyon, \(Z_i\) usahay gitawag nga instrumento .
Lakip sa mga \(Z_i = 1, W_i = 1\) , ang uban nagsilbi ( \(Z_i = 1, W_i = 1\) ) ug ang uban wala ( \(Z_i = 1, W_i = 0\) ). Ingon usab, taliwala niadtong wala mag-draft, ang uban nag-alagad ( \(Z_i = 0, W_i = 1\) ) ug ang uban wala ( \(Z_i = 0, W_i = 0\) ). Ang potensyal nga mga resulta alang sa matag tawo karon mahimong mapalapad aron ipakita ang ilang kahimtang alang sa pagdasig ug pagtambal. Pananglitan, \(Y(1, W_i(1))\) mao ang kinitaan sa tawo \(i\) siya gi-draft, diin \(W_i(1)\) Dugang pa, mahimo natong tipon ang populasyon ngadto sa upat ka grupo: compliters, never-takers, defiers, ug kanunay-takers (table 2.7).
Matang | Pag-alagad kung gihimo | Pag-alagad kon dili mag-draft |
---|---|---|
Mga kompaniya | Oo, \(W_i(Z_i=1) = 1\) | Dili, \(W_i(Z_i=0) = 0\) |
Dili gayud makadawat | Dili, \(W_i(Z_i=1) = 0\) | Dili, \(W_i(Z_i=0) = 0\) |
Mga defender | Dili, \(W_i(Z_i=1) = 0\) | Oo, \(W_i(Z_i=0) = 1\) |
Kanunay nga tigpanguha | Oo, \(W_i(Z_i=1) = 1\) | Oo, \(W_i(Z_i=0) = 1\) |
Sa wala pa kita maghisgot sa pagtantiya sa epekto sa pagtambal (ie, serbisyo sa militar), mahimo natong mahibal-an una ang duha ka epekto sa pagdasig (ie, nga gi-draft). Una, mahimo natong ipasabut ang epekto sa pagdasig sa nag-una nga pagtratar. Ikaduha, mahibal-an nato ang epekto sa pagdasig sa sangputanan. Mahimo nga kining duha ka mga epekto mahimo nga gihiusa aron paghatag usa ka banabana sa epekto sa pagtambal sa usa ka piho nga grupo sa mga tawo.
Una, ang epekto sa pag-awhag sa pagtambal mahimong gihubit alang sa person \(i\) ingon
\[ \text{ITT}_{W,i} = W_i(1) - W_i(0) \qquad(2.5)\]
Dugang pa, kini nga gidaghanon mahimo nga gihubit sa tibuok populasyon ingon nga
\[ \text{ITT}_{W} = \frac{1}{N} \sum_{i=1}^N [W_i(1) - W_i(0)] \qquad(2.6)\]
Sa kataposan, kita maka-estima \(\text{ITT} _{W}\) paggamit sa datos:
\[ \widehat{\text{ITT}_{W}} = \bar{W}^{\text{obs}}_1 - \bar{W}^{\text{obs}}_0 \qquad(2.7)\]
diin \(\bar{W}^{\text{obs}}_1\) ang obserbahan rate sa pagtambal alang sa mga tawo nga gidasig ug \(\bar{W}^{\text{obs}}_0\) mao ang ang naobserbahan nga gidaghanon sa pagtambal alang niadtong wala madasig. \(\text{ITT}_W\) usab usahay gitawag sa uptake rate.
Sunod, ang epekto sa pag-awhag sa resulta mahimong mahulagway alang sa person \(i\) ingon:
\[ \text{ITT}_{Y,i} = Y_i(1, W_i(1)) - Y_i(0, W_i(0)) \qquad(2.8)\]
Dugang pa, kini nga gidaghanon mahimo nga gihubit sa tibuok populasyon ingon nga
\[ \text{ITT}_{Y} = \frac{1}{N} \sum_{i=1}^N [Y_i(1, W_i(1)) - Y_i(0, W_i(0))] \qquad(2.9)\]
Sa katapusan, kita maka-estima \(\text{ITT}_{Y}\) paggamit sa datos:
\[ \widehat{\text{ITT}_{Y}} = \bar{Y}^{\text{obs}}_1 - \bar{Y}^{\text{obs}}_0 \qquad(2.10)\]
diin \(\bar{Y}^{\text{obs}}_1\) mao ang i sa resulta (pananglitan, kinitaan) alang sa mga tawo nga gidasig (pananglitan, draft) ug \(\bar{W}^{\text{obs}}_0\) mao ang naobserbahan nga sangputanan alang niadtong wala madasig.
Sa katapusan, among gipunting ang among pagtagad sa epekto sa interes: ang epekto sa unang pagtambal (pananglitan, serbisyo militar) sa sangputanan (eg, kinitaan). Ikasubo, nahimo nga dili mahimo, sa kinatibuk-an, pag-estimate kini nga epekto sa tanan nga mga yunit. Bisan pa, uban sa pipila nga mga pangagpas, ang mga tigdukiduki makahunahuna sa epekto sa pagtambal sa mga compliters (ie, mga tawo nga mag-alagad kung gi-draft ug mga tawo nga dili mag-alagad kung dili gi-draft, ang lamesa 2.7). Akong tawagon kining bili ug ang average nga hinungdan nga epekto (CACE) (nga usahay gitawag nga lokal nga average treatment effect , LATE):
\[ \text{CACE} = \frac{1}{N_{\text{co}}} \sum_{i:G_i=\text{co}} [Y(1, W_i(1)) - Y(0, W_i(0))] \qquad(2.11)\]
diin ang \(G_i\) nagdonar sa grupo sa tawo \(i\) (tan-awa sa table 2.7) ug \(N_{\text{co}}\) mao ang gidaghanon sa mga nagsulud. Sa laing pagkasulti, eq. 2.11 nagtandi sa kinitaan sa mga complier nga gi-draft \(Y_i(1, W_i(1))\) ug dili gimugna \(Y_i(0, W_i(0))\) . Ang gibana-bana sa eq. Ang 2.11 daw dili ma-estimate gikan sa naobserbahan nga datos tungod kay dili mahimo ang pag-ila sa mga compliter nga gamit lamang ang mga datos nga nakit-an (aron mahibal-an kung ang usa ka tawo nga mag-obserbar kinahanglan nga mag-obserbar kung siya nag-alagad sa panahon nga gilatid ug kung nag-alagad ba siya kung wala gi-draft).
Kini nahibulong-nga katingalahan kaayo-nga kon adunay bisan unsa nga mga complier, nan naghatag sa usa nga naghimo sa tulo ka dugang nga mga panghunahuna, kini posible nga mag-estimate sa CACE gikan sa naobserbahan nga datos. Una, ang usa kinahanglan nga maghunahuna nga ang buluhaton sa pagtratar usa ka random. Sa kaso sa draft lottery kini makatarunganon. Bisan pa, sa pipila ka mga kahimtang diin ang natural nga mga eksperimento wala magsalig sa pisikal nga pagsabwag, kini nga pangagpas mas masulub-on. Ikaduha, ang usa kinahanglan nga maghunahuna nga ang ilang mga dili defiers (kini nga pangagpas usahay gitawag nga monotonicity assumption). Diha sa konteksto sa draft kini daw makatarunganon nga maghunahuna nga adunay diyutay ra kaayo nga mga tawo nga dili mag-alagad kon mag-draft ug mag-alagad kon dili mag-draft. Ikatulo, ug sa katapusan, ang labing mahinungdanon nga pag-angkon nga gitawag nga pagpugong sa pagpahigawas . Ubos sa pagdili sa pagpahigawas, ang usa kinahanglan nga maghunahuna nga ang tanan nga epekto sa assignment sa pagtambal gipasa pinaagi sa pagtambal mismo. Sa laing pagkasulti, ang usa kinahanglan nga maghunahuna nga walay direkta nga epekto sa pagdasig sa mga resulta. Sa kaso sa draft loterya, pananglitan, ang usa kinahanglan nga maghunahuna nga ang kahimtang nga dyaryo walay epekto sa kinitaan gawas sa paglihok sa militar (numero 2.11). Ang pagpugong sa pagpahigawas mahimong malapas kung, pananglitan, ang mga tawo nga gi-draft nagdugay sa dugang nga panahon sa eskuylahan aron malikayan ang pag-alagad o kung ang mga amo dili kaayo mag-hire og mga tawo nga gi-draft.
Kung kining tulo nga kondisyon (random assignment ngadto sa pagtambal, walay defiers, ug ang pagdumili sa pagpugong) nahuman, nan
\[ \text{CACE} = \frac{\text{ITT}_Y}{\text{ITT}_W} \qquad(2.12)\]
aron atong mahunahuna ang CACE:
\[ \widehat{\text{CACE}} = \frac{\widehat{\text{ITT}_Y}}{\widehat{\text{ITT}_W}} \qquad(2.13)\]
Usa ka paagi sa paghuna-huna mahitungod sa CACE mao nga kini ang kalainan sa mga sangputanan tali sa mga nadasig ug kadtong wala madasig, gipataas sa rate sa pagtaas.
Adunay duha ka importante nga mga pahibalo nga ibutang sa hunahuna. Una, ang pagpugong sa pagpahigawas usa ka lig-on nga pangagpas, ug kini kinahanglan nga makatarunganon sa matag usa nga basehan, nga kasagaran nagkinahanglan sa kausaban sa subject-area. Ang pagpugong sa pagpahigawas dili makatarunganon sa paghunahuna sa pagdasig. Ikaduha, ang usa ka komon nga praktikal nga hagit uban sa instrumento baryable pagtuki moabut sa diha nga ang pagdasig adunay gamay nga epekto sa uptake sa pagtambal (sa diha nga \(\text{ITT}_W\) mao ang gamay nga). Gitawag kini nga usa ka mahuyang nga instrumento , ug kini mosangpot sa nagkalain-laing mga problema (Imbens and Rosenbaum 2005; Murray 2006) . Usa ka paagi sa paghunahuna mahitungod sa mga problema sa mga mahuyang nga mga instrumento mao nga \(\widehat{\text{CACE}}\) mahimong sensitibo ngadto sa gagmay nga mga pagpihig sa \(\widehat{\text{ITT}_Y}\) -potentially tungod sa mga paglapas sa pagdili sa pagpugong-tungod kay kini nga mga pagpaangay nga gipadak-an pinaagi sa usa ka gamay nga \(\widehat{\text{ITT}_W}\) (tan-awa ang bersikulo 2.13). Sa kasarangan, kon ang pagtambal nga gitudlo sa kinaiyahan dili dako nga epekto sa pagtambal nga imong gimahal, nan maglisud ka sa pagkat-on mahitungod sa pagtambal nga imong gimahal.
Tan-awa ang kapitulo 23 ug 24 sa Imbens and Rubin (2015) alang sa mas pormal nga bersyon sa kini nga panaghisgutan. Ang tradisyonal nga ekonometrik nga pamaagi sa mga instrumento sa mga instrumento kasagaran gipahayag sa pagtino sa mga equation, dili potensyal nga resulta. Alang sa usa ka pasiuna gikan niining laing panglantaw, tan-awa ang Angrist and Pischke (2009) , ug alang sa usa ka pagtandi tali sa duha ka pamaagi, tan-awa ang seksyon 24.6 sa Imbens and Rubin (2015) . Usa ka alternatibo, dili kaayo pormal nga presentasyon sa instrumental variables approach gihatag sa kapitulo 6 sa Gerber and Green (2012) . Alang sa dugang bahin sa pagdili sa paglain, tan-awa ang D. Jones (2015) . Aronow and Carnegie (2013) naghulagway sa usa ka dugang nga mga panghunahuna nga mahimong gamiton sa pagbanabana sa ATE kay sa CACE. Alang sa dugang kon sa unsa nga paagi ang natural nga mga eksperimento mahimong malisud sa paghubad, tan-awa ang Sekhon and Titiunik (2012) . Alang sa usa ka labaw nga kinatibuk-ang pasiuna sa mga natural nga mga eksperimento-ang usa nga labaw pa sa mga instrumento nga nagkalain-laing instrumento sa paglakip usab sa mga disenyo sama sa pagkawala sa pagtan-aw-tan-awa ang Dunning (2012) .