Nodiadau mathemategol
Yn yr atodiad hwn, byddaf yn crynhoi rhai syniadau ynglŷn â gwneud casgliad achosol o ddata nad yw'n arbrofol mewn ffurf ychydig yn fwy mathemategol. Mae dau brif ddull: y fframwaith graff achosol, y mwyaf cysylltiedig â Judea Pearl a chydweithwyr, a'r fframwaith deilliannau posibl, y mwyaf cysylltiedig â Donald Rubin a chydweithwyr. Byddaf yn cyflwyno'r fframwaith deilliannau posibl oherwydd ei bod yn gysylltiedig yn agosach â'r syniadau yn y nodiadau mathemategol ar ddiwedd pennod 3 a 4. I gael rhagor o wybodaeth am y fframwaith graffiau achosol, rwy'n argymell Pearl, Glymour, and Jewell (2016) (cyflwyniad ) a Pearl (2009) (uwch). Ar gyfer triniaeth derfynol o ganfyddiad achosol sy'n cyfuno'r fframwaith canlyniadau posibl a'r fframwaith graff achosol, rwy'n argymell Morgan and Winship (2014) .
Nod yr atodiad hwn yw eich helpu i fod yn gyfforddus â nodiant ac arddull y traddodiad canlyniadau posib fel y gallwch chi drosglwyddo i rai o'r deunydd mwy technegol a ysgrifennwyd ar y pwnc hwn. Yn gyntaf, disgrifiaf y fframwaith canlyniadau posibl. Yna, fe'i defnyddiaf i drafod ymhellach arbrofion naturiol fel yr un gan Angrist (1990) ar effaith gwasanaeth milwrol ar enillion. Mae'r atodiad hwn yn tynnu'n helaeth ar Imbens and Rubin (2015) .
Fframwaith canlyniadau posibl
Mae gan y fframwaith canlyniadau posibl dri phrif elfen: unedau , triniaethau , a chanlyniadau posibl . Er mwyn dangos yr elfennau hyn, gadewch i ni ystyried fersiwn arddull o'r cwestiwn a anerchwyd yn Angrist (1990) : Beth yw effaith gwasanaeth milwrol ar enillion? Yn yr achos hwn, gallwn ddiffinio'r unedau i fod yn bobl sy'n gymwys ar gyfer drafft 1970 yn yr Unol Daleithiau, a gallwn fynegai'r bobl hyn trwy \(i = 1, \ldots, N\) . Gall y triniaethau yn yr achos hwn fod yn "wasanaethu yn y lluoedd arfog" neu "ddim yn gwasanaethu yn y milwrol." Fe allaf alw'r rhain ar yr amodau triniaeth a rheolaeth, a byddaf yn ysgrifennu \(W_i = 1\) os yw person \(i\) yn yr amod triniaeth a \(W_i = 0\) os yw person \(i\) yn y cyflwr rheoli. Yn olaf, mae'r canlyniadau posibl yn fwy cysyniadol yn anodd oherwydd eu bod yn cynnwys canlyniadau "potensial"; pethau a allai fod wedi digwydd. Ar gyfer pob person sy'n gymwys ar gyfer drafft 1970, gallwn ddychmygu'r swm y byddent wedi'i ennill yn 1978 os ydynt yn gwasanaethu yn y lluoedd arfog, y byddaf yn galw \(Y_i(1)\) , a'r swm y byddent wedi ei ennill yn 1978 os na wnaethant wasanaethu yn y lluoedd arfog, y byddaf yn galw \(Y_i(0)\) . Yn y fframwaith canlyniadau posibl, \(Y_i(1)\) a \(Y_i(0)\) symiau sefydlog, tra bod \(W_i\) yn amrywio ar hap.
Mae'r dewis o unedau, triniaethau a chanlyniadau yn hanfodol oherwydd ei fod yn diffinio'r hyn y gellir ei ddysgu o'r astudiaeth. Nid yw'r dewis o unedau-bobl sy'n gymwys ar gyfer drafft 1970 yn cynnwys menywod, ac felly heb ragdybiaethau ychwanegol, ni fydd yr astudiaeth hon yn dweud wrthym ni beth yw effaith gwasanaeth milwrol ar fenywod. Mae penderfyniadau ynghylch sut i ddiffinio triniaethau a chanlyniadau yn bwysig hefyd. Er enghraifft, a ddylai'r driniaeth o ddiddordeb gael ei ganolbwyntio ar wasanaethu yn y lluoedd milwrol neu brofi ymladd? A ddylai canlyniad llog ennill enillion neu foddhad swydd? Yn y pen draw, dylai'r dewis o unedau, triniaethau a chanlyniadau gael eu gyrru gan nodau gwyddonol a pholisi'r astudiaeth.
O ystyried dewisiadau unedau, triniaethau, a chanlyniadau posibl, effaith achosol y driniaeth ar berson \(i\) , \(\tau_i\) , yw
\[ \tau_i = Y_i(1) - Y_i(0) \qquad(2.1)\]
Mewn geiriau eraill, rydym yn cymharu faint y byddai person \(i\) wedi ei ennill ar ôl gwasanaethu i ba raddau y byddai person \(i\) wedi ennill heb wasanaethu. I mi, eq. 2.1 yw'r ffordd fwyaf eglur o ddiffinio effaith achosol, ac er ei fod yn hynod o syml, mae'r fframwaith hwn yn ymddangos yn gyffredinol mewn sawl ffordd bwysig a diddorol (Imbens and Rubin 2015) .
Wrth ddefnyddio'r fframwaith deilliannau posibl, rwy'n aml yn ei chael yn ddefnyddiol i ysgrifennu tabl sy'n dangos y canlyniadau posibl a'r effeithiau triniaeth ar gyfer pob uned (tabl 2.5). Os na allwch ddychmygu tabl fel hyn ar gyfer eich astudiaeth, efallai y bydd angen i chi fod yn fwy manwl yn eich diffiniadau o'ch unedau, triniaethau, a chanlyniadau posibl.
| Person | Enillion mewn amod triniaeth | Enillion mewn cyflwr rheoli | Effaith triniaeth |
|---|---|---|---|
| 1 | \(Y_1(1)\) | \(Y_1(0)\) | \(\tau_1\) |
| 2 | \(Y_2(1)\) | \(Y_2(0)\) | \(\tau_2\) |
| \(\vdots\) | \(\vdots\) | \(\vdots\) | \(\vdots\) |
| \(N\) | \(Y_N(1)\) | \(Y_N(0)\) | \(\tau_N\) |
| Cymedrig | \(\bar{Y}(1)\) | \(\bar{Y}(0)\) | \(\bar{\tau}\) |
Wrth ddiffinio'r effaith achosol yn y modd hwn, fodd bynnag, yr ydym yn mynd yn broblem. Ym mron pob achos, nid ydym yn gorfod arsylwi ar y ddau ganlyniadau posibl. Hynny yw, person penodol a wasanaethodd neu nad oeddent yn gwasanaethu. Felly, rydym yn arsylwi un o'r canlyniadau \(Y_i(1)\) neu \(Y_i(0)\) - ond nid y ddau. Mae'r anallu i arsylwi ar y ddau ganlyniadau posibl yn broblem mor fawr y dywedodd yr Holland (1986) iddo fod y Problem Sylfaenol o Ganfyddiad Achos .
Yn ffodus, pan fyddwn yn gwneud ymchwil, nid oes gennym un person yn unig; yn hytrach, mae gennym lawer o bobl, ac mae hyn yn cynnig ffordd o amgylch y Problem Sylfaenol o Ganfyddiad Achos. Yn hytrach na cheisio amcangyfrif effaith triniaeth lefel unigol, gallwn amcangyfrif effaith driniaeth gyfartalog ar gyfer pob uned:
\[ \text{ATE} = \bar{\tau} = \frac{1}{N} \sum_{i=1}^N \tau_i \qquad(2.2)\]
Mae'r hafaliad hwn yn dal i gael ei fynegi o ran y \(\tau_i\) , sy'n anhysbysadwy, ond gyda rhywfaint o algebra (ee 2.8 o Gerber and Green (2012) ), fe gawn ni
\[ \text{ATE} = \frac{1}{N} \sum_{i=1}^N Y_i(1) - \frac{1}{N} \sum_{i=1}^N Y_i(0) \qquad(2.3)\]
Dengys hyn, os gallwn amcangyfrif canlyniad cyfartalog y boblogaeth dan driniaeth ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ) a'r canlyniad cyfartalog poblogaeth o dan reolaeth ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ), yna gallwn amcangyfrif effaith driniaeth gyfartalog, hyd yn oed heb amcangyfrif effaith y driniaeth ar gyfer unrhyw berson penodol.
Nawr fy mod wedi diffinio ein hamcangyfrif-y peth yr ydym yn ceisio ei amcangyfrif - byddaf yn troi at y modd y gallwn ei amcangyfrif mewn gwirionedd gyda data. Ac yma rydyn ni'n rhedeg yn uniongyrchol i'r broblem ein bod yn unig yn arsylwi ar un o'r canlyniadau posibl ar gyfer pob person; gwelwn naill ai \(Y_i(0)\) neu \(Y_i(1)\) (tabl 2.6). Gallem amcangyfrif effaith driniaeth gyfartalog trwy gymharu enillion pobl a wasanaethodd i enillion pobl nad oeddent yn gwasanaethu:
\[ \widehat{\text{ATE}} = \underbrace{\frac{1}{N_t} \sum_{i:W_i=1} Y_i(1)}_{\text{average earnings, treatment}} - \underbrace{\frac{1}{N_c} \sum_{i:W_i=0} Y_i(0)}_{\text{average earnings, control}} \qquad(2.4)\]
lle mae \(N_t\) a \(N_c\) yn niferoedd y bobl yn yr amodau triniaeth a rheolaeth. Bydd yr ymagwedd hon yn gweithio'n dda os yw'r aseiniad triniaeth yn annibynnol ar ganlyniadau posibl, a elwir weithiau'n anymwybodol am gyflwr. Yn anffodus, yn absenoldeb arbrawf, nid yw anwybyddu yn aml yn fodlon, sy'n golygu bod yr amcangyfrifwr yn yr eq. Nid yw 2.4 yn debygol o gynhyrchu amcangyfrif da. Un ffordd i feddwl amdano yw, yn absenoldeb aseiniad triniaeth ar hap, e.e. Nid yw 2.4 yn cymharu tebyg i debyg; mae'n cymharu enillion gwahanol fathau o bobl. Neu wedi mynegi ychydig yn wahanol, heb aseiniad triniaeth ar hap, mae'n debyg y bydd y dyraniad triniaeth yn gysylltiedig â chanlyniadau posibl.
Ym mhennod 4, disgrifiaf sut y gall arbrofion a reolir ar hap helpu i ymchwilwyr wneud amcangyfrifon achosol, a dyma disgrifio sut y gall ymchwilwyr fanteisio ar arbrofion naturiol, fel y loteri ddrafft.
| Person | Enillion mewn amod triniaeth | Enillion mewn cyflwr rheoli | Effaith triniaeth |
|---|---|---|---|
| 1 | ? | \(Y_1(0)\) | ? |
| 2 | \(Y_2(1)\) | ? | ? |
| \(\vdots\) | \(\vdots\) | \(\vdots\) | \(\vdots\) |
| \(N\) | \(Y_N(1)\) | ? | ? |
| Cymedrig | ? | ? | ? |
Arbrofion naturiol
Un dull o wneud amcangyfrifon achosol heb redeg arbrawf yw edrych am rywbeth sy'n digwydd yn y byd sydd wedi rhoi triniaeth ar eich cyfer ar hap. Gelwir yr ymagwedd hon yn arbrofion naturiol . Mewn llawer o sefyllfaoedd, yn anffodus, nid yw natur yn cyflwyno'r driniaeth yr ydych chi am i'r boblogaeth o ddiddordeb. Ond weithiau, mae natur ar hap yn darparu triniaeth gysylltiedig. Yn benodol, byddaf yn ystyried yr achos lle mae rhywfaint o driniaeth eilaidd sy'n annog pobl i gael y driniaeth sylfaenol . Er enghraifft, gellid ystyried y drafft yn driniaeth eilaidd a neilltuwyd ar hap a anogodd rai pobl i gymryd y driniaeth sylfaenol, a oedd yn gwasanaethu yn y milwrol. Weithiau gelwir y dyluniad hwn yn ddyluniad anogaeth . Ac weithiau caiff y dull dadansoddi y byddaf yn ei ddisgrifio i drin y sefyllfa hon yn cael ei alw weithiau fel newidynnau offerynnol . Yn y lleoliad hwn, gyda rhai rhagdybiaethau, gall ymchwilwyr ddefnyddio'r anogaeth i ddysgu am effaith y driniaeth sylfaenol ar gyfer is-set benodol o unedau.
Er mwyn trin y ddau driniaeth wahanol - yr anogaeth a'r driniaeth sylfaenol - mae angen nodyn newydd arnom. Tybiwch fod rhai pobl wedi'u drafftio ar hap ( \(Z_i = 1\) ) neu heb eu drafftio ( \(Z_i = 0\) ); Yn y sefyllfa hon, weithiau mae \(Z_i\) cael ei alw'n offeryn .
Ymhlith y rhai a ddrafftiwyd, roedd rhai yn gwasanaethu ( \(Z_i = 1, W_i = 1\) ) ac nid oedd rhai ( \(Z_i = 1, W_i = 0\) ). Yn yr un modd, ymhlith y rhai nad oeddent wedi'u drafftio, roedd rhai yn gwasanaethu ( \(Z_i = 0, W_i = 1\) ) ac nid oedd rhai ( \(Z_i = 0, W_i = 0\) ). Bellach, gall y canlyniadau posibl i bob person gael eu hehangu i ddangos eu statws ar gyfer yr anogaeth a'r driniaeth. Er enghraifft, gadael \(Y(1, W_i(1))\) yw enillion person \(i\) os cafodd ei ddrafftio, lle \(W_i(1)\) yw ei statws gwasanaeth os caiff ei ddrafftio. Ymhellach, gallwn rannu'r boblogaeth yn bedwar grŵp: cydymdeimlad, bechgynwyr, difyrwyr, a chymorthwyr bob amser (tabl 2.7).
| Math | Gwasanaeth os caiff ei ddrafftio | Gwasanaeth os na chaiff ei ddrafftio |
|---|---|---|
| Cydymffurfwyr | Do, \(W_i(Z_i=1) = 1\) | Na, \(W_i(Z_i=0) = 0\) |
| Peidiwch â chymryd byth | Na, \(W_i(Z_i=1) = 0\) | Na, \(W_i(Z_i=0) = 0\) |
| Amddiffynnwyr | Na, \(W_i(Z_i=1) = 0\) | Do, \(W_i(Z_i=0) = 1\) |
| Cymerwyr bob amser | Do, \(W_i(Z_i=1) = 1\) | Do, \(W_i(Z_i=0) = 1\) |
Cyn i ni drafod amcangyfrif effaith y driniaeth (hy, gwasanaeth milwrol), gallwn gyntaf ddiffinio dau effeithiau'r anogaeth (hy, cael ei ddrafftio). Yn gyntaf, gallwn ddiffinio effaith yr anogaeth ar y driniaeth gynradd. Yn ail, gallwn ddiffinio effaith yr anogaeth ar y canlyniad. Bydd yn dangos y gellir cyfuno'r ddau effeithiau hyn i ddarparu amcangyfrif o effaith y driniaeth ar grŵp penodol o bobl.
Yn gyntaf, gellir diffinio effaith yr anogaeth ar driniaeth ar gyfer person \(i\) fel
\[ \text{ITT}_{W,i} = W_i(1) - W_i(0) \qquad(2.5)\]
At hynny, gellir diffinio'r swm hwn dros y boblogaeth gyfan fel
\[ \text{ITT}_{W} = \frac{1}{N} \sum_{i=1}^N [W_i(1) - W_i(0)] \qquad(2.6)\]
Yn olaf, gallwn amcangyfrif \(\text{ITT} _{W}\) gan ddefnyddio data:
\[ \widehat{\text{ITT}_{W}} = \bar{W}^{\text{obs}}_1 - \bar{W}^{\text{obs}}_0 \qquad(2.7)\]
lle \(\bar{W}^{\text{obs}}_1\) yw'r gyfradd driniaeth a arsylwyd ar gyfer y rhai a anogwyd a \(\bar{W}^{\text{obs}}_0\) yw y gyfradd driniaeth a arsylwyd ar gyfer y rhai na chawsant eu hannog. \(\text{ITT}_W\) weithiau hefyd yn cael ei alw'n gyfradd derbyn .
Nesaf, gellir diffinio effaith yr anogaeth ar y canlyniad ar gyfer person \(i\) fel:
\[ \text{ITT}_{Y,i} = Y_i(1, W_i(1)) - Y_i(0, W_i(0)) \qquad(2.8)\]
At hynny, gellir diffinio'r swm hwn dros y boblogaeth gyfan fel
\[ \text{ITT}_{Y} = \frac{1}{N} \sum_{i=1}^N [Y_i(1, W_i(1)) - Y_i(0, W_i(0))] \qquad(2.9)\]
Yn olaf, gallwn amcangyfrif \(\text{ITT}_{Y}\) gan ddefnyddio data:
\[ \widehat{\text{ITT}_{Y}} = \bar{Y}^{\text{obs}}_1 - \bar{Y}^{\text{obs}}_0 \qquad(2.10)\]
lle \(\bar{Y}^{\text{obs}}_1\) yw'r canlyniad a arsylwyd (ee enillion) i'r rhai a anogwyd (ee, drafftio) a \(\bar{W}^{\text{obs}}_0\) yw'r canlyniad a arsylwyd ar gyfer y rhai na chafodd eu hannog.
Yn olaf, rydym yn tynnu ein sylw at effaith diddordeb: effaith y driniaeth sylfaenol (ee, gwasanaeth milwrol) ar y canlyniad (ee enillion). Yn anffodus, mae'n ymddangos nad yw un, yn gyffredinol, yn amcangyfrif yr effaith hon ar bob uned. Fodd bynnag, gyda rhai rhagdybiaethau, gall ymchwilwyr amcangyfrif effaith y driniaeth ar gydymffurfwyr (hy, pobl a fydd yn gwasanaethu os caiff eu drafftio a phobl na fyddant yn gwasanaethu os na ddrafftiwyd, tabl 2.7). Fe allaf alw'r amcangyfrif hwn i'r effaith achosol gyfartalog cydlynus (CACE) (a elwir weithiau hefyd yn yr effaith driniaeth gyfartalog leol , DIM):
\[ \text{CACE} = \frac{1}{N_{\text{co}}} \sum_{i:G_i=\text{co}} [Y(1, W_i(1)) - Y(0, W_i(0))] \qquad(2.11)\]
lle mae \(G_i\) rhoi'r grŵp person \(i\) (gweler tabl 2.7) a \(N_{\text{co}}\) yw nifer y cydymdeimlad. Mewn geiriau eraill, e.e. Mae 2.11 yn cymharu enillion cydymffurfwyr sydd wedi'u drafftio \(Y_i(1, W_i(1))\) ac nid ydynt wedi'u drafftio \(Y_i(0, W_i(0))\) . Mae'r amcangyfrif yn eq. Mae 2.11 yn ymddangos yn anodd amcangyfrif o'r data a arsylwyd oherwydd nid yw'n bosibl nodi cydymdeimladau gan ddefnyddio data a arsylwyd yn unig (i wybod a yw rhywun yn cydymffurfio â chi, byddai angen i chi arsylwi a oedd yn gwasanaethu pan ddrafftiwyd ac a oedd yn gwasanaethu pan na chafodd ei ddrafftio).
Mae'n ymddangos ychydig yn syndod - os oes unrhyw gydymdeimlad, yna darperir un yn gwneud tri rhagdybiaeth ychwanegol, mae'n bosibl amcangyfrif CACE o'r data a arsylwyd. Yn gyntaf, rhaid i un dybio bod yr aseiniad i driniaeth yn hap. Yn achos y loteri ddrafft, mae hyn yn rhesymol. Fodd bynnag, mewn rhai lleoliadau lle nad yw arbrofion naturiol yn dibynnu ar hapoli ffisegol, gallai'r rhagdybiaeth hon fod yn fwy problemus. Yn ail, rhaid i un dybio nad yw eu heffeithwyr yn eu herbyn (gelwir y dybiaeth hon weithiau hefyd yn dybiaeth y monotonig). Yng nghyd-destun y drafft mae'n ymddangos yn rhesymol tybio mai ychydig iawn o bobl sydd ddim yn gwasanaethu pe bai wedi'u drafftio a byddant yn gwasanaethu os na chaiff eu drafftio. Yn drydydd, ac yn olaf, dyma'r rhagdybiaeth bwysicaf a elwir yn gyfyngiad gwaharddiad . O dan y cyfyngiad gwahardd, rhaid i un tybio bod holl effaith yr aseiniad triniaeth yn cael ei basio drwy'r driniaeth ei hun. Mewn geiriau eraill, rhaid i un tybio nad oes unrhyw effaith uniongyrchol ar anogaeth ar ganlyniadau. Yn achos y loteri ddrafft, er enghraifft, mae angen i un dybio nad oes gan statws drafft unrhyw effaith ar enillion heblaw trwy wasanaeth milwrol (ffigur 2.11). Gellid torri'r cyfyngiad gwaharddiad pe bai pobl a ddrafftiwyd yn treulio mwy o amser yn yr ysgol er enghraifft er mwyn osgoi gwasanaeth neu os oedd cyflogwyr yn llai tebygol o logi pobl a ddrafftiwyd.
Ffigur 2.11: Mae'r cyfyngiad gwahardd yn ei gwneud yn ofynnol bod yr anogaeth (loteri drafft) yn cael effaith ar y canlyniad (enillion) yn unig trwy'r driniaeth (gwasanaeth milwrol). Gellid torri'r cyfyngiad gwaharddiad pe bai pobl a ddrafftiwyd, er enghraifft, yn treulio mwy o amser yn yr ysgol er mwyn osgoi gwasanaeth a bod yr amser cynyddol hwn yn yr ysgol wedi arwain at enillion uwch.
Os yw'r tri chyflwr hwn (aseiniad ar hap i driniaeth, dim amddiffynwyr, a'r cyfyngiad gwaharddiad) yn cael eu bodloni, yna
\[ \text{CACE} = \frac{\text{ITT}_Y}{\text{ITT}_W} \qquad(2.12)\]
felly gallwn amcangyfrif CACE:
\[ \widehat{\text{CACE}} = \frac{\widehat{\text{ITT}_Y}}{\widehat{\text{ITT}_W}} \qquad(2.13)\]
Un ffordd o feddwl am CACE yw mai dyma'r gwahaniaeth mewn canlyniadau rhwng y rhai a anogwyd a'r rhai na chafodd eu hannog, wedi'u chwyddo gan y gyfradd derbyn.
Mae yna ddau ogofatau pwysig i'w cadw mewn cof. Yn gyntaf, mae'r cyfyngiad gwaharddiad yn rhagdybiaeth gref, ac mae angen ei gyfiawnhau fesul achos, sy'n aml yn gofyn am arbenigedd maes pwnc. Ni ellir cyfiawnhau'r cyfyngiad gwahardd gyda hapoli'r anogaeth. Yn ail, mae her ymarferol gyffredin â dadansoddiad amrywiol o offerynnau yn dod pan nad yw'r anogaeth yn cael fawr o effaith ar y driniaeth sy'n cael ei drin (pan fydd \(\text{ITT}_W\) yn fach). Gelwir hyn yn offeryn gwan , ac mae'n arwain at amrywiaeth o broblemau (Imbens and Rosenbaum 2005; Murray 2006) . Un ffordd o feddwl am y broblem gydag offerynnau gwan yw y gall \(\widehat{\text{CACE}}\) fod yn sensitif i ragfynegiadau bach yn \(\widehat{\text{ITT}_Y}\) - yn bosib oherwydd yn groes i'r cyfyngiad gwahardd-oherwydd bod y rhagfynegiadau hyn yn cael eu chwyddo gan fach \(\widehat{\text{ITT}_W}\) (gweler e. 2.13). Yn fras, os nad yw'r driniaeth y mae natur yn ei aseinio'n cael effaith fawr ar y driniaeth yr ydych yn gofalu amdani, yna bydd amser caled gennych yn dysgu am y driniaeth yr ydych yn gofalu amdani.
Gweler pennod 23 a 24 o Imbens and Rubin (2015) am fersiwn fwy ffurfiol o'r drafodaeth hon. Yn nodweddiadol, mae'r agwedd econometrig traddodiadol at newidynnau offerynnol yn cael ei fynegi o ran amcangyfrif hafaliadau, nid canlyniadau posibl. Am gyflwyniad o'r safbwynt arall hwn, gweler Angrist and Pischke (2009) , ac am gymhariaeth rhwng y ddau ddull, gweler adran 24.6 o Imbens and Rubin (2015) . Darperir cyflwyniad arall, ychydig yn llai ffurfiol o'r dull newidynnau offerynnol ym mhennod 6 o Gerber and Green (2012) . Am ragor o wybodaeth am y cyfyngiad gwahardd, gweler D. Jones (2015) . Aronow and Carnegie (2013) disgrifio set ychwanegol o ragdybiaethau y gellir eu defnyddio i amcangyfrif ATE yn hytrach na CACE. I gael mwy o wybodaeth am sut y gall arbrofion naturiol fod yn anodd iawn i'w dehongli, gweler Sekhon and Titiunik (2012) . Ar gyfer cyflwyniad mwy cyffredinol i arbrofion naturiol-un sy'n mynd y tu hwnt i'r dull newidynnau offerynnol i gynnwys dyluniadau megis dirywiad atchweliad - gweler Dunning (2012) .
