Sa apendise na ito, ibubuhos ko ang ilang mga ideya tungkol sa paggawa ng pananahilan ng pananahilan mula sa di-eksperimentong data sa isang bahagyang mas mathematical form. Mayroong dalawang pangunahing paraan: ang causal graph framework, na pinaka-nauugnay sa Judea Pearl at mga kasamahan, at ang mga potensyal na balangkas ng balangkas, na pinaka-nauugnay sa Donald Rubin at mga kasamahan. Ipakilala ko ang mga potensyal na balangkas ng mga resulta dahil mas malapit ito sa mga ideya sa mga tala ng matematika sa dulo ng kabanata 3 at 4. Para sa higit pa sa balangkas ng causal graph, inirerekomenda ko ang Pearl, Glymour, and Jewell (2016) (pambungad ) at Pearl (2009) (advanced). Para sa isang libro-haba ng paggamot ng pananahilan ng pananahilan na pinagsasama ang mga posibleng balangkas na balangkas at ang causal graph framework, inirerekumenda ko ang Morgan and Winship (2014) .
Ang layunin ng apendiks na ito ay upang tulungan kang maging komportable sa notasyon at estilo ng mga potensyal na kinalabasan ng tradisyon upang makapaglipat ka sa ilan sa higit pang teknikal na materyal na nakasulat sa paksang ito. Una, ilalarawan ko ang mga potensyal na balangkas ng kinalabasan. Pagkatapos, gagamitin ko ito upang higit pang talakayin ang mga natural na eksperimento tulad ng isa sa pamamagitan ng Angrist (1990) sa epekto ng serbisyong militar sa kita. Ang apendiks na ito ay kumukuha ng mabigat sa Imbens and Rubin (2015) .
Potensyal na balangkas ng balangkas
Ang potensyal na mga balangkas ng kinalabasan ay may tatlong pangunahing elemento: mga yunit , paggagamot , at potensyal na kinalabasan . Upang mailarawan ang mga sangkap na ito, isaalang-alang natin ang isang istilong bersyon ng tanong na tinutugunan sa Angrist (1990) : Ano ang epekto ng serbisyo militar sa kita? Sa kasong ito, maaari naming tukuyin ang mga yunit upang maging mga taong karapat-dapat para sa 1970 draft sa Estados Unidos, at maaari naming i-index ang mga taong ito sa pamamagitan ng \(i = 1, \ldots, N\) . Ang paggamot sa kasong ito ay maaaring maging "naglilingkod sa militar" o "hindi naglilingkod sa militar." Tatawag ako sa mga paggamot at kontrol kundisyon, at kukunin ko na magsulat ng \(W_i = 1\) kung ang taong \(i\) ay nasa kondisyon ng paggamot at \(W_i = 0\) kung ang tao \(i\) ay nasa kalagayan ng pagkontrol. Sa wakas, ang mga potensyal na kinalabasan ay mas kaunti pang conceptually mahirap dahil kasangkot sila "potensyal" na mga resulta; mga bagay na maaaring mangyari. Para sa bawat taong karapat-dapat para sa draft na 1970, maaari naming isipin ang halaga na kanilang nakuha noong 1978 kung nagsilbi sila sa militar, na tatawagan ko \(Y_i(1)\) , at ang halaga na kanilang nakuha sa 1978 kung hindi sila maglingkod sa militar, na tatawagan ko \(Y_i(0)\) . Sa potensyal na balangkas ng mga kinalabasan, \(Y_i(1)\) at \(Y_i(0)\) ay itinuturing na mga dami na \(W_i\) , habang ang \(W_i\) ay isang random na variable.
Ang pagpili ng mga yunit, paggagamot, at mga resulta ay kritikal dahil tinutukoy nito kung ano ang maaaring-at hindi maaaring natutunan mula sa pag-aaral. Ang pagpili ng mga yunit-tao na karapat-dapat para sa 1970 draft-ay hindi kasama ang mga kababaihan, at kaya walang mga karagdagang pagpapalagay, ang pag-aaral na ito ay hindi sasabihin sa amin kahit ano tungkol sa epekto ng serbisyong militar sa mga kababaihan. Ang mga desisyon tungkol sa kung paano tukuyin ang paggamot at mga resulta ay mahalaga din. Halimbawa, dapat na nakatuon ang paggamot ng interes sa paglilingkod sa militar o nakakaranas ng labanan? Dapat ba ang kinikita ng interes o kita o kasiyahan ng trabaho? Sa huli, ang pagpili ng mga yunit, paggamot, at mga kinalabasan ay dapat na hinihimok ng mga layunin sa siyensiya at patakaran ng pag-aaral.
Dahil sa mga pagpipilian ng mga yunit, paggamot, at potensyal na kinalabasan, ang salungat na epekto ng paggamot sa tao \(i\) , \(\tau_i\) , ay
\[ \tau_i = Y_i(1) - Y_i(0) \qquad(2.1)\]
Sa ibang salita, ihambing namin kung gaano kalaki tao \(i\) sana ay nakuha matapos magsilbi sa kung magkano ang tao \(i\) sana ay nakuha nang walang serving. Para sa akin, eq. 2.1 ay ang pinakamalinaw na paraan upang tukuyin ang isang salungat na epekto, at bagaman sobrang simple, ang balangkas na ito ay lumiliko sa pangkalahatan sa maraming mahalagang at kagiliw-giliw na paraan (Imbens and Rubin 2015) .
Kapag ginagamit ang mga potensyal na balangkas ng mga resulta, madalas akong nakakatulong na isulat ang isang talahanayan na nagpapakita ng mga potensyal na kinalabasan at mga epekto sa paggamot para sa lahat ng mga yunit (talahanayan 2.5). Kung hindi mo maisip ang isang table na tulad nito para sa iyong pag-aaral, maaaring kailangan mong maging mas tumpak sa iyong mga kahulugan ng iyong mga yunit, paggamot, at potensyal na mga resulta.
Tao | Mga kita sa kondisyon sa paggamot | Mga kita sa kontrol ng kondisyon | Epekto ng paggamot |
---|---|---|---|
1 | \(Y_1(1)\) | \(Y_1(0)\) | \(\tau_1\) |
2 | \(Y_2(1)\) | \(Y_2(0)\) | \(\tau_2\) |
\(\vdots\) | \(\vdots\) | \(\vdots\) | \(\vdots\) |
\(N\) | \(Y_N(1)\) | \(Y_N(0)\) | \(\tau_N\) |
Ibig sabihin | \(\bar{Y}(1)\) | \(\bar{Y}(0)\) | \(\bar{\tau}\) |
Gayunpaman, kapag tinutukoy ang sanhi ng epekto sa ganitong paraan, may problema kami. Sa halos lahat ng kaso, hindi namin napansin ang parehong posibleng resulta. Iyon ay, isang partikular na tao ang nagsilbi o hindi naglilingkod. Samakatuwid, \(Y_i(1)\) natin ang isa sa mga potensyal na kinalabasan - \(Y_i(1)\) o \(Y_i(0)\) -but hindi pareho. Ang kawalan ng kakayahan na obserbahan ang parehong potensyal na mga resulta ay tulad ng isang malaking problema na tinatawag na Holland (1986) ang Pangunahing Problema ng Causal Inference .
Sa kabutihang palad, kapag gumagawa tayo ng pagsasaliksik, hindi lamang tayo nagkakaroon ng isang tao; sa halip, mayroon tayong maraming tao, at ito ay nag-aalok ng isang paraan sa paligid ng Pangunahing Problema ng Causal Inference. Sa halip na tangkaing tantyahin ang epekto sa paggamot sa indibidwal na antas, maaari naming tantiyahin ang average na epekto ng paggamot para sa lahat ng mga yunit:
\[ \text{ATE} = \bar{\tau} = \frac{1}{N} \sum_{i=1}^N \tau_i \qquad(2.2)\]
Ang equation na ito ay ipinahayag pa rin sa mga tuntunin ng \(\tau_i\) , na kung saan ay hindi maobserbahan, ngunit may ilang algebra (eq 2.8 ng Gerber and Green (2012) ), makakakuha tayo
\[ \text{ATE} = \frac{1}{N} \sum_{i=1}^N Y_i(1) - \frac{1}{N} \sum_{i=1}^N Y_i(0) \qquad(2.3)\]
Ito ay nagpapakita na kung maaari nating tantiyahin ang average na kinalabasan ng populasyon sa ilalim ng paggamot ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ) at ang average na resulta ng populasyon sa ilalim ng kontrol ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ), pagkatapos ay maaari naming tantiyahin ang average na epekto ng paggamot, kahit na walang pagtantya sa paggamot na epekto para sa anumang partikular na tao.
Ngayon na tinukoy ko ang aming estimand-ang bagay na sinisikap nating tantyahin-ibabaling ko kung paano talaga natin itong tantyahin sa data. At dito ay direktang nagpapatakbo tayo sa problema na tanging nakita natin ang isa sa mga potensyal na resulta para sa bawat tao; nakikita natin ang alinman sa \(Y_i(0)\) o \(Y_i(1)\) (talahanayan 2.6). Maaari naming tantyahin ang average na epekto sa paggamot sa pamamagitan ng paghahambing sa mga kita ng mga tao na nagsilbi sa mga kita ng mga taong hindi naglilingkod:
\[ \widehat{\text{ATE}} = \underbrace{\frac{1}{N_t} \sum_{i:W_i=1} Y_i(1)}_{\text{average earnings, treatment}} - \underbrace{\frac{1}{N_c} \sum_{i:W_i=0} Y_i(0)}_{\text{average earnings, control}} \qquad(2.4)\]
kung saan ang \(N_t\) at \(N_c\) ay ang mga bilang ng mga tao sa mga kondisyon ng paggamot at kontrol. Ang pamamaraan na ito ay gagana nang mahusay kung ang pagtatalaga sa paggamot ay malaya sa mga posibleng resulta, isang kondisyon na minsan ay tinatawag na kamangmangan . Sa kasamaang palad, sa kawalan ng isang eksperimento, ang kawalan ng kaalaman ay hindi madalas na nasiyahan, na nangangahulugan na ang estimator sa eq. 2.4 ay hindi malamang na gumawa ng mahusay na pagtatantya. Ang isang paraan upang isipin ang tungkol dito ay ang kawalan ng random na pagtatalaga ng paggamot, eq. 2.4 ay hindi paghahambing tulad ng katulad; ito ay paghahambing ng mga kita ng iba't ibang uri ng mga tao. O bahagyang naiiba ang ipinahayag, nang walang random na pagtatalaga ng paggamot, ang paglalaan ng paggamot ay malamang na nauugnay sa mga potensyal na kinalabasan.
Sa kabanata 4, ilalarawan ko kung paano makatutulong ang mga random na kinokontrol na mga eksperimento upang matulungan ang mga mananaliksik na gumawa ng mga pang-unawa na dahilan, at dito ilalarawan ko kung paano maaaring samantalahin ng mga mananaliksik ang natural na mga eksperimento, tulad ng draft na loterya.
Tao | Mga kita sa kondisyon sa paggamot | Mga kita sa kontrol ng kondisyon | Epekto ng paggamot |
---|---|---|---|
1 | ? | \(Y_1(0)\) | ? |
2 | \(Y_2(1)\) | ? | ? |
\(\vdots\) | \(\vdots\) | \(\vdots\) | \(\vdots\) |
\(N\) | \(Y_N(1)\) | ? | ? |
Ibig sabihin | ? | ? | ? |
Mga natural na eksperimento
Ang isang diskarte sa paggawa ng mga salungat sa pananahilan na hindi nagpapatakbo ng isang eksperimento ay upang maghanap ng isang bagay na nangyayari sa mundo na random na nakatalaga ng paggamot para sa iyo. Ang diskarte na ito ay tinatawag na natural na eksperimento . Sa maraming sitwasyon, sa kasamaang palad, ang kalikasan ay hindi sapalarang naghahatid ng paggagamot na gusto mo sa populasyon ng interes. Ngunit kung minsan, ang kalikasan ay random na naghahatid ng isang kaugnay na paggamot. Sa partikular, ituturing ko ang kaso kung saan mayroong ilang pangalawang paggamot na naghihikayat sa mga tao na matanggap ang pangunahing paggamot . Halimbawa, ang draft ay maaaring isaalang-alang ng isang random na nakatalang pangalawang paggamot na hinihikayat ang ilang mga tao na gawin ang pangunahing paggamot, na naglilingkod sa militar. Ang disenyo ay paminsan-minsan ay tinatawag na isang disenyo ng paghimok . At ang paraan ng pag-aaral na ilalarawan ko upang mahawakan ang sitwasyong ito ay paminsan-minsan ay tinatawag na mga variable na nakatulong . Sa ganitong setting, na may ilang mga pagpapalagay, maaaring gamitin ng mga mananaliksik ang bigyan ng lakas at pag-asa upang malaman ang tungkol sa epekto ng pangunahing paggamot para sa isang partikular na subset ng mga yunit.
Upang mahawakan ang dalawang magkaibang paggamot-ang paghihikayat at ang pangunahing paggamot-kailangan namin ng ilang mga bagong notasyon. Ipagpalagay na ang ilang mga tao ay random na drafted ( \(Z_i = 1\) ) o hindi drafted ( \(Z_i = 0\) ); sa sitwasyong ito, ang \(Z_i\) ay tinatawag na instrumento kung minsan.
Kabilang sa mga na-draft, ang ilan ay nagsilbi ( \(Z_i = 1, W_i = 1\) ) at ang ilan ay hindi ( \(Z_i = 1, W_i = 0\) ). Gayundin, kabilang sa mga hindi drafted, ang ilan ay nagsilbi ( \(Z_i = 0, W_i = 1\) ) at ang ilan ay hindi ( \(Z_i = 0, W_i = 0\) ). Ang mga potensyal na kinalabasan para sa bawat tao ay maaari na ngayong mapalawak upang ipakita ang kanilang kalagayan para sa kapwa pagpapalakas ng loob at paggamot. Halimbawa, ipaalam \(Y(1, W_i(1))\) ang mga kita ng tao \(i\) kung siya ay drafted, kung saan \(W_i(1)\) Dagdag pa, maaari naming hatiin ang populasyon sa apat na grupo: complier, never-takers, defiers, at always-takers (talahanayan 2.7).
Uri | Serbisyo kung draft | Serbisyo kung hindi draft |
---|---|---|
Mga supplier | Oo, \(W_i(Z_i=1) = 1\) | Hindi, \(W_i(Z_i=0) = 0\) |
Hindi kailanman-takers | Hindi, \(W_i(Z_i=1) = 0\) | Hindi, \(W_i(Z_i=0) = 0\) |
Defenders | Hindi, \(W_i(Z_i=1) = 0\) | Oo, \(W_i(Z_i=0) = 1\) |
Laging-takers | Oo, \(W_i(Z_i=1) = 1\) | Oo, \(W_i(Z_i=0) = 1\) |
Bago natin talakayin ang pagtantya sa epekto ng paggamot (ibig sabihin, serbisyo militar), maaari naming unang tukuyin ang dalawang epekto ng bigyan ng lakas at pag-asa (ibig sabihin, sa pagiging drafted). Una, maaari naming tukuyin ang epekto ng paghihikayat sa pangunahing paggamot. Ikalawa, maaari nating tukuyin ang epekto ng paghihikayat sa kinalabasan. Ihihiwalay nito na ang dalawang mga epekto ay maaaring pagsamahin upang magbigay ng isang pagtatantya ng epekto ng paggamot sa isang partikular na grupo ng mga tao.
Una, ang epekto ng paghihikayat sa paggamot ay maaaring tukuyin para sa tao \(i\) bilang
\[ \text{ITT}_{W,i} = W_i(1) - W_i(0) \qquad(2.5)\]
Dagdag pa, ang dami na ito ay maaaring tinukoy sa buong populasyon bilang
\[ \text{ITT}_{W} = \frac{1}{N} \sum_{i=1}^N [W_i(1) - W_i(0)] \qquad(2.6)\]
Sa wakas, maaari naming tantyahin ang \(\text{ITT} _{W}\) gamit ang data:
\[ \widehat{\text{ITT}_{W}} = \bar{W}^{\text{obs}}_1 - \bar{W}^{\text{obs}}_0 \qquad(2.7)\]
kung saan \(\bar{W}^{\text{obs}}_1\) ay ang napagmasdang rate ng paggamot para sa mga taong hinihikayat at \(\bar{W}^{\text{obs}}_0\) ang sinusunod na rate ng paggamot para sa mga hindi hinimok. \(\text{ITT}_W\) ay tinatawag ding minsan ang rate ng uptake .
Susunod, ang epekto ng bigyan ng lakas at pag-asa sa kinalabasan ay maaaring tukuyin para sa tao \(i\) bilang:
\[ \text{ITT}_{Y,i} = Y_i(1, W_i(1)) - Y_i(0, W_i(0)) \qquad(2.8)\]
Dagdag pa, ang dami na ito ay maaaring tinukoy sa buong populasyon bilang
\[ \text{ITT}_{Y} = \frac{1}{N} \sum_{i=1}^N [Y_i(1, W_i(1)) - Y_i(0, W_i(0))] \qquad(2.9)\]
Sa wakas, maaari naming tantyahin ang \(\text{ITT}_{Y}\) gamit ang data:
\[ \widehat{\text{ITT}_{Y}} = \bar{Y}^{\text{obs}}_1 - \bar{Y}^{\text{obs}}_0 \qquad(2.10)\]
kung saan \(\bar{Y}^{\text{obs}}_1\) ay ang naobserbahang kinalabasan (halimbawa, kita) para sa mga na hinihikayat (eg, drafted) at \(\bar{W}^{\text{obs}}_0\) ay ang naobserbahang kinalabasan para sa mga hindi hinihimok.
Sa wakas, binabaling namin ang pansin sa epekto ng interes: ang epekto ng pangunahing paggamot (halimbawa, serbisyo militar) sa kinalabasan (halimbawa, kita). Sa kasamaang palad, ito ay lumalabas na ang isa ay hindi, sa pangkalahatan, matantya ang epekto na ito sa lahat ng mga yunit. Gayunpaman, sa ilang mga palagay, maaaring tantyahin ng mga mananaliksik ang epekto ng paggamot sa mga sumusunod (ibig sabihin, ang mga tao na magsisilbi kung drafted at ang mga tao na hindi magsisilbi kung hindi drafted, talahanayan 2.7). Tatawagan ko ang estima na ito at ang average na sanhi ng epekto ng complier (CACE) (na kung minsan ay tinatawag din na lokal na average na paggamot na epekto , LATE):
\[ \text{CACE} = \frac{1}{N_{\text{co}}} \sum_{i:G_i=\text{co}} [Y(1, W_i(1)) - Y(0, W_i(0))] \qquad(2.11)\]
kung saan ang \(G_i\) nagkaloob sa pangkat ng tao \(i\) (tingnan ang talahanayan 2.7) at \(N_{\text{co}}\) ay ang bilang ng mga complier. Sa ibang salita, eq. 2.11 kumpara sa mga kita ng mga complier na drafted \(Y_i(1, W_i(1))\) at hindi drafted \(Y_i(0, W_i(0))\) . Ang estimand sa eq. 2.11 tila mahirap matantya mula sa naobserbahang data dahil hindi posible na makilala ang mga complier gamit lamang ang sinusunod na data (upang malaman kung ang isang tao ay complier kailangan mong obserbahan kung nagsilbi siya kapag drafted at kung nagsilbi siya kapag hindi drafted).
Ito ay lumalabas-medyo nakakagulat-na kung mayroong anumang mga complier, pagkatapos ay ibinigay ng isa ay gumagawa ng tatlong karagdagang mga pagpapalagay, posible upang tantyahin ang CACE mula sa naobserbahang data. Una, dapat ipagpalagay ng isa na ang pagtatalaga sa paggamot ay random. Sa kaso ng draft lottery ito ay makatwiran. Gayunpaman, sa ilang mga setting kung saan ang mga natural na eksperimento ay hindi umaasa sa pisikal na randomization, ang palagay na ito ay maaaring maging mas problema. Pangalawa, dapat ipagpalagay ng isa na ang mga ito ay walang defenders (ang palagay na ito ay tinatawag din na monotonicity assumption). Sa konteksto ng draft na ito ay tila makatwirang ipalagay na mayroong napakakaunting mga tao na hindi makapaglilingkod kung isinaayos at magsisilbi kung hindi draft. Ikatlo, at sa wakas, ay ang pinakamahalagang palagay na tinatawag na pagbabawal sa pagbubukod . Sa ilalim ng pagbabawal ng pagbubukod, dapat isaisip ng isa na ang lahat ng epekto ng pagtatalaga sa paggamot ay ipinasa sa pamamagitan ng paggamot mismo. Sa madaling salita, dapat isaisip ng isa na walang direktang epekto ng panghihikayat sa mga kinalabasan. Sa kaso ng draft lottery, halimbawa, kailangang isaalang-alang ng isang tao na ang katayuan ng draft ay walang epekto sa mga kita maliban sa pamamagitan ng serbisyong militar (figure 2.11). Ang pagbabawal ng pagbubukod ay maaaring lumabag kung, halimbawa, ang mga taong na-draft ay gumugol ng mas maraming oras sa paaralan upang maiwasan ang serbisyo o kung ang mga tagapag-empleyo ay mas malamang na umupa ng mga taong na-draft.
Kung ang tatlong kondisyong ito (random na pagtatalaga sa paggamot, walang defender, at pagbabawal sa pagbubukod) ay natutugunan, pagkatapos
\[ \text{CACE} = \frac{\text{ITT}_Y}{\text{ITT}_W} \qquad(2.12)\]
kaya maaari naming tantiyahin ang CACE:
\[ \widehat{\text{CACE}} = \frac{\widehat{\text{ITT}_Y}}{\widehat{\text{ITT}_W}} \qquad(2.13)\]
Ang isang paraan upang pag-isipan ang tungkol sa CACE ay ang pagkakaiba sa mga resulta sa pagitan ng mga na hinihikayat at mga hindi hinihikayat, napalaki ng rate ng uptake.
Mayroong dalawang mahahalagang caveat na dapat tandaan. Una, ang paghihigpit sa pagbubukod ay isang malakas na palagay, at kailangan itong maging makatwiran batay sa batayan ng bawat kaso, na kadalasan ay nangangailangan ng kadalubhasaan sa paksa-lugar. Ang paghihigpit sa pagbubukod ay hindi maaaring bigyang-katwiran sa randomization ng encouragement. Pangalawa, ang isang pangkaraniwang praktikal na hamon na may nakatutulong na pagtatasa ng variable ay kapag ang pagganyak ay may kaunting epekto sa katalinuhan ng paggamot (kapag maliit ( \(\text{ITT}_W\) ). Ito ay tinatawag na isang mahinang instrumento , at ito ay humantong sa iba't ibang mga problema (Imbens and Rosenbaum 2005; Murray 2006) . Ang isang paraan upang mag-isip tungkol sa problema sa mahihinang mga instrumento ay ang \(\widehat{\text{CACE}}\) maaaring maging sensitibo sa mga maliliit na biases sa \(\widehat{\text{ITT}_Y}\) mga paglabag sa pagbabawal sa pagbubukod-dahil ang mga biases na ito ay \(\widehat{\text{ITT}_W}\) ng isang maliit na \(\widehat{\text{ITT}_W}\) (tingnan ang pahina 2.13). Halos, kung ang paggagamot na itinatalaga sa likas na katangian ay walang malaking epekto sa paggagamot na mahalaga sa iyo, pagkatapos ay magkakaroon ka ng matitigas na pag-aaral tungkol sa paggamot na mahalaga sa iyo.
Tingnan ang kabanata 23 at 24 ng Imbens and Rubin (2015) para sa isang mas pormal na bersyon ng talakayang ito. Ang tradisyunal na paraan ng ekonometric sa mga variable ng nakatulong ay karaniwang ipinahayag sa mga tuntunin ng pagtantya ng mga equation, hindi potensyal na mga kinalabasan. Para sa pagpapakilala mula sa iba pang pananaw na ito, tingnan ang Angrist and Pischke (2009) , at para sa paghahambing sa pagitan ng dalawang pamamaraan, tingnan ang seksyon 24.6 ng Imbens and Rubin (2015) . Ang isang alternatibo, bahagyang mas pormal na pagtatanghal ng instrumental na mga diskarte sa variable ay ibinigay sa kabanata 6 ng Gerber and Green (2012) . Para sa higit pa sa pagbabawal ng pagbubukod, tingnan ang D. Jones (2015) . Aronow and Carnegie (2013) naglalarawan ng isang karagdagang hanay ng mga pagpapalagay na maaaring magamit upang matantya ang ATE kaysa sa CACE. Para sa higit pa sa kung paano natural na mga eksperimento ay maaaring maging lubhang mahirap hawakan upang bigyang-kahulugan, tingnan ang Sekhon and Titiunik (2012) . Para sa isang mas pangkalahatang pambungad sa mga natural na eksperimento-ang isa na lumalawak na lamang sa mga nakatutulong na mga variable na diskarte upang isama rin ang mga disenyo tulad ng pagbagsak ng pagbabalik-makita Dunning (2012) .