Matematical notes

Sa akong hunahuna ang pinakamaayong paagi sa pagsabut sa mga eksperimento mao ang potensyal nga mga resulta sa gambalay (nga akong nahisgutan sa mga nota sa matematika sa kapitulo 2). Ang mga potensyal nga outcome framework adunay suod nga relasyon sa mga ideya gikan sa sampling nga nakabase sa desinyo nga gihulagway sa kapitulo 3 (Aronow and Middleton 2013; Imbens and Rubin 2015, chap. 6) . Kini nga apendiks nahisulat sa ingon nga paagi sa paghatag og gibug-aton sa maong koneksyon. Kini nga pagpasiugda usa ka gamay nga dili tradisyonal, apan sa akong hunahuna nga ang koneksyon tali sa sampling ug mga eksperimento makatabang: kini nagpasabot nga kon ikaw adunay nahibal-an mahitungod sa sampling nan may nahibal-an ka mahitungod sa mga eksperimento ug vice versa. Ingon sa akong gipakita sa niini nga mga nota, ang mga potensyal nga outcome framework nagpakita sa kalig-on sa mga nagkalain-laing mga eksperimento nga kontrolado tungod sa pagbana-bana sa mga epekto sa panghimatuud, ug kini nagpakita sa mga limitasyon sa unsay mahimo sa bisan sa hingpit nga eksperimento.

Niini nga appendix, akong ihulagway ang mga potensyal nga resulta nga balangkas, nga gikopya ang pipila ka mga materyal gikan sa mga nota sa matematika sa kapitulo 2 aron mahimo kining mga nota nga labaw pa sa kaugalingon. Dayon akong ihulagway ang pipila ka makatabang nga mga resulta mahitungod sa katukma sa mga gibana-bana nga mga average nga mga epekto sa pagtambal, lakip na ang usa ka paghisgot sa kamahinungdanon nga alokasyon ug mga nagkalain-lain nga mga pag-ila sa mga pagkapangan. Kini nga apendiks nagdala og dako sa Gerber and Green (2012) .

Potensyal nga mga resulta nga gambalay

Aron mahulagway ang potensyal nga resulta nga balangkas, mobalik kita sa eksperimento ni Restivo ug van de Rijt aron mahunahuna ang epekto sa pagdawat sa usa ka barnstar sa umaabot nga mga kontribusyon sa Wikipedia. Ang potensyal nga outcome framework adunay tulo ka nag-unang mga elemento: mga yunit , mga pagtambal , ug mga potensyal nga resulta . Sa kaso ni Restivo ug van de Rijt, ang mga yunit angay nga mga editor-kadtong anaa sa top 1% sa mga kontribyutor-nga wala pa makadawat og barnstar. Kita maka-index niini nga mga editor pinaagi sa \(i = 1 \ldots N\) . Ang mga pagtambal sa ilang eksperimento mao ang "barnstar" o "walay barnstar," ug ako mosulat \(W_i = 1\) kung ang tawo \(i\) anaa sa kondisyon sa pagtambal ug \(W_i = 0\) . Ang ikatulo nga elemento sa potensyal nga outcome framework mao ang pinaka importante: ang posibleng resulta . Lisud kini nga konsepto nga lisud tungod kay kini naglangkob sa "potensyal" nga mga resulta-mga butang nga mahitabo. Alang sa matag editor sa Wikipedya, mahanduraw sa usa ka numero ang mga pag-usab nga iyang himoon sa kondisyon sa pagtambal ( \(Y_i(1)\) ) ug ang numero nga iyang himoon sa kondisyon sa pagkontrol ( \(Y_i(0)\) ).

Timan-i nga kining pagpili sa mga yunit, mga pagtambal, ug mga resulta naghubit unsa ang makat-unan gikan niini nga eksperimento. Pananglitan, nga walay bisan unsang dugang nga mga panghunahuna, ang Restivo ug van de Rijt dili makasulti bisan unsa mahitungod sa mga epekto sa mga barnstar sa tanang editor sa Wikipedya o sa mga resulta sama sa pag-edit sa kalidad. Sa kinatibuk-an, ang pagpili sa mga yunit, mga pagtambal, ug mga resulta kinahanglan ibase sa mga tumong sa pagtuon.

Gihatag kini nga posibleng mga sangputanan-nga gisumada sa lamesa 4.5-ang usa makahimo sa paghubit sa sangputanan nga epekto sa pagtambal sa tawo \(i\) isip

\[ \tau_i = Y_i(1) - Y_i(0) \qquad(4.1)\]

Alang nako, kini nga equation mao ang pinakasimple nga paagi sa paghulagway sa usa ka hinungdan nga epekto, ug, bisan sa yano kaayo, kini nga balangkas nahimong kadaghanan sa importante ug makapaikag nga mga paagi (Imbens and Rubin 2015) .

Apan kon atong ipasabut ang sangputanan niini nga paagi, kita adunay problema. Sa hapit tanan nga mga kaso, dili nato makita ang posible nga resulta. Kana mao, ang usa ka piho nga editor sa Wikipedya nakadawat man og barnstar o dili. Busa, nakita nato ang usa sa mga posibleng resulta - \(Y_i(1)\) o \(Y_i(0)\) -apan dili pareho. Ang pagkawalay katakos sa pag-obserbar sa posibleng resulta mao ang usa ka dakong problema nga gitawag ni Holland (1986) nga Pangunang Pangutana sa Hinungdan nga Pagbalibad .

Maayo na lang, sa diha nga kita mag-research, dili lang kita adunay usa ka tawo, adunay daghan nga mga tawo, ug kini naghatag sa usa ka paagi nga naglibut sa Pangunang Problema sa Hinungdan nga Inference. Imbis nga sulayan ang pagbanabana sa indibidwal nga pagtambal nga epekto, mahimo natantiya ang kasagaran nga epekto sa pagtambal:

\[ \text{ATE} = \frac{1}{N} \sum_{i=1}^N \tau_i \qquad(4.2)\]

Kini gipahayag gihapon sa termino nga \(\tau_i\) nga dili makita, apan uban sa pipila ka algebra (Eq 2.8 sa Gerber and Green (2012) ) atong makuha

\[ \text{ATE} = \frac{1}{N} \sum_{i=1}^N Y_i(1) - \frac{1}{N} \sum_{i=1}^N Y_i(0) \qquad(4.3)\]

Ang equation 4.3 nagpakita nga kung kita maka-estimate sa kasagaran sa populasyon nga gidaghanon ubos sa pagtambal ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ) ug ang populasyon sa kasagaran nga sangputanan ubos sa kontrol ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ), nan, atong mahibal-an ang kasagaran nga pagtambal nga epekto, bisan pa wala'y pagtantiya sa treatment effect alang sa bisan kinsa nga partikular nga tawo.

Karon nga akong gihubit ang among bili-ang butang nga among gisulayan sa pagtantiya-Akong ibalik kon giunsa nato kini matantiya sa datos. Ganahan kong hunahunaon ang hagit sa pagbana isip usa ka problema sa pagsulay (hunahunaa pagbalik ang mga nota sa matematika sa kapitulo 3). Hunahunaa nga usahay kami mopili sa pipila ka mga tawo aron sa pag-obserba sa kondisyon sa pagtambal ug kami sa matag-usa mopili sa pipila ka mga tawo aron sa pag-obserbar sa kondisyon sa pagpugong, nan kita maka-estimate sa kasagaran nga sangputanan sa matag kondisyon:

\[ \widehat{\text{ATE}} = \underbrace{\frac{1}{N_t} \sum_{i:W_i=1} Y_i(1)}_{\text{average edits, treatment}} - \underbrace{\frac{1}{N_c} \sum_{i:W_i=0} Y_i(0)}_{\text{average edits, control}} \qquad(4.4)\]

diin ang \(N_t\) ug \(N_c\) mao ang gidaghanon sa mga tawo sa mga kondisyon sa pagtambal ug pagkontrol. Ang equation 4.4 usa ka panaglahi-sa-paagi nga pagtan-aw. Tungod sa sampling design, nahibal-an nato nga ang unang termino usa ka dili matukion nga tagana alang sa kasagaran nga resulta ubos sa pagtambal ug ang ikaduha nga termino mao ang usa ka dili pagpa-anunsyo nga kontrolado.

Ang laing paagi sa paghunahuna mahitungod sa kung unsa ang mahimo sa pagpa-randomize mao nga kini nagsiguro nga ang pagtandi tali sa pagtambal ug pagkontrol sa mga grupo patas tungod kay ang pagkasayod nagsiguro nga ang duha ka grupo magkahiusa. Kini nga panagsama naghupot sa mga butang nga atong gisukod (isulti ang gidaghanon sa mga pag-usab sulod sa 30 ka adlaw sa wala pa ang eksperimento) ug ang mga butang nga wala nato masusi (isulti nga gender). Kini nga abilidad sa pagsiguro sa pagkabalanse sa mga naobserbahan ug dili maobserbahan nga mga hinungdan mahinungdanon. Aron makita ang gahum sa automatic nga pagbalanse sa mga butang nga dili maobserbahan, atong mahunahuna nga ang umaabot nga panukiduki nakakaplag nga ang mga lalaki mas responsibo sa mga pasidungog kay sa mga babaye. Makapapas ba kana sa resulta sa eksperimento ni Restivo ug van de Rijt? Dili. Pinaagi sa pag-eksperimento, ilang gipaneguro nga ang tanan nga dili matugkad mahimong balanse, sa pagpaabut. Kini nga panalipod batok sa wala mahibal-an gamhanan kaayo, ug kini usa ka importante nga paagi nga ang mga eksperimento lahi gikan sa mga pamaagi nga dili eksperimento nga gihulagway sa kapitulo 2.

Gawas pa sa pag-ila sa epekto sa pagtambal alang sa usa ka tibuok nga populasyon, posible nga mahibal-an ang epekto sa pagtambal alang sa usa ka tipik sa mga tawo. Kini kasagaran gitawag nga conditional average treatment effect (CATE). Pananglitan, sa pagtuon ni Restivo ug van de Rijt, atong mahunahuna nga \(X_i\) mao ang editor sa ibabaw o ubos sa gidaghanon sa mga pag-usab sulod sa 90 ka adlaw sa wala pa ang eksperimento. Ang usa makahimo sa pagkalkula sa pagtambal nga epekto nga separado alang niining mga kahayag ug bug-at nga mga editor.

Ang potensyal nga outcome framework usa ka gamhanan nga paagi sa paghunahuna mahitungod sa hinungdan nga panghunahuna ug mga eksperimento. Bisan pa, dunay duha ka dugang nga kakuti nga kinahanglan nimong hinumdoman. Kining duha ka mga pagkakalibutan kasagaran gihiusa sa ilalum sa pulong nga Stable Unit Treatment Assumption (SUTVA). Ang unang bahin sa SUTVA mao ang pagtuo nga ang bugtong butang nga importante alang sa tawo \(i\) ni resulta mao ang kon tawo nga diha sa pagtambal o pagpugong sa kahimtang. Sa laing pagkasulti, gituohan nga ang tawo \(i\) wala maapektuhan sa pagtambal nga gihatag sa ubang mga tawo. Kini usahay gitawag nga "walay panghilabot" o "walay spillovers", ug mahimong isulat ingon:

\[ Y_i(W_i, \mathbf{W_{-i}}) = Y_i(W_i) \quad \forall \quad \mathbf{W_{-i}} \qquad(4.5)\]

diin ang \(\mathbf{W_{-i}}\) usa ka vector sa mga status sa pagtambal alang sa tanan gawas sa persona \(i\) . Ang usa ka paagi nga kini malapas mao ang kung ang pagtambal gikan sa usa ka tawo mahulog ngadto sa laing tawo, positibo o negatibo. Pagbalik sa Restivo ug van de Rijt ni eksperimento, handurawa ang duha ka mga higala \(i\) ug \(j\) ug nga ang tawo \(i\) magadawat sa usa ka barnstar ug \(j\) dili. Kon \(i\) pagdawat sa barnstar hinungdan \(j\) nga usba dugang pa (gikan sa usa ka pagbati sa kompetisyon) o usba dili kaayo (gikan sa usa ka pagbati sa pagkawalay paglaum), unya SUTVA na gilapas. Mahimo usab kining lapason kon ang epekto sa pagtambal nag-agad sa total nga gidaghanon sa ubang mga tawo nga nakadawat sa pagtambal. Pananglitan, kon ang Restivo ug van de Rijt nakahatag og 1,000 o 10,000 nga mga bangan imbis sa 100, kini mahimong nakaapekto sa epekto sa pagdawat sa usa ka barnstar.

Ang ikaduha nga isyu nga gihugpong sa SUTVA mao ang pagdahum nga ang bugtong may kalabutan nga pagtambal mao ang usa nga gitunol sa tigdukiduki; kini nga pangagpas usahay gitawag nga walay gitago nga mga pagtambal o dili mahulagway . Pananglitan, sa Restivo ug van de Rijt, mahimo nga ang kaso nga pinaagi sa paghatag sa usa ka barnstar ang mga tigdukiduki nga hinungdan sa mga editor nga gipakita sa usa ka popular nga editor nga pahina ug nga kini anaa sa popular nga editor nga pahina-kay sa pagdawat sa usa ka barnstar- nga maoy hinungdan sa kausaban sa pag-usab sa kinaiya. Kung kini tinuod, nan ang epekto sa barnstar dili mailhan gikan sa epekto nga anaa sa popular nga editor nga panid. Siyempre, dili kini tin-aw kon, gikan sa usa ka panglantaw sa syensya, kini kinahanglan isip nga madanihon o dili madanihon. Kana mao, mahanduraw nimo ang usa ka tigdukiduki nga nag-ingon nga ang epekto sa pagdawat sa usa ka barnstar naglakip sa tanan nga sunod nga mga pag-atiman nga gisugyot sa barnstar. O mahanduraw mo ang usa ka sitwasyon diin ang usa ka panukiduki gusto nga ihimulag ang epekto sa mga barnstar gikan sa tanan niining ubang mga butang. Usa ka paagi sa paghunahuna mahitungod niini mao ang sa pagpangutana kon adunay bisan unsa nga butang nga modala ngadto sa unsa ang Gerber and Green (2012) (p. 41) pagtawag sa usa ka "pagkahugno sa nindot nga porma"? Sa laing pagkasulti, aduna bay laing butang gawas sa pagtambal nga hinungdan sa mga tawo sa mga kondisyon sa pagtambal ug pagkontrol nga pagtratar sa lahi? Ang mga kabalaka bahin sa pagkaguba sa simetrya mao ang hinungdan sa mga pasyente sa control group sa medical nga mga pagsulay aron makakuha og placebo pill. Sa ingon, ang mga tigdukiduki makasiguro nga ang bugtong kalainan tali sa duha ka kondisyon mao ang aktwal nga medisina ug dili ang kasinatian sa pagkuha sa pildoras.

Alang sa dugang sa SUTVA, tan-awa ang seksyon 2.7 sa Gerber and Green (2012) , seksyon 2.5 sa Morgan and Winship (2014) , ug seksyon 1.6 sa Imbens and Rubin (2015) .

Katukma

Sa miaging seksyon, gihulagway ko unsaon pagtantiya sa kasagaran nga epekto sa pagtambal. Niini nga seksiyon, mohatag ako og pipila ka mga ideya mahitungod sa kabag-ohan sa maong mga pagbanabana.

Kung hunahunaon nimo ang pagbana-bana sa kasagaran nga epekto sa pagtambal sama sa pagbana-bana sa kalainan tali sa duha ka mga paagi sa sample, posible nga ipakita nga ang standard error sa average nga treatment effect mao ang:

\[ SE(\widehat{\text{ATE}}) = \sqrt{\frac{1}{N-1} \left(\frac{m \text{Var}(Y_i(0))}{N-m} + \frac{(N-m) \text{Var}(Y_i(1))}{m} + 2\text{Cov}(Y_i(0), Y_i(1)) \right)} \qquad(4.6)\]

diin \(m\) mga tawo nga gitudlo sa pagtambal ug \(Nm\) sa pagpugong sa (tan-awa sa Gerber and Green (2012) , Eq. 3.4). Busa, sa dihang maghunahuna kung pila ka mga tawo ang ibutang sa pagtambal ug pila ang ibutang sa pagkontrol, imong makita nga kung \(\text{Var}(Y_i(0)) \approx \text{Var}(Y_i(1))\) , nan gusto nimo \(m \approx N / 2\) , basta ang gasto sa pagtambal ug pagkontrola managsama. Ang equation 4.6 nagpatin-aw nganong ang disenyo sa eksperimento sa Bond ug mga kaubanan (2012) mahitungod sa mga epekto sa sosyal nga impormasyon sa pagbotohan (numero 4.18) dili episyente sa istatistika. Hinumdomi nga kini adunay 98% sa mga partisipante sa kondisyon sa pagtambal. Nagpasabot kini nga ang kinaiya sa pagkontrol sa kondisyon wala gibana-bana ingon sa tukma nga ingon niini, nga sa baylo nagpasabot nga ang gibanabana nga kalainan tali sa kondisyon sa pagpugong ug pagkontrol dili gibanabana nga tukma nga ingon niini. Alang sa dugang bahin sa kamahinungdanon nga alokasyon sa mga partisipante ngadto sa mga kondisyon, lakip na kung magkalahi ang mga presyo tali sa mga kondisyon, tan-awa ang List, Sadoff, and Wagner (2011) .

Sa katapusan, diha sa nag-unang teksto, akong gihulagway kung unsa ang usa ka panagkalahi nga dili magkalahi, nga kasagaran gigamit sa usa ka nagkalainlain nga disenyo, mahimong mosangpot ngadto sa mas gamay nga kausaban kay sa usa ka pagsabot-sa-paagi nga pagtan-aw, nga sagad gigamit sa usa ka hilisgutan disenyo. Kung ang \(X_i\) mao ang bili sa sangputanan sa wala pa ang pagtambal, nan ang gidaghanon nga atong gisulayan sa pagbana-bana sa nagkadaiya nga pamaagi sa kalainan mao ang:

\[ \text{ATE}' = \frac{1}{N} \sum_{i=1}^N ((Y_i(1) - X_i) - (Y_i(0) - X_i)) \qquad(4.7)\]

Ang sukaranan nga sayop sa maong gidaghanon mao ang (tan-awa ang Gerber and Green (2012) , eq 4.4)

\[ SE(\widehat{\text{ATE}'}) = \sqrt{\frac{1}{N-1} \left( \text{Var}(Y_i(0) - X_i) + \text{Var}(Y_i(1) - X_i) + 2\text{Cov}(Y_i(0) - X_i, Y_i(1) - X_i) \right)} \qquad(4.8)\]

Ang pagtandi sa eq. 4.6 ug eq. 4.8 nagpakita nga ang nagkadaiyang paagi sa pagkalahi adunay mas gamay nga sumbanan nga kasaypanan sa diha nga (tan-awa ang Gerber and Green (2012) , eq 4.6)

\[ \frac{\text{Cov}(Y_i(0), X_i)}{\text{Var}(X_i)} + \frac{\text{Cov}(Y_i(1), X_i)}{\text{Var}(X_i)} > 1\qquad(4.9)\]

Sa tibuuk, sa diha nga \(X_i\) mao ang predictive sa \(Y_i(1)\) ug \(Y_i(0)\) , nan mahimo ka nga mas tukma nga mga pagbanabana gikan sa usa ka kalahian-sa-kalahian nga pamaagi kaysa gikan sa usa ka kalainan- sa-nagkahulugan nga usa. Usa ka paagi sa paghunahuna mahitungod niini sa konteksto sa eksperimento ni Restivo ug van de Rijt mao nga adunay daghang natural nga kausaban sa kantidad nga gi-edit sa mga tawo, busa kini naghimo sa pagkomparar sa mga kondisyon sa paggamot ug pagkontrol nga lisud: lisud ang pag-ila sa paryente gamay nga epekto diha sa saba nga datos sa resulta. Apan kung ikaw ang kalainan-kini nga pagkasusama sa natural nga paagi, nan adunay dili kaayo kausaban, ug nga kini mas sayon ​​nga makamatikod sa usa ka gamay nga epekto.

Tan-awa ang Frison and Pocock (1992) alang sa usa ka tukma nga pagtandi sa kalainan sa mga pamaagi, kalainan sa mga kalainan, ug mga pamaagi nga nakabase sa ANCOVA sa mas heneral nga kahimtang diin adunay daghan nga mga pagsukod nga pre-treatment ug post-treatment. Ilabi na, sila kusganong nagrekomendar sa ANCOVA, nga wala nako masakup dinhi. Dugang pa, tan-awa ang McKenzie (2012) alang sa usa ka paghisgot sa kaimportante sa daghang mga lakang sa pagtambal nga mga resulta sa pagtambal.