Noti fil-matematika

Naħseb li l-aħjar mod biex nifhmu l-esperimenti huwa l - qafas tar-riżultati potenzjali (li diskuss fin-noti matematiċi fil-kapitolu 2). Il-qafas tar-riżultati potenzjali għandu relazzjonijiet mill-qrib mal-ideat minn kampjuni bbażati fuq id-disinn li deskritt fil-kapitolu 3 (Aronow and Middleton 2013; Imbens and Rubin 2015, chap. 6) . Dan l-appendiċi ġie miktub b'tali mod li jenfasizza dik il-konnessjoni. Din l-enfasi hija daqsxejn mhux tradizzjonali, iżda naħseb li l-konnessjoni bejn it-teħid ta 'kampjuni u l-esperimenti hija ta' għajnuna: ifisser li jekk taf xi ħaġa dwar it-teħid ta 'kampjuni allura taf xi ħaġa dwar esperimenti u viċi versa. Kif ser nuri f'dawn in-noti, il-qafas tar-riżultati potenzjali juri s-saħħa ta 'esperimenti kkontrollati b'mod każwali għall-istima tal-effetti kawżali, u juri l-limitazzjonijiet ta' dak li jista 'jsir b'esperimenti anke perfettament eżegwiti.

F'dan l-appendiċi, ser niddeskrivi l-qafas tar-riżultati potenzjali, billi nidduppjaw xi wħud mill-materjal min-noti matematiċi fil-kapitolu 2 sabiex dawn in-noti jinżammu fihom infushom. Imbagħad ser niddeskrivi xi riżultati utli dwar il-preċiżjoni tal-istimi tal-effetti medji tat-trattament, inkluż diskussjoni dwar l-allokazzjoni ottima u l-istimi tal-differenza fid-differenzi. Dan l-appendiċi jiġbed ħafna fuq Gerber and Green (2012) .

Qafas ta 'riżultati potenzjali

Sabiex nuru l-qafas tar-riżultati potenzjali, nerġgħu nirritornaw għall-esperiment ta 'Restivo u van de Rijt biex jiġi stmat l-effett li nirċievu barnstar fuq kontributi futuri għal Wikipedija. Il-qafas ta 'riżultati potenzjali għandu tliet elementi ewlenin: unitajiet , trattamenti u riżultati potenzjali . Fil-każ ta 'Restivo u van de Rijt, l- unitajiet kienu jistħoqqilhom edituri - dawk fl-aqwa 1% tal-kontributuri - li kienu għadhom ma rċevewx barnstar. Nistgħu nindikaw dawn l-edituri b ' $i = 1 \ldots N$ . It- trattamenti fl-esperiment tagħhom kienu "barnstar" jew "no barnstar", u jien ser tikteb $W_i = 1$ jekk il-persuna $i$ tkun fil-kundizzjoni tat-trattament u $W_i = 0$ inkella. It-tielet element tal-qafas tar-riżultati potenzjali huwa l-aktar importanti: ir -riżultati potenzjali . Dawn huma ftit iktar kunċettwali diffiċli għaliex jinvolvu riżultati "potenzjali" - affarijiet li jistgħu jiġru. Għal kull editur tal-Wikipedija, wieħed jista 'jimmaġina n-numru ta' edizzjonijiet li kienet ser tagħmel fil-kundizzjoni tat-trattament ( $Y_i(1)$ ) u n-numru li kienet ser tagħmel fil-kundizzjoni ta 'kontroll ( $Y_i(0)$ ).

Innota li din l-għażla ta 'unitajiet, trattamenti u riżultati tiddefinixxi dak li jista' jitgħallem minn dan l-esperiment. Pereżempju, mingħajr suppożizzjonijiet addizzjonali, Restivo u van de Rijt ma jistgħux jgħidu xi ħaġa dwar l-effetti ta 'barnstars fuq l-edituri kollha tal-Wikipedija jew fuq riżultati bħal editjar ta' kwalità. B'mod ġenerali, l-għażla ta 'unitajiet, trattamenti u riżultati għandhom ikunu bbażati fuq l-għanijiet tal-istudju.

Minħabba dawn ir-riżultati potenzjali - li huma miġbura fil-qosor fit-tabella 4.5 -wieħed jista 'jiddefinixxi l-effett kawżali tat-trattament għal persuna $i$ bħala

$$\tau_i = Y_i(1) - Y_i(0) \qquad(4.1)$$

Għalija, din l-ekwazzjoni hija l-aktar mod ċar biex jiġi definit effett kaġunali, u, għalkemm estremament sempliċi, dan il-qafas jirriżulta ġeneralizzabbli f'ħafna modi importanti u interessanti (Imbens and Rubin 2015) .

Jekk niddefinixxu l-kawżalità b'dan il-mod, madankollu, għandna problema. Fi kważi l-każijiet kollha, ma nibdewx nosservaw iż-żewġ riżultati potenzjali. Jiġifieri, editur speċifiku tal-Wikipedija jew irċieva barnstar jew le. Għalhekk, aħna nosservaw wieħed mir-riżultati potenzjali- $Y_i(1)$ jew $Y_i(0)$ -but mhux it-tnejn. L-inkapaċità li jiġu osservati ż-żewġ riżultati potenzjali hija problema tant kbira li Holland (1986) sejħitilha l- Problema Fundamentali tad-Dwal tal-Kawżi .

Fortunatament, meta nagħmlu r-riċerka, aħna mhux biss għandna persuna waħda, għandna ħafna nies, u dan joffri mod madwar il-Problema Fundamentali tad-Dwal tal-Kawżi. Minflok ma tipprova tistma l-effett tat-trattament fuq livell individwali, nistgħu nistmaw l-effett medju tat-trattament:

$$\text{ATE} = \frac{1}{N} \sum_{i=1}^N \tau_i \qquad(4.2)$$

Dan għadu espress f'termini ta ' $\tau_i$ li mhumiex osservabbli, iżda b'xi algebra (Eq 2.8 ta' Gerber and Green (2012) ) nwasslu

$$\text{ATE} = \frac{1}{N} \sum_{i=1}^N Y_i(1) - \frac{1}{N} \sum_{i=1}^N Y_i(0) \qquad(4.3)$$

L-Ekwazzjoni 4.3 turi li jekk nistgħu nistmaw l-eżitu medju tal-popolazzjoni taħt trattament ( $N^{-1} \sum_{i=1}^N Y_i(1)$ ) u l-eżitu medju tal-popolazzjoni taħt kontroll ( $N^{-1} \sum_{i=1}^N Y_i(1)$ ), allura nistgħu nistmaw l-effett medju tat-trattament, anki mingħajr ma jiġi stmat l-effett tat-trattament għal xi persuna partikolari.

Issa li stajt iddefinixxa l-istima tagħna - il-ħaġa li qed nippruvaw nistennew - nirreferi għal kif inkunu nistgħu nagħmilha stima bid-data. Nixtieq naħseb dwar din l-isfida ta 'l-istima bħala problema ta' teħid ta 'kampjuni (aħseb lura għan-noti matematiċi fil-kapitolu 3). Immaġina li aħna saltwarjament jagħżlu xi nies biex josservaw fil-kundizzjoni tat-trattament u aħna saltwarjament inneħħu ftit nies biex josservaw fil-kundizzjoni tal-kontroll, allura nistgħu nistmaw l-eżitu medju f'kull kundizzjoni:

$$\widehat{\text{ATE}} = \underbrace{\frac{1}{N_t} \sum_{i:W_i=1} Y_i(1)}_{\text{average edits, treatment}} - \underbrace{\frac{1}{N_c} \sum_{i:W_i=0} Y_i(0)}_{\text{average edits, control}} \qquad(4.4)$$

fejn $N_t$ u $N_c$ huma n-numri ta 'nies fil-kundizzjonijiet ta' trattament u kontroll. L-ekwazzjoni 4.4 hija stimatur ta 'differenza tal-mezzi. Minħabba d-disinn tat-teħid ta 'kampjuni, nafu li l-ewwel terminu huwa stimatur imparzjali għar-riżultat medju taħt trattament u t-tieni terminu huwa stimatur imparzjali taħt kontroll.

Mod ieħor biex wieħed jaħseb dwar dak li jippermetti l-randomizzazzjoni huwa li jiżgura li t-tqabbil bejn il-gruppi ta 'trattament u ta' kontroll huwa ġust għaliex l-għażla każwali tiżgura li ż-żewġ gruppi jixbħu lil xulxin. Din ix-xebh għandu l-affarijiet li tajna (jiġifieri n-numru ta 'edizzjonijiet fit-30 jum qabel l-esperiment) u l-affarijiet li ma tajnax (jiġifieri sess). Din il-kapaċità li tiżgura l-bilanċ kemm fuq il-fatturi osservati kif ukoll dawk mhux osservati hija kritika. Biex tara s-saħħa ta 'bilanċjar awtomatiku fuq fatturi mhux osservati, ejja nimmaġina li r-riċerka fil-ġejjieni ssib li l-irġiel huma aktar reattivi għal premjijiet min-nisa. Tkun invalidata r-riżultati ta 'l-esperiment ta' Restivo u van de Rijt? Le. Billi randomized, huma assiguraw li l-unobservables kollha jkunu bilanċjati, fl-aspettattiva. Din il-protezzjoni kontra dak mhux magħruf hija qawwija ħafna, u huwa mod importanti li l-esperimenti huma differenti mit-tekniki mhux sperimentali deskritti fil-kapitolu 2.

Minbarra d-definizzjoni tal-effett tat-trattament għal popolazzjoni sħiħa, huwa possibbli li jiġi definit effett ta 'trattament għal sottogrupp ta' nies. Dan tipikament jissejjaħ effett ta 'trattament medju kondizzjonali (CATE). Pereżempju, fl-istudju ta 'Restivo u van de Rijt, ejja nimmaġina li $X_i$ hija jekk l-editur kienx fuq jew taħt in-numru medjan ta' edits matul id-90 jum qabel l-esperiment. Wieħed jista 'jikkalkula l-effett tat-trattament separatament għal dawn l-edituri ħfief u tqal.

Il-qafas tar-riżultati potenzjali huwa mod qawwi biex wieħed jaħseb dwar inferenzi kawżali u esperimenti. Madankollu, hemm żewġ kumplessitajiet addizzjonali li għandek iżżomm f'moħħok. Dawn iż-żewġ kumplessitajiet spiss huma lumped flimkien taħt it-terminu Unità Stabbli tal-Valur tat-Trattament tal-Assunzjoni (SUTVA). L-ewwel parti ta 'SUTVA hija l-assunzjoni li l-unika ħaġa li hi importanti għall-eżitu tal-persuna $i$ hija jekk dik il-persuna kinitx fil-kundizzjoni ta' trattament jew kontroll. Fi kliem ieħor, wieħed jassumi li dik il-persuna $i$ mhix affettwata mit-trattament mogħti lil nies oħra. Dan xi drabi jissejjaħ "l-ebda interferenza" jew "ebda spillovers", u jista 'jinkiteb bħala:

$$Y_i(W_i, \mathbf{W_{-i}}) = Y_i(W_i) \quad \forall \quad \mathbf{W_{-i}} \qquad(4.5)$$

fejn $\mathbf{W_{-i}}$ huwa vettur ta 'status ta' trattament għal kulħadd minbarra persuna $i$ . Mod wieħed li dan jista 'jinkiser huwa jekk it-trattament minn persuna waħda jixtered fuq persuna oħra, jew b'mod pożittiv jew negattiv. Ir-ritorn lejn l-esperiment ta 'Restivo u van de Rijt, jimmaġina żewġ ħbieb $i$ u $j$ u dik il-persuna $i$ tirċievi barnstar u $j$ ma. Jekk $i$ tirċievi l-barnstar kawżi $j$ biex teditja aktar (minn sens ta 'kompetizzjoni) jew teditja inqas (minn sens ta' disprament), allura SUTVA ġiet miksura. Tista 'wkoll tiġi miksura jekk l-impatt tat-trattament jiddependi fuq in-numru totali ta' persuni oħra li jirċievu t-trattament. Per eżempju, jekk Restivo u van de Rijt kienu taw 1,000 jew 10,000 barnstars minflok 100, dan seta 'taffettwa l-effett li jirċievi barnstar.

It-tieni kwistjoni ttrattata f'SUTVA hija l-assunzjoni li l-uniku trattament rilevanti huwa dak li r-riċerkatur jagħti; din is-suppożizzjoni kultant tissejjaħ trattamenti moħbija jew esklużjoni . Per eżempju, f'Settivo u f'Ven de Rijt, jista 'jkun il-każ li billi jingħata barnstar, ir-riċerkaturi kkawżaw li l-edituri jkunu jidhru fuq paġna tal-edituri popolari u li kienet qiegħda fuq il-paġna tal-edituri popolari - aktar milli tirċievi messaġġ barnstar- li kkawża l-bidla fl-imġiba tal-editjar. Jekk dan huwa minnu, l-effett tal-barnstar ma jiddistingwix mill-effett li jkun fuq il-paġna tal-edituri popolari. Naturalment, mhuwiex ċar jekk, minn perspettiva xjentifika, dan għandux jitqies attraenti jew mhux attraenti. Jiġifieri, tista 'timmaġina riċerkatur li tgħid li l-effett li jirċievi barnstar jinkludi t-trattamenti sussegwenti kollha li jqajjem il-barnstar. Jew tista 'timmaġina sitwazzjoni fejn riċerka tkun tixtieq li tiżola l-effett ta' barnstars minn dawn l-affarijiet l-oħra kollha. Mod wieħed biex wieħed jaħseb dwarha huwa li jistaqsi jekk hemmx xi ħaġa li twassal għal dak li Gerber and Green (2012) (p.41) isejħu "analiżi tas-simetrija"? Fi kliem ieħor, hemm xi ħaġa oħra għajr it-trattament li jikkawża li n-nies fil-kundizzjonijiet ta 'trattament u kontroll jiġu ttrattati b'mod differenti? It-tħassib dwar it-tkissir ta 'simmetrija huwa dak li jwassal lill-pazjenti fil-grupp ta' kontroll fi provi mediċi biex jieħdu pillola tal-plaċebo. B'dan il-mod, ir-riċerkaturi jistgħu jkunu żguri li l-unika differenza bejn iż-żewġ kundizzjonijiet hija l-mediċina attwali u mhux l-esperjenza tat-teħid tal-pillola.

Għal aktar tagħrif dwar SUTVA, ara sezzjoni 2.7 ta ' Gerber and Green (2012) , sezzjoni 2.5 ta' Morgan and Winship (2014) , u taqsima 1.6 ta ' Imbens and Rubin (2015) .

Preċiżjoni

Fit-taqsima ta 'qabel, stajt deskritti kif nistma l-effett medju tat-trattament. F'din it-taqsima, ser nipprovdi ftit ideat dwar il-varjabbiltà ta 'dawk l-estimi.

Jekk taħseb dwar l-istima tal-effett medju tat-trattament bħala stima tad-differenza bejn żewġ mezzi ta 'kampjun, allura huwa possibbli li jintwera li l-iżball standard tal-effett medju tat-trattament huwa:

$$SE(\widehat{\text{ATE}}) = \sqrt{\frac{1}{N-1} \left(\frac{m \text{Var}(Y_i(0))}{N-m} + \frac{(N-m) \text{Var}(Y_i(1))}{m} + 2\text{Cov}(Y_i(0), Y_i(1)) \right)} \qquad(4.6)$$

fejn $m$ in-nies assenjati għat-trattament u $Nm$ għall-kontroll (ara Gerber and Green (2012) , eq 3.4). Għalhekk, meta wieħed jaħseb dwar kemm persuni jassenjaw it-trattament u kemm jista 'jassenjahom għall-kontroll, tista' tara li jekk $\text{Var}(Y_i(0)) \approx \text{Var}(Y_i(1))$ , imbagħad inti tixtieq $m \approx N / 2$ , sakemm l-ispejjeż tat-trattament u l-kontroll huma l-istess. L-Ekwazzjoni 4.6 tiċċara għaliex id-disinn tal-esperiment ta 'Bond u tal-kollegi (2012) dwar l-effetti tal-informazzjoni soċjali dwar il-votazzjoni (figura 4.18) kien statistikament ineffiċjenti. Ifakkar li kellha 98% tal-parteċipanti fil-kundizzjoni tat-trattament. Dan fisser li l-imġiba medja fil-kundizzjoni ta 'kontroll ma ġietx stmata b'mod preċiż daqs kemm setgħet kienet, li min-naħa tagħha kienet tfisser li d-differenza stmata bejn il-kura u l-kundizzjoni tal-kontroll ma kinitx stmata b'mod eżatt kif jista' jkun. Għal aktar tagħrif dwar l-allokazzjoni ottima tal-parteċipanti għal kundizzjonijiet, inkluż meta l-ispejjeż ivarjaw bejn il-kundizzjonijiet, ara List, Sadoff, and Wagner (2011) .

Fl-aħħarnett, fit-test prinċipali, deskritt kif l-istimatur differenza fid-differenzi, li tipikament tintuża f'disinn imħallat, jista 'jwassal għal varjanza iżgħar minn stimatur ta' differenza fil-mezzi, li tipikament tintuża f'suġġetti interni disinn. Jekk $X_i$ huwa l-valur tar-riżultat qabel it-trattament, allura l-kwantità li qed nippruvaw nistennew bl-approċċ ta 'differenza fid-differenzi hija:

$$\text{ATE}' = \frac{1}{N} \sum_{i=1}^N ((Y_i(1) - X_i) - (Y_i(0) - X_i)) \qquad(4.7)$$

L-iżball standard ta 'dik il-kwantità huwa (ara Gerber and Green (2012) , eq 4.4)

$$SE(\widehat{\text{ATE}'}) = \sqrt{\frac{1}{N-1} \left( \text{Var}(Y_i(0) - X_i) + \text{Var}(Y_i(1) - X_i) + 2\text{Cov}(Y_i(0) - X_i, Y_i(1) - X_i) \right)} \qquad(4.8)$$

Paragun ta 'eq. 4.6 u eq. 4.8 juri li l-approċċ ta 'differenza fid-differenzi jkollu żball standard iżgħar meta (ara Gerber and Green (2012) , eq 4.6)

$$\frac{\text{Cov}(Y_i(0), X_i)}{\text{Var}(X_i)} + \frac{\text{Cov}(Y_i(1), X_i)}{\text{Var}(X_i)} > 1\qquad(4.9)$$

Bejn wieħed u ieħor, meta $X_i$ huwa predikattiv ħafna ta ' $Y_i(1)$ u $Y_i(0)$ , allura tista' tikseb stimi aktar preċiżi minn approċċ ta 'differenza ta' differenzi milli minn differenza - ta '-tfisser waħda. Mod wieħed biex wieħed jaħseb dwar dan fil-kuntest ta 'l-esperiment ta' Restivo u van de Rijt huwa li hemm ħafna varjazzjoni naturali fl-ammont li n-nies jeditjaw, għalhekk dan jagħmel diffiċli t-tqabbil tal-kondizzjonijiet ta 'trattament u kontroll: huwa diffiċli li tinstab effett żgħir f'dejta ta 'riżultat storbjuż. Imma jekk tvarja-out din il-varjabilità naturali, allura hemm ħafna inqas varjabilità, u dan jagħmilha eħfef biex jinstab effett żgħir.

Ara Frison and Pocock (1992) għal paragun preċiż tad-differenza ta 'mezzi, differenza ta' differenzi, u approċċi bbażati fuq ANCOVA fl-ambitu aktar ġenerali fejn hemm kejl multiplu ta 'trattament minn qabel u wara t-trattament. B'mod partikolari, huma jirrakkomandaw bil-qawwa ANCOVA, li ma kontx kopert hawn. Barra minn hekk, ara McKenzie (2012) għal diskussjoni dwar l-importanza ta 'miżuri multipli ta' riżultat ta 'wara t-trattament.