מאַטאַמאַטיקאַל הערות
איך טראַכטן דער בעסטער וועג צו פֿאַרשטיין יקספּעראַמאַנץ איז די פּאָטענציעל רעזולטאטן פריימווערק (וואָס איך דיסקאַסט אין די מאַטאַמאַטיקאַל הערות אין קאַפּיטל 2). די פּאָטענציעל רעזולטאטן פריימווערק האט אַ נאָענט באציונגען צו די געדאנקען פון פּלאַן-באזירט מוסטערונג אַז איך דיסקרייבד אין פּרק 3 (Aronow and Middleton 2013; Imbens and Rubin 2015, chap. 6) טשאַפּטער (Aronow and Middleton 2013; Imbens and Rubin 2015, chap. 6) . דעם אַפּענדיקס איז געשריבן אַזוי ווי צו ונטערשטרייַכן דעם קשר. דעם טראָפּ איז אַ ביסל ניט-טראדיציאנעלן, אָבער איך טראַכטן אַז די קשר צווישן מוסטערונג און יקספּעראַמאַנץ איז נוציק: עס מיטל אַז אויב איר וויסן עפּעס וועגן מוסטערונג דעמאָלט איר וויסן עפּעס וועגן יקספּעראַמאַנץ און וויצע ווערסאַ. ווי איך וועט ווייַזן אין די הערות, די פּאָטענציעל רעזולטאטן פריימווערק דיספּלייז די שטאַרקייַט פון ראַנדאַמייזד קאַנטראָולד יקספּעראַמאַנץ פֿאַר עסטאַמייטינג קאַוסאַל יפעקס, און עס ווייזט די לימיטיישאַנז פון וואָס קענען זיין געטאן מיט אפילו בישליימעס עקסאַקיוטאַד יקספּעראַמאַנץ.
אין דעם אַפּפּענדיקס, איך וועט באַשרייַבן די פּאָטענציעל רעזולטאטן פריימווערק, דופּליקייטינג עטלעכע פון די מאַטאַמאַטיקאַל הערות אין קאַפּיטל 2 צו מאַכן די הערות מער זיך-קאַנטיינד. דעמאָלט איך וועט באַשרייַבן עטלעכע נוציק רעזולטאַטן וועגן די אַקיעראַסי פון די דורכשניטלעך באַהאַנדלונג ווירקונג, אַרייַנגערעכנט אַ דיסקוסיע פון אָפּטימאַל אַלאַקיישאַן און חילוק-אין-דיפעראַנסיז עסטייטערז. דעם אַפּענדיקס דראָז שווער אויף Gerber and Green (2012) .
Potential outcomes framework
אין סדר צו אילוסטרירן די פּאָטענציעל רעזולטאטן פריימווערק, לאָזן די צוריקקומען צו די רעסיוויוואָ און פון דע רידזשט ס עקספּערימענט צו אָפּשאַצן די ווירקונג פון ריסיווינג אַ באַרנסטאַר אויף צוקונפֿט קאַנטראַביושאַנז צו וויקיפּעדיע. די פּאָטענציעל רעזולטאטן פריימווערק האט דרייַ הויפּט עלעמענטן: וניץ , טריטמאַנץ , און פּאָטענציעל רעזולטאטן . אין דעם פאַל פון Restivo און van de Rijt, די וניץ זענען געווען דיזערווינג רעדאקציע-יענע אין די שפּיץ 1% פון מיטארבעטערס-וואס האט נישט נאָך באקומען אַ באַרנסטאַר. מיר קענען אינדעקס די רעדאקציע דורך \(i = 1 \ldots N\) . די טריטמאַנץ אין זייער עקספּערימענט זענען "באַרנסטאַר" אָדער "קיין באַרנסטאַר," און איך וועט שרייַבן \(W_i = 1\) אויב מענטש \(i\) איז אין די באַהאַנדלונג צושטאַנד און \(W_i = 0\) אַנדערש. די דריט עלעמענט פון די פּאָטענציעל רעזולטאטן פריימווערק איז די מערסט וויכטיק: די פּאָטענציעל רעזולטאטן . די ביסט מער מער קאַנסעפּטשואַלי שווער ווייַל זיי אַרייַנציען "פּאָטענציעל" אַוטקאַמז-זאכן וואָס קען פּאַסירן. פֿאַר יעדער וויקיפּעדיע רעדאַקטאָר, איר קענען ימאַדזשאַן די נומער פון רעדאקציע אַז זי וואָלט מאַכן אין די באַהאַנדלונג צושטאַנד ( \(Y_i(1)\) ) און די נומער וואָס זי וואָלט מאַכן אין די קאָנטראָל טנאָים ( \(Y_i(0)\) ).
באַמערקונג אַז דעם ברירה פון וניץ, טריטמאַנץ, און אַוטקאַמז דיפיינז וואָס קענען זיין געלערנט פון דעם עקספּערימענט. פֿאַר בייַשפּיל, אָן קיין נאָך אַסאַמפּשאַנז, רעסטיוואָ און פון דע רידזשט קענען נישט זאָגן עפּעס וועגן די ווירקונג פון באַרנסטאַרס אויף אַלע וויקימעדיע רעדאקציע אָדער אויף רעזולטאטן אַזאַ ווי רעדאַגירן קוואַליטעט. אין אַלגעמיין, די ברירה פון וניץ, טריטמאַנץ און רעזולטאטן מוזן זיין באזירט אויף די צילן פון די לערנען.
ביי די פּאָטענציעל רעזולטאטן-וואָס זענען סאַמערייזד אין טיש 4.5-איינער קענען דעפינירן דעם סיבה ווירקונג פון די באַהאַנדלונג פֿאַר מענטש \(i\) ווי
\[ \tau_i = Y_i(1) - Y_i(0) \qquad(4.1)\]
פֿאַר מיר, דאָס איז די קליראַסט וועג צו באַשליסן אַ קאַוסאַל ווירקונג, און, כאָטש עס איז זייער פּשוט, דעם פריימווערק טורנס אויס צו גענעראַליזאַבלע אין פילע וויכטיק און טשיקאַווע וועגן (Imbens and Rubin 2015) .
| מענטש | עדיץ אין באַהאַנדלונג צושטאַנד | עדיץ אין קאָנטראָל צושטאַנד | באַהאַנדלונג ווירקונג |
|---|---|---|---|
| 1 | \(Y_1(1)\) | \(Y_1(0)\) | \(\tau_1\) |
| 2 | \(Y_2(1)\) | \(Y_2(0)\) | \(\tau_2\) |
| \(\vdots\) | \(\vdots\) | \(\vdots\) | \(\vdots\) |
| N | \(Y_N(1)\) | \(Y_N(0)\) | \(\tau_N\) |
| מיין | \(\bar{Y}(1)\) | \(\bar{Y}(0)\) | \(\bar{\tau}\) |
אויב מיר דעפינירן קאַוסאַליטי אין דעם וועג, אָבער, מיר לויפן אין אַ פּראָבלעם. אין כּמעט אַלע קאַסעס, מיר טאָן ניט באַקומען צו זען ביידע פּאָטענציעל רעזולטאטן. אַז איז, אַ ספּעציפיש וויקיפּעדיע רעדאַקטאָר אָדער באקומען אַ באַרנסטאַר אָדער ניט. דעריבער, מיר אָבסערווירן איינער פון די פּאָטענציעל אַוטקאַמז - \(Y_i(1)\) אָדער \(Y_i(0)\) אָבער ניט ביידע. די ינאַביליטי צו אָבסערווירן ביידע פּאָטענציעל רעזולטאטן איז אַזאַ אַ הויפּט פּראָבלעם אַז Holland (1986) גערופן עס די פונדאַמענטאַל פּראָבלעם פון קאַוסאַל ינפעראַנס .
גליק, ווען מיר טוען פאָרשונג, מיר טאָן ניט נאָר האָבן איין מענטש, מיר האָבן פילע מענטשן, און דאָס אָפפערס אַ וועג אַרום די פונדאַמענטאַל פּראָבלעם פון קאַוסאַל ינפעראַנס. אלא ווי פּרווון צו אָפּשאַצן די יחיד-מדרגה באַהאַנדלונג ווירקונג, מיר קענען אָפּשאַצן די דורכשניטלעך באַהאַנדלונג ווירקונג:
\[ \text{ATE} = \frac{1}{N} \sum_{i=1}^N \tau_i \qquad(4.2)\]
דאָס איז נאָך אויסגעדריקט אין טערמינען פון די \(\tau_i\) וואָס זענען ונאָבסערוואַבלע, אָבער מיט עטלעכע אַלגעבראַ (עק 2.8 פון Gerber and Green (2012) ) מיר באַקומען
\[ \text{ATE} = \frac{1}{N} \sum_{i=1}^N Y_i(1) - \frac{1}{N} \sum_{i=1}^N Y_i(0) \qquad(4.3)\]
די ןעמעלבארגונג איז אנטשולדיגט אז אויב מיר קענען מעגליך די דורכשניטלעך רעזולטאטן פון דער באַפעלקערונג אונטער באַהאַנדלונג ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ) און די באַפעלקערונג דורכשניטלעך רעזולטאַט אונטער קאָנטראָל ( \(N^{-1} \sum_{i=1}^N Y_i(1)\) ), דעמאָלט מיר קענען די דורכשניטלעך באַהאַנדלונג ווירקונג, אַפֿילו אָן אָפּשאַצן די באַהאַנדלונג ווירקונג פֿאַר קיין באַזונדער מענטש.
איצט איך ווע דיפיינד אונדזער ויסשפּיגלונג-די זאַך מיר זענען טריינג צו אָפּשאַצן-איך וועט קער צו ווי מיר קענען אַקשלי טוישיקן עס מיט דאַטן. איך ווי צו טראַכטן וועגן דעם אָפּשאַצונג אַרויסרופן ווי אַ מוסטערונג פּראָבלעם (טראַכטן צוריק צו די מאַטאַמאַטיקאַל הערות אין קאַפּיטל 3). ימאַדזשאַן אַז מיר ראַנדאַמלי קלייַבן עטלעכע מענטשן צו אָבסערווירן אין די באַהאַנדלונג צושטאַנד און מיר ראַנדאַמלי פּיקן עטלעכע מענטשן צו קאָנטראָלירן די קאָנטראָל טנאָים, דעמאָלט מיר קענען די דורכשניטלעך רעזולטאַט אין יעדער צושטאַנד:
\[ \widehat{\text{ATE}} = \underbrace{\frac{1}{N_t} \sum_{i:W_i=1} Y_i(1)}_{\text{average edits, treatment}} - \underbrace{\frac{1}{N_c} \sum_{i:W_i=0} Y_i(0)}_{\text{average edits, control}} \qquad(4.4)\]
ווו \(N_t\) און \(N_c\) זענען די נומערן פון מענטשן אין די באַהאַנדלונג און קאָנטראָל טנאָים. עקוואַטיאָן 4.4 איז אַ חילוק-פון-מיטל עסטאַטאָראַטאָר. ווייַל פון די מוסטערונג פּלאַן, מיר וויסן אַז דער ערשטער טערמין איז אַ אַנליימד עסטימאַטאָר פֿאַר די דורכשניטלעך אַוטקאַם אונטער באַהאַנדלונג און דער צווייט טערמין איז אַ אַנבייאַסט אָפּשאַצונג אונטער קאָנטראָל.
אן אנדער וועג צו טראַכטן וועגן וואָס ראַנדאָמיזאַטיאָן ינייבאַלז איז אַז עס ינשורז אַז דער פאַרגלייַך צווישן באַהאַנדלונג און קאָנטראָל גרופּעס איז שיין ווייַל ראַנדאָמיזאַטיאָן ינשורז אַז די צוויי גרופּעס וועט זיין סימפּאַטלי אנדערן. דעם זכּרון האלט פֿאַר זאכן מיר האָבן געמאסטן (זאָגן די נומער פון רעדאקציע אין די 30 טעג איידער דער עקספּערימענט) און די זאכן מיר האָבן נישט געמאסטן (זאָגן גילדער). דעם פיייקייַט צו ענשור וואָג אויף ביידע באמערקט און ונאָבסערוועד סיבות איז קריטיש. צו זען די מאַכט פון אָטאַמאַטיק באַלאַנסינג אויף ונאָבסערוועד סיבות, לאָזן מיר דערשייַנען אַז דער צוקונפֿט פאָרשונג געפינט אַז מענטשן זענען מער אָפּרופיק צו אַוואַרדס ווי פרויען. וואָלט דאָס ינוואַלידיד די רעזולטאַטן פון רעסטיוואָ און פון דע רידזשט ס עקספּערימענט? נומ דורך ראַנדאַמייזינג, זיי ינשור אַז אַלע ונאָבסערבאַלז וואָלט זיין באַלאַנסט, אין דערוואַרטונג. דעם שוץ קעגן די אומבאַקאַנט איז זייער שטאַרק, און עס איז אַ וויכטיק וועג אַז יקספּעראַמאַנץ זענען אַנדערש פון די ניט-יקספּערמענאַל טעקניקס דיסקרייבד אין קאַפּיטל 2.
אין דערצו צו דיפיינינג די באַהאַנדלונג ווירקונג פֿאַר אַ גאַנץ באַפעלקערונג, עס איז מעגלעך צו דעפינירן אַ באַהאַנדלונג ווירקונג פֿאַר אַ סאַבסעט פון מענטשן. דעם איז typically גערופן אַ קאַנדישאַנאַל דורכשניטלעך באַהאַנדלונג ווירקונג (CATE). פֿאַר בייַשפּיל, אין דער לערנען פון רעסטיוואָ און וואן דע רידזשט, לאָזן אונדז ימאַדזשאַן אַז \(X_i\) איז צי דער רעדאַקטאָר איז אויבן אָדער אונטער די מידיאַן נומער פון רעדאקציע בעשאַס די 90 טעג איידער דער עקספּערימענט. איינער קען רעכענען די באַהאַנדלונג ווירקונג סעפּעראַטלי פֿאַר די ליכט און שווער רעדאקציע.
די פּאָטענציעל רעזולטאטן פריימווערק איז אַ שטאַרק וועג צו טראַכטן וועגן קאַוסאַל ינפעראַנס און יקספּעראַמאַנץ. אָבער, עס זענען צוויי נאָך קאַמפּלעקסיטיז וואָס איר זאָל האַלטן אין גייַסט. די צוויי קאַמפּלעקסיטיז זענען אָפט לאמפּעד צוזאַמען אונטער דער טערמין סטאַבלע יוניט טרעאַטמענט ווערט אַססומפּטיאָן (סוטוואַ). דער ערשטער טייל פון סוטוואַ איז די האַשאָרע אַז דער בלויז זאַך וואָס איז וויכטיק פֿאַר מענטש \(i\) ס רעזולטאַט איז צי דער מענטש איז געווען אין דער באַהאַנדלונג אָדער קאָנטראָל צושטאַנד. אין אנדערע ווערטער, עס איז אנגענומען אַז מענטש \(i\) איז נישט ימפּריזיד דורך די באהאנדלונג געגעבן צו אנדערע מענטשן. דאס איז מאל גערופן "קיין ינטערפיראַנס" אָדער "קיין ספּיללאָווערס", און קענען זיין געשריבן ווי:
\[ Y_i(W_i, \mathbf{W_{-i}}) = Y_i(W_i) \quad \forall \quad \mathbf{W_{-i}} \qquad(4.5)\]
ווו \(\mathbf{W_{-i}}\) איז אַ וועקטאָר פון באַהאַנדלונג סטאַטוסעס פֿאַר אַלעמען אַחוץ מענטש \(i\) . איין וועג אַז דאָס קענען זיין ווייאַלייטיד אויב די באַהאַנדלונג פון איין מענטש ספּילז איבער אַנטו אנדערן מענטש, אָדער דורכויס אָדער נעגאַטיוולי. צו צוריקקומען צו דער רעסיוואַוו און פון די רידזשיט ס עקספּערימענט, ימאַדזשאַן צוויי פריינט \(i\) און \(j\) און אַז מענטש \(i\) נעמט אַ באַרנסטאַר און \(j\) טוט נישט. אויב \(i\) באקומען די באַרנסטאַר ז \(j\) צו רעדאַגירן מער (אויס פון אַ געפיל פון פאַרמעסט) אָדער רעדאַגירן ווייניקער (אויס פון אַ געפיל פון פאַרצווייפלונג), דעמאָלט סוטוואַ האט שוין ווייאַלייטיד. עס קען אויך זיין ווייאַלייטיד אויב די פּראַל פון די באַהאַנדלונג דעפּענדס אויף די גאַנץ נומער פון אנדערע מענטשן באקומען די באַהאַנדלונג. פֿאַר בייַשפּיל, אויב Restivo און van de Rijt האט געגעבן 1,000 אָדער 10,000 באַרנסטאַרס אַנשטאָט פון 100, דאָס קען האָבן ימפּראָוועד די ווירקונג פון ריסיווינג אַ באַרנסטאַר.
די רגע אַרויסגעבן לאַמפּט אין סוטוואַ איז די האַשאָרע אַז די בלויז באַטייַטיק באַהאַנדלונג איז דער איינער וואָס די פאָרשער דיליווערז; דעם געדאַנק איז מאל גערופן קיין פאַרבאָרגן טריטמאַנץ אָדער עקסקלוסיוויטי . פֿאַר בייַשפּיל, אין Restivo און van de Rijt, עס קען זיין דער פאַל אַז דורך געבן אַ באַרנסטאַר די ריסערטשערז געפֿירט רעדאקציע צו זיין פיטשערד אויף אַ פאָלקס רעדאקציע בלאַט און אַז עס איז געווען אויף די פאָלקס רעדאקציע בלאַט - אלא ווי ריסיווינג אַ באַרנסטאַר- וואָס געפֿירט די ענדערונג אין עדיטינג נאַטור. אויב דאָס איז אמת, דעמאָלט די ווירקונג פון די באַרנסטאַר איז ניט דערשראָקן פון די ווירקונג פון זייַענדיק אויף די פאָלקס רעדאקציע בלאַט. פון קורס, עס איז ניט קלאָר אויב, פון אַ וויסנשאפטלעכע פּערספּעקטיוו, דעם זאָל זיין געהאלטן אַטראַקטיוו אָדער אַנאַטראַקטיוו. אַז איז, איר קען ימאַדזשאַן אַ פאָרשער וואָס זאגט אַז די ווירקונג פון ריסיווינג אַ באַרנסטאַר כולל אַלע די סאַבסאַקוואַנט טריטמאַנץ אַז די באַרנסטאַר טריגערז. אָדער איר קען ימאַדזשאַן אַ סיטואַציע ווו אַ פאָרשונג וואָלט ווילן צו יזאָלירן די ווירקונג פון באַרנסטאַרס פון אַלע די אנדערע זאכן. איין וועג צו טראַכטן וועגן עס איז צו פרעגן אויב עס איז עפּעס אַז פירט צו וואָס Gerber and Green (2012) (ז '41) רופן אַ "ברייקדאַון אין סימעטריע"? אין אנדערע ווערטער, איז עס עפּעס אַנדערש ווי די באַהאַנדלונג אַז זייַנען מענטשן אין די באַהאַנדלונג און קאָנטראָל טנאָים צו זיין באהאנדלט דיפערענטלי? זארגן וועגן סיממעטרי ברייקינג זענען וואָס פירן פּאַטיענץ אין דער קאָנטראָל גרופּע אין מעדיציניש טריאַלס צו נעמען אַ פּלייסאַבאַל פּיל. דעריבער, ריסערטשערז קענען זיין זיכער אַז דער בלויז חילוק צווישן די צוויי טנאָים איז די פאַקטיש מעדיצין און נישט די דערפאַרונג פון גענומען די פּיל.
פֿאַר מער אויף סוטוואַ, זען אָפּטיילונג 2.7 פון Gerber and Green (2012) , אָפּטיילונג 2.5 פון Morgan and Winship (2014) , און אָפּטיילונג 1.6 פון Imbens and Rubin (2015) .
Precision
אין דעם פריערדיקן אָפּטיילונג איך דיסקרייבד ווי צו מאַכן די דורכשניטלעך באַהאַנדלונג ווירקונג. אין דעם אָפּטיילונג, איך וועט צושטעלן עטלעכע געדאנקען וועגן די וועריאַביליטי פון יענע עסטאַמאַץ.
אויב איר טראַכטן וועגן עסטימאַטינג די דורכשניטלעך באַהאַנדלונג ווירקונג ווי עסטאַמייטינג די חילוק צווישן צוויי מוסטער מיטל, עס איז מעגלעך צו ווייַזן אַז דער נאָרמאַל טעות פון די דורכשניטלעך באַהאַנדלונג ווירקונג איז:
\[ SE(\widehat{\text{ATE}}) = \sqrt{\frac{1}{N-1} \left(\frac{m \text{Var}(Y_i(0))}{N-m} + \frac{(N-m) \text{Var}(Y_i(1))}{m} + 2\text{Cov}(Y_i(0), Y_i(1)) \right)} \qquad(4.6)\]
ווו \(m\) מען אַסיינד צו באַהאַנדלונג און \(Nm\) צו קאָנטראָלירן (זען Gerber and Green (2012) , עק 3.4). דעריבער, ווען טראכטן וועגן ווי פילע מענטשן צו פאַרברייטערן די באַהאַנדלונג און ווי פילע צו באַשטימען צו קאָנטראָל, איר קענען זען אַז אויב \(\text{Var}(Y_i(0)) \approx \text{Var}(Y_i(1))\) , דעמאָלט איר ווילן \(m \approx N / 2\) , ווי לאַנג ווי די קאָס פון באַהאַנדלונג און קאָנטראָל זענען די זעלבע. עקוואַטיאָן 4.6 קלעראַפייז וואָס די פּלאַן פון באָנד און קאָללאַגס ' (2012) עקספּערימענט וועגן די יפעקס פון געזעלשאַפטלעך אינפֿאָרמאַציע אויף אָפּשטימונג (רעכענען 4.18) איז געווען עפעקטיוו סטאַטיסטיש. צוריקרופן אַז עס האט 98% פון די פּאַרטיסאַפּאַנץ אין די באַהאַנדלונג צושטאַנד. דאָס מיינט, אַז די מיינע אָפּפירונג אין די קאָנטראָל טנאָים איז נישט עסטימאַטעד ווי אַקיעראַטלי ווי עס קען האָבן געווען, וואָס אין דרייַ מענט אַז די עסטימאַטעד חילוק צווישן די באַהאַנדלונג און קאָנטראָל טנאָים איז נישט עסטימאַטעד ווי אַקיעראַטלי ווי עס קען זיין. פֿאַר מער אויף אָפּטימאַל אַלאַקיישאַן פון פּאַרטיסאַפּאַנץ צו באדינגונגען, אַרייַנגערעכנט ווען קאָס אַנדערש זייַן צווישן באדינגונגען, זען List, Sadoff, and Wagner (2011) .
צום סוף, אין דער הויפּט טעקסט, איך דיסקרייבד ווי אַ חילוק-אין-דיפעראַנסיז עסטימאַטאָר, וואָס איז typically געניצט אין אַ געמישט פּלאַן, קענען פירן צו סמאָלער ווי אַ חילוק-אין-מיטל עסטאַטאָראַטאָר, וואָס איז typically געניצט אין אַ צווישן-סאַבדזשעקץ פּלאַן. אויב \(X_i\) איז די ווערט פון די אַוטקאַם איידער באַהאַנדלונג, דעריבער די קוואַנטיטי אַז מיר זענען טריינג צו אָפּשאַצן מיט די חילוק-אין-דיפעראַנסיז צוגאַנג איז:
\[ \text{ATE}' = \frac{1}{N} \sum_{i=1}^N ((Y_i(1) - X_i) - (Y_i(0) - X_i)) \qquad(4.7)\]
דער נאָרמאַל טעות פון וואָס קוואַנטיטי איז (זען Gerber and Green (2012) , עק 4.4)
\[ SE(\widehat{\text{ATE}'}) = \sqrt{\frac{1}{N-1} \left( \text{Var}(Y_i(0) - X_i) + \text{Var}(Y_i(1) - X_i) + 2\text{Cov}(Y_i(0) - X_i, Y_i(1) - X_i) \right)} \qquad(4.8)\]
אַ פאַרגלייַך פון עק. 4.6 און עק. 4.8 רילז אַז די חילוק-אין-דיפעראַנסיז צוגאַנג וועט האָבן אַ קלענערער נאָרמאַל טעות ווען (זען Gerber and Green (2012) , עק 4.6)
\[ \frac{\text{Cov}(Y_i(0), X_i)}{\text{Var}(X_i)} + \frac{\text{Cov}(Y_i(1), X_i)}{\text{Var}(X_i)} > 1\qquad(4.9)\]
בעערעך, אויב \(X_i\) איז זייער פּרידיקטיוו פון \(Y_i(1)\) און \(Y_i(0)\) , דעמאָלט איר קענען באַקומען מער גענוי עסטאַמאַץ פון אַ חילוק-פון-דיפראַנסאַז צוגאַנג ווי פון אַ חילוק- פון-מיטל איינער. איין וועג צו טראַכטן וועגן דעם אין דעם קאָנטעקסט פון רעסטיוואָ און פון דע רידזשט ס עקספּערימענט איז אַז עס איז אַ פּלאַץ פון נאַטירלעך ווערייישאַן אין די סומע וואָס מענטשן רעדאַגירן, אַזוי דאָס מאכט קאַמפּערינג די באַהאַנדלונג און קאָנטראָל טנאָים שווער: עס איז שווער צו דעטעקט אַ קאָרעוו קליין ווירקונג אין טומלדיק אַוטקאַם דאַטע. אבער אויב איר דיפפערענט-אויס דעם געוויינטלעך געשעעניש וואַריאַביליטי, דעמאָלט עס איז פיל ווייניקער וואַריאַביליטי, און אַז מאכט עס גרינגער צו דעטעקט אַ קליין ווירקונג.
זען Frison and Pocock (1992) פֿאַר אַ גענוי פאַרגלייַך פון חילוק-פון-מיטל, חילוק-פון-דיפעראַנסיז, און אַנקאָוואַ-באזירט אַפּראָוטשיז אין די מער אַלגעמיינע באַשטעטיקן ווו עס זענען קייפל מעזשערמאַנץ פֿאַר פּרעזערוויישאַן און פּאָסטן-באַהאַנדלונג. אין באַזונדער, זיי שטארק רעקאָמענדירן ANCOVA, וואָס איך האב נישט באדעקט דאָ. ווייַטער, זען McKenzie (2012) פֿאַר אַ דיסקוסיע וועגן די וויכטיקייט פון קייפל פּאָסטן-באַהאַנדלונג אַוטקאַם.
