וואָס צו לייענען ווייַטער

• הקדמה (אָפּטיילונג 4.1)

פֿראגן וועגן קאַוסאַליטי אין געזעלשאַפטלעך פאָרשונג זענען אָפט קאָמפּלעקס און ינטראַקאַט. פֿאַר אַ פאַדעאידע צוגאַנג צו קאַוסאַליטי באזירט אויף קאַוסאַל גראַפס, זען Pearl (2009) , און פֿאַר אַ פאַונדיישאַנאַל צוגאַנג באזירט אויף פּאָטענציעל רעזולטאטן, זען Imbens and Rubin (2015) . פֿאַר אַ פאַרגלייַך צווישן די צוויי אַפּערטונאַטיז, זען Morgan and Winship (2014) . פֿאַר אַ פאָרמאַל צוגאַנג צו דיפיינינג אַ קאָנפאָונדער, זען VanderWeele and Shpitser (2013) .

אין דעם קאַפּיטל, איך האָבן באשאפן וואָס געווען ווי אַ העל שורה צווישן אונדזער פיייקייַט צו מאַכן קאַסאַל עסטאַמאַץ פון יקספּערמענאַל און ניט-עקספּערימענט דאַטן. אָבער, איך טראַכטן אַז, אין פאַקט, די דיסטינגקשאַן איז מער בלערד. פֿאַר בייַשפּיל, אַלעמען אַקסעפּץ אַז סמאָוקינג זז ראַק, אַפֿילו כאָטש קיין ראַנדאַמייזד קאַנטראָולד עקספּערימענט וואָס פאָרסעס מענטשן צו רויך האט אלץ געווען געטאן. פֿאַר ויסגעצייכנט בוך-לענג טריטמאַנץ אויף מאכן קאַססאַל עסטאַמאַץ פון ניט-יקספּערמענאַל דאַטע זען Rosenbaum (2002) , ( ??? ) , Shadish, Cook, and Campbell (2001) , און Dunning (2012) .

טשאַפּטערס 1 און 2 פון Freedman, Pisani, and Purves (2007) פאָרשלאָגן אַ קלאָר הקדמה צו די דיפעראַנסיז צווישן יקספּעראַמאַנץ, קאַנטראָולד יקספּעראַמאַנץ, און ראַנדאַמייזד קאַנטראָולד יקספּעראַמאַנץ.

Manzi (2012) גיט אַ פאַסאַנייטינג און לידאַבאַל הקדמה צו די פילאָסאָפיקאַל און סטאַטיסטיש אַנדערפּינינגז פון ראַנדאַמייזד קאַנטראָולד יקספּעראַמאַנץ. עס אויך גיט טשיקאַווע רעאַל-וועלט ביישפילן פון די מאַכט פון עקספּערימענטאַטיאָן אין געשעפט. Issenberg (2012) גיט אַ פאַסאַנייטינג הקדמה צו די נוצן פון עקספּערימענטאַטיאָן אין פּאָליטיש קאַמפּיינז.

• וואָס זענען יקספּעראַמאַנץ? (אָפּטיילונג 4.2)

Box, Hunter, and Hunter (2005) , @ קאַסעללאַ_סטאַטיסטיקאַל_2008, און Athey and Imbens (2016b) צושטעלן גוט ינטראַדאַקשאַנז צו די סטאַטיסטיש אַספּעקץ פון יקספּערמענאַל פּלאַן און אַנאַליסיס. ווייַטער, עס זענען ויסגעצייכנט טריטמאַנץ פון די נוצן פון יקספּעראַמאַנץ אין פילע פאַרשידענע fields: עקאָנאָמיק (Bardsley et al. 2009) , סאָוסיאַלאַדזשי (Willer and Walker 2007; Jackson and Cox 2013) , פּסיכאָלאָגיע (Aronson et al. 1989) , פּאָליטיש וויסנשאַפֿט (Morton and Williams 2010) , און געזעלשאַפטלעך פּאָליטיק (Glennerster and Takavarasha 2013) .

די וויכטיקייט פון באַטייליקטער ראַקרוטמאַנט (למשל, מוסטערונג) איז אָפט אונטער-אַפּרישיייטיד אין יקספּערמענאַל פאָרשונג. אָבער, אויב די ווירקונג פון די באַהאַנדלונג איז כעטעראַדזשיניאַס אין דער באַפעלקערונג, די מוסטערונג איז קריטיש. Longford (1999) מאכט דעם פונט קלאר ווען ער אַדוואַקאַץ פֿאַר ריסערטשערז טראכטן פון יקספּעראַמאַנץ ווי אַ באַפעלקערונג יבערבליק מיט האַפאַזאַרד מוסטערונג.

• צוויי דימענסיעס פון יקספּעראַמאַנץ: לאַב-פעלד און אַנאַלאָג-דיגיטאַל (אָפּטיילונג 4.3)

איך האב סאַגדזשעסטיד אַז עס איז אַ קעסיידערדיק צווישן לאַב און פעלד יקספּעראַמאַנץ, און אנדערע ריסערטשערז האָבן דיטיילד טייפּסאַלאַדזשאַז, אין באַזונדער אָנעס אַז באַזונדער די פארשיידענע פאָרעם פון פעלד יקספּעראַמאַנץ (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) .

א נומער פון פּאַפּערס האָבן קאַמפּערד לאַב און פעלד יקספּעראַמאַנץ אין די אַבסטראַקט (Falk and Heckman 2009; Cialdini 2009) און אין טערמינען פון רעזולטאטן פון ספּעציפיש יקספּעראַמאַנץ אין פּאָליטיש וויסנשאַפֿט (Coppock and Green 2015) , עקאָנאָמיק (Levitt and List 2007a, 2007b; Camerer 2011; Al-Ubaydli and List 2013) , און Psychology (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) פאָרשלאָגן אַ פייַן פאָרשונג פּלאַן פֿאַר קאַמפּערינג רעזולטאַטן פון לאַב און פעלד יקספּעראַמאַנץ. Parigi, Santana, and Cook (2017) באשרייבט ווי אָנליין פעלד יקספּעראַמאַנץ קענען פאַרבינדן עטלעכע פון ​​די טשאַראַקטעריסטיקס פון לאַב און פעלד יקספּעראַמאַנץ.

די סיבה וועגן די פּאַרטיסאַפּאַנץ טשאַנגינג זייער נאַטור ווייַל זיי וויסן אַז זיי זענען קימאַט באמערקט זענען מאל גערופן פאָדערונג יפעקס , און זיי האָבן שוין געלערנט אין פּסיטשאָלאָגי (Orne 1962) און עקאָנאָמיק (Zizzo 2010) . כאָטש מערסטנס פארבונדן מיט לאַב יקספּעראַמאַנץ, די זעלבע ישוז קענען גרונט פּראָבלעמס פֿאַר פעלד יקספּעראַמאַנץ ווי געזונט. אין פאַקט, פאָדערונג יפעקס זענען אויך מאל גערופן האַווטהאָרנע ווירקונג , אַ טערמין אַז דערייווז די באַרימט ילומאַניישאַן יקספּעראַמאַנץ וואָס אנגעהויבן אין 1924 בייַ די האַווטהאָרנע מעשים פון די מערב עלעקטריק פֿירמע (Adair 1984; Levitt and List 2011) . ביידע פאָדערונג יפעקס און האַווטהאָרנע יפעקס זענען ענג שייַכות צו די געדאַנק פון ריאַקטיוו מעזשערמאַנט דיסקאַסט אין קאַפּיטל 2 (זען אויך Webb et al. (1966) ).

פעלד יקספּעראַמאַנץ האָבן אַ לאַנג געשיכטע אין עקאָנאָמיק (Levitt and List 2009) , פּאָליטיש וויסנשאַפֿט (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , Psychology (Shadish 2002) , און Public Policy (Shadish and Cook 2009) . איין געגנט פון געזעלשאַפטלעך וויסנשאַפֿט ווו פעלד יקספּעראַמאַנץ געשווינד געווארן פּראַמאַנאַנט איז אינטערנאַציאָנאַלער אַנטוויקלונג. פֿאַר אַ positive איבערבליק פון וואָס אַרבעט אין עקאָנאָמיק זען Banerjee and Duflo (2009) , און פֿאַר אַ קריטיש אַסעסמאַנט זען Deaton (2010) . פֿאַר אַ רעצענזיע פון ​​דעם אַרבעט אין פּאָליטיש וויסנשאַפֿט זען Humphreys and Weinstein (2009) . צום סוף, די עטישע טשאַלאַנדזשיז פון פעלד יקספּעראַמאַנץ זענען יקספּלאָרד אין דעם קאָנטעקסט פון פּאָליטיש וויסנשאַפֿט (Humphreys 2015; Desposato 2016b) און אַנטוויקלונג עקאָנאָמיק (Baele 2013) .

אין דעם אָפּטיילונג, איך סאַגדזשעסטיד אַז פאַר-באַהאַנדלונג אינפֿאָרמאַציע קענען זיין געניצט צו פֿאַרבעסערן די פּינטלעכקייַט פון עסטימאַטעד באַהאַנדלונג יפעקס, אָבער עס איז עטלעכע דעבאַטע וועגן דעם צוגאַנג; זען Freedman (2008) , W. Lin (2013) , Berk et al. (2013) , און Bloniarz et al. (2016) פֿאַר מער אינפֿאָרמאַציע.

צום סוף, עס זענען צוויי אנדערע טייפּס פון יקספּעראַמאַנץ געטאן דורך געזעלשאַפטלעך סייאַנטיס וואָס טאָן ניט פּאַסיק נעעדלי צוזאמען די לאַב-פעלד ויסמעסטונג: יבערבליק יקספּעראַמאַנץ און געזעלשאַפטלעך יקספּעראַמאַנץ. יבערבליק יקספּעראַמאַנץ זענען יקספּעראַמאַנץ ניצן די ינפראַסטראַקטשער פון יגזיסטינג סערווייז און פאַרגלייַכן רעספּאָנסעס צו אָלטערנאַטיוו ווערסיעס פון די זעלבע פראגעס (עטלעכע סייכל יקספּעראַמאַנץ זענען דערלאנגט אין טשאַפּטער 3); פֿאַר מער אויף יבערבליק יקספּעראַמאַנץ זען Mutz (2011) . סאציאל יקספּעראַמאַנץ זענען יקספּעראַמאַנץ ווו די באַהאַנדלונג איז עטלעכע געזעלשאַפטלעך פּאָליטיק וואָס קענען נאָר זיין ימפּלאַמענטאַד דורך אַ רעגירונג. סאציאל יקספּעראַמאַנץ זענען ענג שייַכות צו פּראָגראַם אפשאצונג. פֿאַר מער אויף פּאָליטיק יקספּעראַמאַנץ, זען Heckman and Smith (1995) , Orr (1998) , און @ glennerster_running_2013.

• מאָווינג אויסער פּשוט עקספּערימענטן (אָפּטיילונג 4.4)

איך'ווע אויסדערוויילט צו פאָקוס אויף דרייַ קאַנסעפּס: גילטיקייַט, העטעראָגענעיטי פון באַהאַנדלונג יפעקס, און מעקאַניזאַמז. די קאַנסעפּס האָבן אַנדערש נעמען אין פאַרשידענע פעלדער. פֿאַר בייַשפּיל, סייקאַלאַדזשאַסס טענד צו פאָרויס פון פּשוט יקספּעראַמאַנץ דורך פאָוקיסינג אויף מעדיאַטאָרס און מאָדעראַטאָרס (Baron and Kenny 1986) . דער געדאַנק פון מעדיאַטאָרס איז קאַפּטשערד דורך וואָס איך רופן מעקאַניזאַמז, און די געדאַנק פון מאָדעראַטאָרס איז קאַפּטשערד דורך וואָס איך רופן פונדרויסנדיק גילטיקייַט (למשל, וואָלט די רעזולטאטן פון דער עקספּערימענט זיין אַנדערש אויב עס זענען לויפן אין פאַרשידענע סיטואַטיאָנס) און כעטעראָגיניטיס פון באַהאַנדלונג יפעקס ( למשל, זענען די יפעקס גרעסער פֿאַר עטלעכע מענטשן ווי פֿאַר אנדערע).

דער עקספּערימענט פון Schultz et al. (2007) ווייזט ווי געזעלשאַפטלעך טיעריז קענען זיין גענוצט צו פּלאַן עפעקטיוו ינערווענטשאַנז. פֿאַר אַ מער גענעראַל אַרגומענט וועגן די ראָלע פון ​​טעאָריע אין דיזיינינג עפעקטיוו ינערווענטשאַנז, זען Walton (2014) .

• גילטיקייַט (אָפּטיילונג 4.4.1)

די קאַנסעפּס פון ינערלעך און פונדרויסנדיק גילטיקייַט זענען ערשטער באַקענענ דורך Campbell (1957) . זע Shadish, Cook, and Campbell (2001) פֿאַר אַ מער דיטיילד געשיכטע און אַ אָפּגעהיט ילאַוועריישאַן פון סטאַטיסטיש סאָף גילטיקייַט, ינערלעך גילטיקייַט, בויען גילטיקייַט, און פונדרויסנדיק גילטיקייַט.

פֿאַר אַ איבערבליק פון ישוז שייַכות צו סטאַטיסטיש מסקנא גילטיקייַט אין יקספּעראַמאַנץ זען Gerber and Green (2012) (פון אַ געזעלשאַפטלעך וויסנשאַפֿט פּערספּעקטיוו) און Imbens and Rubin (2015) (פון אַ סטאַטיסטיש פּערספּעקטיוו). עטלעכע ישוז פון סטאַטיסטיש מסקנא וואַלידיטי אַז אויפשטיין ספּאַסיפיקלי אין אָנליין פעלד יקספּעראַמאַנץ אַרייַננעמען ישוז אַזאַ ווי קאַמפּאַטאַבלי עפעקטיוו מעטהאָדס פֿאַר שאפן בטחון ינטערוואַלז מיט אָפענגיק דאַטן (Bakshy and Eckles 2013) .

ינערלעך גילטיקייַט קענען זיין שווער צו ענשור אין קאָמפּלעקס פעלד יקספּעראַמאַנץ. זע, פֿאַר בייַשפּיל, Gerber and Green (2000) , Imai (2005) , און Gerber and Green (2005) פֿאַר דעבאַטע וועגן די ימפּלאַמענטיישאַן פון אַ קאָמפּלעקס פעלד עקספּערימענט וועגן אָפּשטימונג. Kohavi et al. (2012) און Kohavi et al. (2013) צושטעלן אַ הקדמה אין די טשאַלאַנדזשיז פון ינטערוואַל גילטיקייַט אין אָנליין פעלד יקספּעראַמאַנץ.

איין הויפּט סאַקאָנע צו ינערלעך גילטיקייַט איז די מעגלעכקייט פון פאַרפעסטיקט ראַנדאָמיזאַטיאָן. איינער פּאָטענציעל וועג צו דעטעקט פראבלעמען מיט די ראַנדאַמיזיישאַן איז צו פאַרגלייַכן די באַהאַנדלונג און קאָנטראָל גרופּעס אויף אַבזערוואַבאַל טרייץ. דעם טיפּ פון פאַרגלייַך איז גערופן אַ וואָג קאָנטראָל . זען Hansen and Bowers (2008) פֿאַר אַ סטאַטיסטיש צוגאַנג צו באַלאַנסן טשעקס און Mutz and Pemantle (2015) פֿאַר קאַנסערנז וועגן וואָג קאָנטראָלס. פֿאַר בייַשפּיל, ניצן אַ וואָג טשעק, Allcott (2011) געפונען עטלעכע זאָגן אַז ראַנדאָמיזאַטיאָן איז נישט ימפּלאַמענאַד ריכטיק אין דרייַ פון די אָפּאָווער יקספּעראַמאַנץ (זען טיש 2, זייטלעך 2, 6, און 8). פֿאַר אנדערע אַפּערטונאַטיז, זען קאַפּיטל 21 פון Imbens and Rubin (2015) .

אנדערע גרויסע קאָנסעקווענץ, וואָס זענען צעטיילט אין אינערלעכער גילטיקייט, זייַנען: (1) איינער-סיידיד אומבאַקאַנט, וווּ נישט אַלעמען אין דער באַהאַנדלונג-גרופּע איז באמת באקומען די באַהאַנדלונג, (2) צוויי סיידאַד נעקאָמפּליאַנסע, ווו ניט אַלע אין דער באַהאַנדלונג גרופּע באקומט די באַהאַנדלונג און עטלעכע מענטשן די קאָנטראָל גרופע באקומען די באַהאַנדלונג, (3) אַטטראַקטיאָן, ווו אַוטקאַמז זענען נישט געמאסטן פֿאַר עטלעכע פּאַרטיסאַפּאַנץ, און (4) ינטערפיראַנס, ווו די באַהאַנדלונג ספּילז איבער פון מענטשן אין די באַהאַנדלונג צושטאַנד צו מענטשן אין די קאָנטראָל טנאָים. זען קאפיטלען 5, 6, 7, און 8 פון Gerber and Green (2012) פֿאַר מער אויף יעדער פון די ישוז.

פֿאַר מער אויף געבויט גילטיקייַט, זען Westen and Rosenthal (2003) , און פֿאַר מער אויף בויען גילטיקייַט אין גרויס דאַטן קוואלן, Lazer (2015) און פּרק 2 פון דעם בוך.

איינער אַספּעקט פון פונדרויסנדיק גילטיקייַט איז די באַשטעטיקן אין וואָס אַ ינטערווענטיאָן איז טעסטעד. Allcott (2015) גיט אַ אָפּגעהיט טעאָרעטיש און עמפּיריקאַל באַהאַנדלונג פון פּלאַץ סעלעקציע פאָרורטייל. דעם אַרויסגעבן איז אויך דיסקאַסט דורך Deaton (2010) . אן אנדער אַספּעקט פון פונדרויסנדיק גילטיקייַט איז צי אָלטערנאַטיוו אַפּעריישאַנאַליזיישאַן פון דער זעלביקער אריינמישונג וועט האָבן ענלעך יפעקס. אין דעם פאַל, אַ פאַרגלייַך צווישן Schultz et al. (2007) און Allcott (2011) ווייזט אַז די אָפּאָווער יקספּעראַמאַנץ האט אַ קלענערער עסטימאַטעד באהאנדלט ווירקונג ווי די אָריגינעל יקספּעראַמאַנץ פון שולץ און חברים (1.7% קעגן 5%). Allcott (2011) ספּעקולאַטעד אַז די נאָכפאָלגן יקספּעראַמאַנץ האט אַ קלענערער ווירקונג ווייַל פון די וועגן וואָס די באַהאַנדלונג איז געווען דיפפערד: אַ כאַנדריטאַד עמאָטיקאָן ווי טייל פון אַ לערנען באזוכט דורך אַ אוניווערסיטעט, קאַמפּערד מיט אַ געדרוקט עמאָטיקאָן ווי טייל פון אַ מאַסע-געשאפן באַריכט פון אַ מאַכט פירמע.

• העטעראָגענעיטי פון באַהאַנדלונג יפעקץ (אָפּטיילונג 4.4.2)

פֿאַר אַ ויסגעצייכנט איבערבליק פון העטעראָגענעיטי פון באַהאַנדלונג יפעקס אין פעלד יקספּעראַמאַנץ, זען קאַפּיטל 12 פון Gerber and Green (2012) . פֿאַר ינטראַדאַקשאַנז צו כעטעראַדזשינאַטי פון באַהאַנדלונג יפעקס אין מעדיציניש טריאַלס, זען Kent and Hayward (2007) , Longford (1999) , און Kravitz, Duan, and Braslow (2004) . קאָנסידעראַטיאָנס פון העטעראָגענעיטי פון באַהאַנדלונג יפעקס בכלל פאָקוס אויף דיפעראַנסיז באזירט אויף פאַר - באַהאַנדלונג קעראַקטעריסטיקס. אויב איר זענט אינטערעסירט אין העטעראָגענעיטי באזירט אויף פּאָסטן-באַהאַנדלונג אַוטקאַמז, דעמאָלט מער קאָמפּלעקס אַפּערטונאַטיז, אַזאַ ווי הויפּט סטראַטיפיקאַטיאָן (Frangakis and Rubin 2002) ; זען Page et al. (2015) פֿאַר אַ רעצענזיע.

פילע ריסערטשערז אָפּשאַצן די העטעראָגענעיטי פון באַהאַנדלונג יפעקס ניצן לינעאַר רעגרעססיאָן, אָבער נייַער מעטהאָדס פאַרלאָזנ אויף מאַשין לערנען; זען, פֿאַר בייַשפּיל, Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) און Athey and Imbens (2016a) .

עס זענען עטלעכע סקעפּטיסיזאַם וועגן פיינדינגז פון העטעראָגענעיטי פון יפעקץ ווייַל פון קייפל פאַרגלייַך פּראָבלעמס און "פישערייַ." עס זענען אַ פאַרשיידנקייַט פון סטאַטיסטיש אַפּערטונאַטיז וואָס קענען העלפֿן אַדרעס קאַנסערנז וועגן קייפל פאַרגלייַך (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . איינער צוגאַנג צו קאָנסידערינג וועגן "פישערייַ" איז פאַר-רעגיסטראַציע, וואָס איז ווערן ינקריסינגלי פּראָסט אין פּסיטשאָלאָגי (Nosek and Lakens 2014) , פּאָליטיש וויסנשאַפֿט (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , און עקאנאמיק (Olken 2015) .

אין דער לערנען דורך Costa and Kahn (2013) בלויז וועגן העלפט פון די כאַוסכאָולדז אין דער עקספּערימענט קען זיין לינגקט צו די דעמאַגראַפיק אינפֿאָרמאַציע. לייענער אינטערעסירט אין די פרטים זאָל אָפּשיקן צו די אָריגינעל פּאַפּיר.

• מעקאַניזאַמז (אָפּטיילונג 4.4.3)

מעטשאַניסם זענען ינקרעדאַבלי וויכטיק, אָבער זיי זענען זייער שווער צו לערנען. פאָרשונג וועגן מעקאַניזאַמז איז ענג שייכות צו די לערנען פון מעדיאַטאָרס אין פּסיטשאָלאָגי (אָבער אויך VanderWeele (2009) פֿאַר אַ גענוי פאַרגלייַך צווישן די צוויי געדאנקען). סטאַטיסטיש אַפּערטונאַטיז צו געפֿינען מעקאַניזאַמז, אַזאַ ווי דער אַנטוויקלונג אין Baron and Kenny (1986) זענען גאַנץ פּראָסט. צום באַדויערן, עס טורנס אויס אַז די פּראָוסידזשערז זענען פארלאזן אויף עטלעכע שטאַרק אַסאַמפּשאַנז (Bullock, Green, and Ha 2010) און לייַדן ווען עס זענען קייפל מעקאַניזאַמז, ווי איינער קען דערוואַרטן אין פילע סיטואַטיאָנס (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) און Imai and Yamamoto (2013) פאָרשלאָגן עטלעכע ימפּרוווד סטאַטיסטיש מעטהאָדס. ווייַטער, VanderWeele (2015) אָפפערס אַ בוך-לענג באַהאַנדלונג מיט אַ נומער פון וויכטיק רעזולטאטן, אַרייַנגערעכנט אַ פולשטענדיק צוגאַנג צו סענסיטיוויטי אַנאַליסיס.

א באַזונדער צוגאַנג פאָוקיסיז אויף יקספּעראַמאַנץ אַז פּרווון צו מאַניפּולירן די מעקאַניזאַם גלייַך (למשל, געבן סיילערז וויטאַמין C). צום באַדויערן, אין פילע געזעלשאַפטלעך וויסנשאַפֿט סעטטינגס, עס זענען אָפט קייפל מעקאַניזאַמז און עס איז שווער צו פּלאַן טריטמאַנץ אַז טוישן איינער אָן טשאַנגינג אנדערע. עטלעכע אַפּראָוטשיז צו יקספּערמענאַללי אָלטערינג מעקאַניזאַמז זענען דיסקרייבד דורך Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , און Pirlott and MacKinnon (2016) .

רעסעאַרטשערס פליסנדיק גאָר פאַקטאָריאַל יקספּעראַמאַנץ וועט דאַרפֿן צו זיין זארגן וועגן קייפל כייפּאַטאַסאַס טעסטינג; זען Fink, McConnell, and Vollmer (2014) און List, Shaikh, and Xu (2016) פֿאַר מער אינפֿאָרמאַציע.

סוף, מעקאַניזאַמז אויך האָבן אַ לאַנג געשיכטע אין דער פילאָסאָפיע פון ​​וויסנשאַפֿט ווי דיסקרייבד דורך Hedström and Ylikoski (2010) .

• ניצן יגזיסטינג ינווייראַנמאַנץ (אָפּטיילונג 4.5.1)

פֿאַר מער אויף די נוצן פון קאָראַספּאַנדענסע סטודענטן און קאָנטראָלירן סטודענטן צו מעסטן דיסקרימינאַציע, זען Pager (2007) .

• בויען דיין אייגן עקספּערימענט (אָפּטיילונג 4.5.2)

די מערסט פּראָסט וועג צו רעקרוט פּאַרטיסאַפּאַנץ צו יקספּעראַמאַנץ אַז איר בויען איז אַמאַזאָן מעטשאַניקאַל טערק (מטורק). ווייַל מטורק מימיקס אַספּעקץ פון טראדיציאנעלן לאַב יקספּעראַמאַנץ-פּייינג מענטשן צו פאַרענדיקן טאַסקס אַז זיי וואָלט ניט טאָן פֿאַר פֿרייַ-פילע פאָרשער האָבן שוין אנגעהויבן ניצן טורקערס (די טוערס אויף מטורק) ווי יקספּערמענאַל פּאַרטיסאַפּאַנץ, ריזאַלטינג אין פאַסטער און טשיפּער דאַטן זאַמלונג ווי קענען זיין אַטשיווד אין טראדיציאנעלן אויף-קאַמפּאַס לאַבאָראַטאָריע יקספּעראַמאַנץ (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

בכלל, די ביגאַסט אַדוואַנטידזשיז פון ניצן פּאַרטיסאַפּאַנץ רעקרויטעד פון מטורק זענען לאָגיסטיק. כאָטש לאַב יקספּעראַמאַנץ קענען נעמען וואָכן צו לויפן און פעלד יקספּעראַמאַנץ קענען נעמען חדשים צו שטעלן-אַרויף, יקספּעראַמאַנץ מיט פּאַרטיסאַפּאַנץ ריקרוטיד פון מטורק קענען זיין לויפן אין טעג. פֿאַר בייַשפּיל, Berinsky, Huber, and Lenz (2012) זענען ביכולת צו רעקרוט 400 סאַבדזשעקץ אין אַ איין טאָג צו אָנטייל נעמען אין אַן 8 מינוט עקספּערימענט. ווייַטער, די פּאַרטיסאַפּאַנץ קענען זיין ריקרוטיד פֿאַר כמעט קיין ציל (אַרייַנגערעכנט סערווייז און מאַסע מיטאַרבעט, ווי דיסקאַסט אין די קאפיטלען 3 און 5). דעם יז פון ראַקרוטמאַנט מיטל אַז פאָרשער קענען לויפן סיקוואַנסיז פון פֿאַרבונדענע יקספּעראַמאַנץ אין גיך סאַקסעשאַן.

איידער ריקרוטינג פּאַרטיסאַפּאַנץ פון מטורק פֿאַר דיין אייגן יקספּעראַמאַנץ, עס זענען פיר וויכטיק זאכן אַז איר דאַרפֿן צו וויסן. ערשטער, פילע פאָרשער האָבן אַ נאַנספּאַסיפיק סקעפּטיסיזאַם פון יקספּעראַמאַנץ ינוואַלווינג טורקערס. ווייַל דעם סקעפּטיסיזאַם איז נישט ספּעציפיש, עס איז שווער צו טאָמבאַנק מיט זאָגן. אָבער, נאָך עטלעכע יאָרן פון שטודיום ניצן טערקערס, מיר קענען איצט פאַרענדיקן אַז דעם סקעפּטיסיזאַם איז נישט דער הויפּט גערעכט. עס זענען געווען פילע שטודיום קאַמפּערינג די דעמאָגראַפי פון טורקערס מיט יענע פון ​​אנדערע פּאַפּיאַליישאַנז און פילע שטודיום קאַמפּערינג די רעזולטאַטן פון יקספּעראַמאַנץ מיט טורקערס וויציקייַט פון אנדערע פּאַפּיאַליישאַנז. געגעבן אַלע דעם אַרבעט, איך טראַכטן אַז דער בעסטער וועג פֿאַר איר צו טראַכטן וועגן עס איז אַז Turkers זענען אַ גלייַך קאַנוויניאַנס מוסטער, פיל ווי סטודענטן אָבער אַ ביסל מער דייווערס (Berinsky, Huber, and Lenz 2012) . אזוי, ווי סטודענטן זענען אַ גלייַך באַפעלקערונג פֿאַר עטלעכע, אָבער ניט אַלע, פאָרשונג, טורקערס זענען אַ גלייַך באַפעלקערונג פֿאַר עטלעכע, אָבער ניט אַלע, פאָרשונג. אויב איר זענען געגאנגען צו אַרבעטן מיט טורקערס, עס ס גרינג צו לייענען פילע פון ​​די קאַמפּעראַטיוו סטודענטן און פֿאַרשטיין זייער נואַנסיז.

רגע, ריסערטשערז האָבן דעוועלאָפּעד בעסטער פּראַקטיסיז פֿאַר ינקריסינג ינערלעך גילטיקייַט פון MTurk יקספּעראַמאַנץ, און איר זאָל לערנען און נאָכגיין די בעסטער-פּראַקטיסיז (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . למשל, ריסערטשערז ניצן טערקערס זענען ינקעראַדזשד צו נוצן סקריפּערז צו באַזייַטיקן ינאַטטענטיוו פּאַרטיסאַפּאַנץ (Berinsky, Margolis, and Sances 2014, 2016) (אָבער אויך DJ Hauser and Schwarz (2015b) און DJ Hauser and Schwarz (2015a) ). אויב איר טאָן ניט באַזייַטיקן ינאַטטענטיוו פּאַרטיסאַפּאַנץ, דעמאָלט קיין ווירקונג פון די באַהאַנדלונג קענען זיין געוואשן דורך די ראַש אַז זיי באַקענען, און אין פאַקט די נומער פון ינאַטטענטיוו פּאַרטיסאַפּאַנץ קענען זיין היפּש. אין דער עקספּערימענט פון הובער און חברים (2012) , וועגן 30% פון פּאַרטיסאַפּאַנץ איז ניט אַנדערש יקערדיק סקרינז. אנדערע פראבלעמען וואָס אָפט שטייען ווען טורקסערס זענען געניצט ניט-נאַיוו פּאַרטיסאַפּאַנץ (Chandler et al. 2015) און attrition (Zhou and Fishbach 2016) .

דריט, קאָרעוו צו עטלעכע אנדערע פארמען פון דיגיטאַל יקספּעראַמאַנץ, MTurk יקספּעראַמאַנץ קענען נישט וואָג; Stewart et al. (2015) אָפּשאַצן אַז בייַ קיין געגעבן מאָל עס זענען בלויז וועגן 7,000 מענטשן אויף מטורק.

סוף, איר זאָל וויסן אַז MTurk איז אַ קהל מיט זייַן אייגן כּללים און נאָרמז (Mason and Suri 2012) . אין דער זעלביקער וועג, איר זאָל פּרובירן צו געפינען אויס וועגן די קולטור פון אַ לאַנד ווו איר געגאנגען צו לויפן דיין יקספּעראַמאַנץ, איר זאָל פּרובירן צו געפֿינען מער וועגן די קולטור און נאָרמז פון טורקערס (Salehi et al. 2015) . און איר זאָל וויסן אַז די טורקערס וועט זיין גערעדט וועגן דיין עקספּערימענט אויב איר טאָן עפּעס ינאַפּראָופּרייט אָדער ונעטיקאַל (Gray et al. 2016) .

מטורק איז אַן ינקרעדאַבלי באַקוועם וועג צו רעקרוטירן פּאַרטיסאַפּאַנץ צו דיין יקספּעראַמאַנץ, צי זיי זענען לאַב-ווי אַזאַ ווי Huber, Hill, and Lenz (2012) , אָדער מער פעלד ווי, אַזאַ ווי Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , און Mao et al. (2016) .

• בויען דיין אייגן פּראָדוקט (אָפּטיילונג 4.5.3)

אויב איר טראַכטן פון טריינג צו מאַכן דיין אייגן פּראָדוקט, איך רעקאָמענדירן איר לייענען די עצה געפֿינט דורך די MovieLens גרופּע אין Harper and Konstan (2015) . א שליסל ינסייט פון זייער דערפאַרונג איז אַז פֿאַר יעדער מצליח פּרויעקט עס זענען פילע, פילע פייליערז. למשל, די MovieLens גרופּע לאָנטשט אנדערע פּראָדוקטן, אַזאַ ווי GopherAnswers, וואָס זענען פאַרענדיקן פייליערז (Harper and Konstan 2015) . אן אנדער בייַשפּיל פון אַ פאָרשער פיילינג בשעת טריינג צו בויען אַ פּראָדוקט איז עדוואַרד קאַסטראָנאָוואַ ס פּרווון צו בויען אַן אָנליין שפּיל גערופן אַרדען. טראָץ 250,000 $ אין פאַנדינג, די פּרויעקט איז געווען אַ פלאַפּ (Baker 2008) . פראיעקטן ווי GopherAnswers און Arden זענען ליידער פיל מער פּראָסט ווי פראיעקטן ווי MovieLens.

• פּאַרטנער מיט די שטאַרק (אָפּטיילונג 4.5.4)

איך האָב געהערט די געדאַנק פון פּאַסטעור ס קוואַדראַנט דיסקאַסט אָפט בייַ טעק קאָמפּאַניעס, און עס העלפט אָרגאַניזירן פאָרשונג השתדלות בייַ Google (Spector, Norvig, and Petrov 2012) .

באָנד און קאָלעגעס 'לערנען (2012) אויך פרווון צו דעטעקט די ווירקונג פון די טריטמאַנץ אויף די פריינט פון די וואס באקומען זיי. ווייַל פון דעם פּלאַן פון דער עקספּערימענט, די ספּיללאָווערס זענען שווער צו דעטעקט קלינלי; אינטערעסירט לייענער זאָל זען Bond et al. (2012) פֿאַר אַ מער גרונטיק דיסקוסיע. דזשאָנעס און חברים (2017) אויך געפירט אַ זייער ענלעך עקספּערימענט בעשאַס די 2012 וואַלן. די יקספּעראַמאַנץ זענען טייל פון אַ לאַנג טראַדישאַן פון יקספּעראַמאַנץ אין פּאָליטיש וויסנשאַפֿט אויף השתדלות צו מוטיקן אָפּשטימונג (Green and Gerber 2015) . די דערוויסן-אויס-שטימען יקספּעראַמאַנץ זענען פּראָסט, אין טייל ווייַל זיי זענען אין פּאַסטעור ס קוואַדראַנט. דעריבער, עס זענען פילע מענטשן וואס זענען מאָוטאַווייטאַד צו פאַרגרעסערן אָפּשטימונג און אָפּשטימונג קענען זיין אַ טשיקאַווע נאַטור צו פּרובירן מער גענעראַל טיריז וועגן נאַטור טוישן און געזעלשאַפטלעך השפּעה.

פֿאַר עצה וועגן פליסנדיק פעלד יקספּעראַמאַנץ מיט פּאַרטנער אָרגאַנאַזיישאַנז אַזאַ ווי פּאָליטיש פּאַרטיעס, גאָולס און געשעפט, זען Loewen, Rubenson, and Wantchekon (2010) , JA List (2011) , און Gueron (2002) . פֿאַר געדאנקען וועגן ווי פּאַרטנערשיפּס מיט אָרגאַנאַזיישאַנז קענען פּראַל אויף פאָרשונג דיזיין, זען King et al. (2007) און Green, Calfano, and Aronow (2014) . פּאַרטנערשיפּ קענען אויך פירן צו עטישע פראגעס, ווי דיסקאַסט דורך Humphreys (2015) און Nickerson and Hyde (2016) .

• פּלאַן עצה (אָפּטיילונג 4.6)

אויב איר זענען געגאנגען צו שאַפֿן אַ אַנאַליסיס פּלאַן איידער פליסנדיק דיין עקספּערימענט, איך פֿאָרשלאָגן אַז איר אָנהייב דורך לייענען ריפּאָרטינג גיידליינז. די קאַנסאַלטאַד (קאָנסאָלידאַטעד סטאַנדאַרד רעפּאָרטינג פון טריאַלס) גיידליינז זענען דעוועלאָפּעד אין מעדיצין (Schulz et al. 2010) און מאַדאַפייד פֿאַר געזעלשאַפטלעך פאָרשונג (Mayo-Wilson et al. 2013) . א סיבה פון גיידליינז איז דעוועלאָפּעד דורך די רעדאקציע פון ​​די דזשאָורנאַל פון יקספּערמענאַל פּאָליטיש וויסנשאַפֿט (Gerber et al. 2014) (זען אויך Mutz and Pemantle (2015) און Gerber et al. (2015) ). סוף, ריפּאָרטינג גיידליינז זענען דעוועלאָפּעד אין פּסיטשאָלאָגי (APA Working Group 2008) , און זען אויך Simmons, Nelson, and Simonsohn (2011) .

אויב איר שאַפֿן אַן אַנאַליסיס פּלאַן, איר זאָל באַטראַכטן עס איידער איר רעגיסטרירן, ווייַל די פאַרזיכערונג וועט פאַרגרעסערן די בטחון אַז אנדערע האָבן אין דיין רעזולטאַטן. דערצו, אויב איר זענט ארבעטן מיט אַ שוטעף, עס וועט שיעור דיין שוטעף ס פיייקייַט צו טוישן די אַנאַליסיס נאָך געזען די רעזולטאַטן. פאַר-רעגיסטראַציע איז שיין ינקריסינגלי פּראָסט אין פּסיטשאָלאָגי (Nosek and Lakens 2014) , פּאָליטיש וויסנשאַפֿט (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , און עקאָנאָמיק (Olken 2015) .

פּלאַן עצה ספּאַסיפיקלי פֿאַר אָנליין פעלד יקספּעראַמאַנץ איז אויך דערלאנגט אין Konstan and Chen (2007) און Chen and Konstan (2015) .

וואָס איך'ווע גערופן די אַרמאַדאַ סטראַטעגיע איז מאל גערופן פּראָגראַממאַטיק פאָרשונג ; זען Wilson, Aronson, and Carlsmith (2010) .

• שאַפֿן נול בייַטעוודיק פּרייַז דאַטע (אָפּטיילונג 4.6.1)

פֿאַר מער אויף די מוסיקאַלאַב יקספּעראַמאַנץ, זען Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , and Salganik (2007) . פֿאַר מער אויף געווינער-נעמען-אַלע מארקפלעצער, זען Frank and Cook (1996) . פֿאַר מער אויף אַנלאָודינג גליק און בקיעס מער בכלל, זען Mauboussin (2012) , Watts (2012) , און Frank (2016) .

עס איז אן אנדערער צוגאַנג צו עלימינירן פּאַרטיסאַפּאַנץ פּיימאַנץ וואָס פאָרשער זאָל נוצן מיט וואָרענען: טריינינג. אין פילע אָנליין פעלד יקספּעראַמאַנץ פּאַרטיסאַפּאַנץ זענען בייסיקלי דיזיינד אין יקספּעראַמאַנץ און קיינמאָל קאַמפּאַנסייטאַד. ביישפילן פון דעם צוגאַנג אַרייַננעמען רעסטיוואָ און פון די רידזשט ס (2012) עקספּערימענט אויף ריוואָרדז אין וויקיפעדיע און באָנד און קאָלעגע ס (2012) עקספּערימענט אויף ענקערידזשינג מענטשן צו שטימען. די יקספּעראַמאַנץ טאָן ניט טאַקע האָבן נול בייַטעוודיק פּרייַז-גאַנץ, זיי האָבן נול בייַטעוודיק פּרייַז צו ריסערטשערז . אין אַזאַ יקספּעראַמאַנץ, אַפֿילו אויב די קאָסטן צו יעדער באַטייליקטער איז זייער קליין, די אַקגראַטעד פּרייַז קען זיין גאַנץ גרויס. רעסעאַרטשערס פליסנדיק מאַסיוו אָנליין יקספּעראַמאַנץ אָפט באַרעכטיקן די וויכטיקייט פון קליין עסטימאַטעד באַהאַנדלונג יפעקס דורך געזאגט אַז די קליין יפעקס קענען זיין וויכטיק ווען געווענדט צו פילע מענטשן. די פּינטלעך זעלביקער טראכטן אַפּלייז צו קאָס אַז ריסערטשערז פאָרשטעלן אויף פּאַרטיסאַפּאַנץ. אויב דיין עקספּערימענט זיר 1,000,000 מענטשן צו וויסט אַ מינוט, די עקספּערימענט איז נישט זייער שעדלעך צו קיין באַזונדער מענטש, אָבער אין אַ גאַנץ פון עס איז וואַסטיד כּמעט צוויי יאר פון צייַט.

אן אנדער צוגאַנג צו שאפן נול בייַטעוודיק צאָלונג צאָלונג צו די פּאַרטיסאַפּאַנץ איז צו נוצן אַ לאָטעריע, אַן צוגאַנג וואָס איז אויך געניצט אין יבערבליק פאָרשונג (Halpern et al. 2011) . פֿאַר מער וועגן דיזיינינג ענדזשויאַבאַל באַניצער יקספּיריאַנסיז, זען Toomim et al. (2011) . פֿאַר מער וועגן ניצן באָץ צו מאַכן נול בייַטעוודיק פּרייַז יקספּעראַמאַנץ זען ( ??? ) .

• פאַרבייַטן, ריפיינען, און רעדוצירן (אָפּטיילונג 4.6.2)

די דרייַ ר 'ס ווי ערידזשנאַלי פארגעלייגט דורך Russell and Burch (1959) זענען ווי גייט:

"רעפּלאַסעמענט מיטל די סאַבסטיטושאַן פֿאַר באַוווסטזיניק לעבעדיק העכער אַנימאַלס פון ינסענטיענט מאַטעריאַל. רעדוקציע מיטל רעדוקציע אין די נומערן פון אַנימאַלס געניצט צו קריגן אינפֿאָרמאַציע פון ​​אַ געגעבן סומע און פּינטלעכקייַט. ראַפינירטקייַט מיטל קיין פאַרקלענערן אין די ינסידאַנס אָדער שטרענגקייַט פון ינכיומיין פּראָוסידזשערז געווענדט צו די חיות וואָס נאָך האָבן צו ווערן געניצט. "

די דרייַ ר וואָס איך פאָרשלאָג טאָן ניט אָווועררייד די עטישע פּרינציפּן דיסקרייבד אין קאַפּיטל 6. אלא, זיי זענען אַ מער עלאַברייטיד ווערסיע איינער פון די פּרינציפּן-וווילטויק-ספּאַסיפיקלי אין די באַשטעטיקן פון מענטשלעך יקספּעראַמאַנץ.

אין טערמינען פון דער ערשטער ר ("פאַרבייַט"), קאַמפּערד די עמאָציאָנעל קאָנטאַגיאָן עקספּערימענט (Kramer, Guillory, and Hancock 2014) און די עמאָציאָנעל קאָנטאַגיאָן נאַטירלעך עקספּערימענט (Lorenzo Coviello et al. 2014) אָפפערס עטלעכע אַלגעמיין לעקציעס וועגן די האַנדל-אָפס ינוואַלווד אין מאָווינג פון יקספּעראַמאַנץ צו נאַטירלעך יקספּעראַמאַנץ (און אנדערע אַפּעריישאַנז ווי ריכטן אַז פּרווון צו דערנענטערן יקספּעראַמאַנץ אין ניט-יקספּערמענאַל דאַטע, זען קאַפּיטל 2). אין דערצו צו די עטישע בענעפיץ, סוויטשינג פון יקספּערמענאַל צו ניט-יקספּערמענאַל שטודיום אויך ינייבאַלז ריסערטשערז צו לערנען טריטמאַנץ אַז זיי זענען לאַדזשיסטיקלי געקענט צו צעוויקלען. די עטישע און לאַדזשיסטיש בענעפיץ קומען אין פּרייַז, אָבער. מיט נאַטירלעך יקספּעראַמאַנץ ריסערטשערז האָבן ווייניקער קאָנטראָל איבער זאכן ווי רעקרויטמענט פון פּאַרטיסאַפּאַנץ, ראַנדאַמאַזיישאַן, און די נאַטור פון די באַהאַנדלונג. פֿאַר בייַשפּיל, איין באַגרענעצונג פון רעגן ווי אַ באַהאַנדלונג איז אַז עס ביי ביי ינקריסיז פּאָסיטיוויטי און דיקריסאַז נעגאַטיוו. אין דער יקספּערמענאַל לערנען, אָבער, קראַמער און חברים זענען ביכולת צו סטרויערן פּאָזיטיוואַטי און נעגאַטיוויטי ינדיווידזשאַלי. די באַזונדער צוגאַנג פון Lorenzo Coviello et al. (2014) איז געווען ווייַטער ילאַבאָריטיד דורך L. Coviello, Fowler, and Franceschetti (2014) . פֿאַר אַ הקדמה צו ינסטרומענטאַל וועריאַבאַלז, וואָס איז דער צוגאַנג פון Lorenzo Coviello et al. (2014) , זען Angrist and Pischke (2009) (ווייניקער פאָרמאַל) אָדער Angrist, Imbens, and Rubin (1996) (מער פאָרמאַל). פֿאַר אַ סקעפּטיש אָפּשאַצונג פון ינסטרומענטאַל וועריאַבאַלז, זען Deaton (2010) , און פֿאַר אַ הקדמה צו ינסטרומענטאַל וועריאַבאַלז מיט שוואַך ינסטראַמאַנץ (רעגן איז אַ שוואַך קיילע), זען Murray (2006) . מער בכלל, אַ גוטע הקדמה צו נאַטירלעך יקספּעראַמאַנץ איז געגעבן דורך Dunning (2012) , while Rosenbaum (2002) , ( ??? ) , and Shadish, Cook, and Campbell (2001) פאָרשלאָגן גוט געדאנקען וועגן אָפּשאַצן קאַוסאַל יפעקס אָן יקספּעראַמאַנץ.

אין טערמינען פון די רגע ר ("ראַפינמאַנט"), עס זענען וויסנשאפטלעכע און לאַדזשיסטיש האַנדל-אָפס ווען באַטראַכטן טשאַנגינג די פּלאַן פון עמאָציאָנעל קאָנטאַגיאָן פון בלאַקינג אַרטיקלען צו בוסטינג אַרטיקלען. פֿאַר בייַשפּיל, עס קען זיין די פאַל אַז די טעכניש ימפּלאַמענטיישאַן פון די נייַעס פיטער מאכט עס סאַבסטאַנשאַלי גרינגער צו טאָן אַן עקספּערימענט וואָס וואָס זענען אפגעשטעלט געווארן אפגעשיקט אלא ווי איינער אין וואָס זיי זענען בוסטיד (טאָן אַז אַ עקספּערימענט ינוואַלווינג בלאַקינג פון הודעות קען זיין ימפּלאַמענאַד ווי אַ שיכטע אויף שפּיץ פון די נייַעס פיד סיסטעם אָן קיין דאַרפֿן פֿאַר אָלטעריישאַנז פון די אַנדערלייינג סיסטעם). וויסנשאפטלעכע, אָבער, דער טעאָריע אַדזשאַסטיד דורך דער עקספּערימענט האט נישט קלאר פֿאָרשלאָגן איינער פּלאַן איבער די אנדערע. צום באַדויערן, איך בין נישט אַווער פון היפּש פריערדיק פאָרשונג וועגן די קאָרעוו מעריץ פון בלאַקינג און בוסטינג צופרידן אין די נייַעס פיטער. אויך, איך האב נישט געזען פיל פאָרשונג וועגן ראַפיינינג טריטמאַנץ צו מאַכן זיי ווייניקער שעדלעך; איינער ויסנעם איז B. Jones and Feamster (2015) , וואָס באַטראַכטן די פאַל פון מעאַסורעמענט פון אינטערנעץ צענזור (אַ טעמע איך דיסקוטירן אין פּרק 6 אין שייכות צו די ענקאָר לערנען (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

אין טערמינען פון די דריט ר ("רעדוקציע"), גוט ינטראַדאַקשאַנז צו טראדיציאנעלן מאַכט אַנאַליסיס זענען געגעבן דורך Cohen (1988) (בוך) און Cohen (1992) (אַרטיקל), בשעת Gelman and Carlin (2014) פאָרשלאָגן אַ ביסל אַנדערש פּערספּעקטיוו. פאַר - באַהאַנדלונג קאַוואַריאַטעס קענען זיין אַרייַנגערעכנט אין דער פּלאַן און אַנאַליז פון בינע פון ​​יקספּעראַמאַנץ; פּרק 4 פון Gerber and Green (2012) גיט אַ גוטע הקדמה צו ביידע אַפּערטונאַטיז, און Casella (2008) גיט אַ מער טיפקייַט באַהאַנדלונג. טעטשניקוועס וואָס נוצן דעם פאַר-באַהאַנדלונג אינפֿאָרמאַציע אין די ראַנדאַמיזיישאַן זענען טיפּיש גערופן אָדער אפגעשטעלט יקספּערמענאַל דיזיינז אָדער סטראַטאַפייד יקספּערמענאַל דיזיינז (די טערמינאָלאָגיע איז נישט געניצט קאַנסיסטאַנטלי אַריבער קהילות); די טעקניקס זענען ענג שייכות צו די סטראַטאַפייד מוסטערונג טעקניקס דיסקרייבד אין פּרק 3. זען Higgins, Sävje, and Sekhon (2016) פֿאַר מער אויף ניצן די דיזיינז אין מאַסיוו יקספּעראַמאַנץ. פאַר - באַהאַנדלונג קאַוואַריאַטעס קענען אויך זיין אַרייַנגערעכנט אין די אַנאַליסיס בינע. McKenzie (2012) יקספּלאָרז דער חילוק-אין-דיפעראַנסיז צוגאַנג צו אַנאַלייזינג פעלד יקספּעראַמאַנץ אין גרעסערע דעטאַל. זען Carneiro, Lee, and Wilhelm (2016) פֿאַר מער אויף די האַנדל-אָפס צווישן פאַרשידענע אַפּערטונאַטיז צו פאַרגרעסערן פּינטלעכקייַט אין עסטאַמאַץ פון באַהאַנדלונג יפעקס. צום סוף, ווען איר באַשלאָסן צו פּרובירן צו אַרייַננעמען פאַר - באַהאַנדלונג קאָוואַריאַטעס בייַ די פּלאַן אָדער אַנאַליז (אָדער ביידע), עס זענען עטלעכע סיבות צו באַטראַכטן. אין אַ באַשטעטיקן וואָס ריסערטשערז ווילן צו ווייַזן אַז זיי זענען נישט "פישערייַ" (Humphreys, Sierra, and Windt 2013) , ניצן פּראַוויזשאַנז קאַוואַריאַטעס אין די פּלאַן בינע קענען זיין נוציק (Higgins, Sävje, and Sekhon 2016) . אין סיטואַטיאָנס ווו פּאַרטיסאַפּאַנץ אָנקומען סאַקווענטשאַלי, ספּעציעל אָנליין פעלד יקספּעראַמאַנץ, ניצן פאַר - באַהאַנדלונג אינפֿאָרמאַציע אין די פּלאַן בינע קען זיין שווער לאַדזשיסטיקלי; זען, פֿאַר בייַשפּיל, Xie and Aurisset (2016) .

עס איז ווערט אַ ביסל פון ינטוישאַן וועגן וואָס אַ חילוק-אין-דיפעראַנסיז צוגאַנג קען זיין אַזוי פיל מער עפעקטיוו ווי אַ חילוק-אין-מיטל איינער. פילע אָנליין אַוטקאַמז האָבן זייער הויך וואַריאַבאַלז (זען למשל, RA Lewis and Rao (2015) און Lamb et al. (2015) ) און זענען לעפיערעך סטאַביל איבער צייַט. אין דעם פאַל, די ענדערונג כעזשבן וועט האָבן סאַבסטאַנשאַלי קלענערער שווינדל, ינקריסינג די מאַכט פון די סטאַטיסטיש פּרובירן. איין סיבה דעם צוגאַנג איז נישט געניצט מער אָפט איז אַז איידער די דיגיטאַל עלטער, עס איז נישט פּראָסט צו האָבן פאַר - באַהאַנדלונג אַוטקאַמז. א מער באַטאָנען וועג צו טראַכטן וועגן דעם איז צו ימאַדזשאַן אַן עקספּערימענט צו מעסטן צי אַ ספּעציפיש געניטונג רוטין ז וואָג אָנווער. אויב איר אַדאַפּט אַ חילוק-אין-מיטל צוגאַנג, דיין אָפּשאַצונג וועט האָבן וועריאַביליטי ערייזינג פון די וועריאַביליטי אין ווייץ אין די באַפעלקערונג. אויב איר טאָן אַ חילוק-אין-דיפעראַנסיז צוגאַנג, אָבער, אַז געוויינטלעך געשעעניש ווערייישאַן אין ווייץ איז אַוועקגענומען, און איר קענען מער לייכט דעטעקט אַ חילוק געפֿירט דורך די באַהאַנדלונג.

סוף, איך געהאלטן אַדינג אַ פערט ר: "רעפּראָפּאָסע". דעריבער, אויב די ריסערטשערז געפינען זיך מיט מער יקספּערמענאַל דאַטע ווי זיי דאַרפֿן צו אַדרעס זייער אָריגינעל פאָרשונג קשיא, זיי זאָל רעפּראָפּאָסע די דאַטן צו פרעגן נייַע פראגעס. פֿאַר בייַשפּיל, ימאַדזשאַן אַז קראַמער און חברים האָבן געניצט אַ חילוק-אין-דיפעראַנסיז עסטימאַטאָר און געפונען זיך מיט מער דאַטן ווי זיי דארף צו אַדרעס זייער פאָרשונג קשיא. אַנשטאָט פון נוצן די דאַטן צו די פולאַסט מאָס, זיי קען האָבן געלערנט די גרייס פון דעם ווירקונג ווי אַ פונקציע פון ​​פאַר - באַהאַנדלונג עמאָציאָנעל אויסדרוק. ווי Schultz et al. (2007) געפונען אַז די ווירקונג פון די באַהאַנדלונג איז אַנדערש פֿאַר ליכט און שווער ניצערס, טאָמער די יפעקס פון די נייַעס פיוס זענען אַנדערש פֿאַר מענטשן וואס האָבן שוין טענדיד צו צופרידן (אָדער טרויעריק) אַרטיקלען. רעפּורפּאָסינג קען פירן צו "פישערייַ" (Humphreys, Sierra, and Windt 2013) און "פּ-כאַקינג" (Simmons, Nelson, and Simonsohn 2011) , אָבער דאָס איז לאַרגעלי אַדזשאַסטאַבאַל מיט אַ קאָמבינאַציע פון ​​ערלעך ריפּאָרטינג (Simmons, Nelson, and Simonsohn 2011) , פאַר-רעגיסטראַציע (Humphreys, Sierra, and Windt 2013) , און מאַשין לערנען מעטהאָדס אַז פּרווון צו ויסמייַדן איבער-פּאַסן.