ווייַטער קאָמענטאַר

דעם אָפּטיילונג איז דיזיינד צו ווערן געניצט ווי אַ דערמאָנען, אלא ווי צו זייַן לייענען ווי אַ דערציילונג.

• הקדמה (אָפּטיילונג 4.1)

פֿראגן וועגן קאַוסאַליטי אין געזעלשאַפטלעך פאָרשונג זענען אָפֿט קאָמפּלעקס און ינטראַקאַט. פֿאַר אַ פאָונדאַטיאָנאַל צוגאַנג צו קאַוסאַליטי באזירט אויף קאַוסאַל Graphs, זען Pearl (2009) , און פֿאַר אַ פאָונדאַטיאָנאַל צוגאַנג באזירט אויף פּאָטענציעל אַוטקאַמז, זען Imbens and Rubin (2015) (און די טעכניש אַפּפּענדיקס אין דעם קאַפּיטל). פֿאַר אַ פאַרגלייַך צווישן די צוויי אַפּראָוטשיז, זען Morgan and Winship (2014) . פֿאַר אַ פאָרמאַל צוגאַנג צו דעפינינג אַ קאָנפאָונדער, זען VanderWeele and Shpitser (2013) .

אין די קאַפּיטל, איך Created וואָס געווען ווי אַ העל שורה צווישן אונדזער פיייקייַט צו מאַכן קאַוסאַל עסטאַמאַץ פון יקספּערמענאַל און גויים-עקספּערימענט דאַטן. אין פאַקט, איך טראַכטן אַז די דיסטינגקשאַן איז בלורריער. לעמאָשל, אַלעמען אַקסעפּץ אַז סמאָוקינג ז ראַק אַפֿילו כאָטש מיר האָבן קיינמאָל געטאן אַ ראַנדאַמייזד קאַנטראָולד עקספּערימענט אַז פאָרסעס מענטשן צו רויך. פֿאַר ויסגעצייכנט בוך לענג טריטמאַנץ אויף מאכן קאַוסאַל עסטאַמאַץ פון נאַן-יקספּערמענאַל דאַטן זען Rosenbaum (2002) , Rosenbaum (2009) , Shadish, Cook, and Campbell (2001) , און Dunning (2012) .

טשאַפּטערס 1 און 2 פון Freedman, Pisani, and Purves (2007) פאָרשלאָגן אַ קלאָר הקדמה אין די חילוק צווישן יקספּעראַמאַנץ, קאַנטראָולד יקספּעראַמאַנץ, און ראַנדאַמייזד קאַנטראָולד יקספּעראַמאַנץ.

Manzi (2012) גיט אַ יקסייטינג און ליינעוודיק הקדמה אין די פילאָסאָפיקאַל און סטאַטיסטיש ונדערפּיננינגס פון ראַנדאַמייזד קאַנטראָולד יקספּעראַמאַנץ. עס אויך גיט טשיקאַווע פאַקטיש-וועלט יגזאַמפּאַלז פון די מאַכט פון יקספּעראַמאַנטיישאַן אין געשעפט.

• וואָס זענען יקספּעראַמאַנץ? (אָפּטיילונג 4.2)

Casella (2008) , Box, Hunter, and Hunter (2005) , Athey and Imbens (2016b) צושטעלן גוט ינטראָודאַקשאַנז צו די סטאַטיסטיש אַספּעקץ פון יקספּערמענאַל פּלאַן און אַנאַליסיס. ווייַטער, עס זענען ויסגעצייכנט טריטמאַנץ פון די נוצן פון יקספּעראַמאַנץ אין פילע פאַרשידענע fields: עקאָנאָמיק (Bardsley et al. 2009) , סאָוסיאַלאַדזשי (Willer and Walker 2007; Jackson and Cox 2013) , פּסיכאָלאָגיע (Aronson et al. 1989) , פּאָליטיש וויסנשאַפֿט (Morton and Williams 2010) , און געזעלשאַפטלעך פּאָליטיק (Glennerster and Takavarasha 2013) .

די וויכטיקייט פון באַטייליקטער ראַקרוטמאַנט (למשל, מוסטערונג) איז אָפֿט אונטער-אַפּרישיייטיד אין יקספּערמענאַל פאָרשונג. אָבער, אויב די ווירקונג פון די באַהאַנדלונג איז כעטעראַדזשיניאַס אין די באַפעלקערונג, דעריבער מוסטערונג איז קריטיש. Longford (1999) מאכט דעם פונט קלאר ווען ער אַדוואַקאַץ פֿאַר ריסערטשערז טראכטן פון יקספּעראַמאַנץ ווי אַ באַפעלקערונג יבערבליק מיט כאַפּכאַזערד מוסטערונג.

• צוויי דימענשאַנז פון יקספּעראַמאַנץ: לאַב-פעלד און אַנאַלאָג-דיגיטאַל (אָפּטיילונג 4.3)

די דיטשאָטאָמי אַז איך דערלאנגט צווישן לאַב און פעלד יקספּעראַמאַנץ איז אַ ביסל Simplified. אין פאַקט, אנדערע ריסערטשערז האָבן פּראָפּאָסעד מער דיטיילד טיפּאָלאָגיעס, אין באַזונדער אָנעס אַז באַזונדער די פאַרשידן Forms פון פעלד יקספּעראַמאַנץ (Harrison and List 2004; Charness, Gneezy, and Kuhn 2013) . ווייַטער, עס זענען צוויי אנדערע טייפּס פון יקספּעראַמאַנץ געטאן דורך געזעלשאַפטלעך סייאַנטיס וואס טאָן ניט פּאַסיק ניטלי אין די לאַב און פעלד דיטשאָטאָמי: יבערבליק יקספּעראַמאַנץ און געזעלשאַפטלעך יקספּעראַמאַנץ. סורוויי יקספּעראַמאַנץ זענען יקספּעראַמאַנץ ניצן די Infrastructure פון יגזיסטינג סערווייז און פאַרגלייַכן רעספּאָנסעס צו אנדער ברירה ווערסיעס פון די זעלביקער שאלות (עטלעכע יבערבליק יקספּעראַמאַנץ זענען דערלאנגט אין פּרק 3); פֿאַר מער אויף יבערבליק יקספּעראַמאַנץ זען Mutz (2011) . סאציאל יקספּעראַמאַנץ זענען יקספּעראַמאַנץ ווו די באַהאַנדלונג איז עטלעכע געזעלשאַפטלעך פּאָליטיק אַז קענען בלויז זיין ימפּלאַמענאַד דורך אַ רעגירונג. סאציאל יקספּעראַמאַנץ זענען ענג שייך צו פּראָגראַם עוואַלואַטיאָן. פֿאַר מער אויף פּאָליטיק יקספּעראַמאַנץ, זען Orr (1998) , Glennerster and Takavarasha (2013) , און Heckman and Smith (1995) .

א נומער פון צייטונגען האָבן קאַמפּערד לאַב און פעלד יקספּעראַמאַנץ אין די אַבסטראַקט (Falk and Heckman 2009; Cialdini 2009) און אין טערמינען פון אַוטקאַמז פון ספּעציפיש יקספּעראַמאַנץ אין פּאָליטיש וויסנשאַפֿט (Coppock and Green 2015) , עקאָנאָמיק (Levitt and List 2007a; Levitt and List 2007b; Camerer 2011; Al-Ubaydli and List 2013) און פּסיכאָלאָגיע (Mitchell 2012) . Jerit, Barabas, and Clifford (2013) Offers אַ פייַן פאָרשונג פּלאַן פֿאַר קאַמפּערינג רעזולטאטן פון לאַב און פעלד יקספּעראַמאַנץ.

קאָנסערנס וועגן פּאַרטיסאַפּאַנץ טשאַנגינג זייער נאַטור ווייַל זיי וויסן זיי זענען ווייל ענג באמערקט זענען מאל גערופֿן פאָדערונג ווירקונג, און זיי האָבן שוין געלערנט אין פּסיכאָלאָגיע (Orne 1962) און עקאָנאָמיק (Zizzo 2009) . כאָטש מערסטנס פֿאַרבונדן מיט לאַב יקספּעראַמאַנץ, די זעלבע ענינים קענען אָנמאַכן פּראָבלעמס פֿאַר פעלד יקספּעראַמאַנץ ווי געזונט. אין פאַקט, מאָנען ווירקונג זענען אויך מאל געהייסן האַווטהאָרנע ווירקונג, אַ טערמין וואָס נעמט אַ פעלד עקספּערימענט, ספּעסיפיקאַללי די באַרימט ילומאַניישאַן יקספּעראַמאַנץ אַז אנגעהויבן אין 1924 בייַ די האַווטהאָרנע וואָרקס פון די מערב עלעקטריק פֿירמע (Adair 1984; Levitt and List 2011) . ביידע פאָדערונג ווירקונג און האַווטהאָרן ווירקונג זענען ענג פֿאַרבונדענע צו דעם געדאַנק פון ריאַקטיוו מעזשערמאַנט דיסקאַסט אין טשאַפּטער 2 (זען אויך Webb et al. (1966) ).

די געשיכטע פון פעלד יקספּעראַמאַנץ האט שוין דיסקרייבד אין עקאָנאָמיק (Levitt and List 2009) , פּאָליטיש וויסנשאַפֿט (Green and Gerber 2003; Druckman et al. 2006; Druckman and Lupia 2012) , פּסיכאָלאָגיע (Shadish 2002) , און עפנטלעך פּאָליטיק (Shadish and Cook 2009) . איין געגנט פון געזעלשאַפטלעך וויסנשאַפֿט ווו פעלד יקספּעראַמאַנץ געשווינד געווארן באַוווסט איז אינטערנאַציאָנאַלע אַנטוויקלונג. פֿאַר אַ positive אָפּשאַצונג פון וואָס אַרבעט ין עקאָנאָמיק זען Banerjee and Duflo (2009) , און פֿאַר אַ קריטיש אַסעסמאַנט זען Deaton (2010) . פֿאַר אַ אָפּשאַצונג פון דעם אַרבעט אין פּאָליטיש וויסנשאַפֿט זען Humphreys and Weinstein (2009) . צום סוף, די עטישע טשאַלאַנדזשיז ינוואַלווד מיט פעלד יקספּעראַמאַנץ האָבן שוין יקספּלאָרד אין פּאָליטיש וויסנשאַפֿט (Humphreys 2015; Desposato 2016b) און אַנטוויקלונג עקאָנאָמיק (Baele 2013) .

אין די קאַפּיטל, איך סאַגדזשעסטיד אַז פֿאַר באַהאַנדלונג אינפֿאָרמאַציע קענען ווערן געניצט צו פֿאַרבעסערן די פּינטלעכקייַט פון עסטימאַטעד באַהאַנדלונג ווירקונג, אָבער עס איז עטלעכע דעבאַטע וועגן דעם צוגאַנג: Freedman (2008) , Lin (2013) , און Berk et al. (2013) ; זען Bloniarz et al. (2016) פֿאַר מער אינפֿאָרמאַציע.

• מאָווינג ווייַטער פון פּשוט יקספּעראַמאַנץ (אָפּטיילונג 4.4)

איך ווע אויסדערוויילט צו פאָקוס אויף דרייַ קאַנסעפּס: גילטיקייַט, העטעראָגענעיטי פון באַהאַנדלונג ווירקונג, און מעקאַניזאַמז. די קאַנסעפּס האָבן פאַרשידענע נעמען אין פאַרשידענע fields. לעמאָשל, סייקאַלאַדזשאַסס טענד צו באַוועגן ווייַטער פון פּשוט יקספּעראַמאַנץ דורך פאָקוסינג אויף מידיייטערז און מאָדעראַטאָרס (Baron and Kenny 1986) . דער געדאַנק פון מידיייטערז איז קאַפּטשערד דורך וואָס איך רוף מעקאַניזאַמז, און דער געדאַנק פון מאָדעראַטאָרס איז קאַפּטשערד דורך וואָס איך רופן פונדרויסנדיק גילטיקייַט (למשל, וואָלט די רעזולטאטן פון דער עקספּערימענט זייַן אַנדערש אויב עס איז געווען לויפן אין פאַרשידענע סיטואַטיאָנס) און העטעראָגענעיטי פון באַהאַנדלונג ווירקונג ( למשל, זענען די ווירקונג גרעסערע פֿאַר עטלעכע מענטשן ווי אנדערע מענטשן).

דער עקספּערימענט פון Schultz et al. (2007) ווייזט ווי געזעלשאַפטלעך טיריז קענען ווערן געניצט צו פּלאַן עפעקטיוו ינטערווענטשאַנז. פֿאַר אַ מער גענעראַל אַרגומענט וועגן די ראָלע פון טעאָריע אין דיזיינינג עפעקטיוו ינטערווענטשאַנז, זען Walton (2014) .

• גילטיקייַט (אָפּטיילונג 4.4.1)

די קאַנסעפּס פון ינערלעך און פונדרויסנדיק גילטיקייַט געווען ערשטער באַקענענ אין Campbell (1957) . זען Shadish, Cook, and Campbell (2001) פֿאַר אַ מער דיטיילד געשיכטע און אַ אָפּגעהיט ילאַבעריישאַן פון סטאַטיסטיש מסקנא גילטיקייַט, ינערלעך גילטיקייַט, בויען גילטיקייַט, און פונדרויסנדיק גילטיקייַט.

פֿאַר אַן איבערבליק פון ישוז שייך צו סטאַטיסטיש מסקנא גילטיקייַט אין יקספּעראַמאַנץ זען Gerber and Green (2012) (פֿאַר אַ געזעלשאַפטלעך וויסנשאַפֿט פּערספּעקטיוו) און Imbens and Rubin (2015) (פֿאַר אַ סטאַטיסטיש פּערספּעקטיוו). עטלעכע ישוז פון סטאַטיסטיש מסקנא גילטיקייַט אַז שטיי ספּעסיפיקאַללי אין אָנליין פעלד יקספּעראַמאַנץ אַרייַננעמען ישוז אַזאַ ווי קאָמפּוטאַטיאָנאַללי עפעקטיוו מעטהאָדס פֿאַר קריייטינג בטחון ינערוואַלז מיט אָפענגיק דאַטן (Bakshy and Eckles 2013) .

אינערלעכער גילטיקייַט קענען זיין שווער צו ענשור אין קאָמפּלעקס פעלד יקספּעראַמאַנץ. זען, לעמאָשל, Gerber and Green (2000) , Imai (2005) , און Gerber and Green (2005) פֿאַר דעבאַטע וועגן די ימפּלאַמענטיישאַן פון אַ קאָמפּלעקס פעלד עקספּערימענט וועגן אָפּשטימונג. Kohavi et al. (2012) און Kohavi et al. (2013) צושטעלן אַ הקדמה אין די טשאַלאַנדזשיז פון מעהאַלעך גילטיקייַט אין אָנליין פעלד יקספּעראַמאַנץ.

איינער הויפּט דייַגע מיט ינערלעך גילטיקייַט איז פּראָבלעמס מיט ראַנדאָמיזאַטיאָן. איין וועג צו פּאַטענטשאַלי דיטעקט פּראָבלעמס מיט די ראַנדאָמיזאַטיאָן איז צו פאַרגלייַכן די באַהאַנדלונג און קאָנטראָל גרופּעס אויף אָבסערוואַבלע טרייץ. דאס מין פון פאַרגלייַך איז גערופֿן אַ וואָג טשעק. זען Hansen and Bowers (2008) פֿאַר אַ סטאַטיסטיש צוגאַנג צו וואָג טשעקס, און זען Mutz and Pemantle (2015) פֿאַר קאַנסערנז וועגן וואָג טשעקס. לעמאָשל, ניצן אַ וואָג טשעק Allcott (2011) געפֿונען אַז עס איז עטלעכע זאָגן אַז די ראַנדאָמיזאַטיאָן איז ניט ימפּלאַמענאַד ריכטיק אין דרייַ פון די יקספּעראַמאַנץ אין עטלעכע פון די אָפּאָווער יקספּעראַמאַנץ (זען טיש 2; זייטלעך 2, 6, און 8). פֿאַר אנדערע אַפּראָוטשיז, זען Imbens and Rubin (2015) , טשאַפּטער 21.

אנדערע הויפּט קאַנסערנז שייך צו ינערלעך גילטיקייַט זענען: 1) איינער-סיידיד ניט-העסקעם, ווו ניט אַלעמען אין דער באַהאַנדלונג גרופּע אַקטשאַוואַלי באקומען די באַהאַנדלונג, 2) צוויי סיידאַד ניט-העסקעם, ווו ניט אַלעמען אין דער באַהאַנדלונג גרופּע נעמט די באַהאַנדלונג און עטלעכע מענטשן אין די קאָנטראָל גרופּע באַקומען די באַהאַנדלונג, 3) אַטטריטיאָן, ווו אַוטקאַמז זענען נישט געמאסטן פֿאַר עטלעכע פּאַרטיסאַפּאַנץ, און 4) ינטערפערענסע, ווו די באַהאַנדלונג ספּילז איבער פון מענטשן אין דער באַהאַנדלונג צושטאַנד צו מענטשן אין די קאָנטראָל צושטאַנד. זען Gerber and Green (2012) טשאַפּטערס 5, 6, 7, און 8 פֿאַר מער אויף יעדער פון די ישוז.

פֿאַר מער אויף בויען גילטיקייַט, זען Westen and Rosenthal (2003) , און פֿאַר מער אויף בויען גילטיקייַט אין גרויס דאַטן קוואלן, Lazer (2015) און טשאַפּטער 2 פון דעם בוך.

איין אַספּעקט פון פונדרויסנדיק גילטיקייַט איז די באַשטעטיקן ווו אַ אריינמישונג איז טעסטעד. Allcott (2015) גיט אַ אָפּגעהיט טעאָרעטיש און עמפּיריקאַל באַהאַנדלונג פון פּלאַץ סעלעקציע פאָרורטייל. דאס אַרויסגעבן איז אויך דיסקאַסט אין Deaton (2010) . אין דערצו צו ווייל רעפּליקייטיד אין פילע זייטלעך, די היים ענערגיע באריכט אריינמישונג האט אויך שוין ינדיפּענדאַנטלי געלערנט דורך קייפל פאָרשונג גרופּעס (למשל, Ayres, Raseman, and Shih (2013) ).

• העטעראָגענעיטי פון באַהאַנדלונג ווירקונג (אָפּטיילונג 4.4.2)

פֿאַר אַ ויסגעצייכנט איבערבליק פון העטעראָגענעיטי פון באַהאַנדלונג ווירקונג אין פעלד יקספּעראַמאַנץ, זען טשאַפּטער 12 פון Gerber and Green (2012) . פֿאַר ינטראָודאַקשאַנז צו העטעראָגענעיטי פון באַהאַנדלונג ווירקונג אין מעדיציניש טריאַלס, זען Kent and Hayward (2007) , Longford (1999) , און Kravitz, Duan, and Braslow (2004) . העטעראָגענעיטי פון באַהאַנדלונג ווירקונג בכלל פאָקוס אויף חילוק באזירט אויף פֿאַר באַהאַנדלונג טשאַראַקטעריסטיקס. אויב איר זענט אינטערעסירט אין העטעראָגענעיטי באזירט אויף פּאָסטן-באַהאַנדלונג אַוטקאַמז, דעריבער מער קאָמפּליצירט אַפּפּראָאַטשס זענען דארף אַזאַ ווי הויפּט סטראַטיפיקאַטיאָן (Frangakis and Rubin 2002) ; זען Page et al. (2015) פֿאַר אַ באריכטן.

פילע ריסערטשערז שאַצן די העטעראָגענעיטי פון באַהאַנדלונג ווירקונג ניצן לינעאַר ראַגרעשאַן, אָבער Newer מעטהאָדס רעלי אויף מאַשין וויסן, פֿאַר משל Green and Kern (2012) , Imai and Ratkovic (2013) , Taddy et al. (2016) , און Athey and Imbens (2016a) .

עס איז עטלעכע סקעפּטיסיזאַם וועגן פינדינגס פון העטעראָגענעיטי פון ווירקונג ווייַל פון קייפל פאַרגלייַך פּראָבלעמס און "פישערייַ." עס זענען אַ פאַרשיידנקייַט פון סטאַטיסטיש אַפּראָוטשיז אַז קענען העלפן אַדרעס קאַנסערנז וועגן קייפל פאַרגלייַך (Fink, McConnell, and Vollmer 2014; List, Shaikh, and Xu 2016) . איינער צוגאַנג צו קאַנסערנז וועגן "פישערייַ" איז פֿאַר-רעגיסטראַציע, וואָס איז שיין ינקריסינגלי פּראָסט אין פּסיכאָלאָגיע (Nosek and Lakens 2014) , פּאָליטיש וויסנשאַפֿט (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , און עקאָנאָמיק (Olken 2015) .

אין דעם לערנען פון Costa and Kahn (2013) נאָר וועגן העלפט פון די כאַוסכאָולדז אין דער עקספּערימענט זענען ביכולת צו זייַן לינגקט צו די דעמאָגראַפיק אינפֿאָרמאַציע. רידערז אינטערעסירט אין די דעטאַילס און מעגלעך פּראָבלעמס מיט דעם אַנאַליסיס זאָל אָפּשיקן צו די אָריגינעל פּאַפּיר.

• מעטשאַניסמס (אָפּטיילונג 4.4.3)

מעקאַניזאַמז זענען ינקרעדאַבלי וויכטיק, אָבער זיי קער אויס צו זיין זייער שווער צו לערנען. פאָרשונג וועגן מעקאַניזאַמז ענג פֿאַרבונדענע צו דעם לערנען פון מידיייטערז אין פּסיכאָלאָגיע (אָבער זען אויך VanderWeele (2009) פֿאַר אַ גענוי פאַרגלייַך צווישן די צוויי אידעען). סטאַטיסטיש אַפּראָוטשיז צו דערגייונג מעקאַניזאַמז, אַזאַ ווי די צוגאַנג דעוועלאָפּעד אין Baron and Kenny (1986) , זענען גאַנץ פּראָסט. צום באַדויערן, עס טורנס אויס אַז די פּראָוסידזשערז אָפענגען אויף עטלעכע שטאַרק אַסאַמפּשאַנז (Bullock, Green, and Ha 2010) און לייַדן ווען עס זענען קייפל מעקאַניזאַמז, ווי איינער זאל אַרויסקוקן אין פילע סיטואַטיאָנס (Imai and Yamamoto 2013; VanderWeele and Vansteelandt 2014) . Imai et al. (2011) און Imai and Yamamoto (2013) פאָרשלאָגן עטלעכע ימפּרוווד סטאַטיסטיש מעטהאָדס. ווייטער, VanderWeele (2015) Offers אַ בוך-לענג באַהאַנדלונג מיט אַ נומער פון וויכטיק רעזולטאטן, כולל אַ פולשטענדיק צוגאַנג צו סענסיטיוויטי אַנאַליסיס.

א באַזונדער צוגאַנג פאָקוסעס אויף יקספּעראַמאַנץ אַז פּרווון צו מאַניפּולירן די מעקאַניזאַם גלייַך (למשל, געבן סיילערז וויטאַמין C). צום באַדויערן, אין פילע געזעלשאַפטלעך וויסנשאַפֿט סעטטינגס עס זענען אָפֿט קייפל מעקאַניזאַמז און עס איז שווער צו פּלאַן טריטמאַנץ אַז טוישן איינער אָן טשאַנגינג די אנדערע. עטלעכע אַפּראָוטשיז צו עקספּערימענטאַללי אָלטערינג מעקאַניזאַמז זענען דיסקרייבד אין Imai, Tingley, and Yamamoto (2013) , Ludwig, Kling, and Mullainathan (2011) , און Pirlott and MacKinnon (2016) .

צום סוף, מעקאַניזאַמז אויך האָבן אַ לאַנג געשיכטע אין די פֿילאָסאָפֿיע פון וויסנשאַפֿט ווי דיסקרייבד דורך Hedström and Ylikoski (2010) .

• ניצן יגזיסטינג ינווייראַנמאַנץ (אָפּטיילונג 4.5.1.1)

פֿאַר מער אויף די נוצן פון קאָרעספּאָנדענץ שטודיום און קאָנטראָלירן שטודיום צו מעסטן דיסקרימינאַציע זען Pager (2007) .

• בויען אייער אייגן עקספּערימענט (אָפּטיילונג 4.5.1.2)

די מערסט פּראָסט וועג צו רעקרוט פּאַרטיסאַפּאַנץ צו יקספּעראַמאַנץ אַז איר בויען איז אַמאַזאָן מעטשאַניקאַל טערק (מטורק). ווייַל מטורק מימיקס אַספּעקץ פון בעקאַבאָלעדיק לאַב יקספּעראַמאַנץ-פּייינג מענטשן צו פאַרענדיקן טאַסקס אַז זיי וואָלט ניט טאָן פֿאַר פּאָטער-פילע ריסערטשערז האָבן שוין אנגעהויבן ניצן טורקערס (די טוערס אויף מטורק) ווי פּאַרטיסאַפּאַנץ אין מענטשלעך סאַבדזשעקץ יקספּעראַמאַנץ ריזאַלטינג אין Faster און טשיפּער דאַטן זאַמלונג ווי בעקאַבאָלעדיק אויף-קאַמפּאַס לאַבאָראַטאָריע יקספּעראַמאַנץ (Paolacci, Chandler, and Ipeirotis 2010; Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012; Rand 2012; Berinsky, Huber, and Lenz 2012) .

די ביגאַסט שטאַרקייַט פון יקספּעראַמאַנץ מיט פּאַרטיסאַפּאַנץ ריקרוטיד פון מטורק זענען לאַדזשיסטיקאַל: זיי לאָזן ריסערטשערז צו רעקרוט פּאַרטיסאַפּאַנץ געשווינד און ווי דארף. ווהערעאַס לאַב יקספּעראַמאַנץ קענען נעמען וואָכן צו לויפן און פעלד יקספּעראַמאַנץ קענען נעמען חדשים צו שטעלן-אַרויף, יקספּעראַמאַנץ מיט פּאַרטיסאַפּאַנץ ריקרוטיד פון מטורק קענען זיין לויפן אין טעג. לעמאָשל, Berinsky, Huber, and Lenz (2012) זענען געווען ביכולת צו רעקרוט 400 סאַבדזשעקץ אין אַ איין טאָג צו אָנטייל נעמען אין אַ 8 מינוט עקספּערימענט. ווייַטער, די פּאַרטיסאַפּאַנץ קענען זייַן ריקרוטיד פֿאַר כמעט קיין ציל (כולל סערווייז און מאַסע מיטאַרבעט, ווי דיסקאַסט אין טשאַפּטערס 3 און 5). דעם יז פון ראַקרוטמאַנט מיטל אַז ריסערטשערז קענען לויפן סיקוואַנסיז פון Related יקספּעראַמאַנץ אין גיך סאַקסעשאַן.

איידער ריקרוטינג פּאַרטיסאַפּאַנץ פון מטורק פֿאַר אייער אייגן יקספּעראַמאַנץ, עס זענען פיר וויכטיק דאס צו וויסן. ערשטער, פילע ריסערטשערז האָבן אַ ניט-ספּעציפיש סקעפּטיסיזאַם פון יקספּעראַמאַנץ ינוואַלווינג טורקערס. מחמת דעם סקעפּטיסיזאַם איז ניט ספּעציפיש, עס איז שווער צו טאָמבאַנק מיט זאָגן. אָבער, נאָך עטלעכע יאָרן פון שטודיום ניצן טורקערס, מיר קענען איצט פאַרענדיקן אַז דעם סקעפּטיסיזאַם איז ניט ספּעציעל נייטיק. עס האָבן שוין פילע שטודיום קאַמפּערינג די דעמאָגראַפיקס פון טורקערס צו אנדערע פּאַפּיאַליישאַנז און פילע שטודיום קאַמפּערינג רעזולטאטן פון יקספּעראַמאַנץ מיט טורקערס צו די רעזולטאטן פון אנדערע פּאַפּיאַליישאַנז. געגעבן אַלע דעם אַרבעט, איך טראַכטן אַז דער בעסטער וועג פֿאַר איר צו טראַכטן וועגן עס איז אַז טורקערס זענען אַ גלייַך קאַנוויניאַנס מוסטער, פיל ווי סטודענטן אָבער אַ ביסל מער דייווערס (Berinsky, Huber, and Lenz 2012) . אזוי, פּונקט ווי סטודענטן זענען אַ גלייַך באַפעלקערונג פֿאַר עטלעכע אָבער ניט אַלע יקספּערמענאַל פאָרשונג, טורקערס זענען אַ גלייַך באַפעלקערונג פֿאַר עטלעכע אָבער ניט אַלע פאָרשונג. אויב איר זענען געגאנגען צו אַרבעטן מיט טורקערס, דעמאָלט עס מאכט חוש צו לייענען פילע פון ​​די קאָמפּאַראַטיווע שטודיום און פֿאַרשטיין זייער נואַנסיז.

רגע, ריסערטשערז האָבן דעוועלאָפּעד בעסטער-פּראַקטאַסאַז פֿאַר ינקריסינג ינערלעך גילטיקייַט פון טערק יקספּעראַמאַנץ, און איר זאָל לערנען וועגן און נאָכפאָלגן די בעסטער-פּראַקטיסיז (Horton, Rand, and Zeckhauser 2011; Mason and Suri 2012) . לעמאָשל, ריסערטשערז ניצן טורקערס זענען ינקעראַדזשד צו נוצן סקרעענערס צו באַזייַטיקן ינאַטענטיוו פּאַרטיסאַפּאַנץ (Berinsky, Margolis, and Sances 2014; Berinsky, Margolis, and Sances 2016) (אָבער זען אויך DJ Hauser and Schwarz (2015b) און DJ Hauser and Schwarz (2015a) ). אויב איר טאָן ניט אַראָפּנעמען ינאַטענטיוו פּאַרטיסאַפּאַנץ, דעמאָלט קיין ווירקונג פון די באַהאַנדלונג קענען זייַן געוואשן אויס דורך ראַש באַקענענ פֿון ינאַטענטיוו פּאַרטיסאַפּאַנץ, און אין פיר די נומער פון ינאַטענטיוו פּאַרטיסאַפּאַנץ קענען זייַן היפּש. אין דער עקספּערימענט פון הובער און חברים (2012) וועגן 30% פון פּאַרטיסאַפּאַנץ ניט אַנדערש יקערדיק ופמערקזאַמקייַט סקרעענערס. אן אנדער פּראָבלעם פּראָסט מיט טורקערס איז ניט-נאַיוו פּאַרטיסאַפּאַנץ (Chandler et al. 2015) .

דריט, קאָרעוו צו עטלעכע אנדערע Forms פון דיגיטאַל יקספּעראַמאַנץ, מטורק יקספּעראַמאַנץ קענען ניט וואָג; Stewart et al. (2015) עסטאַמאַץ אַז אין קיין געגעבן צייַט עס זענען בלויז וועגן 7,000 מענטשן אויף מטורק.

צום סוף, איר זאָל וויסן אַז מטורק איז אַ קהל מיט זייַן אייגן כּללים און נאָרמז (Mason and Suri 2012) . אין דער זעלביקער וועג אַז איר וואָלט פּרובירן צו געפֿינען אויס וועגן דעם קולטור פון אַ לאַנד ווו איר זענען געגאנגען צו לויפן דיין יקספּעראַמאַנץ, איר זאָל פּרובירן צו געפֿינען אויס מער וועגן די קולטור און נאָרמז פון טורקערס (Salehi et al. 2015) . און, איר זאָל וויסן אַז די טורקערס וועט זיין גערעדט וועגן דיין עקספּערימענט אויב איר טאָן עפּעס ינאַפּראָופּרייט אָדער אַנעטיקאַל (Gray et al. 2016) .

מטורק איז אַ ינקרעדאַבלי באַקוועם וועג צו רעקרוט פּאַרטיסאַפּאַנץ צו דיין יקספּעראַמאַנץ, צי זיי זענען לאַב-ווי, אַזאַ ווי Huber, Hill, and Lenz (2012) , אָדער מער פעלד-ווי, אַזאַ ווי Mason and Watts (2009) , Goldstein, McAfee, and Suri (2013) , Goldstein et al. (2014) , Horton and Zeckhauser (2016) , און Mao et al. (2016) .

• בויען אייער אייגן פּראָדוקט (אָפּטיילונג 4.5.1.3)

אויב איר זענט טראכטן פון טריינג צו מאַכן דיין אייגן פּראָדוקט, איך רעקאָמענדירן אַז איר לייענען די עצה געפֿינט דורך די מאָוויעלענס גרופּע אין Harper and Konstan (2015) . א שליסל ינסייט פון זייער דערפאַרונג איז אַז פֿאַר יעדער מצליח פּרויעקט עס זענען פילע, פילע פאַילורעס. לעמאָשל, די מאָוויעלענס גרופּע לאָנטשט אנדערע פּראָדוקטן אַזאַ ווי גאָפעראַנסווערס וואָס זענען גאַנץ פאַילורעס (Harper and Konstan 2015) . אן אנדער משל פון אַ פאָרשער פאַילינג בשעת אַטעמפּטינג צו בויען אַ פּראָדוקט איז עדוואַרד קאַסטראָנאָוואַ ס פּרווון צו בויען אַן אָנליין שפּיל גערופֿן אַרדאַן. טראָץ $ 250,000 אין Funding, די פּרויעקט איז געווען אַ פלאָפּ (Baker 2008) . פּראַדזשעקס ווי גאָפעראַנסווערס און אַרדאַן זענען ליידער פיל מער פּראָסט ווי פּראַדזשעקס ווי מאָוויעלענס. צום סוף, ווען איך געזאגט אַז איך האט ניט וויסן פון קיין אנדערע ריסערטשערז וואס האט הצלחה געבויט פּראָדוקטן פֿאַר ריפּיטיד יקספּעראַמאַנטיישאַן דאָ זענען מיינע קרייטיריאַ: 1) פּאַרטיסאַפּאַנץ נוצן דעם פּראָדוקט ווייַל פון וואָס עס גיט זיי (למשל, זיי זענען נישט באַצאָלט און זיי זענען נישט וואַלאַנטירז העלפּינג וויסנשאַפֿט) און 2) די פּראָדוקט האט שוין געניצט פֿאַר מער ווי איין בוילעט עקספּערימענט (ד"ה, ניט דער זעלביקער עקספּערימענט קייפל מאל מיט פאַרשידענע באַטייליקטער פּאָאָלס). אויב איר וויסן פון אנדערע יגזאַמפּאַלז, ביטע לאָזן מיר וויסן.

• שוטעף מיט די שטאַרק (אָפּטיילונג 4.5.2)

איך ווע געהערט די געדאַנק פון Pasteur ס קוואַדראַנט דיסקאַסט אָפט בייַ טעק קאָמפּאַניעס, און עס העלפּס אָרגאַניזירן פאָרשונג השתדלות בייַ גוגל (Spector, Norvig, and Petrov 2012) .

בונד און חברים 'לערנען (2012) אויך אַטטעמפּץ צו דיטעקט די ווירקונג פון די טריטמאַנץ אויף די Friends פון יענע וואס באקומען זיי. ווייַל פון דעם פּלאַן פון דער עקספּערימענט, די ספּיללאָווערס זענען שווער צו דיטעקט קלינלי; אינטערעסירט לייענער זאָל זען Bond et al. (2012) פֿאַר אַ מער גרונטיק דיסקוסיע. דעם עקספּערימענט איז אַ טייל פון אַ לאַנג מסורה פון יקספּעראַמאַנץ אין פּאָליטיש וויסנשאַפֿט אויף השתדלות צו מוטיקן אָפּשטימונג (Green and Gerber 2015) . דאס באַקומען-אויס-דעם-שטימען יקספּעראַמאַנץ זענען פּראָסט אין טייל ווייַל זיי זענען אין Pasteur ס קוואַדראַנט. אַז איז, עס זענען פילע מענטשן וואס זענען מאָוטאַווייטאַד צו פאַרגרעסערן אָפּשטימונג און אָפּשטימונג קענען זיין אַ טשיקאַווע אָפּפירונג צו פּרובירן מער אַלגעמיין טיריז וועגן אָפּפירונג טוישן און סאציאלע השפּעה.

אנדערע ריסערטשערז האָבן צוגעשטעלט עצה וועגן פליסנדיק פעלד יקספּעראַמאַנץ מיט שוטעף אָרגאַניזאַציעס אַזאַ ווי פּאָליטיש פּאַרטיעס, גאָוז, און ביזנעסער (Loewen, Rubenson, and Wantchekon 2010; List 2011; Gueron 2002) . אנדערע האָבן געפֿינט עצה וועגן ווי פּאַרטנערשיפּס מיט אָרגאַניזאַציעס קענען פּראַל פאָרשונג דיזיינז (Green, Calfano, and Aronow 2014; King et al. 2007) . פּאַרטנערשיפּ קענען אויך פירן צו עטישע שאלות (Humphreys 2015; Nickerson and Hyde 2016) .

• פּלאַן עצה (אָפּטיילונג 4.6)

אויב איר זענען געגאנגען שאַפֿן אַ אַנאַליסיס פּלאַן איידער פליסנדיק דיין עקספּערימענט, איך פֿאָרשלאָגן אַז איר אָנהייב דורך לייענען ריפּאָרטינג גיידליינז. די קאָנסאָרט (קאָנסאָלידאַטעד נאָרמאַל רעפּאָרטינג פון טריאַלס) גיידליינז זענען דעוועלאָפּעד אין מעדיצין (Schulz et al. 2010) און modified פֿאַר געזעלשאַפטלעך פאָרשונג (Mayo-Wilson et al. 2013) . א פֿאַרבונדענע שטעלן פון גיידליינז האט שוין דעוועלאָפּעד דורך די רעדאקציע פון דער זשורנאַל פון עקספּערימענטאַל פּאָליטיש וויסנשאַפֿט (Gerber et al. 2014) (זען אויך Mutz and Pemantle (2015) און Gerber et al. (2015) ). צום סוף, ריפּאָרטינג גיידליינז האָבן שוין דעוועלאָפּעד אין פּסיכאָלאָגיע (Group 2008) , און זען אויך Simmons, Nelson, and Simonsohn (2011) .

אויב איר מאַכן אַ אַנאַליסיס פּלאַן איר זאָל באַטראַכטן PRE-רעדזשיסטערינג עס ווייַל פֿאַר-רעגיסטראַציע וועט פאַרגרעסערן די בטחון אַז אנדערע האָבן אין דיין רעזולטאַטן. ווייַטער, אויב איר זענען אַרבעט מיט אַ שוטעף, עס וועט שיעור דיין שוטעף ס פיייקייַט צו טוישן די אַנאַליסיס נאָך געזען די רעזולטאַטן. Pre-רעגיסטראַציע איז שיין ינקריסינגלי פּראָסט אין פּסיכאָלאָגיע (Nosek and Lakens 2014) , פּאָליטיש וויסנשאַפֿט (Humphreys, Sierra, and Windt 2013; Monogan 2013; Anderson 2013; Gelman 2013; Laitin 2013) , און עקאָנאָמיק (Olken 2015) .

בשעת קריייטינג דיין פֿאַר-אַנאַליסיס פּלאַן איר זאָל זיין אַווער אַז עטלעכע ריסערטשערז אויך נוצן ראַגרעשאַן און פֿאַרבונדענע אַפּראָוטשיז צו פֿאַרבעסערן די פּינטלעכקייַט פון די עסטימאַטעד באַהאַנדלונג ווירקונג, און עס איז עטלעכע דעבאַטע וועגן דעם צוגאַנג: Freedman (2008) , Lin (2013) , און Berk et al. (2013) ; זען Bloniarz et al. (2016) פֿאַר מער אינפֿאָרמאַציע.

פּלאַן עצה ספּעסיפיקאַללי פֿאַר אָנליין פעלד יקספּעראַמאַנץ איז אויך דערלאנגט אין Konstan and Chen (2007) און Chen and Konstan (2015) .

• שאַפֿן נול בייַטעוודיק פּרייַז דאַטן (אָפּטיילונג 4.6.1)

פֿאַר מער אויף די מוסיקלאַב יקספּעראַמאַנץ, זען Salganik, Dodds, and Watts (2006) , Salganik and Watts (2008) , Salganik and Watts (2009b) , Salganik and Watts (2009a) , און Salganik (2007) . פֿאַר מער אויף געווינער-נעמען-אַלע מאַרקעץ, זען Frank and Cook (1996) . פֿאַר מער אויף ונטאַנגלינג גליק און בקיעס מער בכלל, זען Mauboussin (2012) , Watts (2012) , און Frank (2016) .

עס איז אן אנדער צוגאַנג צו ילימאַנייטינג באַטייליקטער פּיימאַנץ אַז ריסערטשערז זאָל נוצן מיט וואָרענען: קאָנסקריפּטיאָן. אין פילע אָנליין פעלד יקספּעראַמאַנץ פּאַרטיסאַפּאַנץ זענען בייסיקלי דראַפטעד זיך יקספּעראַמאַנץ און קיינמאָל קאַמפּאַנסייטאַד. עקסאַמפּלעס פון דעם צוגאַנג אַרייַננעמען רעסטיוואָ און וואַן דע רידזשט ס (2012) עקספּערימענט אויף ריוואָרדז אין וויקיפּעדיע און באָנד און קאָלעגע 'ס (2012) עקספּערימענט אויף ענקערידזשינג מענטשן צו שטימען. די יקספּעראַמאַנץ טאָן ניט טאַקע האָבן נול בייַטעוודיק פּרייַז, זיי האָבן נול בייַטעוודיק פּרייַז צו ריסערטשערז. אַפֿילו כאָטש דער פּרייַז פון פילע פון ​​די יקספּעראַמאַנץ איז גאָר קליין צו יעדער באַטייליקטער, קליין קאָס ימפּאָוזד אַ ריזיק נומער פון פּאַרטיסאַפּאַנץ קענען לייגן אַרויף געשווינד. רעסעאַרטשערס פליסנדיק מאַסיוו אָנליין יקספּעראַמאַנץ אָפֿט באַרעכטיקן די וויכטיקייט פון קליין עסטימאַטעד באַהאַנדלונג ווירקונג דורך זאגן אַז די קליין ווירקונג קענען ווערן וויכטיק ווען געווענדט צו פילע מענטשן. די פּינטלעך זעלביקער טראכטן אַפּלייז צו קאָס אַז ריסערטשערז אָנטאָן אויף פּאַרטיסאַפּאַנץ. אויב דיין יקספּעראַמאַנץ ז איין מיליאָן מענטשן צו וויסט איין מינוט, דער עקספּערימענט איז נישט זייער שעדלעך צו קיין באַזונדער מענטש, אָבער אין געמיינזאַם עס האט ווייסטאַד כּמעט צוויי יאר פון צייַט.

אן אנדער צוגאַנג צו קריייטינג נול בייַטעוודיק פּרייַז צאָלונג צו פּאַרטיסאַפּאַנץ איז צו נוצן אַ לאָטעריע, אַ צוגאַנג וואָס האט אויך געווען געניצט אין יבערבליק פאָרשונג (Halpern et al. 2011) . צום סוף, פֿאַר מער וועגן דיזיינינג ענדזשויאַבאַל באַניצער-יקספּיריאַנסיז זען Toomim et al. (2011) .

• רעפּלאַסע, אויסאיידל, און רעדוצירן (אָפּטיילונג 4.6.2)

דאָ זענען די אָריגינעל זוך פון די דרייַ ר, פֿון Russell and Burch (1959) :

"רעפּלאַסעמענט מיטל די סאַבסטיטושאַן פֿאַר באַוווסטזיניק לעבעדיק העכער אַנימאַלס פון ינסענטיענט מאַטעריאַל. רעדוקציע מיטל רעדוקציע אין די נומערן פון אַנימאַלס געניצט צו קריגן אינפֿאָרמאַציע פון ​​אַ געגעבן סומע און פּינטלעכקייַט. ראַפינירטקייַט מיטל קיין פאַרקלענערן אין די ינסידאַנס אָדער שטרענגקייַט פון ינכיומיין פּראָוסידזשערז געווענדט צו די חיות וואָס נאָך האָבן צו ווערן געניצט. "

די דרייַ ר 'ס אַז איך פאָרשלאָגן טאָן ניט אָווועררייד די עטישע פּרינציפּן דיסקרייבד אין פּרק 6. אלא, זיי זענען אַ מער ילאַבערייטאַד ווערסיע איינער פון יענע פּרינציפּן-וווילטעטיקייַט-ספּעסיפיקאַללי פֿאַר די באַשטעטיקן פון מענטשלעך יקספּעראַמאַנץ.

ווען קאַנסידערינג עמאָציאָנעל קאָנטאַגיאָן, עס זענען דרייַ ניט-עטישע ישוז צו האַלטן אין מיינונג ווען ינטערפּרעטינג דעם עקספּערימענט. ערשטער, עס איז נישט קלאָר ווי די פאַקטיש דעטאַילס פון דער עקספּערימענט פאַרבינדן צו די טעאָרעטיש קליימז; אין אנדערע ווערטער, עס זענען שאלות וועגן בויען גילטיקייַט. עס איז נישט קלאָר אַז די positive און נעגאַטיוו וואָרט קאַונץ זענען אַקטשאַוואַלי אַ גוט גראדן פון די עמאָציאָנעל שטאַט פון פּאַרטיסאַפּאַנץ ווייַל 1) עס איז נישט קלאָר וואָס די ווערטער וואָס מענטשן פּאָסטן זענען אַ גוט גראדן פון זייער ימאָושאַנז און 2) עס איז נישט קלאָר אַז די באַזונדער סענטימענט אַנאַליסיס טעכניק אַז די ריסערטשערז געניצט איז ביכולת צו רילייאַבלי אָפּלערנען ימאָושאַנז (Beasley and Mason 2015; Panger 2016) . אין אנדערע ווערטער, עס זאל זיין אַ שלעכט מאָס פון אַ בייאַסט סיגנאַל. רגע, די פּלאַן און אַנאַליסיס פון דער עקספּערימענט דערציילט אונדז גאָרנישט וועגן וואס איז געווען רובֿ ימפּאַקטיד (ד"ה, עס איז קיין אַנאַליסיס פון העטעראָגענעיטי פון באַהאַנדלונג ווירקונג) און וואָס די מעקאַניזאַם זאל זיין. אין דעם פאַל, די ריסערטשערז האט גורל פון אינפֿאָרמאַציע וועגן די פּאַרטיסאַפּאַנץ, אָבער זיי זענען יסענשאַלי באהאנדלט ווי ווידגעץ אין די אַנאַליסיס. דריט, די ווירקונג גרייס אין דעם עקספּערימענט איז געווען זייער קליין; די חילוק צווישן די באַהאַנדלונג און קאָנטראָל טנאָים איז וועגן 1 אין 1,000 ווערטער. אין זייער פּאַפּיר, קראַמער און חברים מאַכן די פאַל אַז אַ ווירקונג פון דעם גרייס איז וויכטיק ווייַל הונדערטער פון מיליאַנז פון מענטשן צוטריט זייער News קאָרמען יעדער טאָג. אין אנדערע ווערטער, זיי טייַנען אַז אַפֿילו ווירקונג אַז ביסט קליין פֿאַר יעדער מענטש זיי זענען גרויס אין געמיינזאַם. אַפֿילו אויב איר זענען צו אָננעמען דעם אַרגומענט, עס איז נאָך נישט קלאָר אויב אַ ווירקונג פון דעם גרייס איז וויכטיק וועגן די מער אַלגעמיין SCIENTIFIC קשיא וועגן עמאָציאָנעל קאַנטיידזשאַן. פֿאַר מער אויף די סיטואַטיאָנס ווו קליין ווירקונג זענען וויכטיק זען Prentice and Miller (1992) .

אין ווערטער פון דער ערשטער ר (רעפּלאַסעמענט), קאַמפּערינג די עמאָציאָנעל קאָנטאַגיאָן עקספּערימענט (Kramer, Guillory, and Hancock 2014) און די עמאָציאָנעל קאַנטיידזשאַן נאַטירלעך עקספּערימענט (Coviello et al. 2014) Offers עטלעכע גענעראַל לעקציעס וועגן דעם האַנדל-אָפפס ינוואַלווד מיט מאָווינג פון יקספּעראַמאַנץ צו נאַטירלעך יקספּעראַמאַנץ (און אנדערע אַפּראָוטשיז ווי וואָס ריכטן זיך אַז פּרווון צו דערנענטערנ זיך יקספּעראַמאַנץ אין ניט-יקספּערמענאַל דאַטן, זען טשאַפּטער 2). אין דערצו צו די עטישע Benefits, סוויטשינג פון יקספּערמענאַל צו ניט-יקספּערמענאַל שטודיום אויך ינייבאַלז ריסערטשערז צו לערנען טריטמאַנץ אַז זיי זענען לאָגיסטיקאַללי געקענט צו צעוויקלען. די עטישע און לאַדזשיסטיקאַל Benefits קומען אין אַ פּרייַז, אָבער. מיט נאַטירלעך יקספּעראַמאַנץ ריסערטשערז האָבן ווייניקער קאָנטראָל איבער זאכן ווי ראַקרוטמאַנט פון פּאַרטיסאַפּאַנץ, ראַנדאָמיזאַטיאָן, און די נאַטור פון די באַהאַנדלונג. לעמאָשל, איין באַגרענעצונג פון רעגן ווי אַ באַהאַנדלונג איז אַז עס איז ביידע ינקריסיז פּאָסיטיוויטי און דיקריסיז נעגאַטיוואַטי. אין די יקספּערמענאַל לערנען, אָבער, קראַמער און חברים זענען ביכולת צו סטרויערן פּאָסיטיוויטי און נעגאַטיוואַטי ינדיפּענדאַנטלי.

די באַזונדער צוגאַנג געניצט דורך Coviello et al. (2014) איז געווען ווייַטער ילאַבערייטאַד אין Coviello, Fowler, and Franceschetti (2014) . פֿאַר אַן הקדמה צו ינסטרומענטאַל וועריאַבאַלז זען Angrist and Pischke (2009) (ווייניקער פאָרמאַל) אָדער Angrist, Imbens, and Rubin (1996) (מער פאָרמאַל). פֿאַר אַ סקעפּטיקאַל אָפּשאַצונג פון ינסטרומענטאַל וועריאַבאַלז זען Deaton (2010) , און פֿאַר אַן הקדמה צו ינסטרומענטאַל וועריאַבאַלז מיט שוואַך ינסטראַמאַנץ (רעגן איז אַ שוואַך קיילע), זען Murray (2006) .

מער בכלל, אַ גוט הקדמה צו נאַטירלעך יקספּעראַמאַנץ איז Dunning (2012) , און Rosenbaum (2002) , Rosenbaum (2009) , און Shadish, Cook, and Campbell (2001) פאָרשלאָגן גוט געדאנקען וועגן עסטאַמייטינג קאַוסאַל ווירקונג אָן יקספּעראַמאַנץ.

אין ווערטער פון די רגע ר (ראַפינירטקייַט), עס זענען SCIENTIFIC און לאַדזשיסטיקאַל האַנדל-אָפפס ווען קאַנסידערינג טשאַנגינג די פּלאַן פון עמאָציאָנעל קאָנטאַגיאָן פון בלאַקינג הודעות צו בוסטינג הודעות. פֿאַר משל, עס מייַ זייַן די פאַל אַז די טעכניש ימפּלאַמענטיישאַן פון נייעס קאָרמען מאכט עס איז סאַבסטאַנשאַלי גרינגער צו טאָן אַן עקספּערימענט מיט בלאַקינג הודעות אלא ווי אַן עקספּערימענט מיט בוסטינג הודעות (טאָן אַז אַן עקספּערימענט מיט בלאַקינג הודעות קען זיין ימפּלאַמענטאַד ווי אַ שיכטע אויף שפּיץ פון נייעס קאָרמען סיסטעם אָן קיין נויט פֿאַר אָלטעריישאַנז פון די אַנדערלייינג סיסטעם). ססיענטיפיקאַללי, אָבער, די טעאָריע גערעדט דורך דער עקספּערימענט האט נישט קלאר פֿאָרשלאָגן איין פּלאַן איבער די אנדערע.

צום באַדויערן, איך בין נישט אַווער פון היפּש פריערדיק פאָרשונג וועגן די קאָרעוו מעריץ פון בלאַקינג און בוסטינג צופרידן אין נייעס קאָרמען. אויך, איך האב נישט געזען פיל פאָרשונג וועגן רעפינינג טריטמאַנץ צו מאַכן זיי ווייניקער שעדלעך; איין אויסנאַם איז Jones and Feamster (2015) , וואָס האלט דער פאַל פון מעזשערמאַנט פון אינטערנעט צענזור (אַ טעמע איך דיסקוטירן אין פּרק 6 אין שייכות צו די אַנקאָר לערנען (Burnett and Feamster 2015; Narayanan and Zevenbergen 2015) ).

אין טערמינען פון די דריט ר (רעדוקציע), אַ גוט הקדמה צו בעקאַבאָלעדיק מאַכט אַנאַליסיס איז Cohen (1988) . Pre-באַהאַנדלונג קאָוואַריאַטעס קענען ווערן אין דער פּלאַן בינע און די אַנאַליסיס בינע פון ​​יקספּעראַמאַנץ; טשאַפּטער 4 פון Gerber and Green (2012) גיט אַ גוט הקדמה צו ביידע אַפּראָוטשיז, און Casella (2008) גיט אַ מער אין-טיפקייַט באַהאַנדלונג. טעקניקס אַז נוצן דעם פֿאַר באַהאַנדלונג אינפֿאָרמאַציע אין די ראַנדאָמיזאַטיאָן זענען טיפּיקלי גערופֿן אָדער בלאַקט יקספּערמענאַל דיזיינז אָדער סטראַטיפיעד יקספּערמענאַל דיזיינז (די טערמינאָלאָגיע איז נישט געניצט קאַנסיסטאַנטלי אַריבער קהילות); די טעקניקס זענען דיפּלי שייך צו די סטראַטיפיעד מוסטערונג טעקניקס דיסקאַסט אין פּרק 3. זען Higgins, Sävje, and Sekhon (2016) פֿאַר מער אויף ניצן די דיזיינז אין מאַסיוו יקספּעראַמאַנץ. Pre-באַהאַנדלונג קאָוואַריאַטעס קענען אויך ווערן אין די אַנאַליסיס בינע. McKenzie (2012) יקספּלאָרז די חילוק-אין-חילוק צוגאַנג צו אַנאַלייזינג פעלד יקספּעראַמאַנץ אין גרעסער דעטאַל. זען Carneiro, Lee, and Wilhelm (2016) פֿאַר מער אויף די האַנדל-אָפפס צווישן פאַרשידענע אַפּראָוטשיז צו פאַרגרעסערן פּינטלעכקייַט אין עסטאַמאַץ פון באַהאַנדלונג ווירקונג. צום סוף, ווען דאַסיידינג צי צו פּרובירן צו אַרייַננעמען פֿאַר באַהאַנדלונג קאָוואַריאַטעס בייַ די פּלאַן אָדער אַנאַליסיס בינע (אָדער ביידע), עס זענען אַ ביסל סיבות צו באַטראַכטן. אין אַ באַשטעטיקן ווו ריסערטשערז ווילן צו ווייַזן אַז זיי זענען נישט "פישערייַ" (Humphreys, Sierra, and Windt 2013) , ניצן פֿאַר באַהאַנדלונג קאָוואַריאַטעס אין דער פּלאַן בינע קענען זיין נוציק (Higgins, Sävje, and Sekhon 2016) . אין סיטואַטיאָנס ווו פּאַרטיסאַפּאַנץ אָנקומען סאַקווענטשאַלי, ספּעציעל אָנליין פעלד יקספּעראַמאַנץ, ניצן פֿאַר באַהאַנדלונג אינפֿאָרמאַציע אין דער פּלאַן בינע מייַ זיין שווער לאָגיסטיקאַללי, זען למשל Xie and Aurisset (2016) .

עס איז ווערט אַדינג אַ ביסל פון ינטוישאַן וועגן וואָס חילוק-אין-חילוק קענען זייַן אַזוי פיל מער עפעקטיוו ווי חילוק-אין-מיטל. פילע אָנליין אַוטקאַמז האָבן זייער הויך צעטיילט (זען למשל, Lewis and Rao (2015) און Lamb et al. (2015) ) און זענען לעפיערעך סטאַביל איבער צייַט. אין דעם פאַל, דער ענדערונג כעזשבן וועט האָבן סאַבסטאַנשאַלי קלענערער צעטיילט, ינקריסינג די מאַכט פון די סטאַטיסטיש פּרובירן. איין סיבה דעם אַפּראָוטשט איז ניט געוויינט מער אָפט איז אַז פריערדיק צו די דיגיטאַל עלטער עס איז נישט פּראָסט צו האָבן פֿאַר באַהאַנדלונג אַוטקאַמז. א מער קאָנקרעט וועג צו טראַכטן וועגן עס איז צו ימאַדזשאַן אַן עקספּערימענט צו מעסטן צי אַ ספּעציפיש געניטונג רוטין ז וואָג אָנווער. אויב איר טאָן אַ חילוק אין-מיטל צוגאַנג, דיין אָפּשאַצונג וועט האָבן וועריאַביליטי אַז קומט פון די וועריאַביליטי אין ווייץ אין די באַפעלקערונג. אויב איר טאָן אַ חילוק אין-חילוק צוגאַנג, אָבער, אַז געוויינטלעך געשעעניש ווערייישאַן אין ווייץ געץ אַוועקגענומען און איר קענען מער לייכט דיטעקט אַ חילוק געפֿירט דורך די באַהאַנדלונג.

איינער וויכטיק וועג צו רעדוצירן די נומער פון פּאַרטיסאַפּאַנץ אין דיין עקספּערימענט איז צו אָנפירן אַ מאַכט אַנאַליסיס, וואָס קראַמער און חברים קען האָבן געטאן באזירט אויף די ווירקונג סיזעס באמערקט פון די נאַטירלעך עקספּערימענט דורך Coviello et al. (2014) אָדער פריער ניט-יקספּערמענאַל פאָרשונג דורך קראַמער (2012) (אין פאַקט די ביסט אַקטיוויטעטן אין די סוף פון דעם קאַפּיטל). נאָטיץ אַז דאָס נוצן פון מאַכט אַנאַליסיס איז אַ ביסל אַנדערש ווי טיפּיש. אין דער אַנאַלאָג עלטער, ריסערטשערז בכלל האט מאַכט אַנאַליסיס צו מאַכן זיכער אַז זייער לערנען איז געווען ניט אויך קליין (ד"ה, אונטער-פּאַוערד). איצט, אָבער, ריסערטשערז זאָל טאָן מאַכט אַנאַליסיס צו מאַכן זיכער אַז זייער לערנען איז נישט אויך גרויס (ד"ה, איבער-פּאַוערד).

צום סוף, איך באטראכט אַדינג 1/4 ר: רעפּורפּאָסע. אַז איז, אויב ריסערטשערז געפינען זיך מיט מער יקספּערמענאַל דאַטן ווי זיי דאַרפֿן צו אַדרעס זייער אָריגינעל פאָרשונג קשיא, זיי זאָל רעפּורפּאָסע די דאַטן צו פרעגן נייַ שאלות. לעמאָשל, ימאַדזשאַן אַז קראַמער און חברים האט געניצט אַ חילוק אין-חילוק עסטימאַטאָר און געפֿונען זיך מיט מער דאַטן ווי דארף צו אַדרעס זייער פאָרשונג קשיא. אלא ווי ניט ניצן די דאַטן צו די פוללעסט מאָס, זיי קען האָבן געלערנט די גרייס פון דער ווירקונג ווי אַ פֿונקציע צו פֿאַר-באַהאַנדלונג עמאָציאָנעל אויסדרוק. פּונקט ווי Schultz et al. (2007) געפֿונען אַז די ווירקונג פון די באַהאַנדלונג איז געווען אַנדערש פֿאַר ליכט און שווער ניצערס, טאָמער די ווירקונג פון נייעס קאָרמען זענען אַנדערש פֿאַר מענטשן וואס שוין טענדיד צו פּאָסטן צופרידן (אָדער טרויעריק) אַרטיקלען. רעפּורפּאָסינג קען פירן צו "פישערייַ" (Humphreys, Sierra, and Windt 2013) און "פּ-כאַקינג" (Simmons, Nelson, and Simonsohn 2011) , אָבער די זענען לאַרגעלי אַדדרעססאַבלע מיט אַ קאָמבינאַציע פון ערלעך ריפּאָרטינג (Simmons, Nelson, and Simonsohn 2011) , פֿאַר-רעגיסטראַציע (Humphreys, Sierra, and Windt 2013) , און מאַשין וויסן מעטהאָדס אַז פּרווון צו ויסמייַדן איבער-פּאַסן.