4.4.1 וואַלידיטי

גילטיקייַט רעפערס צו ווי פיל די רעזולטאטן פון אַן עקספּערימענט שטיצן אַ מער גענעראַל מסקנא.

ניט קיין עקספּערימענט איז גאנץ, און ריסערטשערז האָבן דעוועלאָפּעד אַ ברייט וואָקאַבולאַרי צו באַשרייַבן מעגלעך פּראָבלעמס. וואַלידיטי רעפערס צו די מאָס צו וואָס די רעזולטאַטן פון אַ באַזונדער עקספּערימענט שטיצן עטלעכע מער גענעראַל מסקנא. סאציאל סיינטיס האָבן געפֿונען עס נוציק צו שפּאַלטן גילטיקייַט זיך פיר הויפּט טייפּס: סטאַטיסטיש מסקנא גילטיקייַט, ינערלעך גילטיקייַט, בויען גילטיקייַט, און פונדרויסנדיק גילטיקייַט (Shadish, Cook, and Campbell 2001, Ch 2) . מאַסטערינג די קאַנסעפּס וועט צושטעלן איר אַ גייַסטיק טשעקליסט פֿאַר קריטיקווינג און ימפּרוווינג די פּלאַן און אַנאַליסיס פון אַן עקספּערימענט, און עס וועט העלפן איר יבערגעבן מיט אנדערע ריסערטשערז.

סטאַטיסטיש מסקנא גילטיקייַט סענטערס אַרום צי די סטאַטיסטיש אַנאַליסיס פון דער עקספּערימענט איז געטאן ריכטיק. אין דעם קאָנטעקסט פון Schultz et al. (2007) אַזאַ קשיא זאל צענטער אויף צי זיי קאַמפּיוטאַד זייער פּ-וואַלועס ריכטיק. סטאַטיסטיש אַנאַליסיס איז אויסער די פאַרנעם פון דעם בוך, אָבער איך קענען זאָגן אַז די סטאַטיסטיש פּרינציפּן דארף צו פּלאַן און אַנאַלייז יקספּעראַמאַנץ האָבן נישט געביטן אין די דיגיטאַל עלטער. אָבער, די פאַרשידענע דאַטן סוויווע אין דיגיטאַל יקספּעראַמאַנץ טוט שאַפֿן נייַ סטאַטיסטיש אַפּערטונאַטיז (למשל, ניצן מאַשין לערנען מעטהאָדס צו אָפּשאַצונג העטעראָגענעיטי פון באַהאַנדלונג ווירקונג (Imai and Ratkovic 2013) ) און נייַ קאַמפּיוטיישאַנאַל טשאַלאַנדזשיז (למשל, בלאַקינג אין מאַסיוו יקספּעראַמאַנץ (Higgins, Sävje, and Sekhon 2016) ).

אינערלעכער גילטיקייַט סענטערס אַרום צי די יקספּערמענאַל פּראָוסידזשערז זענען געטאן ריכטיק. אומגעקערט צו דער עקספּערימענט פון Schultz et al. (2007) , שאלות וועגן ינערלעך גילטיקייַט קען צענטער אַרום די ראַנדאָמיזאַטיאָן, עקספּרעס פון די באַהאַנדלונג, און מעאַסורעמענט פון אַוטקאַמז. לעמאָשל, איר זאל זיין זארגן אַז די פאָרשונג אַסיסטאַנץ האט ניט לייענען די עלעקטריק מעטער רילייאַבלי. אין פאַקט, שולץ און חברים זענען באַזאָרגט וועגן דעם פּראָבלעם און זיי האט אַ מוסטער פון מעטער לייענען צוויי מאָל; צומ גליק, די רעזולטאַטן זענען געווען יסענשאַלי יידעניקאַל. אין אַלגעמיין, שולץ און חברים 'עקספּערימענט אויס צו האָבן הויך ינערלעך גילטיקייַט, אָבער דאָס איז נישט שטענדיק דער פאַל; קאָמפּלעקס פעלד און אָנליין יקספּעראַמאַנץ אָפֿט לויפן אין פּראָבלעמס אַקטשאַוואַלי דעליווערינג די רעכט באַהאַנדלונג צו די רעכט מענטשן און מעסטן די אַוטקאַמז פֿאַר אַלעמען. צומ גליק, די דיגיטאַל עלטער קענען העלפן רעדוצירן קאַנסערנז וועגן ינערלעך גילטיקייַט ווייַל עס מאכט עס גרינגער צו ענשור אַז די באַהאַנדלונג איז איבערגעגעבן ווי דיזיינד צו יענע, וואס זענען געמיינט צו באַקומען עס און צו מעסטן אַוטקאַמז פֿאַר אַלע פּאַרטיסאַפּאַנץ.

בויען גילטיקייַט סענטערס אַרום די גלייַכן צווישן די דאַטן און די טעאָרעטיש קאַנסטראַקץ. ווי דיסקאַסט אין טשאַפּטער 2, קאַנסטראַקץ זענען אַבסטראַקט קאַנסעפּס אַז געזעלשאַפטלעך סייאַנטיס סיבה וועגן. צום באַדויערן, די אַבסטראַקט קאַנסעפּס טאָן ניט שטענדיק האָבן קלאָר זוך און מעזשערמאַנץ. אומגעקערט צו Schultz et al. (2007) , די פאָדערן אַז ינדזשונקטיווע געזעלשאַפטלעך נאָרמז קענען נידעריקער עלעקטרע נוצן ריקווייערז ריסערטשערז צו פּלאַן אַ באַהאַנדלונג וואָס וואָלט מאַניפּולירן "ינדזשונקטיווע געזעלשאַפטלעך נאָרמז" (למשל, אַ אַמאָוטאַקאַן) און צו מעסטן "עלעקטרע נוצן". אין אַנאַלאָג יקספּעראַמאַנץ, פילע ריסערטשערז דיזיינד זייער אייגן טריטמאַנץ און געמאסטן זייער אייגן אַוטקאַמז. דעם צוגאַנג ענשורז אַז, ווי פיל ווי מעגלעך, די יקספּעראַמאַנץ גלייַכן די אַבסטראַקט קאַנסטראַקץ ווייל געלערנט. אין דיגיטאַל יקספּעראַמאַנץ ווו ריסערטשערז שוטעף מיט קאָמפּאַניעס אָדער גאַווערמאַנץ צו באַפרייַען טריטמאַנץ און נוצן שטענדיק-אויף דאַטן סיסטעמען צו מאָס אַוטקאַמז, די גלייַכן צווישן די עקספּערימענט און די טעאָרעטיש קאַנסטראַקץ מייַ ווערן ווייניקער ענג. אזוי, איך דערוואַרטן אַז בויען גילטיקייַט וועט טענד צו זייַן אַ ביגער דייַגע אין דיגיטאַל יקספּעראַמאַנץ ווי אַנאַלאָג יקספּעראַמאַנץ.

צום סוף, פונדרויסנדיק גילטיקייַט סענטערס אַרום צי די רעזולטאטן פון דעם עקספּערימענט וואָלט גענעראַליזע צו אנדערע סיטואַטיאָנס. אומגעקערט צו Schultz et al. (2007) , מען קען פרעגן, וועט דאָס זעלבע געדאַנק-פּראַוויידינג מענטשן אינפֿאָרמאַציע וועגן זייער ענערגיע באַניץ אין שייכות צו זייער פּירז און אַ סיגנאַל פון ינדזשונקטיווע נאָרמז (למשל, אַ אַמאָוטאַקאַן) -רעדוסע ענערגיע באַניץ אויב עס איז געשען אין אַ אַנדערש וועג אין אַ אַנדערש באַשטעטיקן? פֿאַר רובֿ געזונט-דיזיינד און געזונט-לויפן יקספּעראַמאַנץ, קאַנסערנז וועגן פונדרויסנדיק גילטיקייַט זענען די כאַרדאַסט צו אַדרעס. אין דער פאַרגאַנגענהייַט, די וויכוחים וועגן פונדרויסנדיק גילטיקייַט זענען אָפט נאָר אַ בינטל פון מענטשן זיצן אין אַ צימער טריינג צו ימאַדזשאַן וואָס וואָלט האָבן געשען אויב די פּראָוסידזשערז זענען געטאן אין אַ אַנדערש וועג, אָדער אין אַ אַנדערש אָרט, אָדער מיט פאַרשידענע מענטשן. צומ גליק, די דיגיטאַל עלטער ענייבאַלז ריסערטשערז צו באַוועגן ווייַטער פון די דאַטן-פּאָטער ספּעקיאַליישאַנז און אַססעסס פונדרויסנדיק גילטיקייַט עמפּיריקלי.

ווייַל די רעזולטאַטן פֿון Schultz et al. (2007) געווען אַזוי יקסייטינג, אַ פירמע געהייסן אָפּאָווער פּאַרטנערעד מיט יוטילאַטיז אין די פאַרייניקטע שטאַטן צו צעוויקלען די באַהאַנדלונג מער וויידלי. באַזירט אויף דעם פּלאַן פון Schultz et al. (2007) , אָפּאָווער Created קאַסטאַמייזד היים ענערגיע מעלדעט אַז האט צוויי הויפּט מאַדזשולז, איינער ווייַזונג אַ הויזגעזינד ס עלעקטרע באַניץ קאָרעוו צו זייַן שכנים מיט אַ אַמאָוטאַקאַן און איינער פּראַוויידינג טרינקגעלט פֿאַר לאָוערינג ענערגיע באַניץ (Figure 4.6). דעמאלט, אין שוטפעס מיט ריסערטשערז, אָפּאָווער געלאָפֿן ראַנדאַמייזד קאַנטראָולד יקספּעראַמאַנץ צו אַססעסס די פּראַל פון דער היים ענערגיע רעפּאָרץ. אַפֿילו כאָטש די טריטמאַנץ אין די יקספּעראַמאַנץ זענען טיפּיקלי איבערגעגעבן פֿיזיש-יוזשאַלי דורך אַלט פאַשיאָנעד שנעק פּאָסט-די אַוטקאַם איז געווען געמאסטן ניצן דיגיטאַל דיווייסאַז אין די גשמיות וועלט (למשל, מאַכט מעטער). אלא ווי מאַניואַלי קאַלעקטינג דעם אינפֿאָרמאַציע מיט פאָרשונג אַסיסטאַנץ באזוכן יעדער הויז, די אָפּאָווער יקספּעראַמאַנץ זענען אַלע געטאן אין שוטפעס מיט מאַכט קאָמפּאַניעס ענייבאַלינג די ריסערטשערז צו צוטריט די מאַכט רידינגז. אזוי, די טייל דיגיטאַל פעלד יקספּעראַמאַנץ זענען לויפן בייַ אַ מאַסיוו וואָג בייַ נידעריק בייַטעוודיק קאָסטן.

ציפער 4.6: די היים ענערגיע רעפּאָרץ אין Allcott (2011) האט אַ סאציאל קאָמפּאַריסאָן מאָדולע און אַ קאַמף סטעפּס מאָדולע.

אין אַ ערשטער שטעלן פון יקספּעראַמאַנץ ינוואַלווינג 600,000 כאַוסכאָולדז געדינט דורך 10 נוצן קאָמפּאַניעס אַרום די פאַרייניקטע שטאַטן, Allcott (2011) געפֿונען די היים ענערגיע באריכט לאָוערד עלעקטרע קאַנסאַמשאַן דורך 1.7%. אין אנדערע ווערטער, די רעזולטאַטן פון די פיל גרעסערע, מער געאָגראַפיקאַללי דייווערס לערנען זענען קוואַלאַטייטיוולי ענלעך צו די רעזולטאטן פון Schultz et al. (2007) . אבער, די ווירקונג גרייס איז קלענערער: אין Schultz et al. (2007) די כאַוסכאָולדז אין די דיסקריפּטיוו און ינדזשעקטיווע נאָרמז צושטאַנד (די איין מיט די אַמאָוטאַקאַן) רידוסט זייער עלעקטרע באַניץ דורך 5%. די גענוי סיבה פֿאַר דעם חילוק איז אומבאַקאַנט, אָבער Allcott (2011) ספּעקיאַלייטאַד אַז באקומען אַ כאַנדריטאַן אַמאָוטאַקאַן ווי טייל פון אַ לערנען באצאלטע דורך אַ אוניווערסיטעט זאל האָבן אַ גרעסערע ווירקונג אויף אָפּפירונג ווי באקומען אַ געדרוקט אַמאָוטאַקאַן ווי טייל פון אַ מאַסע Produced מעלדונג פֿון אַ מאַכט פירמע.

ווייטער, אין סאַבסאַקוואַנט פאָרשונג, Allcott (2015) געמאלדן אויף אַן נאָך 101 יקספּעראַמאַנץ ינוואַלווינג אַן נאָך 8,000,000 כאַוסכאָולדז. אין די ווייַטער 101 יקספּעראַמאַנץ די היים ענערגיע באריכט געצויגן צו גרונט מענטשן צו נידעריקער זייער עלעקטרע קאַנסאַמשאַן, אָבער די ווירקונג זענען אַפֿילו קלענערער. די גענוי סיבה פֿאַר דעם אַראָפּגיין איז נישט באקאנט, אָבער Allcott (2015) ספּעקיאַלייטאַד אַז די עפפעקטיווענעסס פון די באַריכט ארויס צו זיין דיקליינינג איבער צייַט ווייַל עס איז געווען אַקטשאַוואַלי ווייל געווענדט צו פאַרשידענע טייפּס פון פּאַרטיסאַפּאַנץ. מער ספּעסיפיקאַללי, יוטילאַטיז אין מער ינווייראַנמענאַליסט געביטן זענען מער מסתּמא אַדאַפּט די פּראָגראַם פריער און זייער קאַסטאַמערז זענען מער אָפּרופיק צו די באַהאַנדלונג. ווי יוטילאַטיז מיט ווייניקער ינווייראַנמענאַל קאַסטאַמערז אנגענומען דעם פּראָגראַם, זייַן עפפעקטיווענעסס באוויזן צו אַראָפּגיין. אזוי, פּונקט ווי ראַנדאָמיזאַטיאָן אין יקספּעראַמאַנץ ינשורז אַז די באַהאַנדלונג און קאָנטראָל גרופּע זענען ענלעך, ראַנדאָמיזאַטיאָן אין פאָרשונג זייטלעך ינשורז אַז די עסטאַמאַץ קענען זייַן דזשענראַלייזד פון אַ איין גרופּע פון ​​פּאַרטיסאַפּאַנץ צו אַ מער אַלגעמיין באַפעלקערונג (טראַכטן צוריק צו טשאַפּטער 3 וועגן מוסטערונג). אויב פאָרשונג זייטלעך זענען נישט סאַמפּאַלד ראַנדאַמלי, דעמאָלט גענעראַליזאַטיאָן-אַפֿילו פֿון אַ בישליימעס דיזיינד און באגלייט עקספּערימענט-קענען זייַן פּראָבלעמאַטיק.

צוזאַמען, די 111 יקספּעראַמאַנץ 10 אין Allcott (2011) און 101 אין Allcott (2015) -ינוואָלוועד וועגן 8,500,000 כאַוסכאָולדז פון אַלע איבער די פאַרייניקטע שטאַטן. זיי קאַנסיסטאַנטלי ווייַזן אַז היים ענערגיע רעפּאָרץ רעדוצירן דורכשניטלעך עלעקטרע קאַנסאַמשאַן, אַ רעזולטאַט אַז שטיצט די אָריגינעל פינדינגס פון שולץ און חברים פון 300 האָמעס אין California. ווייַטער פון נאָר רעפּליקייטינג די אָריגינעל רעזולטאַטן, די נאָכפאָלגן-אַרויף יקספּעראַמאַנץ אויך ווייַזן אַז די גרייס פון דער ווירקונג וועריז דורך אָרט. דעם סכום פון יקספּעראַמאַנץ אויך ילאַסטרייץ צוויי מער אַלגעמיין פּוינץ וועגן צומ טייל דיגיטאַל פעלד יקספּעראַמאַנץ. ערשטער, ריסערטשערז וועט קענען צו עמפּיריקלי אַדרעס קאַנסערנז וועגן פונדרויסנדיק גילטיקייַט ווען די פּרייַז פון פליסנדיק יקספּעראַמאַנץ איז נידעריק, און דעם קענען פּאַסירן אויב די אַוטקאַם איז שוין ווייל געמאסטן דורך אַ שטענדיק-אויף דאַטן סיסטעם. דעריבער, עס סאַגדזשעסץ אַז פאָרשונג זאָל זייַן אויף די קוק-אויס פֿאַר אנדערע טשיקאַווע און וויכטיק ביכייוויערז וואָס זענען שוין ווייל רעקאָרדעד, און דעמאָלט פּלאַן יקספּעראַמאַנץ אויף שפּיץ פון דעם יגזיסטינג מעסטן Infrastructure. רגע, דעם סכום פון יקספּעראַמאַנץ דערמאנט אונדז אַז דיגיטאַל פעלד יקספּעראַמאַנץ זענען ניט נאָר אָנליין; ינקריסינגלי איך דערוואַרטן אַז זיי וועלן זיין אומעטום מיט פילע אַוטקאַמז געמאסטן דורך סענסאָרס אין די געבויט סוויווע.

די פיר טייפּס פון גילטיקייַט-סטאַטיסטיש מסקנא גילטיקייַט, ינערלעך גילטיקייַט, בויען גילטיקייַט, פונדרויסנדיק גילטיקייַט-צושטעלן אַ גייַסטיק טשעקליסט צו העלפן ריסערטשערז אַססעסס צי די רעזולטאטן פון אַ באַזונדער עקספּערימענט שטיצן אַ מער גענעראַל מסקנא. קאַמפּערד צו אַנאַלאָג עלטער יקספּעראַמאַנץ, אין דיגיטאַל עלטער יקספּעראַמאַנץ עס זאָל זיין גרינגער צו אַדרעס פונדרויסנדיק גילטיקייַט עמפּיריקלי און עס זאָל זיין גרינגער צו ענשור ינערלעך גילטיקייַט. אויף די אנדערע האַנט, ישוז פון בויען גילטיקייַט וועט מיסטאָמע זיין מער טשאַלאַנדזשינג אין דיגיטאַל עלטער יקספּעראַמאַנץ (כאָטש וואָס איז געווען ניט דעם פאַל מיט די אָפּאָווער יקספּעראַמאַנץ).