4.4.1 וואַלידיטי

גילטיקייַט רעפערס צו ווי פיל די רעזולטאטן פון אַן עקספּערימענט שטיצן אַ מער גענעראַל מסקנא.

קיין עקספּערימענט איז גאנץ, און פאָרשער האָבן דעוועלאָפּעד אַ ברייט וואָקאַבולאַרי צו באַשיידן מעגלעך פּראָבלעמס. גילטיקייַט רעפערס צו דער מאָס צו וואָס די רעזולטאַטן פון אַ באַזונדער עקספּערימענט שטיצן עטלעכע מער גענעראַל קאַנקלוזשאַן. סאציאל סייאַנטיס האָבן געפונען עס נוציק צו שפּאַלטן גילטיקייַט אין פיר הויפּט טייפּס: סטאַטיסטיש מסקנא וואַלידיטי, ינערלעך גילטיקייַט, בויען גילטיקייַט, און פונדרויסנדיק גילטיקייַט (Shadish, Cook, and Campbell 2001, chap. 2) . מאַסטערינג די קאַנסעפּס וועט צושטעלן איר מיט אַ גייַסטיק טשעקליסט פֿאַר קריטיקינג און ימפּרוווינג די פּלאַן און אַנאַליסיס פון אַן עקספּערימענט, און עס וועט העלפן איר יבערגעבן מיט אנדערע ריסערטשערז.

סטאַטיסטיש מסקנא וואַלידיטי סענטערס אַרום צי די סטאַטיסטיש אַנאַליז פון דער עקספּערימענט איז געטאן ריכטיק. אין דעם קאָנטעקסט פון Schultz et al. (2007) , אַזאַ אַ קשיא זאל צענטער אויף צי זיי קאַמפּיוטיד זייער \(p\) -וואַלועס ריכטיק. די סטאַטיסטיש פּרינציפּן דאַרפֿן צו פּלאַן און פונאַנדערקלייַבן יקספּעראַמאַנץ זענען בארעכטיגט דורך דעם בוך פון דעם בוך, אָבער זיי האָבן נישט פאַנדאַמענאַלי געביטן אין די דיגיטאַל עלטער. וואָס האט געביטן, אָבער, איז אַז די דאַטן סוויווע אין דיגיטאַל יקספּעראַמאַנץ האט באשאפן נייַ אַפּערטונאַטיז אַזאַ ווי ניצן מאַשין וויסן מעטהאָדס צו אָפּשאַצן העטעראָגענעיטי פון באַהאַנדלונג יפעקס (Imai and Ratkovic 2013) .

אינערלעכער וואַלידיטי סענטערס אַרום צי די יקספּערמענאַל פּראָוסידזשערז זענען געטאן ריכטיק. אומגעקערט צו דער עקספּערימענט פון Schultz et al. (2007) , פראגעס וועגן ינערלעך גילטיקייַט קענען צענטער אַרום ראַנדאַמאַזיישאַן, עקספּרעס פון באַהאַנדלונג, און מעזשערמאַנט פון אַוטקאַמז. למשל, איר קען זיין זארגן אַז די פאָרשונג אַסיסטאַנץ האט נישט לייענען די עלעקטריק מעטער רילייאַבלי. אין פאַקט, שולטז און חברים זענען געווען באַזאָרגט וועגן דעם פּראָבלעם, און זיי האָבן אַ מוסטער פון מעטער לייענען צוויי מאָל; צומ גליק, די רעזולטאַטן זענען יסענשאַלי יידעניקאַל. אין אַלגעמיין, דער פּראָצעס פון שאַלטז און קאָללאַגס איז זייער הויך ינערלעך גילטיקייַט, אָבער דאָס איז ניט שטענדיק דער פאַל: קאָמפּלעקס פעלד און אָנליין יקספּערמענץ אָפֿט לויפן אין פּראָבלעמס אַקשלי פידינג די רעכט באַהאַנדלונג צו די רעכט מענטשן און מעסטן די אַוטקאַמז פֿאַר אַלעמען. גליק, די דיגיטאַל עלטער קענען העלפן רעדוצירן קאַנסערנז וועגן ינערלעך גילטיקייַט ווייַל עס איז איצט גרינגער צו ענשור אַז די באַהאַנדלונג איז איבערגעגעבן צו די וואס זענען געמיינט צו באַקומען עס און מעסטן רעזולטאטן פֿאַר אַלע פּאַרטיסאַפּאַנץ.

בויען גילטיקייַט סענטערס אַרום די גלייַכן צווישן די דאַטע און די טעאָרעטיש קאַנסטראַקץ. ווי דיסקאַסט אין קאַפּיטל 2, קאַנסטראַקץ זענען אַבסטראַקט קאַנסעפּס אַז געזעלשאַפטלעך סייאַנטיס סיבה וועגן. צום באַדויערן, די אַבסטראַקט קאַנסעפּס טאָן ניט שטענדיק האָבן קלאָר דעפֿיניציע און מעזשערמאַנץ. אומגעקערט צו Schultz et al. (2007) , די פאָדערן אַז ינוועסמאַנט געזעלשאַפטלעך נאָרמז קענען נידעריקער עלעקטרע נוצן ריקווייערז ריסערטשערז צו פּלאַן אַ באַהאַנדלונג וואָס וואָלט מאַניפּולירן "ינדזשערדיוו געזעלשאַפטלעך נאָרמז" (למשל, אַ עמאָטיקאָן) און צו מעסטן "עלעקטרע נוצן". אין אַנאַלאָג יקספּעראַמאַנץ, פילע ריסערטשערז דיזיינד זייער אייגן טריטמאַנץ און געמאסטן זייער אייגן אַוטקאַמז. דעם צוגאַנג ינשורז אַז, ווי פיל ווי מעגלעך, די עקספּערימענץ גלייַכן די אַבסטראַקט קאַנסטראַקץ זייַענדיק געלערנט. אין דיגיטאַל יקספּעראַמאַנץ ווו ריסערטשערז שוטעף מיט קאָמפּאַניעס אָדער גאַווערנמאַנץ צו באַפרייַען טריטמאַנץ און נוצן שטענדיק-אויף דאַטן סיסטעמען צו מעסטן אַוטקאַמז, די גלייַכן צווישן די עקספּערימענט און די טעאָרעטיש קאַנסטראַקץ קען זיין ווייניקער שטרענג. אזוי, איך דערוואַרטן אַז בויען גילטיקייַט וועט טענד צו ווערן אַ ביגער דייַגע אין דיגיטאַל יקספּעראַמאַנץ ווי אין אַנאַלאָג יקספּעראַמאַנץ.

סוף, פונדרויסנדיק גילטיקייַט סענטערס אַרום צי די רעזולטאַטן פון דעם עקספּערימענט קענען זיין דזשענעראַלייזד צו אנדערע סיטואַטיאָנס. אומגעקערט צו Schultz et al. (2007) , איינער קען פרעגן צי דאָס זעלבע געדאַנק - צו צושטעלן מענטשן מיט אינפֿאָרמאַציע וועגן זייער ענערגיע באַניץ אין שייכות צו זייער פּירז און אַ סיגנאַל פון ינסידענטיוו נאָרמז (למשל, אַ עמאָטיקאָן) - וואָלט רעדוצירן ענערגיע קאַנסאַמשאַן אויב עס איז געטאן אין אַ אַנדערש וועג אין אַ אַנדערש באַשטעטיקן. פֿאַר רובֿ געזונט-דיזיינד און געזונט-לויפן יקספּעראַמאַנץ, קאַנסערנז וועגן פונדרויסנדיק גילטיקייַט זענען די כאַרדאַסט צו אַדרעס. אין דער פאַרגאַנגענהייַט, די דעבאַטע וועגן פונדרויסנדיק גילטיקייַט אָפט ינוואַלווד גאָרנישט מער ווי אַ גרופּע פון ​​מענטשן זיצן אין אַ צימער טריינג צו ימאַדזשאַן וואָס וואָלט געווען געטראפן אויב די פּראָוסידזשערז האָבן געטאן אין אַ אַנדערש וועג, אָדער אין אַ אַנדערש אָרט, אָדער מיט פאַרשידענע פּאַרטיסאַפּאַנץ . גליק, די דיגיטאַל עלטער ענייבאַלז ריסערטשערז צו רירן אויס די דאַטן-פֿרייַ ספּעקיאַליישאַנז און אַססעסס די פונדרויסנדיק גילטיקייַט עמפּיריקלי.

ווייַל די רעזולטאַטן פֿון Schultz et al. (2007) זענען אַזוי יקסייטינג, אַ פירמע געהייסן אַפּאָאָווער שוטעף מיט יוטילאַטיז אין די פאַרייניקטע שטאַטן צו צעוויקלען די באַהאַנדלונג מער וויידלי. באַזירט אויף די פּלאַן פון Schultz et al. (2007) , Opower האט באשאפן קאַסטאַמייזד היים ענערגי רעפּאָרץ וואָס האט צוויי הויפּט מאַדזשולז: איינער ווייַזונג אַ הויזגעזינד עלעקטרע באַניץ צו זיין שכנים מיט אַ עמאָטיקאָן און איינער פּראַוויידינג עצות פֿאַר לאָוערינג ענערגיע קאַנסאַמשאַן (פיגורע 4.6). דערנאָך, אין שוטפעס מיט פאָרשער, אָפּאָווער געלאפן ראַנדאַמייזד קאַנטראָולד יקספּעראַמאַנץ צו אַססעסס די פּראַל פון די היים ענערגי רעפּאָרץ. כאָטש די טריטמאַנץ אין די יקספּעראַמאַנץ זענען טיפּיקאַללי יקספּאָוזד פיזיקלי - יוזשאַוואַלי דורך אַלטמאָדיש סנאַיל פּאָסט - די אַוטקאַם איז געמאסטן ניצן דיגיטאַל דעוויסעס אין די גשמיות וועלט (למשל, מאַכט מעטער). ווייַטער, אלא מאַניואַלי זאַמלונג דעם אינפֿאָרמאַציע מיט פאָרשונג אַסיסטאַנץ באזוכן יעדער הויז, די אָפּאָווער יקספּעראַמאַנץ זענען אַלע געטאן אין שוטפעס מיט מאַכט קאָמפּאַניעס ענייבאַלינג די ריסערטשערז צו צוטריט די מאַכט רידינגז. אזוי, די טייל דיגיטאַל פעלד יקספּעראַמאַנץ זענען לויפן אין אַ מאַסיוו וואָג בייַ נידעריק בייַטעוודיק קאָסטן.

פיגורע 4.6: די היים ענערגיע רעפּאָרץ האט אַ סאציאל פאַרגלייַך מאָדולע און אַ אַקשאַן סטעפּס מאָדולע. רעפּראָדוסעד דורך דערלויבעניש פון Allcott (2011) , פיגיערז 1 און 2.

אין אַ ערשטער שטעלן פון יקספּעראַמאַנץ ינוואַלווינג 600,000 כאַוסכאָולדז פון 10 פאַרשידענע זייטלעך, Allcott (2011) געפונען אַז די היים ענערגי באריכט איז לאָוערד אויף עלעקטרע קאַנסאַמשאַן. אין אנדערע ווערטער, די רעזולטאַטן פון די פיל גרעסערע, מער געאָגראַפיקאַללי פאַרשידן לערנען זענען קוואַלאַטייטיוולי ענלעך צו די רעזולטאַטן פֿון Schultz et al. (2007) . דערצו, אין סאַבסאַקוואַנט פאָרשונג ינוואַלווינג אַכט מיליאָן נאָך כאַוסכאָולדז פון 101 פאַרשידענע זייטלעך, Allcott (2015) געפונען אַז די היים ענערגי באריכט קאַנסיסטאַנטלי לאָוערד עלעקטרע קאַנסאַמשאַן. דעם פיל גרעסערע גאַנג פון יקספּעראַמאַנץ אויך אנטפלעקט אַ טשיקאַווע נייַ מוסטער וואָס וואָלט ניט זיין קענטיק אין קיין איין עקספּערימענט: די גרייס פון דעם ווירקונג איז געווען דיקריסט אין די שפּעטער יקספּעראַמאַנץ (פיגורע 4.7). Allcott (2015) ספּעקולאַטעד אַז דאָס אַראָפּגיין געטראפן ווייַל, איבער צייַט, די באַהאַנדלונג איז געווען געווענדט צו פאַרשידענע טייפּס פון פּאַרטיסאַפּאַנץ. מער ספּאַסיפיקלי, יוטילאַטיז מיט מער ינווייראַנמענטאַלי פאָוקיסט קאַסטאַמערז זענען מער מסתּמא אַדאַפּט די פּראָגראַם פריער, און זייער קאַסטאַמערז זענען מער אָפּרופיק צו די באַהאַנדלונג. ווי יוטילאַטיז מיט ווייניקער ינווייראַנמענטאַלי-פאָוקיסט קאַסטאַמערז אנגענומען דעם פּראָגראַם, זייַן יפעקטיוונאַס ארויס צו אַראָפּגיין. אזוי, ווי ראַנדאָמיזאַטיאָן אין יקספּעראַמאַנץ ענשורז אַז די באַהאַנדלונג און קאָנטראָל גרופּע זענען ענלעך, ראַנדאַמאַזיישאַן אין פאָרשונג זייטלעך ינשורז אַז די עסטאַמאַץ קענען זיין דזשענערייטאַד פון איין גרופּע פון ​​פּאַרטיסאַפּאַנץ צו אַ מער גענעראַל באַפעלקערונג (טראַכטן צוריק צו פּרק 3 וועגן מוסטערונג). אויב פאָרשונג זייטלעך זענען נישט אַבזאָרבד ראַנדאַמלי, דעמאָלט גענעראַליזיישאַן-אַפֿילו פון אַ בישליימעס דיזיינד און געפירט עקספּערימענט-קען זיין פּראָבלעמאַטיק.

פיגורע 4.7: רעזולטאַטן פון 111 יקספּעראַמאַנץ טעסטינג די ווירקונג פון די היים ענערגיע באריכט אויף עלעקטרע קאַנסאַמשאַן. אין זייטלעך וואָס די פּראָגראַם איז געווען אנגענומען שפּעטער, עס טענדיד צו האָבן קלענערער יפעקס. Allcott (2015) טענהט אַז אַ הויפּט מקור פון דעם מוסטער איז אַז זייטלעך מיט מער ינווייראַנמענטאַלי-פאָוקיסט קאַסטאַמערז זענען מער מסתּמא צו אַדאַפּט די פּראָגראַם פריער. Adapted from Allcott (2015) , figure 3.

צוזאַמען, די 111 יקספּעראַמאַנץ-10 אין Allcott (2011) און 101 אין Allcott (2015) ינוואַלווד וועגן 8,5 מיליאָן כאַוסכאָולדז פון אַלע איבער די פאַרייניקטע שטאַטן. זיי קאַנסיסטאַנטלי ווייַזן אַז היים ענערגי רעפּאָרץ רעדוצירן דורכשניטלעך עלעקטרע קאַנסאַמשאַן, אַ רעזולטאַט וואָס שטיצט די אָריגינעל פיגיערז פון סטשולטז און חברים פון 300 האָמעס אין קאַליפאָרניאַ. נאָך נאָר רעפּליקייטינג די אָריגינעל רעזולטאַטן, די נאָכפאָלגן יקספּעראַמאַנץ אויך ווייַזן אַז די גרייס פון דעם ווירקונג וועריז דורך אָרט. דעם גאַנג פון יקספּעראַמאַנץ אויך ילימאַנייץ צוויי מער אַלגעמיין פונקטן וועגן טייל דיגיטאַל פעלד יקספּעראַמאַנץ. ערשטער, ריסערטשערז וועט קענען צו עמפּיריקלי אַריינלייגן קאַנסערנז וועגן פונדרויסנדיק גילטיקייַט ווען די פּרייַז פון פליסנדיק יקספּעראַמאַנץ איז נידעריק, און דאָס קען פאַלן אויב די אַוטקאַם איז שוין געמאסטן דורך אַ שטענדיק-אויף דאַטן סיסטעם. דעריבער, עס סאַגדזשעסץ אַז ריסערטשערז זאָל זיין אויף די לוקאַוט פֿאַר אנדערע טשיקאַווע און וויכטיק ביכייוויערז וואָס זענען שוין זייַענדיק רעקאָרדעד, און דעמאָלט פּלאַן יקספּעראַמאַנץ אויף שפּיץ פון דעם יגזיסטינג מעסטן ינפראַסטראַקטשער. רגע, דעם גאַנג פון יקספּעראַמאַנץ דערמאנט אונדז אַז דיגיטאַל פעלד יקספּעראַמאַנץ זענען נישט נאָר אָנליין; ינקריסינגלי, איך דערוואַרטן אַז זיי וועלן זיין אומעטום מיט פילע אַוטקאַמז געמאסטן דורך סענסאָרס אין די געבויט סוויווע.

די פיר טייפּס פון גילטיקייַט-סטאַטיסטיש מסקנא גילטיקייַט, ינערלעך גילטיקייַט, בויען גילטיקייַט, און פונדרויסנדיק גילטיקייַט-צושטעלן אַ גייסטישע טשעקליסט צו העלפן ריסערטשערז אַססעסס צי די רעזולטאַטן פון אַ באַזונדער עקספּערימענט שטיצן אַ מער אַלגעמיין סאָף. קאַמפּערד מיט אַנאַלאָג-עלטער יקספּעראַמאַנץ, אין דיגיטאַל-עלטער יקספּעראַמאַנץ, עס זאָל זיין גרינגער צו אַדרעס פונדרויסנדיק גילטיקייַט עמפּיריקלי, און עס זאָל אויך זיין גרינגער צו ינשור ינערלעך גילטיקייַט. אויף די אנדערע האַנט, פּראָבלעמס פון בויען גילטיקייַט וועט מיסטאָמע מער טשאַלאַנדזשינג אין דיגיטאַל-עלטער יקספּעראַמאַנץ, ספּעציעל דיגיטאַל פעלד יקספּעראַמאַנץ וואָס אַרייַנציען פּאַרטנערשיפּס מיט קאָמפּאַניעס.