4.4.1 Uhalali

Uhalali inahusu kiasi gani matokeo ya majaribio msaada hitimisho zaidi kwa ujumla.

Hakuna majaribio ni kamilifu, na watafiti na maendeleo ya msamiati wa kina kuelezea matatizo iwezekanavyo. Uhalali inahusu kiasi ambacho matokeo ya majaribio fulani kuunga mkono baadhi hitimisho zaidi kwa ujumla. Wanasayansi ya jamii wameona kwamba inafaa kwa kupasuliwa uhalali katika aina nne kuu: takwimu hitimisho uhalali, uhalali wa ndani, kujenga uhalali, na nje uhalali (Shadish, Cook, and Campbell 2001, Ch 2) . Mastering dhana hizi kutoa orodha ya akili kwa kukosoa na kuboresha kubuni na uchambuzi wa majaribio, na itakuwa kukusaidia kuwasiliana na watafiti wengine.

Takwimu hitimisho uhalali vituo vya karibu kama uchambuzi wa takwimu za majaribio ulifanywa kwa usahihi. Katika mazingira ya Schultz et al. (2007) swali kama inaweza kituo juu kama wao computed yao p maadili kwa usahihi. uchambuzi wa takwimu ni zaidi ya upeo wa kitabu hiki, lakini naweza kusema kwamba kanuni takwimu zinahitajika ili kubuni na kuchambua majaribio si iliyopita katika umri digital. Hata hivyo, data tofauti mazingira katika majaribio digital haina kujenga fursa mpya takwimu (mfano, kwa kutumia njia ya kujifunza mashine kukadiria heterogeneity ya madhara ya matibabu (Imai and Ratkovic 2013) ) na changamoto mpya computational (kwa mfano, kuzuia katika majaribio mkubwa (Higgins, Sävje, and Sekhon 2016) ).

Ndani uhalali vituo vya karibu kama taratibu majaribio zilifanywa kwa usahihi. Kurejea majaribio ya Schultz et al. (2007) , maswali kuhusu uhalali wa ndani inaweza kituo cha karibu Ubahatishaji, utoaji wa matibabu, na kipimo cha matokeo. Kwa mfano, unaweza kuwa na wasiwasi kwamba watafiti wasaidizi hakuwa na kusoma mita za umeme reliably. Kwa kweli, Schultz na wenzake walikuwa na wasiwasi kuhusu tatizo hili na walikuwa na sampuli ya mita kusoma mara mbili; bahati nzuri, matokeo yalikuwa kimsingi kufanana. Kwa ujumla, Schultz na majaribio wenzake 'inaonekana kuwa juu ya ndani uhalali, lakini hii si mara ya kesi; tata uwanja na majaribio online mara nyingi kukimbia katika matatizo kwa kweli kutoa matibabu sahihi kwa watu wa kulia na kupima matokeo kwa kila mtu. Kwa bahati nzuri, umri digital inaweza kusaidia kupunguza wasiwasi juu ya uhalali wa ndani kwa sababu inafanya kuwa rahisi ili kuhakikisha kwamba matibabu ni kutolewa kama iliyoundwa kwa wale ambao wanatakiwa kupokea hiyo na kupima matokeo kwa washiriki wote.

Kujenga vituo uhalali karibu mechi kati ya data na kubuni nadharia. Kama kujadiliwa katika Sura ya 2, constructs ni abstract dhana kwamba wanasayansi wa jamii sababu juu. Kwa bahati mbaya, dhana hizi abstract wala daima kuwa na ufafanuzi wa wazi na vipimo. Kurejea Schultz et al. (2007) , kudai kwamba injunctive kanuni za kijamii unaweza kupunguza matumizi ya umeme inahitaji watafiti wa kubuni matibabu ambayo ingeweza kuendesha "kanuni injunctive kijamii" (kwa mfano, emoticon) na kupima "matumizi ya umeme". Katika majaribio Analog, watafiti wengi iliyoundwa matibabu yao wenyewe na kipimo matokeo yao wenyewe. Mbinu hii kuhakikisha kwamba, kama iwezekanavyo, majaribio mechi constructs abstract kuwa alisoma. Katika majaribio digital ambapo watafiti kushirikiana na makampuni au serikali kutoa matibabu na kutumia daima-juu ya mifumo ya data kupima matokeo, mechi kati ya majaribio na kubuni nadharia inaweza kuwa chini tight. Hivyo, mimi kutarajia kwamba kujenga uhalali huwa na kuwa na wasiwasi kubwa katika majaribio digital kuliko majaribio Analog.

Hatimaye, uhalali wa nje vituo vya karibu kama matokeo ya majaribio hii itakuwa kujumlisha kwa hali nyingine. Kurejea Schultz et al. (2007) , mtu anaweza kuuliza, je hiyo wazo-kutoa watu habari kuhusu matumizi yao ya nishati katika uhusiano na wenzao na ishara ya kanuni injunctive (kwa mfano, emoticon) -reduce nishati matumizi kama ulifanyika kwa njia tofauti katika mazingira tofauti? Kwa wengi vizuri iliyoundwa na vizuri kukimbia majaribio, wasiwasi juu ya uhalali wa nje ni gumu kushughulikia. Katika siku za nyuma, mijadala hii kuhusu uhalali wa nje walikuwa mara kwa mara sio umati wa watu ameketi katika chumba kujaribu kufikiria nini kingetokea kama taratibu yalifanyika kwa njia tofauti, au katika nafasi mbalimbali, au na watu mbalimbali. Kwa bahati nzuri, umri digital itawezesha watafiti kwa hoja zaidi ya hizi speculations data ya bure na kutathmini uhalali wa nje empirically.

Kwa sababu matokeo kutoka Schultz et al. (2007) walikuwa hivyo kusisimua, kampuni ya jina lake Opower ilishirikiana na huduma nchini Marekani kupeleka matibabu kwa upana zaidi. Kulingana na mpango wa Schultz et al. (2007) , Opower umba customized Home Nishati Ripoti kwamba alikuwa na modules kuu mbili, moja kuonyesha kaya jamaa matumizi ya umeme kwa majirani zake na emoticon na mmoja kutoa tips kwa ajili ya kupunguza matumizi ya nishati (Kielelezo 4.6). Kisha, kwa kushirikiana na watafiti, Opower mbio randomized kudhibitiwa majaribio kutathmini matokeo ya Home Nishati Reports. Japokuwa matibabu katika majaribio haya walikuwa kawaida mikononi kimwili-kwa kawaida kupitia kikale barua konokono-matokeo ilikuwa kipimo kwa kutumia vifaa digital katika ulimwengu wa kimwili (kwa mfano, mita nguvu). Badala ya manually kukusanya taarifa hii na watafiti wasaidizi kutembelea kila nyumba, majaribio Opower walikuwa wote kufanyika kwa kushirikiana na makampuni ya nguvu kuwezesha watafiti kupata masomo madaraka. Hivyo, hizi sehemu digital uwanja majaribio walikuwa kukimbia kwa kiwango kikubwa kwa gharama nafuu kutofautiana.

Kielelezo 4.6: Home Nishati Ripoti katika Allcott (2011) alikuwa Kijamii Comparison Module na Action Hatua Module.

Katika seti ya kwanza ya majaribio ya kuwashirikisha kaya 600,000 aliwahi na makampuni ya shirika 10 duniani Umoja wa Mataifa, Allcott (2011) iligundua Nishati Nyumbani Ripoti dari matumizi ya umeme kwa 1.7%. Kwa maneno mengine, matokeo kutoka kubwa sana, utafiti zaidi kijiografia mbalimbali walikuwa qualitatively sawa na matokeo kutoka Schultz et al. (2007) . Lakini, athari ukubwa ilikuwa ndogo: katika Schultz et al. (2007) kaya katika maelezo na injective kanuni hali (moja kwa emoticon) kupunguza matumizi yao ya umeme kwa 5%. Sababu sahihi kwa tofauti hii ni haijulikani, lakini Allcott (2011) uvumi kwamba kupokea emoticon handwritten kama sehemu ya utafiti kufadhiliwa na chuo kikuu inaweza kuwa na athari kubwa juu ya tabia ya kupokea emoticon kuchapishwa kama sehemu ya molekuli zinazozalishwa ripoti kutoka uwezo wa kampuni.

Zaidi ya hayo, katika utafiti baadae, Allcott (2015) liliripoti ziada 101 majaribio ya kuwashirikisha wengine milioni 8 kaya. Katika haya ijayo majaribio 101 Nishati Nyumbani Ripoti iliendelea kusababisha watu kupunguza matumizi yao ya umeme, lakini madhara walikuwa hata kidogo. Sababu sahihi kwa kushuka hii ni haijulikani, lakini Allcott (2015) uvumi kwamba ufanisi wa ripoti alionekana kuwa kupungua baada ya muda kwa sababu ilikuwa kweli kuwa kutumika kwa aina mbalimbali za washiriki. Zaidi hasa, huduma katika maeneo zaidi mwanamazingira walikuwa zaidi uwezekano kupitisha mpango mapema na wateja wao walikuwa zaidi msikivu kwa matibabu. Kama huduma kwa wateja chini ya mazingira iliyopitishwa mpango, ufanisi wake alionekana kupungua. Hivyo, kama Ubahatishaji katika majaribio kuhakikisha kwamba matibabu na udhibiti kundi ni sawa, Ubahatishaji katika maeneo ya utafiti kuhakikisha kwamba makadirio inaweza kuwa jumla kutoka kundi mmoja wa washiriki kwa wakazi zaidi ya jumla (kufikiri nyuma Sura ya 3 kuhusu sampuli). Kama maeneo ya utafiti si sampuli nasibu, basi generalization-hata kutoka kikamilifu iliyoundwa na uliofanywa majaribio-inaweza kuwa tatizo.

Pamoja, haya majaribio-10 111 katika Allcott (2011) na 101 katika Allcott (2015) -involved wapatao milioni 8.5 kaya kutoka yote juu ya Marekani. Wao mfululizo kuonyesha kwamba Nyumbani Ripoti Nishati kupunguza matumizi wastani ya umeme, matokeo yake ni kwamba inasaidia matokeo ya awali ya Schultz na wenzake kutoka nyumba 300 katika California. Zaidi ya kujinakilisha tu matokeo hayo ya awali, kufuata-up majaribio pia kuonyesha kwamba ukubwa wa athari inatofautiana na eneo. Hii seti ya majaribio pia unaeleza pointi mbili zaidi ya jumla kuhusu majaribio sehemu digital shamba. Kwanza, watafiti wataweza empirically anuani wasiwasi kuhusu uhalali wa nje wakati gharama za kuendesha majaribio ni ya chini, na hii inaweza kutokea kama matokeo tayari kuwa kipimo kwa daima-on data mfumo. Kwa hiyo, ni unaonyesha kwamba utafiti lazima juu ya kuangalia-nje kwa wengine tabia ya kuvutia na muhimu ambazo tayari kuwa kumbukumbu, na kisha kubuni majaribio juu ya kupimia miundombinu hii zilizopo. Pili, hii seti ya majaribio inatukumbusha kwamba digital uwanja majaribio si tu online; inazidi Natarajia kwamba watakuwa kila mahali na matokeo mengi kipimo na sensorer katika mazingira yaliyopo.

aina nne ya uhalali-takwimu hitimisho uhalali, uhalali wa ndani, kujenga uhalali, nje uhalali-kutoa orodha ya akili kusaidia watafiti kutathmini kama matokeo kutoka majaribio fulani msaada hitimisho zaidi kwa ujumla. Ikilinganishwa na majaribio Analog umri, katika majaribio digital umri ni lazima kuwa rahisi kushughulikia uhalali wa nje empirically na ni lazima kuwa rahisi ili kuhakikisha uhalali wa ndani. Kwa upande mwingine, masuala ya kujenga uhalali pengine kuwa changamoto zaidi katika majaribio digital umri (ingawa haikuwa hivyo kwa majaribio Opower).