4.4.1 Validità

Validità tirreferi għal kemm ir-riżultati ta 'l-esperiment tappoġġa konklużjoni aktar ġenerali.

Nru esperiment ma hi perfetta, u r-riċerkaturi żviluppaw vokabularju estensiva biex jiddeskrivu problemi possibbli. Validità tirreferi għall-punt sa fejn ir-riżultati ta 'esperiment partikolari jappoġġa xi konklużjoni aktar ġenerali. Xjentisti soċjali sabuha utli li jaqsam validità f'erba 'tipi ewlenin:-validità konklużjoni statistika, validità interna, tibni validità, u l-validità estern (Shadish, Cook, and Campbell 2001, Ch 2) . Nikkontrollaw dawn il-kunċetti ser jagħtik lista ta 'kontroll mentali għall critiquing u titjib tad-disinn u l-analiżi ta' esperiment, u se jgħinek tikkomunika ma 'riċerkaturi oħra.

Validità konklużjoni Istatistika ċentri madwar jekk l-analiżi statistika tal-esperiment sar b'mod korrett. Fil-kuntest ta ' Schultz et al. (2007) din il-kwistjoni tista 'tiffoka fuq jekk dawn maħdum il-valuri p tagħhom b'mod korrett. Analiżi statistika hija lil hinn mill-ambitu ta 'dan il-ktieb, imma nista' ngħid li l-prinċipji tal-istatistika meħtieġa għad-disinn u tanalizza l-esperimenti ma nbidlux fl-era diġitali. Madankollu, l-ambjent tad-data differenti fl-esperimenti diġitali ma jinħolqu opportunitajiet ġodda ta 'statistika (eż, billi jintużaw metodi ta' tagħlim magna biex jistmaw eteroġeneità tal-effetti tat-trattament (Imai and Ratkovic 2013) ) u sfidi komputazzjoni ġodda (eż, imblukkar f'esperimenti massiva (Higgins, Sävje, and Sekhon 2016) ).

Il-validità interna ċentri madwar jekk il-proċeduri sperimentali kienu mwettqa b'mod korrett. Jirritornaw lejn l-esperiment ta ' Schultz et al. (2007) , mistoqsijiet dwar validità interna, jistgħu jiffokaw madwar il-randomizzazzjoni, twassil tal-kura, u l-kejl tar-riżultati. Per eżempju, inti tista 'tkun imħasseb li l-assistenti riċerkaturi ma taqra l-miters elettriċi b'mod affidabbli. Fil-fatt, Schultz u l-kollegi kienu mħassba dwar din il-problema u huma kellhom kampjun ta 'miters jinqara darbtejn; fortunatament, ir-riżultati kienu essenzjalment identiċi. B'mod ġenerali, Schultz u esperiment kollegi "jidher li għandu validità interna għolja, iżda dan mhuwiex dejjem il-każ; qasam kumpless u esperimenti fuq l-internet ta 'spiss tiffaċċja xi problemi fil-fatt jimplimentaw l-kura d-dritt lill-poplu dritt u ta' kejl l-eżiti għal kulħadd. Fortunatament, l-era diġitali jistgħu jgħinu jnaqqsu tħassib dwar validità interna għaliex dan jagħmilha aktar faċli biex jiġi żgurat li t-trattament hija mogħtija bħala mfassla għal dawk li huma mistennija li jirċievu dan u biex tkejjel ir-riżultati għall-parteċipanti kollha.

Ibni ċentri validità madwar id-tqabbil bejn id-dejta u l-constructs teoretiċi. Kif diskuss fil-Kapitolu 2, constructs huma kunċetti astratti li xjentisti soċjali raġuni dwar. Sfortunatament, dawn il-kunċetti astratti mhux dejjem ikollhom definizzjonijiet u l-kejl ċari. Jirritornaw lejn Schultz et al. (2007) , il-pretensjoni li b'mandat ta 'inibizzjoni normi soċjali jistgħu ibaxxu l-użu tal-elettriku jeħtieġ riċerkaturi għal disinn ta' trattament li jimmanipulaw "normi soċjali inġunzjoni" (eż emoticon) u biex jitkejjel "użu tal-elettriku". F'esperimenti Analog, riċerkaturi ħafna mfassla trattamenti tagħhom stess u mkejla r-riżultati tagħhom stess. Dan l-approċċ jiżgura li, kemm jista 'jkun, l-esperimenti jaqblu mal-constructs astratt qed jiġu studjati. F'esperimenti diġitali fejn ir-riċerkaturi sħab ma 'kumpaniji jew gvernijiet biex jagħti trattamenti u l-użu dejjem fuq sistemi ta' data biex ikejlu r-riżultati, il-qbil bejn l-esperiment u l constructs teoretiċi jistgħu jkunu anqas stretta. Għalhekk, Nistenna li validità jinbena se tendenza li jkunu ta 'tħassib akbar fl-esperimenti diġitali milli esperimenti Analog.

Fl-aħħarnett, il-validità esterna ċentri madwar jekk ir-riżultati ta 'dan l-esperiment ikun tiġġeneralizza għal sitwazzjonijiet oħra. Jirritornaw lejn Schultz et al. (2007) , wieħed jista 'jistaqsi, se dan l-istess nies li pprovdiet idea informazzjoni dwar l-użu tal-enerġija tagħhom fir-relazzjoni għall sħabhom u sinjal ta' normi ta 'inġunzjoni (eż emoticon) użu -reduce enerġija jekk dan kien sar b'mod differenti fil f'kuntest differenti? Għal ħafna mfassla tajjeb u esperimenti immexxija tajjeb, tħassib dwar validità esterna huma l-aktar diffiċli li jiġu indirizzati. Fil-passat, dawn id-dibattiti dwar validità estern kienu frekwentement biss mazz ta 'nies seduta fil-kamra jippruvaw li wieħed jimmaġina dak li kien ġara jekk il-proċeduri saru b'mod differenti, jew f'post differenti, jew ma' nies differenti. Fortunatament,-era diġitali tippermetti lir-riċerkaturi li nimxu lil hinn dawn l-ispekulazzjonijiet bla data u tistma l-validità esterna b'mod empiriku.

Minħabba r-riżultati minn Schultz et al. (2007) kienu tant eċċitanti, kumpannija msemmija Opower IMSEHBIN ma utilitajiet fl-Istati Uniti li tuża t-trattament aktar wiesa. Ibbażat fuq id-disinn ta ' Schultz et al. (2007) , Opower maħluqa apposta Rapporti Enerġija Home li kellhom żewġ moduli ewlenin, wieħed li juri domestika użu tal-elettriku relattiv għall-ġirien tagħha ma 'emoticon u wieħed tipprovdi suġġerimenti biex titbaxxa użu ta' enerġija (Figura 4.6). Imbagħad, fi sħubija ma 'riċerkaturi, Opower dam randomised esperimenti kontrollati biex tevalwa l-impatt tar-Rapporti Enerġija Home. Anki jekk il-kuri f'dawn l-esperimenti kienu tipikament mogħtija fiżikament normalment permezz qadim bebbuxu dari posta ir-riżultat kien imkejjel bl-użu ta 'apparati diġitali fid-dinja fiżika (eż, metri enerġija). Pjuttost milli manwalment jiġbor din l-informazzjoni ma 'assistenti ta' riċerka jżuru kull dar, l-esperimenti Opower kienu kollha magħmula fi sħubija ma 'kumpaniji tal-enerġija li jippermettu lir-riċerkaturi biex jaċċessaw il-qari tal-enerġija. Għalhekk, dawn l-esperimenti fuq il-post parzjalment diġitali tmexxew fuq skala massiva bi spiża varjabbli baxxa.

Figura 4.6: L Rapporti Enerġija Home Allcott (2011) kellhom Paragun Modulu Soċjali u Passi Azzjoni Modulu.

Fl-ewwel sett ta 'esperimenti li jinvolvu 600,000 familji moqdija minn 10 kumpaniji ta' utilità madwar l-Istati Uniti, Allcott (2011) sabu r-Rapport dwar l-Enerġija Home titbaxxa konsum tal-elettriku b'1.7%. Fi kliem ieħor, ir-riżultati mill-ħafna akbar, studju aktar ġeografikament diversa kienu kwalitattivament simili għar-riżultati minn Schultz et al. (2007) . Iżda, id-daqs effett kien iżgħar: fl Schultz et al. (2007) il-familji fil-kundizzjoni normi deskrittiva u injective (dik bl-emoticon) naqqas l-użu tal-elettriku tagħhom b'5%. Ir-raġuni preċiża għal din id-differenza ma tkunx magħrufa, iżda Allcott (2011) spekula li tirċievi emoticon miktuba bl-idejn bħala parti minn studju sponsorjati minn università jista 'jkollhom effett akbar fuq l-imġiba minn jirċievi emoticon stampat bħala parti minn rapport prodotta bil-massa minn kumpanija l-enerġija.

Barra minn hekk, fir-riċerka sussegwenti, Allcott (2015) irrapporta dwar addizzjonali 101 esperimenti li jinvolvu addizzjonali 8 miljun dar. F'dawn il 101 esperimenti li jmiss r-Rapport dwar l-Enerġija Home komplew jikkawżaw lin-nies biex ibaxxu konsum tal-elettriku tagħhom, iżda l-effetti kienu saħansitra iżgħar. Ir-raġuni preċiża għal dan it-tnaqqis mhuwiex magħruf, iżda Allcott (2015) spekula li l-effettività tar-rapport deher li jkun qed jonqos maż-żmien minħabba li kien attwalment qegħdin jiġu applikati għal tipi differenti ta 'parteċipanti. B'mod aktar speċifiku, utilitajiet fiż-żoni aktar ambjentalist kienu aktar probabbli jadottaw il-programm preċedenti u l-klijenti tagħhom kienu aktar reattivi għall-kura. Kif utilitajiet mal-klijenti wisq ambjentali adotta l-programm, l-effettività tagħha deher li jonqos. Għalhekk, hekk kif randomizzazzjoni fl-esperimenti jiżgura li t-trattament u l-kontroll tal-grupp huma simili, randomizzazzjoni f'siti ta 'riċerka jiżgura li l-istimi jistgħu jiġu ġeneralizzati minn grupp wieħed ta' parteċipanti għal popolazzjoni iżjed ġenerali (think lura għall-Kapitolu 3 dwar teħid ta 'kampjuni). Jekk siti riċerka Ma jittieħdux kampjuni saltwarjament, allura generalization-even minn perfettament mfassla u mwettqa esperiment-jista 'jkun problematiku.

Flimkien, dawn 111-esperimenti-10 Allcott (2011) u 101 fil Allcott (2015) -involved madwar 8,500,000 familji minn madwar l-Istati Uniti. Huma juru b'mod konsistenti li l Home Rapporti Enerġija jitnaqqas il-konsum medju tal-elettriku, b'riżultat li jappoġġja s-sejbiet oriġinali ta 'Schultz u kollegi minn 300 djar fil-California. Lil hinn minn sempliċiment jirreplikaw dawn ir-riżultati oriġinali, l-esperimenti ta 'segwitu juru wkoll li d-daqs tal-effett tvarja minn post. Dan is-sett ta 'esperimenti turi wkoll żewġ aktar punti ġenerali dwar esperimenti qasam parzjalment diġitali. L-ewwel, ir-riċerkaturi ser ikunu jistgħu empiriku indirizzat it-tħassib dwar validità esterna meta l-ispiża tat-tmexxija esperimenti hija baxxa, u dan jista 'jseħħ jekk l-eżitu diġà qed jitkejjel permezz ta' sistema dejjem fuq data. Għalhekk, hija tissuġġerixxi li r-riċerka għandha tkun fuq il-ħarsa-out għal imgieba oħra interessanti u importanti li diġà qed jiġu rreġistrati, u imbagħad jiddisinjawhom esperimenti fuq quċċata ta 'din l-infrastruttura tal-kejl eżistenti. It-tieni nett, dan is-sett ta 'esperimenti tfakkarna li l-esperimenti fuq il-post diġitali huma mhux biss onlajn; dejjem Nistenna li dawn se jkunu kullimkien ma 'bosta riżultati mkejla bl sensuri fl-ambjent mibni.

L-erba 'tipi ta' validità konklużjoni 'validità statistika, validità interna, tibni validità, il-validità-jipprovdu esterna lista ta' kontroll mentali biex jgħin lir-riċerkaturi tevalwa jekk ir-riżultati minn esperiment partikolari tappoġġa konklużjoni aktar ġenerali. Meta mqabbla ma 'esperimenti età Analog, f'esperimenti era diġitali għandu jkun aktar faċli li jiġu indirizzati validità esterna empiriku u għandu jkun aktar faċli biex tiġi żgurata validità interna. Min-naħa l-oħra, il-kwistjonijiet ta 'validità kostruzzjoni probabbilment se jkunu aktar ta' sfida fl-esperimenti era diġitali (għalkemm dan ma kienx il-każ ma 'l-esperimenti Opower).