4.4.1 Validità
Validità tirreferi għal kemm ir-riżultati ta 'l-esperiment tappoġġa konklużjoni aktar ġenerali.
L-ebda esperiment ma huwa perfett, u r-riċerkaturi żviluppaw vokabularju estensiv biex jiddeskrivu problemi possibbli. Il-validità tirreferi sal-punt sa fejn ir-riżultati ta 'esperiment partikolari jappoġġaw xi konklużjoni aktar ġenerali. Ix-xjenzjati soċjali sabuha utli li jaqsmu l-validità f'erba 'tipi ewlenin: validità tal-konklużjoni statistika, validità interna, validità tal-bini u validità esterna (Shadish, Cook, and Campbell 2001, chap. 2) . Il-kaptan ta 'dawn il-kunċetti ser jagħtik lista ta' kontroll mentali biex jikkritika u jtejjeb id-disinn u l-analiżi ta 'esperiment, u jgħinek tikkomunika ma' riċerkaturi oħra.
Il-validità tal-konklużjoni statistika tiddependi fuq jekk l-analiżi statistika tal-esperiment twettqitx b'mod korrett. Fil-kuntest ta ' Schultz et al. (2007) , din il-mistoqsija tista 'tiffoka fuq jekk ikkalkolatx il-valuri tagħhom \(p\) validi b'mod korrett. Il-prinċipji statistiċi jeħtieġu li jiddisinjaw u janalizzaw esperimenti huma lil hinn mill-ambitu ta 'dan il-ktieb, iżda dawn ma nbidlux fundamentalment fl-era diġitali. Dak li nbidel, madankollu, huwa li l-ambjent tad-dejta f'esperimenti diġitali ħoloq opportunitajiet ġodda bħall-użu ta 'metodi ta' tagħlim bil-magna sabiex tiġi stmata l-eteroġeneità tal-effetti tat-trattament (Imai and Ratkovic 2013) .
Ċentri ta ' validità interna dwar jekk il-proċeduri sperimentali sarux b'mod korrett. Dħul lura fl-esperiment ta ' Schultz et al. (2007) , il-mistoqsijiet dwar il-validità interna jistgħu jiffokaw madwar randomisation, kunsinna ta 'trattament u kejl tar-riżultati. Per eżempju, tista 'tkun imħasseb li l-assistenti tar-riċerka ma qrajtx il-miters elettriċi b'mod affidabbli. Fil-fatt, Schultz u l-kollegi kienu inkwetati dwar din il-problema, u kellhom kampjun ta 'meters jaqraw darbtejn; fortunatament, ir-riżultati kienu essenzjalment identiċi. B'mod ġenerali, l-esperiment ta 'Schultz u l-kollegi jidher li għandu validità interna għolja, iżda dan mhux dejjem ikun il-każ: kampijiet kumplessi u esperimenti onlajn ħafna drabi jkollhom problemi li fil-fatt iwasslu trattament xieraq għan-nies id-dritt u jkejlu r-riżultati għal kulħadd. Fortunatament, l-era diġitali tista 'tgħin biex tnaqqas it-tħassib dwar il-validità interna minħabba li issa huwa aktar faċli li jiġi żgurat li t-trattament jingħata lil dawk li suppost jirċievuh u li jkejjel ir-riżultati għall-parteċipanti kollha.
Ibni ċentri ta ' validità madwar il-partita bejn id-data u l-kostrutturi teoretiċi. Kif ġie diskuss fil-kapitolu 2, il-kostruzzjonijiet huma kunċetti astratti li x-xjenzati soċjali jirraġunaw dwarhom. Sfortunatament, dawn il-kunċetti astratti mhux dejjem ikollhom definizzjonijiet u kejl ċari. Dħul lura lejn Schultz et al. (2007) , it-talba li n-normi soċjali inġuntivi jistgħu ibaxxu l-użu tal-elettriku teħtieġ li r-riċerkaturi jiddisinjaw trattament li jimmanipula "normi soċjali inġunti" (eż. Emoticon) u biex ikejjel "użu tal-elettriku". Fl-esperimenti analogi, bosta riċerkaturi ddisinjaw it-trattamenti tagħhom u kejlu r-riżultati tagħhom stess. Dan l-approċċ jiżgura li, kemm jista 'jkun, l-esperimenti jaqblu mal-kostruzzjonijiet astratti li qed jiġu studjati. F'esperimenti diġitali fejn ir-riċerkaturi jissieħbu ma 'kumpaniji jew gvernijiet biex iwasslu trattamenti u jużaw dejjem sistemi tad-dejta biex ikejlu r-riżultati, il-logħba bejn l-esperiment u l-kostruzzjoni teoretika tista' tkun inqas stretta. Għalhekk, nistenna li l-validità tal-kostruzzjoni għandha tendenza tkun tħassib akbar f'esperimenti diġitali milli f'esperimenti analogi.
Fl-aħħarnett, il -validità esterna ċentri dwar jekk ir-riżultati ta 'dan l-esperiment jistgħux jiġu ġġeneralizzati għal sitwazzjonijiet oħra. Dħul lura lejn Schultz et al. (2007) , wieħed jista 'jistaqsi jekk din l-istess idea li tipprovdi lin-nies informazzjoni dwar l-użu tal-enerġija tagħhom f'relazzjoni ma' sħabhom u sinjal ta 'normi mandatorji (eż., Emoticon) - tnaqqas l-użu tal-enerġija jekk dan isir b'mod differenti f'kuntest differenti. Għal bosta esperimenti mfassla tajjeb u mmexxija tajjeb, it-tħassib dwar il-validità esterna huwa l-iktar diffiċli li jiġi indirizzat. Fl-imgħoddi, dawn id-dibattiti dwar il-validità esterna spiss kienu jinvolvu xejn aktar minn grupp ta 'nies seduti f'kamra li jippruvaw jimmaġina x'kien jiġri kieku l-proċeduri kienu saru b'mod differenti, jew f'post differenti, jew ma' parteċipanti differenti . Fortunatament, l-era diġitali tippermetti li r-riċerkaturi jmorru lil hinn minn dawn l-ispekulazzjonijiet ħielsa mid-dejta u jevalwaw il-validità esterna b'mod empiriku.
Minħabba r-riżultati minn Schultz et al. (2007) kienu tant eċċitanti, kumpanija msemmija Opower ingħaqdet ma 'utilitajiet fl-Istati Uniti biex tuża t-trattament b'mod aktar wiesa'. Ibbażat fuq id-disinn ta ' Schultz et al. (2007) , Opower ħolqot Rapporti dwar l-Enerġija tad-Dar Personalizzati li kellhom żewġ moduli ewlenin: wieħed li juri l-użu tal-elettriku tad-dar relattiv mal-ġirien tiegħu b'emoticon u waħda li tipprovdi pariri biex jitnaqqas l-użu tal-enerġija (figura 4.6). Imbagħad, bi sħubija mar-riċerkaturi, Opower dam esperimenti kkontrollati b'mod każwali biex tevalwa l-impatt ta 'dawn ir-Rapporti dwar l-Enerġija tal-Intern. Anki jekk it-trattamenti f'dawn l-esperimenti kienu tipikament mogħtija fiżikament - normalment permezz ta 'bebbux antikwata, ir-riżultat ġie mkejjel bl-użu ta' apparati diġitali fid-dinja fiżika (eż. Barra minn hekk, minflok ma ġabret manwalment din l-informazzjoni ma 'assistenti ta' riċerka li jżuru kull dar, l-esperimenti ta 'Opower saru kollha fi sħubija ma' kumpaniji tal-enerġija li jippermettu li r-riċerkaturi jkollhom aċċess għal-qari tal-poter. Għalhekk, dawn l-esperimenti parzjalment diġitali fuq il-post kienu mmexxija fuq skala massiva bi spiża varjabbli baxxa.
Figura 4.6: Ir-Rapporti dwar l-Enerġija Interna kellhom Mudell ta 'Tqabbil Soċjali u Mudell ta' Passi ta 'Azzjoni. Riprodotta bil-permess ta ' Allcott (2011) , figuri 1 u 2.
Fl-ewwel sett ta 'esperimenti li jinvolvu 600,000 dar minn 10 siti differenti, Allcott (2011) sab li r-Rapport dwar l-Enerġija Interni naqqas il-konsum tal-elettriku. Fi kliem ieħor, ir-riżultati mill-istudju ferm akbar u aktar ġeografikament differenti kienu kwalitattivament simili għar-riżultati minn Schultz et al. (2007) . Barra minn hekk, f'riċerka sussegwenti li tinvolvi tmien miljun dar addizzjonali minn 101 sit differenti, Allcott (2015) għal darb'oħra sab li r-Rapport tal-Enerġija Allcott (2015) konsistentement naqqas il-konsum tal-elettriku. Dan is-sett ta 'esperimenti ferm akbar żvela wkoll mudell ġdid interessanti li ma kienx ikun viżibbli f'xi esperiment wieħed: id-daqs tal-effett naqas fl-esperimenti ta' wara (figura 4.7). Allcott (2015) spekula li dan it-tnaqqis seħħ minħabba li, maż-żmien, it-trattament kien qed jiġi applikat għal tipi differenti ta 'parteċipanti. B'mod aktar speċifiku, l-utilitajiet b'aktar klijenti ffokati fuq l-ambjent x'aktarx adottaw il-programm qabel, u l-klijenti tagħhom kienu aktar reattivi għat-trattament. Hekk kif l-utilitajiet b'kumdenti inqas iffokati fuq l-ambjent adottaw il-programm, l-effikaċja tagħha dehret li tonqos. Għalhekk, hekk kif l-għemil randomizzazzjoni fl-esperimenti jiżgura li l-grupp ta 'trattament u kontroll huwa simili, l-għażla każwali f'siti ta' riċerka tiżgura li l-istimi jistgħu jiġu ġeneralizzati minn grupp wieħed ta 'parteċipanti għal popolazzjoni iżjed ġenerali (think lura għal kapitlu 3 dwar teħid ta' kampjuni). Jekk is-siti ta 'riċerka ma jintgħażlux b'mod każwali, allura l-ġeneralizzazzjoni, anke minn esperiment perfettament iddisinjat u mwettaq, tista' tkun problematika.
Figura 4.7: Riżultati ta '111 esperiment li jittestjaw l-effett tar-Rapport dwar l-Enerġija Interna fuq il-konsum tal-elettriku. F'siti fejn il-programm ġie adottat aktar tard, kien hemm tendenza li jkollu effetti iżgħar. Allcott (2015) targumenta li sors ewlieni ta 'dan it-tip ta' mudell huwa li s-siti li għandhom klijenti aktar iffokati fuq l-ambjent kienu aktar probabbli li jadottaw il-programm qabel. Adattat minn Allcott (2015) , figura 3.
Flimkien, dawn l-esperimenti ta '111 -10 Allcott (2011) u 101 Allcott (2015) involvew madwar 8,5 miljun dar mill-Istati Uniti kollha. Huma juru b'mod konsistenti li Rapporti ta 'l-Enerġija Interna jnaqqsu l-konsum medju ta' l-elettriku, riżultat li jappoġġja s-sejbiet oriġinali ta 'Schultz u kollegi minn 300 dar fil-Kalifornja. Lil hinn mir-ripetizzjoni ta 'dawn ir-riżultati oriġinali, l-esperimenti ta' segwitu juru wkoll li d-daqs tal-effett ivarja skont il-post. Dan is-sett ta 'esperimenti juri wkoll żewġ punti ġenerali aktar dwar esperimenti parzjalment diġitali fuq il-post. L-ewwelnett, ir-riċerkaturi jkunu jistgħu jindirizzaw b'mod empiriku t-tħassib dwar il-validità esterna meta l-ispiża tat-tħaddim tal-esperimenti tkun baxxa, u dan jista 'jseħħ jekk ir-riżultat diġà jitkejjel b'sistema ta' dejta dejjem fuq. Għaldaqstant, jissuġġerixxi li r-riċerkaturi għandhom ikunu qegħdin joqogħdu attenti għal imgieba oħra interessanti u importanti li diġà qegħdin jiġu rreġistrati, u mbagħad ifasslu esperimenti flimkien ma 'din l-infrastruttura ta' kejl eżistenti. It-tieni, dan is-sett ta 'esperimenti jfakkarna li esperimenti diġitali fuq il-post mhumiex biss onlajn; dejjem aktar, nistenna li se jkunu kullimkien b'ħafna riżultati mkejla mis-sensuri fl-ambjent mibni.
L-erba 'tipi ta' validità tal-validità tal-konklużjoni statistika, validità interna, validità tal-kostruzzjoni u validità esterna - jipprovdu lista ta 'kontroll mentali biex tgħin ir-riċerkaturi jevalwaw jekk ir-riżultati minn esperiment partikolari jappoġġawx konklużjoni aktar ġenerali. Meta mqabbel ma 'esperimenti b'analiżi analoga, f'esperimenti ta' età diġitali, għandu jkun aktar faċli li l-validità esterna tiġi indirizzata b'mod empiriku, u għandha wkoll tkun aktar faċli li tiġi żgurata l-validità interna. Min-naħa l-oħra, kwistjonijiet ta 'validità ta' kostruzzjoni probabilment se jkunu ta 'sfida f'esperimenti ta' età diġitali, speċjalment esperimenti diġitali fuq il-post li jinvolvu sħubijiet mal-kumpaniji.
