4.4.1 Validitas

Validitas nujul ka sabaraha hasil an percobaan ngarojong hiji kacindekan leuwih umum.

Taya percobaan sampurna, sarta peneliti geus dimekarkeun hiji kosakata éksténsif pikeun ngajelaskeun masalah mungkin. Validitas nujul kana extent nu hasil percobaan tinangtu ngarojong sababaraha kacindekan anu leuwih umum. Élmuwan sosial geus kapanggih eta mantuan keur dibeulah validitas kana opat tipe utama: validitas kacindekan statistik, validitas internal, nyusunna validitas, sarta validitas éksternal (Shadish, Cook, and Campbell 2001, chap. 2) . Mastering konsep ieu baris nyadiakeun Anjeun sareng Daptar pariksa mental pikeun critiquing jeung ngaronjatkeun rarancang jeung analisa hiji percobaan, sarta eta bakal nulungan urang komunikasi sareng peneliti lianna.

Validitas kacindekan statistik puseur sabudeureun naha analisa statistik tina percobaan nu ieu dilakukeun neuleu. Dina konteks Schultz et al. (2007) , hiji sual misalna bisa museur kana naha maranéhna diitung maranéhanana \(p\) -values neuleu. Prinsip statistik kudu ngarancang jeung nganalisis percobaan nu saluareun ruang lingkup buku ieu, tapi maranéhna geus teu fundamentally robah dina umur digital. Naon geus robah kitu, yén lingkungan data dina percobaan digital geus dijieun kasempetan anyar kayaning ngagunakeun métode mesin learning keur estimasi heterogeneity of épék perlakuan (Imai and Ratkovic 2013) .

Validitas internal puseur sabudeureun naha prosedur eksperimen anu dipigawé neuleu. Balik ka percobaan tina Schultz et al. (2007) , patarosan ngeunaan validitas internal bisa museur di sabudeureun randomization, pangiriman perlakuan, jeung ukur tina hasil. Contona, Anjeun bisa jadi prihatin yén asisten ieu panalungtikan henteu baca méter listrik reliably. Kanyataanna, Schultz sareng kolega Anjeun éta rusuh ngeunaan masalah ieu, sarta maranéhna kungsi sampel méter maca dua kali; untungna, hasil éta dasarna sarua. Sacara umum, Schultz jeung percobaan kolega 'mucunghul mun gaduh validitas internal tinggi, tapi ieu teu salawasna kasus: sawah rumit sarta percobaan online mindeng ngajalankeun kana masalah sabenerna delivering perlakuan katuhu ka jalma bener tur ngukur hasil for everyone. Untungna, éta umur digital bisa mantuan ngurangan kasalempang validitas internal sabab kiwari gampang pikeun mastikeun yén perlakuan anu dikirimkeun ka jalma anu sakuduna dituju pikeun nampa eta jeung ka ngukur hasil pikeun sakabéh pamilon.

Nyusunna puseur validitas sabudeureun pertandingan antara data jeung constructs teoritis. Salaku dibahas dina bab 2, constructs aya konsep abstrak para ilmuwan sosial alesan ngeunaan. Hanjakal, ieu konsep abstrak teu salawasna kudu definisi jelas tur pengukuran. Balik ka Schultz et al. (2007) , anu ngaku yén injunctive norma sosial bisa nurunkeun pamakéan listrik merlukeun peneliti mendesain perlakuan nu bakal ngamanipulasi "norma sosial injunctive" (misalna, hiji emoticon) jeung pikeun ngukur "pamakéan listrik". Dina percobaan analog, loba peneliti dirancang perlakuan sorangan jeung diukur hasil sorangan. pendekatan ieu ensures yen, saloba mungkin, anu percobaan cocog constructs abstrak keur ditalungtik. Dina percobaan digital dimana pasangan peneliti jeung pausahaan atawa pamaréntah pikeun nganteurkeun perlakuan na make salawasna-on sistem data pikeun ngukur hasil, pertandingan antara percobaan sarta constructs teoritis bisa jadi kirang ketat. Ku kituna, kuring nyangka yén validitas nyusunna bakal condong jadi perhatian badag dina percobaan digital ti dina percobaan analog.

Tungtungna, validitas éksternal puseur sabudeureun naha hasil percobaan ieu bisa digeneralisasi kaayaan séjén. Balik ka Schultz et al. (2007) , salah sahiji bisa menta naha ieu sarua gagasan-nyadiakeun jalma kalawan informasi ngeunaan pamakéan énérgi maranéhanana dina hubungan jeung peers maranéhanana sarta sinyal norma injunctive (misalna hiji emoticon) -would ngurangan pamakéan énérgi lamun eta anu dipigawé dina cara béda dina setting béda. Pikeun pang alusna-dirancang jeung percobaan well-ngajalankeun, kasalempang validitas éksternal anu hardest ka alamat. Baheula, debat ieu ngeunaan validitas éksternal remen aub nanaon leuwih ti sakelompok jalma linggih di kamar a nyoba ngabayangkeun naon anu geus kajadian lamun prosedur geus dipigawé dina cara béda, atawa dina tempat béda, atawa kalayan peserta béda . Untungna, éta umur digital nyandak peneliti mun mindahkeun saluareun spekulasi data-haratis kasebut sarta assess validitas éksternal émpiris.

Kusabab hasil tina Schultz et al. (2007) nya kitu seru, hiji parusahaan nu ngaranna Opower partnered kalawan Utiliti di Amérika Serikat nyebarkeun perlakuan nu leuwih lega. Dumasar desain Schultz et al. (2007) Laporan, Opower dijieun ngaropéa Imah énergi nu tadi dua modul utama: hiji némbongkeun pamakéan listrik hiji rumah tangga urang relatif ka tatanggana na kalawan emoticon jeung salah nyadiakeun tips pikeun nurunkeun pamakéan énérgi (inohong 4,6). Saterusna, dina partnership kalawan peneliti, Opower lumpat randomized percobaan dikawasa ka assess dampak Imah Laporan Energy ieu. Sanajan perlakuan dina percobaan kasebut ilaharna dikirimkeun fisik-biasana ngaliwatan kéong baheula mail-hasil ieu diukur maké alat digital di dunya fisik (misalna kakuatan méter). Salajengna, tinimbang ngumpulkeun informasi ieu kalayan asisten panalungtikan ngadatangan unggal imah sacara manual, anu percobaan Opower anu sagala dipigawé dina partnership jeung pausahaan kakuatan sangkan panalungtik pikeun ngakses maca kakuatan. Ku kituna, ieu percobaan sawah sawaréh digital anu ngajalankeun dina skala masif di ongkos variabel low.

Gambar 4.6: The Imah Laporan Energy kungsi Babandingan Module Sosial sarta hiji Module Aksi Hambalan. Dihasilkeun ku idin ti Allcott (2011) , tokoh 1 jeung 2.

Dina set kahiji percobaan ngalibetkeun 600.000 rumahtangga ti 10 situs béda, Allcott (2011) kapanggih yén Laporan Energy Imah lowered konsumsi listrik. Dina basa sejen, hasil tina loba nu leuwih gede, ulikan leuwih geografi beragam éta qualitatively sarupa hasil tina Schultz et al. (2007) . Salajengna, dina ieu panalungtikan saterusna ngalibetkeun dalapan juta rumahtangga tambahan ti 101 situs béda, Allcott (2015) deui kapanggih yén Laporan Energy Imah konsistén lowered konsumsi listrik. Ieu set loba nu leuwih gede percobaan ogé ngungkabkeun hiji pola anyar metot nu teu bakal katingali dina sagala percobaan tunggal: ukuran éfék nu ditolak dina percobaan engké (inohong 4,7). Allcott (2015) ngaduga yén turunna ieu lumangsung alatan, dumasar kana waktu, perlakuan ieu keur dilarapkeun kana tipena béda pamilon. Leuwih husus, Utiliti kalawan leuwih konsumén difokuskeun lingkungan éta leuwih gampang ngadopsi program nu baheula, sarta para nasabah maranéhanana éta leuwih responsif kana perlakuan. Salaku Utiliti kalawan kirang konsumén lingkungan-fokus diadopsi program, efektivitas na mucunghul turun. Ku kituna, ngan sakumaha randomization dina percobaan ensures yén pengobatan sarta control group anu sarupa, randomization di situs ieu panalungtikan ensures yén perkiraan bisa digeneralisasi ti hiji grup pamilon pikeun populasi leuwih umum (pikir deui surah 3 ngeunaan sampling). Mun situs ieu panalungtikan teu disampel sacara acak, teras generalisasi-malah ti sampurna dirancang sarta dipigawé percobaan-tiasa masalah.

Gambar 4,7: Hasil tina 111 percobaan nguji pangaruh tina Laporan Energy Imah on konsumsi listrik. Di situs mana program nu diadopsi engké, éta biasana mibanda épék leutik. Allcott (2015) boga pamadegan yén sumber utama pola ieu téh yén situs kalayan langkung konsumén lingkungan-fokus éta leuwih gampang pikeun ngadopsi program tadi. Diadaptasi tina Allcott (2015) , inohong 3.

Kalawan babarengan, 111 percobaan-10 dina ieu Allcott (2011) jeung 101 dina Allcott (2015) -involved ngeunaan 8,5 juta rumahtangga ti sakuliah Amérika Serikat. Aranjeunna konsistén némbongkeun yén Laporan Imah Energy ngurangan pamakean listrik rata, hasil nu ngarojong papanggihan asli Schultz sareng kolega Anjeun ti 300 imah di California. Saluareun ngan nu nyimpen ulangan ieu hasil aslina, anu percobaan turutan-up ogé némbongkeun yén ukuran éfék nu beda-beda dumasar lokasi. set ieu percobaan ogé illustrates dua leuwih titik umum ngeunaan percobaan sawah sawaréh digital. Mimiti, panalungtik bakal tiasa émpiris masalah alamat ngeunaan validitas éksternal lamun biaya ngajalankeun percobaan nyaeta low, sarta ieu bisa lumangsung lamun hasilna geus geus keur diukur ku hiji salawasna-on data sistem. Ku sabab eta nunjukkeun yen peneliti kedah dina lookout keur paripolah metot jeung penting lianna nu geus kabawa dirékam, terus ngararancang percobaan dina luhureun ieu infrastruktur ukur aya. Kadua, set ieu percobaan reminds urang yen percobaan widang digital henteu ngan online; beuki, abdi nyangka yén maranéhna bakal madhab kalawan loba hasil diukur ku sensor di lingkungan diwangun.

Opat rupa validitas kacindekan validitas-statistik, validitas internal, nyusunna validitas, sarta éksternal validitas-nyadiakeun Daptar pariksa mental pikeun mantuan peneliti assess naha hasil tina percobaan tinangtu ngarojong kacindekan leuwih umum. Dibandingkeun jeung percobaan analog-umur, dina percobaan-umur digital, kudu gampang alamat validitas éksternal émpiris, sarta eta oge kedah gampang pikeun mastikeun validitas internal. Di sisi séjén, isu ngeunaan validitas nyusunna meureun bakal leuwih nangtang dina percobaan-umur digital, utamana percobaan widang digital nu ngalibetkeun partnerships kalawan pausahaan.