4.4.1 Validitas

Validitas nujul ka sabaraha hasil an percobaan ngarojong hiji kacindekan leuwih umum.

No percobaan sampurna, jeung panalungtik geus dimekarkeun hiji kosakata éksténsif pikeun ngagambarkeun masalah mungkin. Validitas nujul kana extent nu hasil tina percobaan husus ngarojong sababaraha kacindekan leuwih umum. Élmuwan Sosial geus manggihan eta mantuan ka dibeulah validitas kana opat tipe utama: validitas kacindekan statistik, validitas internal, nyusunna validitas, jeung validitas luar (Shadish, Cook, and Campbell 2001, Ch 2) . Mastering konsep ieu bakal nyadiakeun Anjeun Daptar pariksa mental keur critiquing jeung ngaronjatkeun desain jeung analisis hiji percobaan, sarta bakal mantuan Anjeun komunikasi sareng panalungtik séjén.

Validitas kacindekan Statistical puseur kira-kira naha analisa statistik tina percobaan ieu dipigawé bener. Dina konteks Schultz et al. (2007) question saperti bisa museur dina naha maranéhanana diitung p-nilai maranéhanana bener. analisis statistik nyaeta leuwih ti lingkup buku ieu, tapi kuring bisa nyebutkeun yén prinsip statistical nu diperlukeun pikeun ngarancang jeung nganalisis percobaan geus teu robah dina umur digital. Tapi, lingkungan data beda dina percobaan digital teu nyieun kasempetan statistical anyar (misalna, ngagunakeun métode mesin learning ka estimasi heterogeneity tina pangaruh perlakuan (Imai and Ratkovic 2013) ) jeung tantangan komputer anyar (misalna blocking dina percobaan masif (Higgins, Sävje, and Sekhon 2016) ).

Validitas internal puseur kira-kira naha prosedur ékspérimén anu dipigawé bener. Balik ka percobaan tina Schultz et al. (2007) , patarosan ngeunaan validitas internal bisa museur di sakuliah randomization teh, kiriman perlakuan, jeung ukuran tina hasil. Contona, Anjeun bisa jadi prihatin yen asisten panalungtikan teu maca méter listrik reliably. Kanyataanna, Schultz sareng kolega éta hariwang ngeunaan masalah ieu sarta maranéhanana kungsi sampel méter maca dua kali; untungna, hasil éta dasarna sarua. Sacara umum, Schultz jeung percobaan kolega 'mucunghul boga validitas internal luhur, tapi ieu téh henteu salawasna kasus; widang rumit sarta percobaan online mindeng ngajalankeun kana masalah sabenerna delivering perlakuan ka katuhu pikeun jalma katuhu jeung ngukur hasil for everyone. Untungna, umur digital bisa mantuan ngurangan kasalempang validitas internal sabab ngajadikeun eta gampang pikeun mastikeun perlakuan anu dikirimkeun salaku dirancang pikeun maranéhanana anu sakuduna narima eta jeung pikeun ngukur hasil pikeun sadaya pamilon.

Nyusunna puseur validitas kira-kira cocog antara data jeung constructs teoritis. Salaku dibahas dina Bab 2, constructs aya konsep abstrak nu élmuwan sosial alesan ngeunaan. Hanjakalna, ieu konsep abstrak teu sok boga definisi jelas jeung ukuran. Balik ka Schultz et al. (2007) , nu ngaku yen injunctive norma sosial bisa nurunkeun make listrik merlukeun panalungtik mendesain perlakuan nu bakal ngamanipulasi "norma sosial injunctive" (misalna, hiji emoticon) jeung pikeun ngukur "pamakéan listrik". Dina percobaan analog, loba panalungtik dirancang perlakuan sorangan jeung diukur hasil sorangan. pendekatan Ieu ensures éta, saloba mungkin, nu percobaan cocog constructs abstrak keur ditalungtik. Dina percobaan digital dimana pasangan panalungtik jeung pausahaan atawa pamaréntah pikeun nganteurkeun perlakuan jeung make sok dina sistem data pikeun ngukur hasil, pertandingan antara percobaan jeung constructs teoritis bisa jadi kurang ketang. Ku kituna, kuring ngaharepkeun nu validitas nyusunna bakal condong jadi perhatian leuwih badag dina percobaan digital ti percobaan analog.

Ahirna, validitas luar puseur kira-kira naha hasil percobaan ieu bakal generalize ka kaayaan séjén. Balik ka Schultz et al. (2007) , hiji bisa menta, bakal informasi ide-nyadiakeun jalma ieu sarua ngeunaan pamakéan énérgi maranéhanana dina hubungan ka peers maranéhanana jeung sinyal norma injunctive (misalna, hiji emoticon) pamakéan énérgi -reduce lamun ieu dipigawé dina cara nu beda dina a setting beda? Kanggo sabagéan ageung well-dirarancang sarta percobaan well-ngaji, kasalempang validitas luar nu hardest nepikeun. Baheula, debat ieu ngeunaan validitas luar éta remen ngan kebat jalma linggih di hiji kamar nyoba ngabayangkeun naon nu bakal geus kajadian lamun prosedur anu dilakukeun dina cara nu beda, atawa di hiji tempat nu béda, atawa jeung jelema beda. Untungna, umur digital nyandak panalungtik pikeun pindah leuwih spekulasi data-bébas ieu jeung assess validitas luar émpiris.

Sabab hasil ti Schultz et al. (2007) nya jadi seru, hiji pausahaan ngaranna Opower partnered jeung Utiliti di Amérika Sarikat ka nyebarkeun perlakuan nu leuwih loba. Dumasar desain Schultz et al. (2007) , Opower dijieun ngaropéa Home Laporan énergi nu tadi dua modul utama, hiji mintonkeun pamakéan listrik hiji rumah tangga urang relatif ka tatanggana anak kalawan emoticon jeung hiji nyadiakeun tips for nurunkeun pamakéan énérgi (Gambar 4.6). Saterusna, dina partnership jeung panalungtik, Opower lumpat randomized percobaan dikawasa ka assess dampak tina Laporan Energy Utama. Sanajan perlakuan dina percobaan kasebut ilaharna dikirimkeun fisik-biasana ngaliwatan kolot baheula kéong mail-hasil ieu diukur maké alat digital di dunya fisik (misalna kakuatan méter). Tinimbang ngumpulkeun informasi ieu jeung asisten panalungtikan ngadatangan unggal imah ku cara manual, nu percobaan Opower anu sadaya dipigawé dina partnership jeung pausahaan daya sangkan panalungtik pikeun ngakses maca daya. Ku kituna, ieu percobaan widang sawaréh digital anu ngajalankeun dina skala masif di ongkos variabel low.

Gambar 4.6: Nu utama Laporan énergi di Allcott (2011) kungsi Babandingan Module Sosial jeung Module Aksi Hambalan.

Dina susunan mimiti percobaan ngalibetkeun 600.000 rumahtangga dilayanan ku 10 pausahaan utiliti kira-kira Amérika Sarikat, Allcott (2011) kapanggih Laporan Energy Utama lowered konsumsi listrik ku 1,7%. Dina basa sejen, hasil ti loba nu leuwih gede, ulikan leuwih geografi rupa-rupa éta qualitatively sarua jeung hasil ti Schultz et al. (2007) . Tapi, ukuran éfék ieu leutik: dina Schultz et al. (2007) rumahtangga dina kaayaan norma deskriptif jeung injective (hiji jeung emoticon nu) ngurangan pamakean listrik maranéhanana ku 5%. Alesan tepat pikeun béda ieu teu dipikanyaho, tapi Allcott (2011) ngaduga yén narima emoticon tulisan leungeun salaku bagian tina ulikan disponsoran ku universitas bisa boga pangaruh gedé dina paripolah ti narima emoticon dicitak salaku bagian tina laporan massa dihasilkeun tina pausahaan daya.

Salajengna, dina ieu panalungtikan saterusna, Allcott (2015) ngalaporkeun dina hiji tambahan 101 percobaan ngalibetkeun tambahan 8 juta rumahtangga. Dina ieu 101 percobaan saterusna nu Laporan Energy Utama terus ngabalukarkeun urang nurunkeun konsumsi listrik maranéhanana, tapi efek éta komo leuwih leutik. Alesan tepat pikeun turunna ieu teu dipikanyaho, tapi Allcott (2015) ngaduga yén efektivitas laporan mucunghul jadi nyirorot kana waktu sabab ieu sabenerna keur dilarapkeun ka tipena béda pamilon. Leuwih spésifikna, Utiliti di wewengkon leuwih environmentalist éta leuwih gampang ngadopsi program saméméhna jeung konsumén maranéhanana leuwih responsif ka perlakuan. Salaku Utiliti jeung konsumén lingkungan kurang diadopsi program, éféktifitas anak mucunghul turun. Ku kituna, sagampil randomization dina percobaan ensures yén perlakuan jeung kontrol group anu sarupa, randomization di loka panalungtikan ensures yén perkiraan bisa digeneralisasi ti hiji grup pamilon ka populasi leuwih umum (mikir deui ka Bab 3 ngeunaan sampling). Lamun loka panalungtikan teu sampel sacara acak, mangka generalisasi-komo ti sampurna dirarancang sarta dipigawé percobaan-bisa masalah.

Babarengan, 111 percobaan-10 dina ieu Allcott (2011) jeung 101 dina Allcott (2015) -involved ngeunaan 8,5 juta rumahtangga ti sakumna Amérika Sarikat. Maranéhanana konsistén nunjukkeun yen Laporan Utama Energy ngurangan konsumsi listrik rata, hasil nu ngarojong papanggihan asli Schultz sareng kolega ti 300 imah di California. Leuwih ngan nu nyimpen ulangan ieu hasil asli, nu percobaan nuturkeun-up oge nunjukkeun yen ukuran éfék nu beda-beda ku lokasi. set ieu percobaan ogé illustrates dua leuwih titik umum tentang kumaha percobaan widang sawaréh digital. Kahiji, panalungtik baris sanggup émpiris masalah alamat ngeunaan validitas luar lamun biaya ngajalankeun percobaan nyaeta low, ieu bisa lumangsung lamun hasilna geus keur diukur ku hiji sok di data system. Ku sabab eta nunjukkeun yen panalungtikan kudu dina katingal-kaluar pikeun paripolah metot jeung penting séjén nu geus keur kacatet, terus mendesain percobaan di luhur ieu infrastruktur ukur aya. Kadua, susunan ieu percobaan reminds urang nu percobaan widang digital anu teu saukur online; beuki I nyangka yén maranéhanana bakal madhab loba hasil diukur ku sensor di lingkungan diwangun.

Opat rupa validitas kacindekan validitas-statistik, validitas internal, nyusunna validitas, validitas-nyadiakeun luar a Daptar pariksa mental pikeun mantuan panalungtik assess naha hasil tina percobaan husus ngarojong hiji kacindekan leuwih umum. Dibandingkeun jeung percobaan umur analog, dina percobaan umur digital kudu gampang nepikeun validitas luar émpiris jeung kudu gampang pikeun mastikeun validitas internal. Di sisi séjén, isu tina validitas nyusunna meureun bakal leuwih nangtang dina percobaan umur digital (sanajan nu teu kasus jeung percobaan Opower).