4.4.1 Validity

Sah nuduhake pinten asil saka eksprimen ndhukung kesimpulan luwih umum.

Ora jajalan iku sampurna, lan peneliti wis dikembangaké lan Vocabulary ekstensif kanggo njlèntrèhaké masalah bisa. Validity nuduhake ombone sing asil saka eksprimen tartamtu ndhukung sawetara kesimpulan sing luwih umum. Ilmuwan sosial wis ketemu mbiyantu kanggo pamisah sah dados sekawan jinis utama: sah kesimpulan statistik, sah internal, mbangun sah, lan sah external (Shadish, Cook, and Campbell 2001, Ch 2) . Mastering konsep bakal nyedhiyani sampeyan Priksa mental kanggo critiquing lan Ngapikake desain lan analisis eksprimen, lan bakal mbantu komunikasi karo peneliti liyane.

Sah kesimpulan Statistical pusat watara apa analisis statistik saka percobaan punika rampung bener. Ing babak saka Schultz et al. (2007) Pitakonan kuwi bisa centro apa padha komputer p-nilai bener. analisis statistik iku ngluwihi orane katrangan saka buku iki, nanging aku bisa ngomong sing prinsip statistik needed kanggo desain lan njelasno nyobi wis ora diganti ing umur digital. Nanging, lingkungan data beda ing nyobi digital Panjenengan nggawe kesempatan statistik anyar (eg, nggunakake cara machine learning kanggo ngira beda-beda saka efek perawatan (Imai and Ratkovic 2013) ) lan tantangan komputasional anyar (eg, Watesan ing nyobi massive (Higgins, Sävje, and Sekhon 2016) ).

Sah Internal pusat watara apa tata cara eksperimen padha dileksanakake bener. Bali menyang saka antarane Schultz et al. (2007) , pitakonan bab sah internal bisa centro watara randomization ing delivery perawatan, lan ukuran kasil. Contone, sampeyan bisa uga ngangap sing asisten riset durung maca meter elektrik andal. Ing kasunyatan, Schultz lan kolega padha kuwatir bab masalah iki lan padha sampel meter maca kaping pindho; Begjanipun, asil ateges memper. Umumé, Schultz lan eksperimen kolega 'katon duwe sah internal dhuwur, nanging iki ora tansah kasus; lapangan Komplek lan nyobi online asring mbukak menyang masalah bener ngirimke perawatan tengen kanggo wong tengen lan ukuran kasil for everyone. Begjanipun, ing umur digital bisa bantuan ngurangi uneg-uneg babagan sah internal amarga nggampangake kanggo mesthekake yen perawatan iki dikirim minangka dirancang kanggo sing mestine kanggo nampa lan kanggo ngukur kasil kanggo kabeh peserta.

Mbangun pusat sah sak match antarane data lan konstruksi teoritis. Minangka rembugan ing Pasal 2, konstruksi sing konsep abstrak sing ilmuwan sosial alesan bab. Sayange, iki konsep abstrak ora tansah dhéfinisi cetha lan pangukuran. Bali menyang Schultz et al. (2007) , ing pratelan sing injunctive aturan sosial bisa murah nggunakake listrik mbutuhake riset desain perawatan sing bakal ngapusi "aturan sosial injunctive" (eg, lan emoticon) lan kanggo ngukur "nggunakake listrik". Nyobi analog, akeh riset dirancang pangobatan dhewe lan diukur kasil dhewe. pendekatan agawé, okehe, nyobi cocog konstruksi abstrak kang sinau. Nyobi digital ngendi partner peneliti karo perusahaan utawa pemerintah kanggo ngirim pangobatan lan nggunakake tansah ing sistem data kanggo ngukur kasil, ing pertandingan eksperimen lan konstruksi teoritis uga kurang nyenyet. Mangkono, aku nyana sing sah nbangun bakal cenderung badhan ageng ing nyobi digital saka nyobi analog.

Akhire, sah external pusat watara apa asil eksperimen iki bakal generalize kanggo kahanan liyane. Bali menyang Schultz et al. (2007) , salah siji bisa takon, bakal Alexa idea-nyediakake wong iki padha babagan panggunaan energi ing sesambetan kanggo sing ora pati cetho lan sinyal saka aturan injunctive (eg, lan emoticon) panggunaan energi -reduce yen iki rampung ing cara sing beda ing setelan beda? Kanggo sing paling apik-dirancang lan nyobi uga-mbukak, uneg-uneg babagan sah external sing paling angel kanggo alamat. Ing sasi, debat iki bab sah external padha seneng mung Bunch saka wong lungguh ing kamar nyoba kanggo mbayangno apa bakal wis kedaden yen tata cara padha rampung ing cara sing beda, utawa ing panggonan kang beda, utawa karo wong beda. Begjanipun, ing umur digital mbisakake peneliti kanggo mindhah ngluwihi karingkes data-free lan netepke sah external empirically.

Amarga asil saka Schultz et al. (2007) padha supaya macem, perusahaan jenenge Opower partnered karo keperluan ing Amerika Serikat kanggo masang perawatan akeh. Adhedhasar desain Schultz et al. (2007) , Opower digawe dhewe Home Lapuran Energy sing wis rong modul utama, siji nuduhake panggunaan listrik kluwarga kang relatif kanggo menehi tanggi karo emoticon lan siji nyediakake tips for Mudhunake Panggunan energi (Figure 4.6). Banjur, ing kemitraan karo peneliti, Opower mlayu randomized nyobi kontrol kanggo netepke impact saka Lapuran Energy Ngarep. Malah sanadyan pangobatan ing nyobi padha biasane dikirim fisik-biasane liwat lawas gaya snail mail-kasil diukur nganggo piranti digital ing donya fisik (eg, daya meter). Luwih saka ngempalaken informasi iki karo asisten riset ngunjungi saben omah kanthi manual, nyobi Opower padha kabeh rampung ing kemitraan karo perusahaan daya mbisakake kanggo riset ngakses maos daya. Mangkono, iki nyobi lapangan sebagian digital padha mbukak ing ukuran massive ing biaya global kurang.

Figure 4.6: The Home Lapuran Energy ing Allcott (2011) wis Comparison Modul Social lan Modul Tindakan Langkah.

Ing pesawat pisanan nyobi nglibatno 600.000 rumah tangga dadi dening 10 perusahaan sarana sak Amerika Serikat, Allcott (2011) ditemokake ing Report Energy Ngarep sudo konsumsi listrik dening 1.7%. Ing tembung liyane, ing asil saka langkung ageng, sinau liyane geographically warna padha qualitatively padha karo asil saka Schultz et al. (2007) . Nanging, ukuran efek cilik: ing Schultz et al. (2007) ing rumah tangga ing kawontenan aturan sing deskriptif lan injective (siji karo emoticon ing) suda Panggunan listrik sing 5%. Alesan pas kanggo prabédan iki ora dingerteni, nanging Allcott (2011) nafsiraken nampa emoticon handwritten minangka bagéan saka sinau disponsori dening sawijining universitas bisa duwe efek luwih gedhe ing prilaku saka nampa emoticon dicithak minangka bagéan saka laporan massa diprodhuksi saka perusahaan listrik.

Luwih, ing riset sakteruse, Allcott (2015) kacarita ing tambahan 101 nyobi nglibatno tambahan 8 yuta rumah tangga. Ing 101 nyobi sabanjuré Report Energy Ngarep terus kanggo nimbulaké wong ngisor konsumsi listrik sing, nanging efek padha malah cilik. Alesan pas iki Kurangé populasi ora dikenal, nanging Allcott (2015) nafsiraken efektifitas saka laporan muncul supaya ngasor liwat wektu amarga iki bener kang Applied kanggo macem-macem jinis peserta. More khusus, keperluan ing wilayah liyane environmentalist padha liyane kamungkinan nganggo program sadurungé lan pelanggan sing padha luwih responsif kanggo perawatan. Minangka keperluan karo pelanggan lingkungan kurang diadopsi program, efektifitas muncul nolak. Mangkono, mung minangka randomization ing nyobi agawé perawatan lan kontrol grup sing padha, randomization ing Camping riset agawé prakiran bisa disamaratakaké saka siji klompok peserta kanggo pedunung luwih umum (mikir maneh kanggo Chapter 3 bab sampling). Yen Camping riset sing ora tulodho acak, banjur umum-malah saka sampurna dirancang lan nglakoni èkspèrimèn-bisa dadi masalah.

Bareng, 111 nyobi-10 ing iki Allcott (2011) lan 101 ing Allcott (2015) -involved bab 8,5 yuta rumah tangga saka kabeh liwat Amerika Serikat. Padha terus-terusan nuduhake yen Lapuran Home Energy ngurangi konsumsi listrik rata-rata, asil sing ndhukung temonan asli Schultz lan kolega saka 300 omah-omahé ing California. Beyond mung biak iki asil asli, nyobi tindakake-munggah uga nuduhake yen ukuran efek beda-beda gumantung lokasi. Iki pesawat saka nyobi uga nggambaraké loro liyane TCTerms general èkspèrimèn lapangan sebagian digital. First, peneliti bisa empirically uneg-uneg alamat babagan sah external nalika biaya mlaku nyobi kurang, lan iki bisa kelakon yen kasil wis kang diukur dening tansah ing data sistem. Mulane, iku tabet menawa riset sing arep ing dipikir-metu kanggo tindak tanduk menarik lan penting liyane sing wis kang direkam, banjur ngrancang nyobi ing ndhuwur iki fasilitas ukur ana. Kapindho, pesawat iki nyobi ngelingaken kita sing nyobi lapangan digital ora mung online; saya aku nyana sing padha bakal nang endi wae karo akeh kasil diukur sensor ing lingkungan sing diwangun.

Papat jinis sah kesimpulan sah-statistik, sah internal, mbangun sah, sah-nyedhiyani external Priksa mental kanggo peneliti netepke apa asil saka eksprimen tartamtu ndhukung kesimpulan luwih umum. Dibandhingake nyobi umur analog, ing nyobi umur digital iku kudu luwih gampang kanggo alamat sah external empirically lan sing arep luwih gampang kanggo mesthekake sah internal. Ing tangan liyane, masalah sah nbangun mbokmenawa bakal luwih tantangan ing nyobi umur digital (senadyan sing ora cilik karo nyobi Opower).