4.4.1 Validity
Sah nuduhake pinten asil saka eksprimen ndhukung kesimpulan luwih umum.
Ora ana eksperimen sing sampurna, lan peneliti wis ngembangake kosakata ekstensif kanggo njlèntrèhaké masalah sing mungkin. Validitas nuduhake yen entuk asil eksperimen tartamtu ndhukung kesimpulan sing luwih umum. Para ilmuwan sosial nemokake manawa mbagekke validitas dadi papat utama: validitas kesimpulan statistik, validitas internal, (Shadish, Cook, and Campbell 2001, chap. 2) validitas, lan valid eksternal (Shadish, Cook, and Campbell 2001, chap. 2) . Ngenali konsep iki bakal nyedhiyani sampeyan kanthi priksa mental kanggo critiquing lan ningkatake desain lan analisis eksperimen, lan bakal mbantu sampeyan komunikasi karo peneliti liyane.
Kesimpulan statistik pusat validitas watara apa analisis statistik eksperimen wis rampung kanthi bener. Ing konteks Schultz et al. (2007) , pitakonan kasebut bisa dadi pusat babagan apa sing dihitung kanthi bener \(p\) -nilai kanthi bener. Prinsip-prinsip statistik kudu ngrancang lan nganalisis eksperimen sing ana ing sangisore ruang lingkup buku kasebut, nanging durung padha diganti ing jaman digital. Nanging, apa sing diganti, yaiku lingkungan data ing eksperimen digital nyiptakake kesempatan anyar kayata cara ngolah mesin kanggo ngira heterogenitas efek perawatan (Imai and Ratkovic 2013) .
Pusat validitas internal watara apa prosedur eksperimen wis dileksanakake kanthi bener. Bali menyang eksperimen Schultz et al. (2007) , pitakonan babagan validitas internal bisa dipusatake kanthi acak, pangiriman perawatan, lan pangukuran kahanan. Contone, sampeyan bisa ngelingake yen asisten riset ora maca meter listrik kanthi andhap. Nyatane, Schultz lan kanca-kancane padha kuwatir bab masalah iki, lan padha karo sampel saka meter maca kaping pindho; Begjanipun, asil kasebut ateges identik. Umumé, eksprimen Schultz lan kolega katon nduweni validitas internal sing dhuwur, nanging iki ora sengaja: kasus rumit lan eksperimen online asring nyebabake masalah sing bener menehi perawatan tengen marang wong sing bener lan ngukur hasil kanggo kabeh wong. Begjanipun, umur digital bisa mbantu ngurangi keprihatinan babagan validitas internal amarga saiki luwih gampang kanggo mangerteni yen perawatan dikirim menyang sing mesthi nampa lan ngukur kasil kanggo kabeh peserta.
Mbangun pusat kesahihan watara pertandhingan antarane data lan konstruktor teoretis. Minangka sing dibahas ing bab 2, konstruksi minangka konsep abstrak sing ilmuwan sosial nduweni alasan. Sayange, konsep abstrak iki ora mesthi nduwe definisi lan pangukuran sing jelas. Bali menyang Schultz et al. (2007) , pratelan yen norma-norma sosial injil bisa ngedhunake penggunaan listrik mbutuhake peneliti kanggo ngrancang perawatan sing bakal ngapusi "norma sosial injunctif" (contone, emoticon) lan ngukur "nggunakake listrik". Ing eksperimen analog, akeh peneliti ngrancang pangobatan dhewe lan ngukur kasil dhewe. Pendekatan iki njamin yen, sakabehing percobaan, cocog karo konstruksi abstrak sing diteliti. Ing eksperimen digital ing ngendi peneliti partner karo perusahaan utawa pemerintah kanggo ngirim pangobatan lan nggunakake sistem data sing tansah kanggo ngukur hasil, pertandhingan antarane eksperimen lan konstruktor teoritis bisa kurang ketat. Mangkono, aku ngarepake yen mbangun validitas bakal dadi keprigelan sing luwih gedhe ing eksperimen digital tinimbang ing eksperimen analog.
Pungkasan, pusat validitas eksternal ngubengi manawa asil eksperimen iki bisa umumake ing kahanan liyane. Bali menyang Schultz et al. (2007) , sing bisa takon apa gagasan sing padha-nyedhiyakake informasi babagan panggunaan energi sing ana hubungane karo kanca-kancane lan sinyal norma-norma injil (umpamane, emoticon) -wow ngurangi panggunaan energi yen wis rampung kanthi cara sing beda ing setelan sing beda. Kanggo eksperimen sing dirancang kanthi apik lan uga dilakoni, keprihatinan babagan validitas eksternal sing paling angel kanggo alamat. Ing sasi kepungkur, debat-debat iki babagan validitas njaba sing kerep ora ana sing luwih saka sekelompok wong sing lungguh ing kamar sing nyoba mbayangake apa sing bakal kedadeyan yen tata cara wis rampung kanthi cara sing beda, utawa ing papan sing beda, utawa karo peserta sing beda . Begjanipun, umur digital mbisakake para panaliti ngliwati spekulasi bebas data kasebut lan netepake validitas eksternal kanthi empiris.
Amarga asil saka Schultz et al. (2007) nyenengake, perusahaan sing jenenge Opower bekerjasama karo keperluan ing Amerika Serikat kanggo nggampangake perawatan luwih akeh. Adhedhasar rancangan Schultz et al. (2007) , Opower nyiptakake dhewe-dhewe Home Energy Reports sing nduwe loro modul utama: siji sing nuduhake panggunaan listrik rumah tangga kanggo tetangga karo emoticon lan siji menehi tips kanggo ngurangi panggunaan energi (angka 4.6). Banjur, kanthi kemitraan karo peneliti, Opower ngleksanani eksperimen sing dikontrol sacara acak kanggo netepake dampak saka Energy Energy Report iki. Sanadyan pangobatan ing eksperimen iki biasane dikirim sacara fisik-biasane liwat surat siput kuno-hasil kasebut diukur nganggo piranti digital ing jagad fisik (contone, meter daya). Luwih, tinimbang kanthi manual ngumpulake informasi iki karo asisten riset ngunjungi saben omah, eksperimen Opower kabeh wis rampung kanthi kerjasama karo perusahaan tenaga sing nyegah peneliti kanggo ngakses pembacaan daya. Mangkono, eksperimen medan-medan parsial digital iki dilakoni ing skala massive kanthi biaya variabel sing kurang.
Gambar 4.6: Laporan Home Energy duweni Modul Perbandingan Sosial lan Modul Langkah-langkah Tindakan. Allcott (2011) kanthi izin saka Allcott (2011) , tokoh 1 lan 2.
Ing eksperimen pertama sing Allcott (2011) 600.000 rumah tangga saka 10 situs sing beda, Allcott (2011) nemokake yen Laporan Energi Utama Allcott (2011) konsumsi listrik. Ing tembung liya, asil saka panaliten sing luwih gedhe, luwih geografis padha karo kualitatif kaya asil saka Schultz et al. (2007) . Luwih, ing riset salajengipun nglibatno 8 yuta rumah tangga tambahan saka 101 situs sing beda-beda, Allcott (2015) maneh nemokake yen Laporan Energi Rumah kanthi konsisten nurunake konsumsi listrik. Eksperimen iki luwih gedhe uga nyatakake pola anyar sing menarik sing ora bakal katon ing sembarang eksperimen tunggal: ukuran efek ditolak ing eksperimen mengko (angka 4.7). Allcott (2015) yen penurunan iki kedadeyan amarga, ing wektu sing tepat, perawatan kasebut ditrapake kanggo macem-macem jinis peserta. Utamané, utas karo pelanggan sing luwih fokus lingkungan luwih mungkin nganggo program kasebut sadurungé, lan pelanggan luwih responsif marang perawatan kasebut. Minangka utas karo para pelanggan sing ora fokus ing lingkungan sing diadopsi, program kasebut bisa diturunake. Mulane, kaya sapisanan ing eksperimen, manawa klompok pengobatan lan kontrol padha, acak ing situs riset njamin perkiraan bisa umumake saka siji klompok peserta menyang populasi sing luwih umum (mikir maneh bab 3 babagan sampling). Yen situs-situs panaliten ora ditampilake kanthi acak, banjur generalisasi-malah saka eksperimen sing dirancang lan dilakoni-bisa dadi masalah.
Gambar 4.7: Asil 111 eksperimen nguji efek saka Laporan Energi Ngarep babagan konsumsi listrik. Ing situs ngendi program iki diadopsi ing pungkasan, cenderung duwe efek sing luwih cilik. Allcott (2015) menawa sumber utama pola iki yaiku situs kanthi pelanggan sing luwih fokus ing lingkungane luwih cenderung nggunakake program kasebut sadurungé. Diadaptasi saka Allcott (2015) , gambar 3.
Bebarengan karo 111 eksperimen iki-10 ing Allcott (2011) lan 101 ing Allcott (2015) -membangun babagan 8,5 yuta rumah tangga saka kabeh negara Amerika Serikat. Wong-wong mau terus-terusan nuduhake yen Home Energy Reports nyuda konsumsi listrik rata-rata, asil sing ndhukung temuan asli Schultz lan kolega saka 300 omah ing California. Sawise nyalin asil asli kasebut, eksperimen lanjutan uga nuduhake yen ukuran efek beda-beda miturut lokasi. Eksperimen iki uga nggambarake rong titik umum babagan eksperimen lapangan partial digital. Kaping pisanan, peneliti bakal bisa ngatasi masalah keprigelan babagan valid eksternal nalika biaya eksperimen mlaku kurang, lan iki bisa kedadean yen hasil wis diukur dening sistem data sing tansah. Mulane, nerangake yen para panaliti kudu nggoleki prilaku sing menarik lan penting sing wis direkam, banjur ngrancang eksperimen ing ndhuwur prasarana pangukuran sing ana. Kapindho, eksperimen iki ngelingake yen eksperimen lapangan digital ora mung online; saya tambah akeh, dheweke ngarepake manawa ana ing ngendi wae akeh hasil sing diukur dening sensor ing lingkungan sing dibangun.
Katelu jinis validitas-kesimpulan kesimpulan statistik, validitas internal, mbangun kesahihan, lan validitas njaba-nyedhiyakake daftar priksa mental kanggo para panaliti nemtokake manawa asil saka eksperimen tartamtu ndhukung kesimpulan sing luwih umum. Dibandhingake karo eksperimen umur analog, ing eksperimen umur digital, luwih gampang kanggo ngatasi validitas eksternal kanthi empiris, lan uga luwih gampang kanggo njamin validitas internal. Saliyane, masalah ngenani validitas mesthine bakal luwih tantangan ing eksperimen umur digital, utamane percobaan lapangan digital sing ndherek kerjasama karo perusahaan.
