4.4.1 Validitas
Validitas mengacu pada berapa banyak hasil percobaan mendukung kesimpulan yang lebih umum.
Tidak ada percobaan yang sempurna, dan peneliti telah mengembangkan kosa kata yang luas untuk menggambarkan kemungkinan masalah. Validitas mengacu pada sejauh mana hasil dari eksperimen tertentu mendukung beberapa kesimpulan yang lebih umum. Ilmuwan sosial telah menemukan itu bermanfaat untuk membagi validitas menjadi empat jenis utama: validitas kesimpulan statistik, validitas internal, validitas konstruk, dan validitas eksternal (Shadish, Cook, and Campbell 2001, Ch 2) . Menguasai konsep-konsep ini akan memberikan Anda daftar mental untuk mengkritisi dan memperbaiki desain dan analisis eksperimen, dan itu akan membantu Anda berkomunikasi dengan peneliti lainnya.
Validitas kesimpulan statistik berpusat di sekitar apakah analisis statistik dari percobaan itu dilakukan dengan benar. Dalam konteks Schultz et al. (2007) pertanyaan seperti mungkin berpusat pada apakah mereka dihitung p-nilai mereka dengan benar. Analisis statistik adalah di luar cakupan buku ini, tetapi saya dapat mengatakan bahwa prinsip-prinsip statistik yang diperlukan untuk merancang dan menganalisis eksperimen tidak berubah di era digital. Namun, lingkungan data yang berbeda dalam percobaan digital tidak menciptakan peluang statistik baru (misalnya, menggunakan metode pembelajaran mesin untuk memperkirakan heterogenitas efek pengobatan (Imai and Ratkovic 2013) ) dan tantangan komputasi baru (misalnya, menghalangi dalam percobaan besar (Higgins, Sävje, and Sekhon 2016) ).
Validitas internal berpusat di sekitar apakah prosedur eksperimental dilakukan dengan benar. Kembali ke eksperimen Schultz et al. (2007) , pertanyaan tentang validitas internal bisa berpusat pengacakan, pengiriman pengobatan, dan pengukuran hasil. Misalnya, Anda mungkin khawatir bahwa asisten peneliti tidak membaca meter listrik andal. Bahkan, Schultz dan rekan khawatir tentang masalah ini dan mereka memiliki sampel meter baca dua kali; Untungnya, hasilnya dasarnya identik. Secara umum, Schultz dan percobaan rekan 'tampaknya memiliki validitas internal yang tinggi, tapi ini tidak selalu terjadi; bidang kompleks dan percobaan secara online sering mengalami masalah sebenarnya memberikan pengobatan yang tepat kepada orang yang tepat dan mengukur hasil untuk semua orang. Untungnya, era digital dapat membantu mengurangi kekhawatiran tentang validitas internal karena itu membuat lebih mudah untuk memastikan bahwa pengobatan tersebut disampaikan sebagai dirancang untuk orang-orang yang seharusnya menerimanya dan untuk mengukur hasil untuk semua peserta.
Membangun pusat validitas sekitar pertandingan antara data dan konstruksi teoritis. Sebagaimana dibahas dalam Bab 2, konstruksi adalah konsep abstrak yang ilmuwan sosial alasan tentang. Sayangnya, konsep-konsep abstrak tidak selalu memiliki definisi yang jelas dan pengukuran. Kembali ke Schultz et al. (2007) , klaim bahwa keputusan hukum norma-norma sosial dapat menurunkan penggunaan listrik membutuhkan peneliti untuk merancang pengobatan yang akan memanipulasi "norma-norma sosial ganti" (misalnya, emoticon) dan untuk mengukur "penggunaan listrik". Dalam percobaan analog, banyak peneliti yang dirancang perawatan mereka sendiri dan diukur hasil mereka sendiri. Pendekatan ini memastikan bahwa, sebanyak mungkin, percobaan sesuai dengan konstruksi abstrak yang dipelajari. Dalam percobaan digital di mana pasangan peneliti dengan perusahaan atau pemerintah untuk memberikan pengobatan dan menggunakan selalu-on sistem data untuk mengukur hasil, pertandingan antara percobaan dan konstruksi teoritis mungkin kurang ketat. Jadi, saya berharap bahwa validitas konstruk akan cenderung menjadi perhatian besar dalam percobaan digital dari eksperimen analog.
Akhirnya, validitas eksternal berpusat di sekitar apakah hasil penelitian ini akan generalisasi ke situasi lain. Kembali ke Schultz et al. (2007) , yang bisa meminta, akan informasi ide-menyediakan orang ini sama tentang penggunaan energi mereka dalam hubungan dengan rekan-rekan mereka dan sinyal dari norma-norma hukum yang diperlukan (misalnya, emoticon) penggunaan energi -Mengurangi jika hal itu dilakukan dengan cara yang berbeda di pengaturan yang berbeda? Bagi kebanyakan dirancang dengan baik dan eksperimen dikelola dengan baik, kekhawatiran tentang validitas eksternal adalah yang paling sulit untuk mengatasi. Di masa lalu, perdebatan ini tentang validitas eksternal yang sering hanya sekelompok orang yang duduk di sebuah ruangan mencoba membayangkan apa yang akan terjadi jika prosedur dilakukan dengan cara yang berbeda, atau di tempat yang berbeda, atau dengan orang yang berbeda. Untungnya, era digital memungkinkan peneliti untuk bergerak di luar spekulasi data yang bebas ini dan menilai validitas eksternal secara empiris.
Karena hasil dari Schultz et al. (2007) yang begitu menarik, sebuah perusahaan bernama Opower bermitra dengan utilitas di Amerika Serikat untuk menyebarkan pengobatan lebih luas. Berdasarkan desain Schultz et al. (2007) , Opower dibuat disesuaikan Depan Laporan Energi yang memiliki dua modul utama, satu menunjukkan penggunaan listrik rumah tangga relatif terhadap tetangganya dengan emoticon dan satu memberikan tips untuk menurunkan penggunaan energi (Gambar 4.6). Kemudian, dalam kemitraan dengan para peneliti, Opower berlari acak percobaan terkontrol untuk menilai dampak dari Laporan Energi Home. Meskipun perawatan dalam percobaan tersebut biasanya disampaikan secara fisik-biasanya melalui kuno surat siput-hasil diukur dengan menggunakan perangkat digital di dunia fisik (misalnya, meter listrik). Daripada mengumpulkan informasi ini dengan asisten peneliti mengunjungi rumah masing-masing secara manual, percobaan Opower semua dilakukan dalam kemitraan dengan perusahaan listrik memungkinkan para peneliti untuk mengakses bacaan listrik. Dengan demikian, ini percobaan lapangan sebagian digital yang berjalan pada skala besar dengan biaya variabel rendah.
Gambar 4.6: The Home Laporan Energi di Allcott (2011) memiliki Perbandingan Modul Sosial dan Modul Langkah Aksi.
Dalam set pertama eksperimen yang melibatkan 600.000 rumah tangga yang dilayani oleh 10 perusahaan utilitas di seluruh Amerika Serikat, Allcott (2011) menemukan Laporan Energi Depan menurunkan konsumsi listrik sebesar 1,7%. Dengan kata lain, hasil dari jauh lebih besar, studi lebih geografis beragam secara kualitatif mirip dengan hasil dari Schultz et al. (2007) . Tapi, efek ukuran lebih kecil: di Schultz et al. (2007) rumah tangga dalam kondisi norma deskriptif dan injective (satu dengan emoticon) mengurangi penggunaan listrik mereka dengan 5%. Alasan yang tepat untuk perbedaan ini tidak diketahui, tetapi Allcott (2011) berspekulasi bahwa menerima emoticon tulisan tangan sebagai bagian dari studi yang disponsori oleh sebuah universitas mungkin memiliki efek lebih besar pada perilaku daripada menerima emoticon dicetak sebagai bagian dari laporan diproduksi massal dari perusahaan listrik.
Selanjutnya, dalam penelitian selanjutnya, Allcott (2015) melaporkan tambahan 101 percobaan yang melibatkan tambahan 8 juta rumah tangga. Dalam 101 percobaan berikutnya Laporan Energi Depan terus menyebabkan orang untuk menurunkan konsumsi listrik mereka, tapi efek yang lebih kecil. Alasan yang tepat untuk penurunan ini tidak diketahui, tetapi Allcott (2015) berspekulasi bahwa efektivitas laporan tampaknya menurun dari waktu ke waktu karena itu benar-benar diterapkan untuk berbagai jenis peserta. Lebih khusus, utilitas di daerah yang lebih lingkungan lebih mungkin mengadopsi program sebelumnya dan pelanggan mereka lebih responsif terhadap pengobatan. Utilitas dengan pelanggan lingkungan kurang mengadopsi program, efektivitas muncul menurun. Dengan demikian, seperti pengacakan dalam percobaan memastikan bahwa perlakuan dan kelompok kontrol serupa, pengacakan di lokasi penelitian memastikan bahwa perkiraan dapat digeneralisasi dari satu kelompok peserta untuk populasi yang lebih umum (berpikir kembali ke Bab 3 tentang sampling). Jika lokasi penelitian tidak sampel secara acak, kemudian generalisasi-bahkan dari sempurna dirancang dan dilakukan percobaan-bisa menimbulkan masalah.
Bersama-sama, 111 percobaan-10 di ini Allcott (2011) dan 101 di Allcott (2015) -involved sekitar 8,5 juta rumah tangga dari seluruh Amerika Serikat. Mereka secara konsisten menunjukkan bahwa Laporan Depan Energi mengurangi konsumsi listrik rata-rata, hasil yang mendukung temuan asli Schultz dan koleganya dari 300 rumah di California. Sekedar mereplikasi hasil ini asli, percobaan tindak lanjut juga menunjukkan bahwa ukuran efek bervariasi berdasarkan lokasi. Ini set percobaan juga menggambarkan dua poin lebih umum tentang percobaan lapangan sebagian digital. Pertama, peneliti akan dapat secara empiris kekhawatiran alamat tentang validitas eksternal ketika biaya menjalankan percobaan rendah, dan ini dapat terjadi jika hasilnya sudah diukur oleh selalu-data sistem. Oleh karena itu, menunjukkan bahwa penelitian harus pada tampilan-out untuk perilaku menarik dan penting lainnya yang sudah didata, dan kemudian merancang eksperimen di atas ini infrastruktur pengukuran yang ada. Kedua, ini set percobaan mengingatkan kita bahwa percobaan lapangan digital tidak hanya online; semakin saya berharap bahwa mereka akan mana-mana dengan banyak hasil yang diukur oleh sensor di lingkungan dibangun.
Empat jenis validitas kesimpulan validitas-statistik, validitas internal, validitas konstruk, validitas-menyediakan eksternal checklist mental untuk membantu para peneliti menilai apakah hasil dari eksperimen tertentu mendukung kesimpulan yang lebih umum. Dibandingkan dengan percobaan usia analog, dalam percobaan era digital harus lebih mudah untuk mengatasi validitas eksternal secara empiris dan harus lebih mudah untuk memastikan validitas internal. Di sisi lain, masalah validitas konstruk mungkin akan lebih menantang dalam percobaan era digital (meskipun itu tidak terjadi dengan percobaan Opower).
