3.6.1 Amplified meminta

Menghubungkan survei untuk jejak digital bisa seperti meminta semua orang pertanyaan Anda setiap saat.

Meminta umumnya datang dalam dua kategori utama: survei sampel dan sensus. survei sampel, di mana Anda mengakses sejumlah kecil orang, bisa fleksibel, tepat waktu, dan relatif murah. Namun, survei sampel, karena mereka didasarkan pada sampel, sering terbatas dalam resolusi mereka; dengan survei sampel, hal ini sering sulit untuk membuat perkiraan tentang wilayah geografis tertentu atau untuk kelompok demografis tertentu. Sensus, di sisi lain, mencoba untuk mewawancarai semua orang dalam populasi. Mereka memiliki resolusi besar, tetapi mereka umumnya mahal, sempit fokus (mereka hanya mencakup sejumlah kecil pertanyaan), dan tidak tepat waktu (mereka terjadi pada jadwal yang tetap, seperti setiap 10 tahun) (Kish 1979) . Sekarang bayangkan jika peneliti bisa menggabungkan karakteristik terbaik dari survei sampel dan sensus; bayangkan jika peneliti bisa meminta setiap pertanyaan untuk semua orang setiap hari.

Jelas, terus-menerus ini, di mana-mana, selalu-on survei adalah semacam fantasi ilmu sosial. Tapi, tampaknya kita dapat mulai mendekati ini dengan menggabungkan pertanyaan survei dari sejumlah kecil orang dengan jejak digital dari banyak orang. Saya menyebut jenis kombinasi diperkuat bertanya. Jika dilakukan dengan baik, itu bisa membantu kami memberikan perkiraan yang lebih lokal (untuk wilayah geografis yang lebih kecil), lebih granular (untuk kelompok demografis tertentu), dan lebih tepat waktu.

Salah satu contoh yang diminta diperkuat berasal dari karya Joshua Blumenstock, yang ingin mengumpulkan data yang akan membantu pengembangan panduan di negara-negara miskin. Lebih khusus, Blumenstock ingin menciptakan sebuah sistem untuk mengukur kekayaan dan kesejahteraan yang dikombinasikan kelengkapan sensus dengan fleksibilitas dan frekuensi survei (Blumenstock 2014; Blumenstock, Cadamuro, and On 2015) . Bahkan, aku sudah dijelaskan pekerjaan Blumenstock secara singkat dalam Bab 1.

Untuk memulai, Blumenstock bermitra dengan operator telepon seluler terbesar di Rwanda. Perusahaan memberinya catatan transaksi anonim dari sekitar 1,5 juta pelanggan meliputi perilaku dari tahun 2005 dan 2009. log berisi informasi tentang setiap panggilan dan pesan teks seperti waktu mulai, durasi, dan lokasi geografis perkiraan pemanggil dan penerima. Sebelum kita mulai berbicara tentang masalah statistik, perlu menunjukkan bahwa langkah pertama ini mungkin salah satu yang paling sulit. Seperti dijelaskan dalam Bab 2, sebagian besar data jejak digital dapat diakses para peneliti. Dan, banyak perusahaan yang dibenarkan ragu-ragu untuk berbagi data mereka karena swasta; yang pelanggan mereka mungkin tidak berharap bahwa catatan mereka akan dibagi-dalam jumlah besar-dengan peneliti. Dalam hal ini, para peneliti mengambil langkah berhati-hati untuk anonim data dan pekerjaan mereka diawasi oleh pihak ketiga (yaitu, IRB mereka). Tapi, meskipun upaya ini, data ini mungkin masih dapat dikenali dan mereka mungkin berisi informasi sensitif (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . Aku akan kembali ke ini pertanyaan etis dalam Bab 6.

Ingat bahwa Blumenstock tertarik dalam mengukur kekayaan dan kesejahteraan. Tapi, sifat-sifat ini tidak langsung dalam catatan panggilan. Dengan kata lain, catatan panggilan ini tidak lengkap untuk penelitian ini, fitur umum dari jejak digital yang dibahas secara rinci dalam Bab 2. Tapi, ada kemungkinan bahwa catatan panggilan mungkin memiliki beberapa informasi tentang kekayaan dan kesejahteraan. Jadi, salah satu cara mengajukan pertanyaan Blumenstock bisa menjadi: apakah mungkin untuk memprediksi bagaimana seseorang akan menanggapi survei berdasarkan data jejak digital mereka? Jika demikian, maka dengan meminta beberapa orang kita bisa menebak jawaban dari orang lain.

Untuk menilai ini secara empiris, Blumenstock dan penelitian asisten dari Kigali Institut Sains dan Teknologi disebut sampel dari sekitar seribu pelanggan telepon seluler. Para peneliti menjelaskan tujuan dari proyek untuk para peserta, meminta persetujuan mereka untuk menghubungkan tanggapan survei untuk catatan panggilan, dan kemudian meminta mereka serangkaian pertanyaan untuk mengukur kekayaan mereka dan kesejahteraan, seperti "Apakah Anda memiliki radio? "dan" Apakah Anda memiliki sepeda? "(lihat Gambar 3.11 untuk daftar sebagian). Semua peserta dalam survei kompensasi finansial.

Berikutnya, Blumenstock digunakan prosedur dua langkah umum dalam ilmu Data: engineering fitur diikuti oleh belajar diawasi. Pertama, pada langkah rekayasa fitur, untuk semua orang yang diwawancarai, Blumenstock dikonversi catatan panggilan ke satu set karakteristik tentang setiap orang; ilmuwan Data sebut karakteristik ini "fitur" dan ilmuwan sosial akan menyebut mereka "variabel." Sebagai contoh, untuk setiap orang, Blumenstock dihitung jumlah total hari dengan aktivitas, jumlah orang yang berbeda seseorang telah melakukan kontak dengan, jumlah uang yang dihabiskan untuk airtime, dan sebagainya. Kritis, baik rekayasa fitur membutuhkan pengetahuan tentang pengaturan penelitian. Sebagai contoh, jika itu penting untuk membedakan antara panggilan domestik dan internasional (kita mungkin mengharapkan orang yang menyebut internasional untuk menjadi kaya), maka ini harus dilakukan pada langkah rekayasa fitur. Seorang peneliti dengan sedikit pemahaman tentang Rwanda mungkin tidak termasuk fitur ini, dan kemudian kinerja prediksi model akan menderita.

Selanjutnya, pada langkah pembelajaran diawasi, Blumenstock membangun sebuah model statistik untuk memprediksi respon survei untuk setiap orang berdasarkan fitur mereka. Dalam hal ini, Blumenstock digunakan regresi logistik dengan 10-fold cross-validasi, tapi ia bisa menggunakan berbagai pendekatan statistik atau mesin belajar lainnya.

Jadi seberapa baik itu bekerja? Adalah Blumenstock mampu memprediksi jawaban survei pertanyaan seperti "Apakah Anda memiliki radio?" Dan "Apakah Anda memiliki sepeda?" Menggunakan fitur yang berasal dari catatan panggilan? Semacam. Akurasi prediksi yang tinggi untuk beberapa sifat (Gambar 3.11). Tapi, itu selalu penting untuk membandingkan metode prediksi yang kompleks terhadap alternatif sederhana. Dalam hal ini, alternatif yang sederhana adalah untuk memprediksi bahwa setiap orang akan memberikan jawaban yang paling umum. Misalnya, 97,3% melaporkan memiliki sebuah radio jadi jika Blumenstock telah meramalkan bahwa setiap orang akan melaporkan memiliki sebuah radio ia akan memiliki akurasi 97,3%, yang mengejutkan mirip dengan kinerja prosedur yang lebih kompleks nya (akurasi 97,6%). Dengan kata lain, semua data mewah dan pemodelan meningkatkan akurasi prediksi dari 97,3% menjadi 97,6%. Namun, untuk pertanyaan lain, seperti "Apakah Anda memiliki sepeda?", Prediksi meningkat dari 54,4% menjadi 67,6%. Lebih umum, Gambar 3.12 menunjukkan beberapa ciri Blumenstock tidak meningkatkan lebih jauh hanya membuat prediksi awal yang sederhana, tapi itu untuk sifat lainnya ada beberapa perbaikan.

Gambar 3.11: akurasi prediktif untuk model statistik dilatih dengan catatan panggilan. Hasil dari Tabel 2 dari Blumenstock (2014) .

Gambar 3.12: Perbandingan akurasi prediksi untuk model statistik dilatih dengan catatan panggilan untuk prediksi awal yang sederhana. Poin yang sedikit bergoyang untuk menghindari tumpang tindih; lihat Tabel 2 dari Blumenstock (2014) untuk nilai-nilai yang tepat.

Pada titik ini Anda mungkin berpikir bahwa hasil ini sedikit mengecewakan, tapi hanya satu tahun kemudian, Blumenstock dan dua rekannya-Gabriel Cadamuro dan Robert On-menerbitkan sebuah makalah di Ilmu dengan hasil yang jauh lebih baik (Blumenstock, Cadamuro, and On 2015) . Ada dua alasan teknis utama untuk perbaikan: 1) mereka menggunakan metode yang lebih canggih (yaitu, pendekatan baru untuk fitur teknik dan mesin model pembelajaran yang lebih canggih) dan 2) daripada berusaha untuk menyimpulkan tanggapan terhadap pertanyaan survei individu (misalnya, "Apakah Anda memiliki radio?"), mereka berusaha untuk menyimpulkan indeks kekayaan komposit.

Blumenstock dan rekan menunjukkan kinerja pendekatan mereka dalam dua cara. Pertama, mereka menemukan bahwa bagi orang-orang dalam sampel mereka, mereka bisa melakukan pekerjaan yang cukup baik memprediksi kekayaan mereka dari catatan panggilan (Gambar 3.14). Kedua, dan yang lebih penting lagi, Blumenstock dan koleganya menunjukkan bahwa prosedur mereka bisa menghasilkan perkiraan berkualitas tinggi dari distribusi geografis kekayaan di Rwanda. Lebih khusus, mereka menggunakan mesin model pembelajaran mereka, yang dilatih pada sampel mereka dari sekitar 1.000 orang, untuk memprediksi kekayaan semua 1,5 juta orang di catatan panggilan. Selanjutnya, dengan data geospasial tertanam dalam data panggilan (ingat bahwa data panggilan meliputi lokasi menara seluler terdekat untuk setiap panggilan), para peneliti mampu memperkirakan tempat perkiraan kediaman masing-masing orang. Meletakkan dua perkiraan ini bersama-sama, penelitian ini menghasilkan perkiraan distribusi geografis kekayaan pelanggan di granularity spasial sangat halus. Misalnya, mereka bisa memperkirakan kekayaan rata-rata di setiap Rwanda 2148 sel (unit administrasi terkecil di negeri ini). Ini diperkirakan nilai kekayaan yang begitu granular mereka sulit untuk memeriksa. Jadi, para peneliti agregat hasil mereka untuk menghasilkan perkiraan kekayaan rata-rata Rwanda 30 kabupaten. estimasi tingkat kabupaten tersebut sangat terkait dengan perkiraan dari emas survei tradisional standar, Rwanda Survei Demografi dan Kesehatan (Gambar 3.14). Meskipun perkiraan dari dua sumber yang sama, perkiraan dari Blumenstock dan rekan sekitar 50 kali lebih murah dan lebih cepat 10 kali (saat biaya dalam diukur dalam hal biaya variabel). Penurunan dramatis dalam biaya berarti bahwa bukannya menjalankan setiap beberapa tahun-sebagai standar untuk Survei Demografi dan Kesehatan-hibrida dari survei kecil dikombinasikan dengan data jejak digital besar bisa dijalankan setiap bulan.

Gambar 3.13: Skema Blumenstock, Cadamuro, and On (2015) . Data panggilan dari perusahaan telepon diubah menjadi matriks dengan satu baris untuk setiap orang dan satu kolom untuk setiap fitur (yaitu, variabel). Selanjutnya, para peneliti membangun sebuah model pembelajaran diawasi untuk memprediksi respon survei dari orang tersebut dengan matriks fitur. Kemudian, model pembelajaran terawasi digunakan untuk menyalahkan tanggapan survei untuk semua orang. Pada intinya, para peneliti menggunakan tanggapan dari sekitar seribu orang untuk menyalahkan kekayaan sekitar satu juta orang. Juga, para peneliti memperkirakan tempat perkiraan tinggal untuk semua 1,5 juta orang berdasarkan lokasi dari panggilan mereka. Ketika dua perkiraan ini digabungkan-estimasi kekayaan dan diperkirakan tempat tinggal-hasilnya mirip dengan perkiraan dari Survei Demografi dan Kesehatan, survei tradisional standar emas (Gambar 3.14).

Gambar 3.14: Hasil dari Blumenstock, Cadamuro, and On (2015) . Pada tingkat individu, para peneliti mampu melakukan pekerjaan yang masuk akal untuk memprediksi kekayaan seseorang dari catatan panggilan mereka. Perkiraan tingkat kabupaten kekayaan-yang didasarkan pada perkiraan tingkat individu kekayaan dan tempat tinggal-hasilnya sama dengan hasil dari Survei Demografi dan Kesehatan, survei tradisional standar emas.

Kesimpulannya, Blumenstock ini diperkuat meminta pendekatan gabungan data survei dengan data jejak digital untuk menghasilkan perkiraan sebanding dengan perkiraan survei standar emas. contoh khusus ini juga menjelaskan beberapa trade-off antara meminta diperkuat dan metode survei tradisional. Pertama, perkiraan meminta diperkuat lebih tepat waktu, secara substansial lebih murah, dan lebih rinci. Tapi, di sisi lain, saat ini, tidak ada dasar teoritis yang kuat untuk jenis yang diminta diperkuat. Artinya, misalnya satu ini tidak menunjukkan kapan akan bekerja dan ketika itu tidak akan. Selanjutnya, pendekatan meminta diperkuat belum memiliki cara yang baik untuk mengukur ketidakpastian sekitar estimasi. Namun, diperkuat diminta memiliki hubungan yang mendalam untuk tiga wilayah besar di berbasis statistik model pasca-stratifikasi (Little 1993) , imputasi (Rubin 2004) , dan estimasi-daerah kecil (Rao and Molina 2015) -dan jadi saya berharap bahwa kemajuan akan menjadi cepat.

Diperkuat meminta berikut resep dasar yang dapat disesuaikan dengan situasi khusus Anda. Ada dua bahan dan dua langkah. Kedua bahan adalah 1) dataset jejak digital yang lebar tapi tipis (yaitu, ia memiliki banyak orang tapi tidak informasi yang Anda butuhkan tentang setiap orang) dan 2) survei yang sempit tapi tebal (yaitu, ia memiliki hanya beberapa orang, tetapi memiliki informasi yang Anda butuhkan tentang orang-orang). Lalu, ada dua langkah. Pertama, bagi orang-orang di kedua sumber data, membangun model pembelajaran mesin yang menggunakan jejak data digital untuk memprediksi jawaban survei. Selanjutnya, gunakan model pembelajaran mesin untuk menyalahkan jawaban survei dari semua orang di data jejak digital. Dengan demikian, jika ada beberapa pertanyaan yang ingin Anda tanyakan ke banyak orang, mencari data yang jejak digital dari orang-orang yang mungkin digunakan untuk memprediksi jawaban mereka.

Membandingkan Blumenstock ini upaya pertama dan kedua di masalah ini juga menggambarkan pelajaran penting tentang transisi dari era kedua pendekatan era ketiga untuk survei penelitian: awal bukanlah akhir. Artinya, berkali-kali, pendekatan pertama tidak akan menjadi yang terbaik, tetapi jika peneliti terus bekerja, hal bisa menjadi lebih baik. Lebih umum, ketika mengevaluasi pendekatan baru untuk penelitian sosial di era digital, penting untuk membuat dua evaluasi yang berbeda: 1) seberapa baik ini bekerja sekarang dan 2) seberapa baik Anda pikir ini mungkin bekerja di masa depan sebagai lanskap Data perubahan dan sebagai peneliti mencurahkan lebih banyak perhatian pada masalah. Meskipun, peneliti dilatih untuk membuat jenis pertama evaluasi (seberapa baik adalah khusus ini bagian dari penelitian), yang kedua adalah sering lebih penting.