3.6.1 penguatan meminta

Menghubungkan kajian anda untuk kesan digital boleh menjadi seperti meminta semua orang soalan anda pada setiap masa.

Meminta umumnya datang dalam dua kategori utama: tinjauan sampel dan banci. tinjauan sampel, di mana anda mengakses sebilangan kecil orang, boleh menjadi fleksibel, tepat pada masanya, dan agak murah. Walau bagaimanapun, tinjauan rawak, kerana mereka adalah berdasarkan kepada sampel, sering terhad dalam resolusi mereka; dengan penyiasatan sampel, ia sering sukar untuk membuat anggaran mengenai kawasan geografi tertentu atau bagi kumpulan demografi tertentu. Banci, di pihak yang lain, cuba untuk menemubual semua orang dalam populasi. Mereka mempunyai resolusi besar, tetapi mereka adalah mahal, sempit dalam fokus (mereka hanya termasuk sebilangan kecil soalan), dan tidak tepat pada masanya (ia berlaku mengikut jadual yang tetap, seperti setiap 10 tahun) (Kish 1979) . Sekarang bayangkan jika penyelidik boleh menggabungkan ciri-ciri terbaik sebagai tinjauan sampel dan banci; bayangkan jika penyelidik boleh meminta setiap soalan kepada semua orang setiap hari.

Jelas sekali, yang berterusan ini, sentiasa ada, sentiasa ke kaji selidik adalah sejenis fantasi sains sosial. Tetapi, ternyata bahawa kita boleh mula lebih kurang ini dengan menggabungkan soalan kajian daripada sebilangan kecil orang dengan kesan digital dari ramai orang. Saya menyeru jenis kombinasi dikuatkan meminta. Jika dilakukan dengan baik, ia boleh membantu kita memberikan anggaran yang lebih tempatan (untuk kawasan-kawasan geografi yang lebih kecil), lebih terperinci (untuk kumpulan demografi tertentu), dan lebih tepat pada masanya.

Satu contoh yang diminta dikuatkan datang dari kerja Joshua Blumenstock, yang mahu untuk mengumpul data yang akan membantu pembangunan panduan di negara-negara miskin. Lebih khusus lagi, Blumenstock mahu mewujudkan satu sistem untuk mengukur kekayaan dan kesejahteraan yang menggabungkan kesempurnaan bancian dengan fleksibiliti dan kekerapan kajian (Blumenstock 2014; Blumenstock, Cadamuro, and On 2015) . Malah, saya telah diterangkan kerja Blumenstock secara ringkas dalam Bab 1.

Untuk memulakan, Blumenstock bekerjasama dengan pembekal telefon mudah alih terbesar di Rwanda. Syarikat itu memberinya rekod transaksi tanpa nama daripada kira-kira 1.5 juta pelanggan yang meliputi tingkah laku dari tahun 2005 dan 2009. log mengandungi maklumat mengenai setiap panggilan dan teks mesej seperti masa permulaan, tempoh, dan lokasi geografi anggaran pemanggil dan penerima. Sebelum kita mula bercakap tentang isu-isu statistik, ia adalah bernilai menunjukkan bahawa langkah pertama ini boleh menjadi salah satu yang paling sukar. Seperti yang diterangkan dalam Bab 2, sebahagian besar data surih digital adalah tidak dapat dicapai oleh penyelidik. Dan, banyak syarikat yang wajar teragak-agak untuk berkongsi data mereka kerana ia tertutup; iaitu pelanggan mereka mungkin tidak menyangka bahawa rekod mereka akan dikongsi masuk pukal dengan penyelidik. Dalam kes ini, penyelidik telah mengambil langkah berhati-hati untuk anonymize data dan kerja mereka telah diselia oleh pihak ketiga (iaitu, LHDN mereka). Tetapi, walaupun usaha-usaha ini, data ini mungkin masih boleh dikenal pasti dan mereka mungkin mengandungi maklumat sensitif (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . Saya akan kembali kepada ini soalan etika dalam Bab 6.

Ingat bahawa Blumenstock berminat dalam mengukur kekayaan dan kesejahteraan. Tetapi, sifat-sifat ini tidak langsung dalam rekod panggilan. Dalam erti kata lain, rekod-rekod panggilan tidak lengkap untuk kajian ini, perkara biasa dalam kesan digital yang telah dibincangkan secara terperinci dalam Bab 2. Tetapi, ia seolah-olah mungkin bahawa rekod panggilan mungkin mempunyai beberapa maklumat mengenai kekayaan dan kesejahteraan. Jadi, salah satu cara untuk bertanya soalan Blumenstock ini boleh menjadi: adakah mungkin untuk meramalkan bagaimana seseorang akan bertindak balas kaji selidik yang berdasarkan data surih digital mereka? Jika ya, maka dengan bertanya beberapa orang kita boleh meneka jawapan daripada orang lain.

Untuk menilai ini secara empirik, Blumenstock dan penyelidikan pembantu dari Kigali Institut Sains dan Teknologi dipanggil sampel kira-kira seribu pelanggan telefon mudah alih. Para penyelidik menjelaskan matlamat projek kepada para peserta, meminta persetujuan mereka untuk menghubungkan jawapan kaji selidik kepada rekod panggilan, dan kemudian bertanya kepada mereka beberapa soalan untuk mengukur kekayaan mereka dan kesejahteraan, seperti "Adakah anda memiliki sebuah radio? "dan" Adakah anda memiliki basikal? "(lihat Rajah 3.11 untuk senarai separa). Semua peserta dalam kajian ini telah pampasan kewangan.

Seterusnya, Blumenstock menggunakan prosedur dua langkah biasa dalam bidang sains data: kejuruteraan ciri diikuti oleh pembelajaran diselia. Pertama, dalam langkah kejuruteraan ciri, untuk semua orang yang ditemuramah, Blumenstock ditukar rekod panggilan ke dalam satu set ciri-ciri tentang setiap orang; saintis data mungkin memanggil ciri-ciri "ciri" dan ahli-ahli sains sosial akan memanggil mereka "pembolehubah." Sebagai contoh, bagi setiap orang, Blumenstock dikira Jumlah hari dengan aktiviti, bilangan orang yang berbeza seseorang telah berhubung dengan, jumlah yang wang yang dibelanjakan untuk masa siaran, dan sebagainya. Kritikal, kejuruteraan ciri yang baik memerlukan pengetahuan tetapan penyelidikan. Sebagai contoh, jika ia adalah penting untuk membezakan antara panggilan domestik dan antarabangsa (kami jangkakan orang yang memanggil antarabangsa untuk menjadi kaya), maka ini mesti dilakukan pada langkah kejuruteraan ciri. Seorang penyelidik dengan pemahaman sedikit Rwanda mungkin tidak merangkumi ciri-ciri ini, dan kemudian prestasi ramalan model yang akan menderita.

Seterusnya, dalam langkah pembelajaran diselia, Blumenstock membina sebuah model statistik untuk meramalkan tindak balas kaji selidik untuk setiap orang berdasarkan ciri-ciri mereka. Dalam kes ini, Blumenstock digunakan regresi logistik dengan 10 kali ganda merentas pengesahan, tetapi dia boleh menggunakan pelbagai pendekatan pembelajaran statistik atau mesin lain.

Jadi bagaimana adakah ia berfungsi? Telah Blumenstock dapat meramalkan jawapan untuk meninjau soalan seperti "Adakah anda memiliki radio?" Dan "Adakah anda memiliki basikal?" Menggunakan ciri-ciri yang diperolehi daripada rekod panggilan? Lebih kurang. Ketepatan ramalan yang tinggi untuk sifat-sifat (Rajah 3.11). Tetapi, ia sentiasa penting untuk membandingkan kaedah ramalan yang kompleks terhadap alternatif yang mudah. Dalam kes ini, alternatif yang mudah adalah untuk meramalkan bahawa semua orang akan memberikan jawapan yang paling biasa. Sebagai contoh, 97.3% melaporkan memiliki radio jadi jika Blumenstock telah meramalkan bahawa semua orang akan melaporkan memiliki radio dia akan mempunyai ketepatan 97.3%, yang menghairankan sama dengan pelaksanaan prosedur yang lebih kompleks beliau (97.6% ketepatan). Dalam erti kata lain, semua data mewah dan pemodelan meningkatkan ketepatan ramalan dari 97.3% kepada 97.6%. Walau bagaimanapun, bagi soalan-soalan lain, seperti "Adakah anda memiliki basikal?", Ramalan meningkat daripada 54.4% kepada 67.6%. Lebih umum, Rajah 3.12 menunjukkan untuk sifat-sifat Blumenstock tidak bertambah baik lebih daripada sekadar hanya membuat ramalan asas yang mudah, tetapi itu untuk ciri-ciri lain terdapat beberapa penambahbaikan.

Rajah 3.11: ketepatan ramalan untuk model statistik dilatih dengan rekod panggilan. Keputusan daripada Jadual 2 Blumenstock (2014) .

Rajah 3.12: Perbandingan ketepatan ramalan bagi model statistik dilatih dengan rekod panggilan ramalan asas mudah. Mata sedikit jittered untuk mengelakkan pertindihan; lihat Jadual 2 Blumenstock (2014) nilai-nilai yang tepat.

Pada ketika ini, anda mungkin berfikir bahawa keputusan ini agak mengecewakan, tetapi hanya satu tahun kemudian, Blumenstock dan dua rakan-rakan-Gabriel Cadamuro dan Robert On-menerbitkan satu kertas Sains dengan jauh lebih baik keputusan (Blumenstock, Cadamuro, and On 2015) . Terdapat dua sebab utama teknikal untuk penambahbaikan: 1) mereka menggunakan kaedah yang lebih canggih (iaitu, satu pendekatan baru untuk menampilkan kejuruteraan dan model pembelajaran mesin yang lebih canggih) dan 2) dan bukannya cuba untuk membuat kesimpulan jawapan kepada soalan-soalan kaji selidik individu (contohnya, "Adakah anda memiliki radio?"), mereka cuba untuk membuat kesimpulan indeks kekayaan komposit.

Blumenstock dan rakan-rakan menunjukkan prestasi pendekatan mereka dalam dua cara. Pertama, mereka mendapati bahawa bagi rakyat dalam sampel mereka, mereka boleh melakukan kerja yang cukup baik daripada meramalkan kekayaan mereka dari rekod panggilan (Rajah 3.14). Kedua, dan yang lebih penting lagi, Blumenstock dan rakan-rakan menunjukkan bahawa prosedur mereka boleh menghasilkan anggaran yang berkualiti tinggi taburan geografi kekayaan di Rwanda. Lebih khusus lagi, mereka menggunakan model pembelajaran mesin mereka, yang telah dilatih pada sampel mereka kira-kira 1,000 orang, untuk meramalkan kekayaan semua 1.5 juta orang dalam rekod panggilan. Selanjutnya, dengan data geospatial tertanam dalam data panggilan (ingat bahawa data panggilan termasuk lokasi menara sel yang terdekat untuk setiap panggilan), para penyelidik telah dapat untuk menganggarkan tempat anggaran kediaman setiap orang. Meletakkan kedua-dua anggaran bersama-sama, penyelidikan yang dihasilkan satu anggaran taburan geografi kekayaan pelanggan di granularity spatial yang sangat halus. Sebagai contoh, mereka boleh menganggarkan kekayaan purata dalam setiap 2148 sel Rwanda (unit pentadbiran yang paling kecil di negara ini). Nilai-nilai kekayaan meramalkan begitu berbutir mereka sukar untuk memeriksa. Jadi, penyelidik diagregatkan keputusan mereka untuk menghasilkan anggaran kekayaan purata 30 daerah Rwanda. Anggaran peringkat daerah telah berkait rapat dengan anggaran daripada kajian tradisional standard emas, demografi dan Kesihatan Ukur Rwanda (Rajah 3.14). Walaupun anggaran daripada kedua-dua sumber adalah sama, anggaran dari Blumenstock dan rakan-rakannya kira-kira 50 kali lebih murah dan 10 kali lebih cepat (apabila kos diukur dari segi kos berubah). Ini penurunan dramatik dalam kos bermakna bukannya menjalankan setiap beberapa tahun-as adalah standard untuk demografi dan Kesihatan Surveys-hibrida kajian kecil digabungkan dengan data surih digital besar boleh dijalankan setiap bulan.

Rajah 3.13: Skema Blumenstock, Cadamuro, and On (2015) . data panggilan daripada syarikat telefon telah ditukar kepada matriks dengan satu baris untuk setiap orang dan satu lajur untuk setiap ciri (iaitu, berubah-ubah). Seterusnya, penyelidik membina model pembelajaran yang diselia untuk meramalkan maklumbalas kajian daripada orang dengan ciri matriks. Kemudian, model pembelajaran diselia telah digunakan untuk meletakkan dosa balas kajian untuk semua orang. Pada dasarnya, penyelidik menggunakan maklum balas daripada kira-kira satu ribu orang dengan mengatakan kekayaan kira-kira satu juta orang. Juga, penyelidik menganggarkan tempat anggaran kediaman untuk semua 1.5 juta orang berdasarkan lokasi panggilan mereka. Apabila kedua-dua anggaran telah digabungkan-kekayaan yang dianggarkan dan tempat anggaran kediaman-keputusan yang sama dengan anggaran dari demografi dan Kajian Kesihatan, kajian tradisional emas standard (Rajah 3.14).

Rajah 3.14: Keputusan dari Blumenstock, Cadamuro, and On (2015) . Pada individu-tahap, penyelidik dapat melakukan kerja yang munasabah pada meramalkan kekayaan seseorang dari rekod panggilan mereka. Anggaran adalah berdasarkan kepada anggaran individu-tahap kekayaan dan tempat tinggal-keputusan peringkat daerah yang kekayaan adalah serupa dengan hasil daripada Penyiasatan demografi dan kesihatan, kajian tradisional emas standard.

Kesimpulannya, Blumenstock ini dikuatkan meminta pendekatan gabungan data kajian dengan data surih digital untuk menghasilkan anggaran setanding dengan anggaran kajian emas standard. Ini contoh tertentu juga menjelaskan sebahagian daripada keseimbangan antara meminta dikuatkan dan kaedah kajian tradisional. Pertama, anggaran meminta dikuatkan lebih tepat pada masanya, yang jauh lebih murah, dan lebih berbutir. Tetapi, di sisi lain, pada masa ini, tidak ada asas teori yang kuat untuk jenis ini meminta dikuatkan. Iaitu, satu contoh ini tidak menunjukkan apabila ia akan bekerja dan apabila ia tidak akan. Di samping itu, pendekatan yang diminta dikuatkan tidak lagi mempunyai cara yang baik untuk mengukur ketidaktentuan sekitar anggaran. Walau bagaimanapun, meminta dikuatkan mempunyai hubungan yang mendalam kepada tiga kawasan yang besar di berasaskan statistik-model pasca stratifikasi (Little 1993) , tohmahan (Rubin 2004) , dan anggaran kecil kawasan (Rao and Molina 2015) -dan jadi saya menjangkakan bahawa kemajuan akan menjadi pesat.

meminta dikuatkan berikut resipi asas yang boleh disesuaikan dengan keadaan tertentu anda. Terdapat dua bahan-bahan dan dua langkah. Kedua-dua bahan-bahan yang 1) jejak set data digital yang luas tetapi nipis (iaitu, ia mempunyai ramai orang, tetapi tidak maklumat yang anda perlukan tentang setiap orang) dan 2) kajian yang sempit tetapi tebal (iaitu, ia mempunyai hanya beberapa orang, tetapi ia mempunyai maklumat yang anda perlukan mengenai orang-orang). Kemudian, terdapat dua langkah. Pertama, bagi orang-orang di kedua-dua sumber data, membina model pembelajaran mesin yang menggunakan data surih digital untuk meramalkan jawapan kaji selidik. Seterusnya, gunakan yang model pembelajaran mesin dengan mengatakan jawapan kaji selidik semua orang dalam data surih digital. Oleh itu, jika terdapat beberapa soalan yang anda ingin bertanya kepada ramai orang, mencari data surih digital dari orang-orang yang boleh digunakan untuk meramalkan jawapan mereka.

Membandingkan percubaan pertama dan kedua Blumenstock pada masalah itu juga menggambarkan satu pengajaran penting mengenai peralihan dari era kedua kepada pendekatan era ketiga untuk meninjau penyelidikan: mulanya bukanlah akhir. Iaitu, banyak kali, pendekatan pertama tidak akan menjadi yang terbaik, tetapi jika penyelidik meneruskan kerja, perkara yang boleh menjadi lebih baik. Secara umum, apabila menilai pendekatan baru untuk penyelidikan sosial dalam era digital, ia adalah penting untuk membuat dua penilaian berbeza: 1) bagaimana ini berfungsi sekarang dan 2) bagaimana manakah anda rasa ini mungkin bekerja pada masa akan datang sebagai landskap data perubahan dan sebagai penyelidik menumpukan perhatian yang lebih kepada masalah ini. Walaupun, penyelidik dilatih untuk membuat jenis pertama penilaian (bagaimana baik adalah sekeping tertentu penyelidikan), yang kedua adalah lebih penting.