3.6.2

Bir çox insanın böyük bir məlumat mənbəyi olan bir neçə nəfərdən sorğunun məlumatlarını birləşdirmək üçün sadə bir modeldən istifadə etməyi xahiş etdi.

Anket və böyük məlumat mənbələrini birləşdirmək üçün fərqli bir yol, mən gücləndirilmiş sorğu çağıracağam bir müddətdir. İnkişaf etmiş soruşulan bir tədqiqatçı tədqiqat məlumatlarının böyük bir məlumat mənbəyi ilə birləşdirilməsi üçün bir proqnozlaşdırma modelini istifadə edir, ya da məlumat mənbəyi fərdi olaraq mümkün olmadığı bir miqyasda və ya qabiliyyətdə qiymətləndirmələr çıxarmaq üçün. Zəif ölkələrdə inkişafın inkişaf etdirilməsinə kömək edə biləcək məlumatlar toplamaq istəyən Joshua Blumenstock'un işindən gücləndirilmiş sorğunun əhəmiyyətli bir nümunəsi gəlir. Keçmişdə bu cür məlumatları toplayan tədqiqatçılar ümumiyyətlə iki yanaşmadan birini almalıdırlar: nümunə tədqiqatları və siyahıyaalmalar. Tədqiqatçıların az sayda müsahibə götürdüyü nümunəvi tədqiqatlar çevik, vaxtında və nisbətən ucuz ola bilər. Buna baxmayaraq, bu sorğular, bir nümunəyə əsaslandıqları üçün, tez-tez onların həllində məhdudlaşdırılır. Nümunə sorğusuyla, müəyyən coğrafi bölgələrə və ya xüsusi demoqrafik qruplara dair qiymətləndirmələr etmək çox vaxt çətindir. Digər tərəfdən siyahıyaalma, hər kəslə müsahibə verməyə cəhd edir və onlar kiçik coğrafi bölgələr və ya demoqrafik qruplar üçün təxminlər hazırlamaq üçün istifadə edilə bilər. Lakin siyahıyaalma ümumiyyətlə bahalıdır (odur ki, yalnız kiçik bir sıra suallar daxildir) və vaxtında deyil (hər 10 ildə bir sabit cədvəl üzrə olur) (Kish 1979) . Tədqiqat nümunələri və ya siyahıyaalmalarla sıxışdırılmasından çox, tədqiqatçıların həm də ən yaxşı xüsusiyyətlərini birləşdirə biləcəyini təsəvvür edin. Tədqiqatçılar hər gün hər bir insana hər sual soruşa biləcəklərini düşünün. Aydındır ki, bu hər yerdə, həmişə araşdırma bir növ sosial elm fantaziyasıdır. Ancaq bir çox insanlardan rəqəmsal izlər olan az sayda insandan sorğu suallarını birləşdirərək bunu təxmin etməyə başlaya biləcəyik.

Blumenstock'un araşdırması Ruandada ən böyük mobil telefon provayderi ilə əməkdaşlıq edərkən başladı və şirkət 2005 və 2009-cu illər arasında təxminən 1,5 milyon müştəridən anonim əməliyyat qeydləri təqdim etdi. Bu qeydlər hər bir çağırış və mətn mesajı, məsələn, başlama vaxtı, müddəti və zəng edənin və alıcının təxminən coğrafi mövqeyi. Statistik məsələlərdən danışdığımdan öncə, bu ilk addım bir çox tədqiqatçı üçün ən çətin məsələlərdən biri ola bilər. Fəsil 2-də təsvir edildiyi kimi, ən böyük məlumat mənbələri tədqiqatçılar üçün əlçatmazdır . Xüsusilə telefon meta-data xüsusilə əlçatmazdır, çünki anonim şəkildə əsasən qeyri-mümkündür və iştirakçılar həssas hesab edirlər (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . Bu xüsusi hallarda, tədqiqatçılar məlumatları qorumaq üçün diqqətli olub, onların işlərini üçüncü tərəf (məsələn, onların İRB) nəzarət etdi. Mən bu etik məsələlərə 6-cı fəsildə daha ətraflı məlumat verəcəyəm.

Blumenstock sərvət və rifahın ölçülməsində maraqlı idi. Lakin bu xüsusiyyətlər birbaşa zəng qeydlərində deyildir. Başqa sözlə, bu çağırış qeydləri bu tədqiqat üçün tamamlanmamışdır - böyük məlumat mənbələrinin ümumi xüsusiyyəti, fəsil 2-də ətraflı müzakirə olunmuşdur. Ancaq ehtimal ki, zəngin qeydiyyatı ehtimal ki, zənginlik haqqında məlumat verə biləcək bəzi məlumatlara malikdir və ehtimal ki, Xoşbəxtlik. Blumenstock, bu imkanı nəzərə alaraq, birinin axtarış qeydlərinə əsaslanan bir araşdırmaya necə cavab verəcəyini təxmin etmək üçün bir maşın öyrənmə modelini hazırlamaq mümkün olub-olmadığını soruşdu. Bu mümkünsə, Blumenstock bütün 1.5 milyon müştərinin anket cavablarını proqnozlaşdırmaq üçün bu modeldən istifadə edə bilər.

Belə bir model qurmaq və hazırlamaq üçün Kiqali Elm və Texnologiya İnstitutundan Blumenstock və araşdırma köməkçiləri təxminən min müştərinin təsadüfi bir nümunəsini verib. Tədqiqatçılar layihənin məqsədlərini iştirakçılara izah etdi, sorğuların cavab qeydlərini əlaqələndirilməsinə razılıq verib, sonra onların zənginliyi və rifahını ölçmək üçün bir sıra suallar verdi: radio "və" velosipediniz var? "(qismən siyahı üçün 3.14-cü bəndə bax). Anketdə iştirak edən bütün iştirakçılar maliyyə cəhətdən kompensasiya almışlar.

Bundan sonra, Blumenstock, maşın öyrənməsində ümumi iki addımlı bir prosedur istifadə etdi: xüsusiyyətli mühəndislik, nəzarət edilən öyrənmə izlədi. Birincisi, mülkiyyət mühəndisliyi prosesində, müsahibə verilmiş hər kəs üçün, Blumenstock zəng qeydlərini hər bir şəxs haqqında bir sıra xüsusiyyətlərə çevirdi; məlumat alimləri bu xüsusiyyətləri "xüsusiyyətləri" deyə çağırır və sosial alimlər onları "dəyişənlər" deyəcəklər. Məsələn, hər bir şəxs üçün Blumenstock, fəaliyyəti ilə bir günün ümumi sayını, bir şəxsin əlaqəli olduğu şəxslərin sayını, efir vaxtına sərf edilən vəsaitin miqdarı və s. Critically, yaxşı xüsusiyyət mühəndisliyi tədqiqat qəbulu bilik tələb edir. Məsələn, daxili və beynəlxalq çağırışları ayırmaq vacibdirsə (biz beynəlxalq səviyyədə zəngin olmağa çağırırıq), o zaman bu xüsusiyyətin mühəndislik addımında olmalıdır. Ruandada az anlayışlı bir tədqiqatçı bu xüsusiyyətə daxil ola bilməz və sonra modelin səciyyəvi performansı əziyyət çəkir.

Daha sonra nəzarət edilən öyrənmə addımında, Blumenstock, hər bir şəxsin xüsusiyyətlərinə görə araşdırma reaksiyasını proqnozlaşdırmaq üçün bir model qurdu. Bu vəziyyətdə, Blumenstock logistik regresyondan istifadə etdi, lakin o, müxtəlif statistik və ya maşın öyrənmə yanaşmalarından istifadə edə bilərdi.

Yəni necə yaxşı iş gördü? Blumenstock, zəng qeydlərindən əldə edilən xüsusiyyətləri istifadə edərək, "Sizin radioiniz var?" Və "Velosipediniz var?" Onun sadələşdirilmiş modeli fəaliyyətini qiymətləndirmək üçün, Blumenstock cross-qiymətləndirmə, adətən data elm, lakin nadir hallarda sosial elm istifadə texnika istifadə. Çapraz-validasiya məqsədi, məlumatların müxtəlif alt kümelerinde təhlili və test edilməsi ilə modelin proqnozlaşdırıcı performansının ədalətli qiymətləndirilməsini təmin etməkdir. Xüsusilə, Blumenstock məlumatlarını hər 100 adamdan 10-u qədər bölüşdürdü. Sonra modelini hazırlamaq üçün on doqquz hissədən istifadə etdi və təlim keçmiş modelin səciyyəvi performansı qalan yığınlar üzərində qiymətləndirildi. Bu proseduru 10 dəfə təkrarladı - hər bir yığılmış məlumatın verilməsi məlumatları kimi bir növbəni əldə etdikləri və nəticələrin orta hesabla olması.

Proqnozların düzgünlüyü bəzi xüsusiyyətlərə görə yüksək olmuşdur (şəkil 3.14); Məsələn, Blumenstock, birinin radioya sahib olduğu təqdirdə, 97.6% dəqiqliklə proqnozlaşdırdı. Bu təsirli ola bilər, lakin sadə bir alternativə qarşı kompleks bir proqnoz metodunu müqayisə etmək həmişə vacibdir. Bu halda sadə bir alternativ hər kəsin ən çox cavab verəcəyini təxmin etməkdir. Məsələn, respondentlərin 97.3% -i radioya malik olduqlarını bildirdi, belə ki, Blumenstok hər kəsin bir radioya malik olduğunu bildirəcəyini proqnozlaşdırdıqda, onun 97.3% -lik düzgünlüyə sahib olacağını proqnozlaşdırırdı, bu da onun daha mürəkkəb prosedurunun (97.6% dəqiqlik) . Başqa sözlə desək, bütün fantastik məlumatlar və modelləşdirmə predmetin dəqiqliyini 97.3% -dən 97.6% -ə çatdırdı. Bununla belə, "Velosipediniz var?" Kimi digər suallar üçün də proqnozlar 54,4% -dən 67,6% -ə yüksəlmişdir. Daha ümumilikdə, 3.15 rəqəmi göstərir ki, Blumenstock bəzi xüsusiyyətlərə görə sadə baseline proqnozlaşdırma etmədən kənara çıxmırdı, lakin digər əlamətlər üçün də bir qədər yaxşılaşma oldu. Ancaq bu nəticələrə baxarkən, bu yanaşmanın xüsusilə ümid verici olduğunu düşünmürsən.

Şəkil 3.14: Çağırış qeydləri ilə hazırlanmış statistik nümunə üçün proqnozlaşdırıcı dəqiqlik. Blumenstock (2014) , cədvəl 2 uyğunlaşdırılıb.

Şəkil 3.15: Sadə baseline proqnozlaşdırma ilə zəng qeydləri ilə hazırlanmış statistik model üçün proqnozlaşdırıcı düzgünlüyün müqayisəsi. Üst-üstə düşməmək üçün ballar bir az titrəyir. Blumenstock (2014) , cədvəl 2 uyğunlaşdırılıb.

Ancaq bir ildən sonra Blumenstock və iki həmkarları - Gabriel Cadamuro və Robert On- Science daha yaxşı nəticələrlə (Blumenstock, Cadamuro, and On 2015) Elmdə bir məqalə dərc (Blumenstock, Cadamuro, and On 2015) . Bu düzəlişin iki əsas texniki səbəbi var idi: (1) onlar daha müasir metodlardan (xüsusilə xüsusiyyətlərdən cavabları proqnozlaşdırmaq üçün müasir mühəndisliyə yeni bir yanaşma və daha mürəkkəb bir model) və (2) fərdi cavablara anket sorğuları (məsələn, "Siz radioiniz var?"), onlar kompozit sərvət indeksi endirmək üçün cəhd. Bu texniki irəliləyişlər, nümunə olan insanlar üçün sərvətin proqnozlaşdırılması üçün çağırış qeydlərindən istifadə etmək üçün ağlabatan bir iş edə biləcəyini nəzərdə tuturdu.

Ancaq nümunə içində insanların zənginliyini proqnozlaşdırmaq, araşdırmanın əsas məqsədi deyil. Unutmayın ki, əsas məqsəd inkişaf etməkdə olan ölkələrdə yoxsulluğun dəqiq, yüksək qətnamə qiymətləndirilməsi üçün nümunə tədqiqatların və siyahıyaalmanın ən yaxşı xüsusiyyətlərini birləşdirməkdir. Bu məqsədə nail olmaq üçün onların qabiliyyətlərini qiymətləndirmək üçün, Blumenstock və həmkarları çağırış qeydlərində 1,5 milyondan çox adamın zənginliyini proqnozlaşdırmaq üçün onların modelini və məlumatlarını istifadə edirdi. Və onlar hər bir şəxsin təxmini yaşayış yerini qiymətləndirmək üçün çağırış qeydlərinə daxil edilmiş coğrafi məlumatları istifadə etdilər (məlumat hər çağırış üçün ən yaxın hüceyrə qülləsinin yerini xatırladın) (Şəkil 3.17). Bu iki təxminləri bir araya gətirərək, Blumenstock və həmkarları abunə zənginliyinin coğrafi dağılışını son dərəcə gözəl məkan zərifliyi ilə qiymətləndirmişlər. Məsələn, Ruandanın hər birinin 2,148 hüceyrəsində (ölkədə ən kiçik inzibati vahid) ortalama sərvəti qiymətləndirə bilərlər.

Bu təxminlər bu bölgələrdə yoxsulluğun faktiki səviyyəsinə necə uyğun gəldi? Mən bu suala cavab verməzdən əvvəl, şübhə etməmək üçün çoxlu səbəblər var ki, vurğulamaq istəyirəm. Məsələn fərdi səviyyədə proqnozlaşdırma qabiliyyəti olduqca səs-küylü idi (şəkil 3.17). Və bəlkə də daha vacibdir ki, mobil telefonları olan insanlar cib telefonu olmayan insanlar tərəfindən sistematik şəkildə fərqlənə bilər. Beləliklə, Blumenstock və həmkarları daha əvvəl təsvir etdiyim 1936 ədəbi Digest anketini qərəzli edən əhatə dairəsi səhvlərindən əziyyət çəkə bilər.

Blumenstock və iş yoldaşları, onların təxminlərinin keyfiyyətini bilmək üçün başqa bir şeylə müqayisə etməli idi. Xoşbəxtlikdən, tədqiqatla eyni vaxtda, tədqiqatçıların bir qrupu Ruandada ənənəvi sosial araşdırma aparırdı. Demoqrafik və Sağlamlıq Araşdırması proqramının bir hissəsi olan bu digər tədqiqat böyük büdcəyə malik idi və yüksək keyfiyyətli, ənənəvi metodlardan istifadə etdi. Buna görə Demoqrafik və Sağlamlıq Araşdırmalarından əldə edilən təxminlər əsasən qızıl standartları hesab edilə bilər. İki təxmin müqayisə edildikdə olduqca bənzər idi (şəkil 3.17). Başqa sözlə, araşdırma məlumatlarının kiçik bir hissəsini çağırış qeydləri ilə birləşdirərək, Blumenstock və həmkarları qızıl standartlarına söykənən qiymətləndirmələrlə müqayisə edək.

Bir skeptik bu nəticəni bir xəyal qırıqlığı kimi görür. Bütün bunlardan ötrü, onların nəzərdən keçirilməsinin bir yolu, böyük məlumatlar və maşın öyrənmələrindən istifadə edərək, Blumenstock və həmkarlarının artıq mövcud üsullarla daha etibarlı hesab edilə biləcək təxminlər hazırlaya biləcəyini söyləməkdir. Amma düşünmürəm ki, bu işin iki səbəbdən düşünmək üçün doğru yoludur. Birincisi, Blumenstock və həmkarlarından təxminlər təxminən 10 dəfə daha sürətli və 50 dəfə ucuzdur (xərci dəyişkən xərclər baxımından ölçülür). Daha əvvəl bu fəsildə iddia etdiyim kimi, tədqiqatçılar öz təhlükələrində xərcləri nəzərə almırlar. Bu halda, məsələn, xərclərin dramatik azaldılması demoqrafik və sağlamlıq tədqiqatları üçün standart kimi hər bir neçə ildən çox deyil, deməkdir - bu cür sorğunun tədqiqatçılar və siyasətçilər üçün bir çox üstünlük təmin edən hər ay istismar ediləcəyi deməkdir istehsalçıları. Şübhəsiz ki, şübhəsiz ki, bu araşdırma bir çox müxtəlif tədqiqat vəziyyətlərinə uyğundur ki, əsas reçetə malikdir. Bu resept yalnız iki maddə və iki addımdır. Bu maddələr (1) geniş, lakin incə (yəni, bir çox insan var, lakin hər bir şəxs haqqında lazım olan məlumatlar) və (2) dar, lakin qalın olan bir sorğu (yəni, bir neçə adam var, ancaq o insanlar haqqında lazım olan məlumatları var). Bu maddələr daha sonra iki mərhələdə birləşdirilir. Birincisi, hər iki məlumat mənbəyində olan insanlar üçün sorğu cavablarını proqnozlaşdırmaq üçün böyük məlumat mənbəyindən istifadə edən bir maşın öyrənmə modelini qurun. Daha sonra, böyük məlumat mənbəyində olan hər kəsin sorğusunu cavablandırmaq üçün bu modeli istifadə edin. Belə ki, bir çox insana sual vermək istəsəniz, böyük məlumat mənbəyinə baxmayaraq , onların cavablarını proqnozlaşdırmaq üçün istifadə oluna bilən böyük bir məlumat mənbəyi axtarın . Yəni, Blumenstock və həmkarları çağırış qeydlərinə xas olan qayğıları vermədilər; onlar yalnız zəng qeydlərinə diqqət göstərdilər, çünki onlar qayğı göstərdikləri anket cavablarını proqnozlaşdırmaq üçün istifadə edilə bilərdilər. Bu xarakterik yalnız böyük məlumat mənbəyində olan dolayı maraq, daha əvvəl təsvir etdiyimiz yerdən səcdən soruşanlardan fərqlənir.

Şəkil 3.16: Blumenstock, Cadamuro, and On (2015) tərəfindən tədqiqatın Blumenstock, Cadamuro, and On (2015) . Telefon şirkətindəki qeydlər hər bir şəxs üçün bir satır və hər bir xüsusiyyət üçün bir sütun (yəni dəyişən) ilə matrisə çevrildi. Bundan sonra, tədqiqatçılar, şəxs tərəfindən xüsusiyyət matrisindən tədqiqatın cavablarını proqnozlaşdırmaq üçün nəzarət edilmiş öyrənmə modelini qurublar. Daha sonra nəzarət edilən öyrənmə modelinin hamısı 1.5 milyon müştərinin anket cavablarını pozmaq üçün istifadə edilmişdir. Həmçinin, tədqiqatçılar təxminən 1.5 milyon müştərinin təxminən yaşayış yerini onların zənglərinin yerləşdiyi yerlərə görə qiymətləndirdilər. Bu iki qiymətləndirmə - təxmin edilən zənginlik və təxmin edilən yaşayış yeri birləşdirildikdə, nəticələr Demoqrafik və Sağlamlıq Araşdırması, qızıl standartlarında ənənəvi anket (rəqəm 3.17) ilə müqayisə edildi.

Şəkil 3.17: Blumenstock, Cadamuro, and On (2015) . Bireysel səviyyədə, tədqiqatçılar zənginliklərini zənglərin qeydlərindən proqnozlaşdırmaq üçün ağlabatan bir iş görməyə qadir idi. Rwandanın 30 rayonunun rayon səviyyəsində olan sərvətlərinin təxminləri - fərdi səviyyədə sərvət və yaşayış yeri hesablamalarına əsaslanan demoqrafik və sağlamlıq tədqiqatının qızıl standartları anketinin nəticələrinə oxşar idi. Blumenstock, Cadamuro, and On (2015) , rəqəmlər 1a və 3c uyğunlaşdırılıb.

Nəticədə, Blumenstock'un genişləndirilmiş soruşturma yanaşması, qızıl-standart bir araşdırma ilə müqayisə edilə bilən təxminləri hazırlamaq üçün böyük bir məlumat mənbəyi ilə araşdırma məlumatlarını birləşdirdi. Bu xüsusi nümunə həmçinin amplifikasiya edilmiş sorğu və ənənəvi tədqiqat metodları arasında ticarətin bəzi hissələrini aydınlaşdırır. Yükseltilmiş sorğu təxminləri daha zamanlı, əhəmiyyətli dərəcədə daha ucuz və daha zəngin idi. Digər tərəfdən, bu cür gücləndirilmiş sorğu üçün güclü nəzəri əsas yoxdur. Bu tək nümunə bu yanaşma işləməyəcəyi zaman göstərmir və bu olmadıqda və tədqiqatçılar bu yanaşmanı istifadə edərək, kimin daxil olduğu və kimin daxil edilmədikləri və onların böyük məlumat mənbəyinə daxil olmağına səbəb olan mümkün yanaşmalardan xüsusilə narahat olmalıdırlar. Bundan əlavə, gücləndirilmiş sorğu yanaşma hələ təxminləri ətrafında qeyri-müəyyənliyi ölçmək üçün yaxşı yolları yoxdur. Xoşbəxtlikdən, gücləndirilmiş sorğu statistika sahəsində üç böyük sahəyə (Rao and Molina 2015) , imputation (Rubin 2004) və model bazlı post-təbəqələşmə ilə dərin əlaqələrə malikdir (özü də cənab P. ilə sıx bağlıdır) fəsildə daha əvvəl təsvir etdiyim üsul (Little 1993) . Bu dərin əlaqələrdən ötəri, amplifikasiya edilmiş sualların metodoloji əsaslarının bir çoxunun tezliklə təkmilləşdirilməsini gözləyirəm.

Nəhayət, Blumenstokun ilk və ikinci cəhdlərini müqayisə etmək rəqəmsal yaşlı sosial tədqiqat haqqında vacib bir dərsdir: başlanğıc son deyil. Yəni, bir çox dəfə ilk yanaşma yaxşı olmaz, amma tədqiqatçılar işə davam edərsə, hər şey yaxşılaşa bilər. Daha ümumilikdə, rəqəmsal yaşda sosial tədqiqata yeni yanaşmaların qiymətləndirilməsində iki fərqli qiymətləndirmə aparmaq vacibdir: (1) bu nə qədər yaxşıdır? və (2) məlumatların mənzərəsi dəyişir və tədqiqatçılar problemə daha çox diqqət ayırmaq üçün gələcəkdə bu iş necə yaxşı olacaq? Tədqiqatçılar ilk növ qiymətləndirmə aparmaq üçün təlim keçsələr də, ikincisi tez-tez daha vacibdir.