3.6.2 Pagerintas klausimas
Sumažintas prašymas naudoti nuspėjamą modelį, kad būtų galima sujungti kelių žmonių, turinčių didelį daugelio žmonių duomenų šaltinį, tyrimo duomenis.
Kitas būdas sujungti apklausą su dideliais duomenų šaltiniais yra procesas, kurį aš vadinu papildomu klausimu . Išplėstos užklausos atveju tyrėjas naudoja prognozavimo modelį, kad būtų galima sujungti nedidelį apklausos duomenų kiekį su dideliu duomenų šaltiniu, kad būtų galima atlikti įvertinimus pagal mastą ar detalumą, kuris nebūtų įmanomas atskirai iš vieno duomenų šaltinio. Svarbus išplėsto klausimo pavyzdys pateikiamas Joshua Blumenstocko darbe, kuris norėjo rinkti duomenis, kurie galėtų padėti vystytis neturtingose šalyse. Anksčiau mokslininkai, renkantys tokius duomenis, paprastai turėjo taikyti vieną iš dviejų būdų: atrankinius tyrimus ar surašymus. Mėginių tyrimai, kur mokslininkai interviu nedaugeliui žmonių, gali būti lankstūs, savalaikiai ir palyginti pigūs. Tačiau šie tyrimai, kadangi jie yra paremti pavyzdžiu, dažnai yra ribojami jų sprendimo. Atrankiniu tyrimu dažnai sunku apskaičiuoti konkrečius geografinius regionus arba konkrečias demografines grupes. Kita vertus, perskaičiavimai bando apklausti visus, taigi jie gali būti naudojami vertinant mažus geografinius regionus ar demografines grupes. Tačiau surašymai dažniausiai būna brangūs, siauri (jie apima tik nedaug klausimų), o ne laiku (jie vyksta pagal nustatytą tvarkaraštį, pavyzdžiui, kas 10 metų) (Kish 1979) . Įsivaizduokite, ar mokslininkai gali derinti geriausias abiejų savybių charakteristikas, o ne prisitaikyti prie atrankinių tyrimų ar surašymų. Įsivaizduokite, jei mokslininkai kiekvieną dieną galėtų klausti kiekvieno klausimo. Akivaizdu, kad ši visuotinė, visada apklausa yra socialinių mokslų fantazijos natūra. Tačiau atrodo, kad mes galime pradėti apibendrinti tai, derindami daugelio žmonių su skaitmeniniais pėdsakais tyrimo klausimus iš nedidelio skaičiaus žmonių.
"Blumenstock" tyrimai prasidėjo, kai jis bendradarbiavo su didžiausiu mobiliojo ryšio paslaugų teikėju Ruandoje, o bendrovė nuo 2005 iki 2009 m. Pateikė anoniminius operacijų įrašus apie 1,5 milijono klientų. Šie įrašai turėjo informacijos apie kiekvieną skambutį ir teksto pranešimą, pvz., Pradžios laiką, trukmę , ir apytikslė skambinančiojo ir imtuvo geografinė padėtis. Prieš kalbu apie statistinius klausimus, verta atkreipti dėmesį į tai, kad šis pirmasis žingsnis gali būti vienas iš sunkiausių daugelio tyrėjų. Kaip aprašiau 2 skyriuje, dauguma didžiųjų duomenų šaltinių yra nepasiekiami mokslininkams. Konkrečiai, telefoniniai metaduomenys yra ypač nepasiekiami, nes anonimizuoti iš esmės neįmanoma, beveik neabejotinai yra informacijos, kurią dalyviai laiko jautriomis (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . Šiuo konkrečiu atveju mokslininkai atsargiai saugojo duomenis ir jų darbą prižiūrėjo trečioji šalis (ty jų IRB). Aš grįšiu prie šių etikos klausimų išsamiau 6 skyriuje.
"Blumenstock" buvo suinteresuotas įvertinti turtą ir gerovę. Tačiau šie požymiai nėra tiesiogiai skambučių įrašuose. Kitaip tariant, šie įrašai yra neišsami šiam tyrimui - dažniausiai būdinga dideliems duomenų šaltiniams, kurie buvo išsamiai aptariami 2 skyriuje. Tačiau atrodo, kad skambučių įrašuose tikriausiai yra tam tikros informacijos, kuri galėtų netiesiogiai teikti informaciją apie turtą ir gerovė. Atsižvelgdama į šią galimybę, Blumenstockas paklausė, ar buvo įmanoma parengti mašininio mokymosi modelį, kad prognozuotų, kaip kažkas atsakys į apklausą pagal jų skambučių įrašus. Jei tai būtų įmanoma, "Blumenstock" galėjo naudotis šiuo modeliu, kad prognozuotų visų 1,5 mln. Klientų apklausos atsakymus.
Norint sukurti ir parengti tokį modelį, "Blumenstock" ir mokslo darbuotojai iš Kigalio mokslo ir technologijų instituto pavadino atsitiktine atranka iš tūkstančio klientų. Tyrėjai paaiškino projekto tikslus dalyviams, paprašė jų sutikimo susieti apklausos atsakymus su skambučių įrašais ir tada jiems paprašė daugybės klausimų, kad būtų galima įvertinti jų turtus ir gerovę, pvz., "Ar jūs turite radijas? "ir" Ar jums priklauso dviratis? "(žr. 3.14 dalį daliniam sąrašui). Visi tyrimo dalyviai buvo finansiškai kompensuojami.
Be to, "Blumenstock" naudojo dviejų žingsnių procedūrą, įprastą mašininio mokymosi procesą: funkcijų inžinerija, o paskui - prižiūrimas mokymasis. Pirma, inžinerijos žingsnyje, visiems, su kuriais buvo apklausiamas, "Blumenstock" pokalbių įrašus paversdavo savybių rinkiniu apie kiekvieną asmenį; duomenų mokslininkai gali vadinti šias ypatybes "savybes", o socialiniai mokslininkai vadintų juos "kintamaisiais". Pavyzdžiui, kiekvienam žmogui Blumenstock apskaičiavo bendrą dienų skaičių su veikla, atskirų asmenų, su kuriais asmuo bendrauja, skaičių pinigai, išleisti į oro laiką ir kt. Kritiškai geros funkcijos inžinerija reikalauja žinių apie tyrimo aplinką. Pavyzdžiui, jei svarbu atskirti vietinius ir tarptautinius skambučius (galime tikėtis, kad tarptautiniu lygiu skambinantys žmonės bus turtingesni), tai turi būti atlikta funkcijų inžinerijos žingsniu. Nepakankamas Ruandos supratimo tyrėjas gali neįtraukti šios funkcijos, o tada nukentėtų modelio nuspėjamumas.
Be to, prižiūrint mokymosi žingsnį "Blumenstock" sukūrė modelį, pagal kurį prognozuojamas kiekvieno asmens apklausos atsakas pagal jų savybes. Šiuo atveju "Blumenstock" naudojo logistinę regresiją, tačiau jis galėjo pasinaudoti įvairiais statistiniais ar mašininio mokymosi metodais.
Taigi, kaip gerai jis veikia? Ar "Blumenstock" galėjo numatyti atsakymus į apklausos klausimus, pvz., "Ar turite radiją?" Ir "Ar jums priklauso dviratis?", Naudojant funkcijas, gautas iš skambučių įrašų? Norėdamas įvertinti jo nuspėjamojo modelio rezultatus, "Blumenstock" naudojo kryžminį patvirtinimą , dažniausiai naudojamą duomenų moksle, bet retai - socialinių mokslų srityje. Kryžminio patvirtinimo tikslas yra sąžiningai įvertinti modelio nuspėjamumą, mokant jį ir išbandant jį įvairiose duomenų grupėse. Visų pirma "Blumenstock" suskirstė duomenis į 10 dalių po 100 žmonių. Tada jis naudojo devynis gabalus, kad mokytų savo modelį, o numatyto modelio veikimo rezultatai buvo įvertinti likusiu ruošiniu. Jis pakartojo šią procedūrą 10 kartų - su kiekvienu duomenų rietimu, gaunančiu vieną pakopą kaip patvirtinimo duomenis, ir vidurkino rezultatus.
Kai kurių bruožų prognozių tikslumas buvo didelis (3.14 pav.); Pavyzdžiui, "Blumenstock" galėjo numatyti 97,6 proc. tikslumą, jei kas nors priklausytų radijai. Tai gali pasirodyti įspūdinga, tačiau visada svarbu palyginti sudėtingą prognozavimo metodą su paprasta alternatyva. Šiuo atveju paprasta alternatyva yra numatyti, kad visi bus dažniausiai atsakyti. Pavyzdžiui, 97,3 proc. Respondentų teigė, kad turi radiją, todėl, jei Blumenstock prognozuotų, jog visi praneštų, kad turės radiją, jis turėtų 97,3 proc. Tikslumą, kuris yra stebėtinai panašus į jo sudėtingesnės procedūros rezultatus (97,6 proc. Tikslumas) . Kitaip tariant, visi išgalvoti duomenys ir modeliavimas padidino prognozės tikslumą nuo 97,3% iki 97,6%. Tačiau dėl kitų klausimų, tokių kaip "Ar jums priklauso dviratis?", Prognozės pagerėjo nuo 54,4% iki 67,6%. Apskritai, 3.15 pav. Matyti, kad dėl kai kurių bruožų Blumenstock nepagerėjo daug daugiau, negu paprasčiausia pradinių prognozių prognozė, tačiau dėl kitų požymių tobulėjo. Tačiau ieškodamas šių rezultatų, jūs negalite manyti, kad šis požiūris yra ypač perspektyvus.
Pav. 3.14: prognozuojamas statistinio modelio, apmokyto su skambučių įrašais, tikslumas. Pritaikyta iš " Blumenstock (2014) , 2 lentelė.
3.15 pav.. Statistinio modelio, apmokyto su skambučių įrašais, prognozinis tikslumas palyginimas su paprasto pradinio prognozavimo metodu. Taškai šiek tiek sutramdomi, kad būtų išvengta dubliavimo. Pritaikyta iš " Blumenstock (2014) , 2 lentelė.
Tačiau praėjus vos metams Blumenstockas ir du kolegos - Gabrielis Kadamūras ir Robertas Onas paskelbė straipsnį " Mokslas su žymiai geresniais rezultatais" (Blumenstock, Cadamuro, and On 2015) . Šio pagerėjimo priežastis buvo dvi pagrindinės techninės priežastys: 1) jie naudojo sudėtingesnius metodus (ty naują požiūrį į funkcijų inžineriją ir sudėtingesnį modelį, kad prognozuoti funkcijų atsakymus) ir (2), o ne bandant nustatyti atsakymus į atskirus apklausos klausimai (pvz., "Ar turite radiją?"), jie bandė nustatyti kombinuotą turto indeksą. Šie techniniai patobulinimai galėjo padaryti pagrįstą darbą naudojant skambučių įrašus, kad būtų galima numatyti žmonių, kurie yra jų imtyje, turtus.
Vis dėlto prognozuojant atrinktų žmonių turtus nebuvo pagrindinis tyrimo tikslas. Atminkite, kad galutinis tikslas buvo sujungti keletą geriausių atrankinių tyrimų ir surašymų bruožų, kad besivystančiose šalyse būtų gaunami tikslūs, didelės raiškos skurdo įvertinimai. Norėdami įvertinti jų gebėjimą pasiekti šį tikslą, Blumenstock ir jo kolegos naudojo savo modelį ir jo duomenis, kad prognozuoti visų 1,5 milijonų žmonių turtą skambučių įrašuose. Jie panaudojo geografinę informaciją, įterptą į skambučių įrašus (primename, kad duomenys apima artimiausio elemento bokšto vietą kiekvienam kvietimui), kad būtų galima įvertinti kiekvieno žmogaus gyvenimo apytikrią vietą (3.17 pav.). Remdamiesi šiais dviem skaičiavimais, Blumenstockas ir jo kolegos parengė abonentų turto geografinio pasiskirstymo įverčių prognozę, kuriam būdingas itin geras erdvės detalumas. Pavyzdžiui, jie gali įvertinti vidutinį turtą kiekvienoje Ruandos 2 148 ląstelių (mažiausias šalies administracinis vienetas).
Ar šie įvertinimai atitiko realų skurdo lygį šiuose regionuose? Prieš atsakydamas į šį klausimą, noriu pabrėžti, kad yra daug priežasčių, dėl kurių turi būti skeptiškai. Pavyzdžiui, gebėjimas prognozuoti individualiai buvo gana triukšmingas (3.17 pav.). Ir, galbūt dar svarbiau, žmonės su mobiliaisiais telefonais gali sistemingai skirtis nuo žmonių, neturinčių mobiliųjų telefonų. Taigi, Blumenstock ir jo kolegos gali nukentėti nuo aprėpties klaidų, kurios buvo šalinamos anksčiau apibūdintoje 1936 m. " Literary Digest" apklausoje.
Norint suvokti savo vertinimų kokybę, Blumenstockas ir kolegos turėjo palyginti juos su kitu. Laimei, maždaug tuo pačiu metu kaip ir jų tyrimas, kita mokslininkų grupė vykdo tradicinį socialinį apklausą Ruandoje. Šis kitas tyrimas, kuris buvo dalis plačiai gerbiamos Demografinių ir sveikatos tyrimų programos programos, turėjo didelį biudžetą ir naudojosi aukštos kokybės tradiciniais metodais. Todėl Demografijos ir sveikatos apžvalgos įverčiai pagrįstai gali būti laikomi aukso standartiniais įverčiais. Kai abu įvertinimai palyginti, jie buvo gana panašūs (3.17 pav.). Kitaip tariant, Blumenstock ir jo kolegos, derindami nedidelį apklausų duomenų kiekį su skambučių įrašais, sugebėjo parengti palyginimus su aukso standarto metodais.
Skeptikai gali matyti šiuos rezultatus kaip nusivylimą. Galų gale, vienas jų žiūrėjimo būdas - pasakyti, kad, naudodamasis dideliais duomenimis ir mašininiu mokymu, "Blumenstock" ir jo kolegos sugebėjo parengti įvertinimus, kuriuos būtų galima patikimai nustatyti jau esamais metodais. Bet aš nemanau, kad tai yra tinkamas būdas galvoti apie šį tyrimą dėl dviejų priežasčių. Pirma, "Blumenstock" ir jos kolegų vertinimai buvo apie 10 kartų spartesni ir 50 kartų pigesni (kai sąnaudos vertinamos pagal kintamas išlaidas). Kaip aš anksčiau teigiau šiame skyriuje, mokslininkai ignoruoja išlaidas jų grėsmei. Pavyzdžiui, šiuo atveju dramatiškas sąnaudų mažėjimas reiškia, kad, kaip tikimasi kas kelerius metus, kaip tai yra demografinių ir sveikatos tyrimų apklausų standartas, toks tyrimas galėtų būti atliekamas kiekvieną mėnesį, nes tai turėtų daug naudos mokslininkams ir politikai gamintojai. Antroji priežastis neatsižvelgti į skeptikų nuomonę yra tai, kad šis tyrimas pateikia pagrindinį receptą, kuris gali būti pritaikytas daugeliui skirtingų tyrimų situacijų. Šis receptas turi tik du ingredientus ir du žingsnius. Sudedamosios dalys yra (1) didelis, platus, bet plonas duomenų šaltinis (ty jis turi daug žmonių, bet ne informacija, kurią jums reikia apie kiekvieną asmenį) ir (2) siauras, bet storas tyrimas (ty tik keli žmonės, bet joje yra ta informacija apie tuos žmones). Šie ingredientai yra sujungti dviem etapais. Pirma, abiejų duomenų šaltinių žmonėms sukurkite mašininio mokymosi modelį, kuris naudoja didelį duomenų šaltinį, kad prognozuoti atsakymus į apklausą. Tada naudokite šį modelį, kad priskirtumėte visų didžiųjų duomenų šaltinių apklausos atsakymus. Taigi, jei yra koks nors klausimas, į kurį norite paklausti daugybės žmonių, ieškokite didelio duomenų šaltinio iš tų žmonių, kurie gali būti naudojami jų atsakymui prognozuoti, net jei jums nereikia rūpintis dideliu duomenų šaltiniu . Tai reiškia, kad Blumenstockas ir jo kolegos iš esmės neapsiribojo skambučių įrašais; jie tik rūpinosi skambučių įrašais, nes jie gali būti naudojami prognozuojant tyrimo atsakymus, kuriuos jie rūpinosi. Ši charakteristika vienintelis netiesioginis susidomėjimas dideliu duomenų šaltiniu sustiprina, prašydamas skirtis nuo įterpto klausimo, kurį aš apibūdino anksčiau.
Pav. 3.16: " Blumenstock, Cadamuro, and On (2015) tyrimo schemos Blumenstock, Cadamuro, and On (2015) . Skambučių įrašai iš telefono kompanijos buvo konvertuojami į matricą su viena eilute kiekvienam asmeniui ir po vieną kiekvienos funkcijos (ty kintamojo) stulpelius. Tada mokslininkai sukūrė prižiūrimą mokymosi modelį, kad prognozuotų apklausos atsakymus iš individualių matricų. Tada prižiūrimas mokymosi modelis buvo naudojamas vertinant visų 1,5 milijono klientų apklausos atsakymus. Be to, mokslininkai apskaičiavo apytikslę 1,5 mln. Klientų gyvenamosios vietos pagal jų skambučių vietas. Kai šie du apskaičiavimai - apskaičiuotas turtas ir numatoma gyvenamoji vieta - buvo sujungti, rezultatai buvo panašūs į Demografijos ir sveikatos tyrimo, kuris buvo auksiniu standartiniu tradiciniu tyrimu, skaičiavimus (3.17 pav.).
Pav. 3.17: " Blumenstock, Cadamuro, and On (2015) . Individualiame lygmenyje tyrėjai galėjo atlikti pagrįstą darbą, numatydami kažkieno turtus iš jų skambučių įrašų. Rajono lygmens turtas Ruandos 30 apskričių vertinimu, kuris buvo grindžiamas turto ir gyvenamosios vietos individualių įvertinimų duomenimis, buvo panašus į Demografijos ir sveikatos tyrimo, kuris buvo aukso standarto tradicinis tyrimas, rezultatais. Pritaikytas Blumenstock, Cadamuro, and On (2015) , 1a ir 3c paveikslai.
Apibendrinant galima pasakyti, kad "Blumenstock" išplėstinė paklausimo metodika apibendrino apklausos duomenis su dideliu duomenų šaltiniu, kad gautų įvertinimus, lyginamus su aukso standarto tyrimo duomenimis. Šis konkretus pavyzdys taip pat paaiškina tam tikras kompromisas tarp papildomų prašymų ir tradicinių tyrimo metodų. Išplėstiniai klausimai, į kuriuos buvo kreiptasi, buvo geresni, žymiai pigesni ir išsamesni. Tačiau, kita vertus, dar nėra tokio stipraus teorinio pagrindo tokiai papildomai paprašyti. Šis vienintelis pavyzdys neparodo, kada šis metodas veiks ir kada jis nebus, ir mokslininkai, naudojantys šį požiūrį, turi būti ypač susirūpinę dėl galimų šališkumų, kuriuos sukelia tai, kas įtraukta ir kurie nėra įtraukti į jų didelį duomenų šaltinį. Be to, išplėsto klausimo požiūriu dar nėra gerų būdų kiekybiškai įvertinti neapibrėžtumą aplink savo vertinimus. Laimei, sustiprintas klausimas turi gilių ryšių su trimis didelėmis sritimis statistikoje - mažo ploto apskaičiavimu (Rao and Molina 2015) , priskyrimu (Rubin 2004) ir modeliu pagrįstu po stratifikacijos (kuris pats yra glaudžiai susijęs su P., anksčiau aprašytą metodą skyriuje) (Little 1993) . Dėl šių gilių ryšių aš tikiuosi, kad netrukus bus patobulinti daugybė išsiplėtusių klausimo metodologinių pagrindų.
Galiausiai lyginant Blumenstock pirmąjį ir antrąjį bandymus taip pat parodoma svarbi pamoka apie skaitmeninio amžiaus socialinius tyrimus: pradžia nėra galas. Tai yra daug kartų, pirmasis požiūris nebus geriausias, tačiau jei mokslininkai tęs darbą, viskas gali pagerėti. Apskritai, vertinant naujus požiūrius į socialinius tyrimus skaitmeniniame amžiuje, svarbu atlikti du skirtingus vertinimus: (1) Ar tai gerai veikia šiuo metu? ir (2) ar tai bus ateityje, kai keičiasi duomenų kraštovaizdis, ir kaip mokslininkai daugiau dėmesio skiria problemai? Nors mokslininkai yra mokomi atlikti pirmąjį vertinimo tipą, antrasis dažnai yra svarbesnis.
