3.6.2 Vahvistettu kysely
Vahvistettu kysely ennakoivan mallin avulla yhdistää kyselytietoja muutamasta ihmisestä, joilla on suuri tietolähde monista ihmisistä.
Erilainen tapa yhdistää kyselytutkimus ja suuret tietolähteet on prosessi, jota kutsun vahvistetuksi kyselemiseksi . Vahvistetussa kyselyssä tutkija käyttää ennakoivaa mallia pienen määrän tutkimustietojen yhdistämiseksi ison tietolähteen kanssa estimaattien tuottamiseksi asteikolla tai rakeisuudella, joka ei olisi mahdollista joko tietolähteen kanssa erikseen. Tärkeä esimerkki monistetuista kysymyksistä on Joshua Blumenstockin työstä, joka halusi kerätä tietoja, jotka voisivat auttaa kehitystä köyhissä maissa. Aiemmin tällaisia tietoja kerättävien tutkijoiden oli yleensä otettava yksi kahdesta lähestymistavasta: otantatutkimukset tai lueskunnat. Esimerkkitutkimukset, joissa tutkijat haastatelevat pienen määrän ihmisiä, voivat olla joustavia, ajankohtaisia ja suhteellisen halpoja. Nämä tutkimukset, koska ne perustuvat otokseen, on kuitenkin usein rajoitettu päätöslauselmassaan. Otantatutkimuksen avulla on usein vaikeaa tehdä arvioita tietyistä maantieteellisistä alueista tai tietyistä väestöryhmistä. Selvitykset yrittävät kuitenkin haastatella kaikkia, joten niitä voidaan käyttää arvioimaan pieniä maantieteellisiä alueita tai väestöryhmiä. Mutta lausunnot ovat yleensä kalliita, kapeita keskittymiskykyä (ne sisältävät vain pienen määrän kysymyksiä), eivätkä ajankohtaisia (ne tapahtuvat kiinteällä aikataululla, kuten kymmenen vuoden välein) (Kish 1979) . Sen sijaan, että otettaisiin huomioon otantatutkimukset tai -luettelot, kuvitellaan, voisivatko tutkijat yhdistää molempien parhaat ominaisuudet. Kuvittele, jos tutkijat voisivat tehdä jokaisen kysymyksen kaikille ihmisille joka päivä. Ilmeisesti tämä jatkuva, jatkuvasti tekemä tutkimus on eräänlainen yhteiskuntatieteellinen fantasia. Mutta se ei näytä, että voimme alkaa lähentää tämän yhdistämällä kyselyn kysymyksiin pieni joukko ihmisiä, joilla digitaalisen jälkiä monilta ihmisiltä.
Blumenstockin tutkimus alkoi, kun hän liittyi Ruandan suurimman matkapuhelinoperaattorin kanssa ja yritys toimitti anonyymiä transaktiotietoja noin 1,5 miljoonasta asiakkaasta vuosina 2005-2009. Nämä tiedot sisälsivät tiedot jokaisesta puhelusta ja tekstiviestistä, kuten alkamisaika, kesto , ja likimääräinen soittajan ja vastaanottajan maantieteellinen sijainti. Ennen kuin puhun tilastollisista kysymyksistä, on syytä huomauttaa, että tämä ensimmäinen vaihe voi olla yksi vaikeimmista monille tutkijoille. Kuten kuvasin luvussa 2, suurimmat tietolähteet eivät ole tutkijoiden käytettävissä. Erityisesti metatiedot ovat erityisen vaikeasti saavutettavissa, koska se on periaatteessa mahdotonta anonymisoida ja se sisältää melkein varmasti tietoja, joita osanottajat pitävät arkaluonteisina (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . Tässä nimenomaisessa tapauksessa tutkijat varovasivat tietojen suojaamista ja heidän työnsä oli kolmannen osapuolen (eli heidän IRB: nsä) valvonnassa. Palaan näihin eettisiin kysymyksiin tarkemmin luvussa 6.
Blumenstock oli kiinnostunut mittaamaan vaurautta ja hyvinvointia. Nämä piirteet eivät kuitenkaan ole suoraan puhelutietueita. Toisin sanoen nämä puhelutietueet ovat puutteellisia tässä tutkimuksessa - suuria tietolähteitä koskeva yhteinen piirre, josta keskusteltiin yksityiskohtaisesti luvussa 2. On kuitenkin todennäköistä, että puhelutietueilla on todennäköisesti joitain tietoja, jotka voisivat epäsuorasti antaa tietoa vauraudesta ja hyvinvointi. Tämän mahdollisuuden ansiosta Blumenstock kysyi, olisiko mahdollista oppia koneoppimismallia ennakoimaan, miten joku vastaa kyselyyn perustuvaan kyselyyn. Jos tämä olisi mahdollista, Blumenstock voisi käyttää tätä mallia ennustamaan kaikkien 1,5 miljoonan asiakkaan kyselyvastaukset.
Tällaisen mallin rakentamiseksi ja koulutta- miseksi Blumenstock ja Kigalin tiede- ja teknologiaministeriön tutkimusapulaiset kutsuttiin satunnaisotannoksi noin tuhannesta asiakkaasta. Tutkijat selittivät hankkeen tavoitteet osallistujille, pyysivät heidän suostumustaan linkittää kyselyvastaukset puhelutietokantaan ja kysyivät sitten heiltä joukon kysymyksiä, joiden avulla he voisivat mitata vaurauttaan ja hyvinvointiaan, kuten "Onko sinulla oma radio? "ja" Omistatko polkupyörän? "(katso osassa 14 kuva 3.14). Kaikki tutkimuksen osallistujat kompensoitiin taloudellisesti.
Seuraavaksi Blumenstock käytti kaksivaiheista menetelmää yhteisenä konekielisessä oppimisessa: ominaisuustekniikka, jota seurasi valvottu oppiminen. Ensinnäkin suunnittelutyökalussa Blumenstock muutti haastattelijoille kaikki puhelinnumerot ominaisuuksiksi kustakin henkilöstä; Tietojen tutkijat saattaisivat kutsua näitä ominaisuuksia "ominaisuuksiksi" ja yhteiskuntatieteilijät kutsuisivat heitä "muuttujiksi". Esimerkiksi Blumenstock laski jokaisen henkilön osalta päiviä, joiden aktiviteetti oli, niiden henkilöiden lukumäärä, joilla henkilö on ollut yhteydessä, lähetystoimintaan käytetty määrä rahaa ja niin edelleen. Kriittisesti hyvä ominaisuussuunnittelu vaatii tietämystä tutkimusalueesta. Jos esimerkiksi on tärkeää erottaa kotimaiset ja kansainväliset puhelut (voimme odottaa, että ihmiset, jotka soittavat kansainvälisesti olevansa varakkaampia), niin tämä on tehtävä ominaisuuden suunnittelussa. Tutkija, jolla on vähän käsitystä Ruandasta, ei ehkä sisälly tähän ominaisuuteen, ja sitten mallin ennustava suorituskyky kärsii.
Seuraavaksi ohjattu oppiminen vaiheessa Blumenstock rakennettu malli ennustaa kyselyyn vastaajien kunkin henkilön perustuu niiden ominaisuuksiin. Tässä tapauksessa Blumenstock käytti logistista regressiota, mutta hän olisi voinut käyttää erilaisia muita tilastollisia tai koneoppimistapoja.
Kuinka hyvin se toimi? Oliko Blumenstock pystynyt ennakoimaan vastauksia kysymyksiin kuten "Onko sinulla radio?" Ja "Onko sinulla polkupyörä?" Arvioidakseen ennustavan mallinsa suorituskykyä Blumenstock käytti ristiinvalidointia , tekniikkaa, jota yleisesti käytetään tietotieteessä mutta harvoin yhteiskuntatieteissä. Ristikonseptoinnin tavoitteena on arvioida mallin ennakoivaa suorituskykyä oikeudenmukaisella arvioinnilla kouluttamalla sitä ja testaten sitä eri tietoryhmissä. Erityisesti Blumenstock jakoi tiedot 10 osastolle 100 ihmiselle. Sitten hän käytti yhdeksää leikkausta kouluttaakseen malliaan, ja koulutetun mallin ennakoiva suorituskyky arvioitiin jäljelle jäävässä osassa. Hän toisti tämän menettelyn 10 kertaa - kunkin datakokonaisuuden saaminen yhdeksi vuoroksi validointitietoiksi - ja keskiarvotulokset.
Ennusteiden tarkkuus oli joissakin ominaisuuksissa suuri (kuva 3.14); esimerkiksi Blumenstock voisi ennustaa 97,6 prosentin tarkkuudella, jos joku omisti radion. Tämä saattaa vaikuttaa vaikuttavalta, mutta on aina tärkeää vertailla monimutkaista ennustemenetelmää yksinkertaista vaihtoehtoa vastaan. Tässä tapauksessa yksinkertainen vaihtoehto on ennustaa, että jokainen antaa yleisimmän vastauksen. Esimerkiksi 97,3% vastaajista ilmoitti omistavansa radiota, joten jos Blumenstock olisi ennustanut, että jokainen ilmoittaisi radioaseman omistuksesta, hänellä olisi 97,3% tarkkuus, mikä on yllättävän samanlainen kuin hänen monimutkaisemman menettelynsä (97,6% tarkkuus) . Toisin sanoen kaikki hienot tiedot ja mallinnus lisäsivät ennustuksen tarkkuutta 97,3 prosentista 97,6 prosenttiin. Muiden kysymysten, kuten "Omistatko polkupyörän?", Ennusteet paransivat 54,4%: sta 67,6%: iin. Yleisemmin kuva 3.15 osoittaa, että joillekin piirteille Blumenstock ei parantunut paljon pelkästään yksinkertaisen perusviivan ennustamisen tekemiseksi, mutta muiden piirteiden osalta parannus oli jonkin verran. Kun tarkastellaan juuri näitä tuloksia, et ehkä usko, että tämä lähestymistapa on erityisen lupaava.
Kuva 3.14: Ennakointitarkkuus tilastollisella mallilla, joka on koulutettu puhelutallenteilla. Mukautettu Blumenstock (2014) , taulukko 2.
Kuva 3.15: Ennakoivan tarkkuuden vertaaminen tilastolliseen malliin, joka on koulutettu puhelutallenteilla yksinkertaisella perusviivalla. Pisteet ovat hieman jännittyneitä päällekkäisyyksien välttämiseksi. Mukautettu Blumenstock (2014) , taulukko 2.
Kuitenkin vain vuosi myöhemmin Blumenstock ja kaksi kollegaa Gabriel Cadamuro ja Robert On julkaisivat tiedettä huomattavasti paremmilla tuloksilla (Blumenstock, Cadamuro, and On 2015) . Tämän parannuksen kaksi pääteknistä syytä olivat: (1) he käyttävät kehittyneempiä menetelmiä (eli uutta lähestymistapaa ominaisuustekniikkaan ja kehittyneempi malli ennakoimaan ominaisuuksien vastauksia) ja (2) pikemminkin kuin yrittää johtaa vastauksia yksittäisiin kyselytutkimuksia (esim. "Omistatko radion?"), he yrittivät päätellä yhdistetyn varallisuuden indeksin. Nämä tekniset parannukset merkitsivät sitä, että he voisivat tehdä kohtuullisen tehtävän puhelutietojen käyttämisestä ennustaakseen rikkautta otokseen kuuluville ihmisille.
Ennustaminen näytteessä olevien ihmisten runsaudesta ei kuitenkaan ollut tutkimuksen lopullinen tavoite. Muista, että lopullinen tavoite oli yhdistää eräitä näytteenotto- ja selvityskohteiden parhaita ominaisuuksia tuottamaan tarkkoja, suuriresoluutioisia köyhyyden arvioita kehitysmaissa. Arvioidakseen kykyään saavuttaa tämä tavoite Blumenstock ja kollegat käyttivät mallinsa ja tietonsa ennustaa kaikkien 1.5 miljoonan ihmisen runsauden puhelutietueissa. Ja he käyttivät paikkatietoinformaatiota, joka oli upotettu puhelutietokantaan (muista, että tiedot sisälsivät lähimmän solutornin sijainnin jokaiselle puhelulle) arvioimaan kunkin henkilön likimääräisen asuinpaikan (kuva 3.17). Näiden kahden arvioinnin tekeminen yhdessä Blumenstockin ja kollegoiden kanssa tuotti arvion tilaajan varallisuuden maantieteellisestä jakautumisesta erittäin hienossa spatiaalisessa rakeisuudessa. He voivat esimerkiksi arvioida keskimääräistä vaurautta jokaisella Ruandan 2,148 soluilla (maan pienin hallinnollinen yksikkö).
Kuinka hyvin nämä arviot vastasivat näiden alueiden todelliseen köyhyyteen? Ennen kuin vastaan tähän kysymykseen, haluan korostaa sitä, että on olemassa monia syitä olla skeptisiä. Esimerkiksi kyky tehdä ennusteita yksittäisellä tasolla oli melko meluisa (kuva 3.17). Ja ehkä vieläkin tärkeämpää, matkapuhelimilla olevat ihmiset saattavat olla järjestelmällisesti erilaisia kuin matkapuhelimattomat. Siten Blumenstock ja kollegat saattavat kärsiä kattavuusvirheistä, jotka ovat heikentäneet aiemmin kuvattua 1936 kirjallisuuskatsausta .
Blumenstock ja hänen kollegoidensa tarvitsivat vertailla heitä jonkun muun kanssa saadakseen arvion arvioidensa laadusta. Onneksi noin samaan aikaan kuin heidän tutkimuksensa, toinen tutkijaryhmä kävi Ruandassa perinteisempää sosiaalista tutkimusta. Tämä toinen tutkimus, joka kuului laajalti arvostettuun väestö- ja terveystutkimusohjelmaan, oli suuri talousarvio ja käytti laadukkaita, perinteisiä menetelmiä. Siksi väestö- ja terveystutkimuksen arvioita voidaan kohtuullisesti pitää kulta-standardina arvioina. Kun näitä kahta estimaattia verrattiin, ne olivat melko samankaltaisia (kuva 3.17). Toisin sanoen yhdistämällä pieni määrä tutkimustietoja puhelutallenteisiin, Blumenstock ja kollegat pystyivät tuottamaan arvioita, jotka ovat verrattavissa kulta-standardin mukaisiin lähestymistapoihin.
Skeptikko saattaa nähdä nämä tulokset pettymyksenä. Kaiken kaikkiaan yksi tapa katsella niitä on sanoa, että käyttämällä suuria tietoja ja konekielistä oppimista, Blumenstock ja kollegat pystyivät tuottamaan arvioita, jotka voitaisiin tehdä luotettavammin jo olemassa olevien menetelmien avulla. Mutta en usko, että tämä on oikea tapa ajatella tätä tutkimusta kahdesta syystä. Ensinnäkin Blumenstockin ja kollegoiden arviot olivat noin 10 kertaa nopeampia ja 50 kertaa halvempia (kun kustannuksia mitataan muuttuvien kustannusten perusteella). Kuten aiemmin tässä kappaleessa todettiin, tutkijat jättävät kustannukset vaarantamatta. Tässä tapauksessa esimerkiksi dramaattinen kustannusten lasku merkitsee sitä, että sen sijaan, että sitä voitaisiin käyttää muutaman vuoden välein - kuten demografisten ja terveystutkimusten standardiakin - tällainen tutkimus voitaisiin suorittaa joka kuukausi, mikä tarjoaisi lukuisia etuja tutkijoille ja politiikalle päättäjille. Toinen syy epäillä, että epäilijä on sitä mieltä, että tämä tutkimus tarjoaa perusreseptin, joka voidaan räätälöidä moniin erilaisiin tutkimustilanteisiin. Tällä reseptillä on vain kaksi ainesosaa ja kaksi vaihetta. Ainekset ovat (1) suuri tietolähde, joka on laaja mutta ohut (eli sillä on paljon ihmisiä, mutta ei tietoja, joita tarvitset jokaisesta henkilöstä) ja (2) kysely, joka on kapea mutta paksu (eli sillä on vain muutama ihminen, mutta sillä on tarvittavat tiedot näistä ihmisistä). Nämä aineosat yhdistetään sitten kahdessa vaiheessa. Ensinnäkin, molempien tietolähteiden ihmisille, rakenna koneen oppimismalli, joka käyttää suurta tietolähdettä ennakoimaan kyselyvastauksia. Seuraavaksi käytä tätä mallia laskemalla kaikkien suuren tietolähteen kyselyvastaukset. Jos siis on kysymys, että haluat kysyä paljon ihmisiä, etsi suurta tietolähdettä niiltä ihmisiltä, joita voidaan käyttää ennakoimaan vastauksenne, vaikka et välitä suuresta tietolähteestä . Toisin sanoen Blumenstock ja hänen kollegansa eivät olleet luonnostaan huolissaan puhelutallenteista; he vain huolehtivat puhelutiedotuksista, koska niitä voitaisiin käyttää ennakoimaan kyselyvastauksia, joita he välittävät. Tämä ominaispiirre-vain välillinen kiinnostus suuriin tietolähteisiin tekee moninkertaisen kyselemisen erilainen kuin sulautettu kyseleminen, mitä olen kuvannut aiemmin.
Kuva 3.16: Blumenstock, Cadamuro, and On (2015) tutkimuksen kaavio. Puhelintuottajien puhelutietueet muunnettiin matriisiksi, jokaiselle henkilölle yksi rivi ja jokaiselle ominaisuudelle yksi sarake (eli muuttuja). Seuraavaksi tutkijat rakentivat valvotun oppimismallin ennakoimaan kyselyvastauksia persoonallisuus-matriisista. Sitten valvottua oppimismallia käytettiin laskemalla kyselyvastaukset kaikille 1,5 miljoonalle asiakkaalle. Tutkijat arvioivat likimäärin 1,5 miljoonan asiakkaan likimääräisen asuinpaikan puhelut sijainnin mukaan. Kun nämä kaksi arviointia - arvioitu vauraus ja arvioitu asuinpaikka - yhdistettiin, tulokset olivat samanlaisia kuin väestö- ja terveystutkimuksen, kullan standardin perinteinen tutkimus (kuva 3.17).
Kuva 3.17: Tulokset Blumenstock, Cadamuro, and On (2015) . Yksilötasolla tutkijat pystyivät tekemään kohtuullisen työn ennustaa jonkun rikkautta heidän puhelutietokannoistaan. Ruandan 30: n piirikunnan arviot, jotka perustuivat rikkauden ja asuinpaikan yksilöllisiin arvioihin, olivat samanlaisia kuin perinteisen väestötutkimuksen tulokset. Mukautettu Blumenstock, Cadamuro, and On (2015) kuvista 1a ja 3c.
Johtopäätöksenä Blumenstockin monimutkainen kyselytutkimus yhdistää kyselytutkimustiedot suurella tietolähteellä saadakseen arviot, jotka ovat vertailukelpoisia kulta-standardin mukaisen kyselyn kanssa. Tämä erityinen esimerkki selventää myös eräitä kompensoiduista kyselylomakkeista ja perinteisistä kyselymenetelmistä. Monistetut kyselyennusteet olivat ajankohtaisempia, huomattavasti halvempia ja rakeisempia. Toisaalta tällaiselle monistetulle kyselylle ei ole vielä vahvaa teoreettista perustaa. Tämä yksittäinen esimerkki ei näy, kun tämä lähestymistapa toimii ja kun sitä ei ole, ja tutkijat, jotka käyttävät tätä lähestymistapaa, on kiinnitettävä erityistä huomiota mahdollisiin ennakkoluuloihin, jotka aiheutuvat siitä, kuka on mukana - ja joka ei ole mukana - suuressa tietolähteessään. Lisäksi vahvistettu kyselevä lähestymistapa ei vielä ole hyviä keinoja arvioida epävarmuutta arvioidensa ympärillä. Onneksi monistetulla kyselyllä on syvät yhteydet kolmeen suureen tilaan tilasto-pienalue -arvioinnissa (Rao and Molina 2015) , imputoinnilla (Rubin 2004) ja mallipohjaisella post-stratifioinnilla (joka on läheisesti yhteydessä P., aikaisemmin kuvattu menetelmä luvussa) (Little 1993) . Näiden syvien yhteyksien takia odotan, että monien vahvistettujen kyselyjen metodologiset perusteet pian paranevat.
Lopuksi vertaamalla Blumenstockin ensimmäistä ja toista yritystä kuvaa myös tärkeä oppitunti digitaaliajan sosiaalisesta tutkimuksesta: alku ei ole loppu. Eli monta kertaa ensimmäinen lähestymistapa ei ole paras, mutta jos tutkijat jatkavat työtä, asiat voivat parantua. Yleisemmin, kun arvioidaan uusia lähestymistapoja yhteiskunnalliseen tutkimukseen digitaalisessa iässä, on tärkeää tehdä kaksi erillistä arviointia: (1) Kuinka hyvin tämä toimii nyt? ja (2) kuinka hyvin tämä toimii tulevaisuudessa tietojen maisema muuttuu ja tutkijat kiinnittävät enemmän huomiota ongelmaan? Vaikka tutkijat ovat koulutettuja tekemään ensimmäisenlaisia arviointeja, toinen on usein tärkeämpää.
