3.6.2 Erősített kérés
Erősített kérdés, amely egy előrejelző modell használatával kombinálja a felmérési adatokat néhány embertől, akik nagy adatforrást használnak sok embertől.
A felmérés és a nagy adatforrások kombinálásának más módja egy olyan folyamat, amelyet felhívni fogok az erősített kérésnek . Az erősített kérésben a kutató előrejelző modellt alkalmaz, hogy kis mennyiségű felmérési adatot egy nagy adatforrással ötvözzen annak érdekében, hogy becsléseket készítsen egy olyan méretarányban vagy szemcsézettségben, amely különösebb adatforrással nem lenne lehetséges. Az erősített kérés fontos példája Joshua Blumenstock munkájából származik, aki adatokat szeretne gyűjteni a szegény országokban. A múltban az ilyen típusú adatokat gyűjtő kutatóknak általában két megközelítés közül kellett választaniuk: mintavételes felmérések vagy népszámlálások. Mintakérdezések, ahol a kutatók kis számú embert interjút folytatnak, rugalmasak, időszerűek és viszonylag olcsóak lehetnek. Azonban ezek a felmérések, mivel minta alapján készültek, gyakran korlátozzák állásfoglalásaikat. Mintavételes felméréssel gyakran nehéz konkrét földrajzi régiókra vagy meghatározott demográfiai csoportokra vonatkozó becsléseket készíteni. A népszámlálások azonban megpróbálnak mindenkit meghallgatni, így felhasználhatók becslések készítésére kis földrajzi régiók vagy demográfiai csoportok számára. De a népszámlálások általában drágák, szűk körűek (csak néhány kérdést tartalmaznak), és nem időszerűek (egy meghatározott ütemezésben, például 10 évente) fordulnak elő (Kish 1979) . Ahelyett, hogy mintavételes felmérésekkel vagy népszámlálásokkal ragaszkodnának, képzelje el, hogy a kutatók képesek-e kombinálni mindkettőjük legjobb tulajdonságait. Képzeld el, hogy a kutatók minden kérdést minden embernek minden nap megkérdezhetnek. Nyilvánvaló, hogy ez a mindenütt jelen lévő felmérés egyfajta társadalomtudományi fantáziát jelent. De úgy tűnik, hogy elkezdhetjük ezt közelíteni a felmérési kérdéseket a sok emberből származó digitális nyomokkal rendelkező emberekkel való egyesítésével.
A Blumenstock kutatásai akkor kezdődtek meg, amikor partnerként működött együtt Ruanda legnagyobb mobilszolgáltatójával, és a vállalat 2005 és 2009 között névtelenített tranzakciós rekordokat adott meg mintegy 1,5 millió ügyféllel. Ezek a rekordok tartalmazták az egyes hívásokra és szöveges üzenetekre vonatkozó információkat, például a kezdési időt, , és a hívó és a vevõ hozzávetõleges földrajzi helyét. Mielőtt statisztikai kérdésekről beszélnék, érdemes rámutatni, hogy ez az első lépés lehet a legnehezebb sok kutató számára. Amint a 2. fejezetben leírtam, a legtöbb nagy adatforrás nem férhet hozzá a kutatókhoz. Különösen a telefonos metaadatok különösen hozzáférhetetlenek, mert gyakorlatilag lehetetlen anonimizálni, és szinte biztosan olyan információkat tartalmaz, amelyeket a résztvevők érzékenyek (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . Ebben a konkrét esetben a kutatók óvatosan védették az adatokat, és munkájukat harmadik fél felügyelte (azaz az IRB-t). A 6. fejezetben részletesebben fogok visszatérni ezekhez az etikai kérdésekhez.
A Blumenstock a vagyon és a jólét mérésére volt kíváncsi. De ezek a tulajdonságok nem közvetlenül a hívásrekordokban vannak. Más szóval, ezek a felhívás rekordok hiányosak ehhez a kutatáshoz - ami a nagy adatforrások közös jellemzője, amelyet a 2. fejezet részletesen tárgyalt. Azonban valószínűnek tűnik, hogy a hívásrekordok valószínűleg tartalmaznak olyan információkat, amelyek közvetve információt szolgáltathatnak a vagyonról és jólét. Ennek a lehetőségnek a segítségével Blumenstock megkérdezte, hogy lehet-e gépi tanulási modellt képezni annak megjóslásához, hogy valaki hogyan reagál a felvételi felmérés alapján végzett felmérésre. Ha ez lehetséges, akkor a Blumenstock felhasználhatja ezt a modellt, hogy megjósolja az összes 1.5 millió ügyféllel kapcsolatos felmérési válaszokat.
Annak érdekében, hogy egy ilyen modellt felépítsen és képezzen, a Blumenstock és a Kigali Tudományos és Technológiai Intézet kutatói asszisztensei véletlenszerű mintát neveztek mintegy ezer ügyfélnek. A kutatók elmagyarázták a projekt céljait a résztvevők számára, megkértük, hogy csatlakozzanak a felmérési válaszokhoz a hívásrekordokhoz, majd megkérdezzenek egy sor kérdést a gazdagságuk és jólétük mérésére: "Önnek van egy rádió? "és" Önnek van egy kerékpárja? "(lásd a 3.14. ábrát egy részleges listához). A felmérés valamennyi résztvevője anyagilag kompenzált.
Ezt követõen a Blumenstock egy kétlépcsõs eljárást használt a gépi tanulásban: a géptervezést követte a felügyelt tanulás. Először is, a jellemző mérnöki lépés, mindenki számára, hogy interjút, Blumenstock alakítjuk hívásrekordjainak egy sor jellemzők minden egyes személy; Az adatok tudósai ezeket a tulajdonságokat nevezhetnék "jellemzőknek", és a társadalomtudósok "változóknak" neveznék. Például minden ember számára a Blumenstock kiszámította a napok aktivitásának teljes számát, a különálló emberek számát, akivel egy személy érintkezett, a beszélgetésre fordított összeg, és így tovább. A kritikus fontosságú, hogy a jó tulajdonság-tervezés szükségessé teszi a kutatási környezet ismeretét. Például, ha fontos megkülönböztetni a hazai és a nemzetközi hívásokat (talán elvárhatnánk, hogy a nemzetközileg hívott emberek gazdagabbak legyenek), ezt a technikai fejlesztési lépésben kell elvégezni. Egy kutató, akinek kevés a megértése Ruandában, nem feltétlenül tartalmazza ezt a tulajdonságot, és akkor a modell prediktív teljesítménye szenvedne.
Ezután a felügyelt tanulás során a Blumenstock olyan modellt készített, amely meghatározná a felmérési választ minden egyes személy számára sajátosságai alapján. Ebben az esetben a Blumenstock logisztikus regressziót használt, de számos más statisztikai vagy gépi tanulási megközelítést alkalmazhatott.
Szóval milyen jól működött? Vajon a Blumenstock képes-e előre megjósolni a felmérési kérdésekre adott válaszokat, például: "Van egy rádiója?" És "Van-e egy kerékpárja?" A hívásrekordokból származó jellemzőkkel? Prediktív modelljének teljesítményértékeléséhez a Blumenstock kereszt-érvényesítést alkalmazott , amely az adat tudományban általánosan használt eszköz, de ritkán a társadalomtudományban. A határokon átnyúló érvényesítés célja a modellek elırejelzı teljesítményének tisztességes felmérése azáltal, hogy felkészíti és megvizsgálja azt az adatok különbözı alcsoportjaiban. Különösen, Blumenstock osztotta adatait 10 darab 100 darabos egyenként. Ezután kilenc darabot használt a modell felépítésére, és a képzett modell prediktív teljesítményét a fennmaradó darabon értékelték. Ezt az eljárást 10 alkalommal ismételte meg - mindegyik adatcsomaggal egy fordulattal, mint érvényesítési adatokkal -, és átlagolták az eredményeket.
A jóslatok pontossága egyes jellemzők esetében magas volt (3.14. Ábra); például a Blumenstock 97,6% -os pontossággal képes megjósolni, ha valaki rádió volt. Ez hatásos lehet, de mindig fontos egy komplex előrejelzési módszer összehasonlítása egy egyszerű alternatívával szemben. Ebben az esetben egy egyszerű alternatíva az, hogy megjósolja, hogy mindenki a leggyakoribb választ adja. Például a válaszadók 97,3% -a arról számolt be, hogy birtokolja a rádiót, így ha Blumenstock előre jelezte, hogy mindenki jelentést tesz a rádiótulajdonosról, 97,3% -os pontossággal rendelkezne, ami meglepően hasonlít a bonyolultabb eljárásának (97,6% pontosság) . Más szóval, a fantáziadús adatok és a modellezés 97,3% -ról 97,6% -ra növelte a becslés pontosságát. Azonban más kérdéseket, például "Önnek van egy kerékpárja?", Az előrejelzések 54,4% -ról 67,6% -ra javultak. Általánosságban elmondható, hogy a 3.15. Ábrán látható, hogy a Blumenstock bizonyos tulajdonságai nem javultak túl egyszerűen az egyszerű kiindulási előrejelzést illetően, de más jellemzők esetében javulás volt tapasztalható. Ha csak ezeket az eredményeket tekintjük meg, akkor nem gondolhatjuk, hogy ez a megközelítés különösen ígéretes.
3.14. Ábra: Prediktív pontosság egy statisztikai modellhez, amelyet a hívásrekordok során képzett. Módosítva Blumenstock (2014) , 2. táblázat.
3.15. Ábra: Prediktív pontosság összehasonlítása egy statisztikai modellhez, amelyet a hívásrekordok segítségével az egyszerű alapvonal-előrejelzéshez hasonlítanak. A pontok kissé elakadtak, hogy elkerüljék az átfedéseket. Módosítva Blumenstock (2014) , 2. táblázat.
Azonban csak egy évvel később, Blumenstock és két kollégája - Gabriel Cadamuro és Robert On - egy lényegesen jobb eredményt értek el a tudományban (Blumenstock, Cadamuro, and On 2015) . Ennek a javulásnak két fő technikai oka volt: (1) kifinomultabb módszereket alkalmaztak (pl. Egy új megközelítés a látványtervezéshez és egy kifinomultabb modell a jellemzőkre adott válaszok megjósolásához), és (2) ahelyett, hogy megkísérelne következtetéseket levonni az egyéni felmérési kérdéseket (pl. "Van egy rádiója?"), akkor kísérletet tettek egy összetett vagyon indexre. Ezek a technikai fejlesztések azt jelentették, hogy ésszerű munkát végezhetnek a hívásrekordok felhasználásával, hogy megjósolhassák a gazdagságot a mintában szereplő emberek számára.
A mintában szereplő emberek gazdagságának előrejelzése azonban nem volt a kutatás végső célja. Ne feledje, hogy a végső cél a mintavételes felmérések és a népszámlálások legjobb tulajdonságainak egyesítése a fejlődő országokban a szegénység pontos, nagy felbontású becslésekor. E cél elérése érdekében Blumenstock és kollégái modelljüket és adataikat felhasználva meghatározták a hívásrekordokból származó összes 1.5 millió ember gazdagságát. A hívásrekordokba beágyazott térinformatikai adatokat (felidézzük, hogy az adatok tartalmazzák a legközelebbi cellás torony helyét minden egyes hívásnál) becsüljük meg minden egyes személy tartózkodási helyének becslését (3.17. Ábra). E két becslés együttvéve, Blumenstock és munkatársai becslést készítettek az előfizetői vagyon földrajzi eloszlásáról rendkívül finom térbeli granulárisságon. Például becsülnék az átlagos gazdagságot minden egyes ruandai 2,148 cellában (az ország legkisebb adminisztratív egységében).
Mennyire jól tudták, hogy ezek a becslések megfelelnek a tényleges szegénységi szintnek ezen régiókban? Mielőtt válaszolnék erre a kérdésre, azt szeretném hangsúlyozni, hogy sok oka van szkeptikusnak. Például az egyéni szinten a jóslatok képessége meglehetősen zajos (3.17. Ábra). És ami még ennél is fontosabb, a mobiltelefonos emberek rendszeresen eltérhetnek a mobiltelefon nélküli személyektől. Így Blumenstock és kollégái szenvedhetnek olyan lefedettségi hibák típusától, amelyek elfogulták az 1936-os Irodalmi Digest- felmérést, amit korábban ismertettem.
Annak érdekében, hogy megbecsülhessék becsléseik minőségét, Blumenstocknak és kollégáinak össze kellett hasonlítani valami mást. Szerencsére, a tanulmányaikkal egyidejűleg egy másik kutatócsoport egy hagyományosabb szociális felmérést indított Ruandában. Ez a másik felmérés - amely a széles körben elismert Demográfiai és Egészségügyi felmérés program része volt - nagy költségvetést és magas színvonalú, hagyományos módszereket alkalmazott. Ezért a demográfiai és egészségügyi felmérés becslései ésszerűen arany-standard becsléseknek tekinthetők. A két becslés összehasonlításakor meglehetősen hasonlóak voltak (3.17. Ábra). Más szóval, a kis mennyiségű felmérési adatok és a hívásrekordok kombinálásával Blumenstock és munkatársai képesek voltak becsléseket készíteni, amelyek hasonlóak az arany standard megközelítésekhez.
A szkeptikusok ezeket az eredményeket csalódásként láthatják. Elvégre az egyik módja annak, hogy megnézzük őket, azt mondja, hogy nagy adatok és gépi tanulás segítségével a Blumenstock és munkatársai olyan becsléseket tudtak készíteni, amelyek megbízhatóbbá tehetők a már létező módszereknél. De nem hiszem, hogy ez a helyes módszer két okból gondolkodni ebben a tanulmányban. Először is, a Blumenstock és kollégáinak becslései körülbelül 10-szer gyorsabbak és 50-szer olcsóbbak (amikor a költségeket változó költségekkel mérik). Ahogyan korábban ebben a fejezetben érveltem, a kutatók figyelmen kívül hagyják a költségeket a veszélyük miatt. Ebben az esetben például a drámai költségcsökkenés azt jelenti, hogy a havonta néhány év alatt - ahogy a demográfiai és egészségügyi felmérésekhez is szokásos - ez a fajta felmérés minden hónapban lefuttatható, ami számos előnnyel járna a kutatók és a szakpolitikák számára döntéshozók. A második ok, hogy ne vesszük a szkeptikus nézetét, hogy ez a tanulmány olyan alapvető receptet nyújt, amely sok különböző kutatási helyzethez igazítható. Ez a recept csak két összetevővel és két lépéssel rendelkezik. Az összetevők (1) egy nagy adatforrás, amely széles, de vékony (azaz sok ember van, de nem az egyes személyekre vonatkozó információ), és (2) szűk, de vastag felmérés (azaz csak néhány ember, de rendelkezik azokkal az információkkal, amelyekre szüksége van ezekkel az emberekkel kapcsolatban. Ezeket az összetevőket két lépésben kombináljuk. Először is, mindkét adatforrásban lévő emberek számára készítsen egy gépi tanulási modellt, amely a nagy adatforrást használja a felmérési válaszok előrejelzésére. Ezután alkalmazza ezt a modellt, hogy a nagy adatforrásban résztvevők felmérési válaszai alapján számoljon be. Így ha van olyan kérdés, hogy sok embert szeretne megkérdezni, keressen egy nagy adatforrást azoktól az emberektől, akiket fel lehet használni a válaszaik előrejelzésére, még akkor is, ha nem törődnek a nagy adatforrással . Vagyis Blumenstock és munkatársai nemigen törődtek a hívásrekordokkal; csak a felhívás nyilvántartásaira törődtek, mert fel lehetne használni a felmérési válaszok előrejelzését, amelyekről gondoskodtak. Ez a jellegzetes, csak közvetett érdeklődés a nagy adatforrásban - erősíti a kérdéseket, amelyek eltérnek a beágyazott kérdezéstől, amit korábban ismertettem.
3.16. Ábra: A Blumenstock, Cadamuro, and On (2015) tanulmányának vázlata. A telefonszolgáltatói hívásrekordok mátrixra lettek konvertálva, minden egyes személy számára egy sorral és egy oszlopmal minden egyes funkcióhoz (azaz változóhoz). Ezután a kutatók egy felügyelt tanulásmodellt építettek fel, hogy előrejelezzék a felmérési válaszokat a személyre szabott mátrix alapján. Ezután a felügyelt tanulás modelljét arra használták fel, hogy a felmérési válaszokat 1,5 millió ügyféllel számolják. A kutatók becslése szerint a 1.5 millió előfizető közelítő lakóhelyét hívásaik helyszíne alapján becsülték meg. Amikor ezt a két becslést - a becsült vagyont és a becsült lakóhelyet - összevonták, az eredmények hasonlóak voltak a demográfiai és egészségügyi felmérés becsléseihez, az arany standard hagyományos felméréshez (3.17. Ábra).
3.17. Ábra: Blumenstock, Cadamuro, and On (2015) . Egyéni szinten a kutatók képesek voltak arra, hogy ésszerű munkát végezzenek valaki vagyonának megjósolásában. A ruandai 30 körzet körzeti szintű vagyonának becslései - amelyek a vagyon és a lakóhely egyéni becslésén alapultak - hasonlóak voltak a demográfiai és egészségügyi felmérés eredményeihez, arany-standard hagyományos felméréshez. A Blumenstock, Cadamuro, and On (2015) szerint az 1a. És 3c. Blumenstock, Cadamuro, and On (2015) látható.
Összefoglalva, a Blumenstock erősített kérdőíves megközelítése nagy adatforrással kombinálta a felmérési adatokat az arany-standard felméréshez hasonló becslések készítéséhez. Ez a konkrét példa pontosítja az erősített kérdőívek és a hagyományos felmérési módszerek közötti kompromisszumokat is. Az erősített kérő becslések időszerűbbek voltak, lényegesen olcsóbbak és szemcsésebbek voltak. De ennek ellenére még nincs erőteljes elméleti alapja ennek az erősített kérdésnek. Ez az egyetlen példa nem mutatja, ha ez a megközelítés működni fog, és ha nem, akkor a kutatóknak különös figyelmet kell szentelniük az esetleges torzításoknak, akik - a nagy adatforráson kívül - és akik nem szerepelnek benne. Továbbá az erősített kérdőíves megközelítésnek még nincsenek jó módjai a becslések körüli bizonytalanság számszerűsítésére. Szerencsére az erősített kérdezésnek mély kapcsolata van a statisztika - a kistérségi becslés (Rao and Molina 2015) , az imputáció (Rubin 2004) és a modellalapú utólagos rétegzés (amely maga szorosan kapcsolódik P. úrhoz, a fejezetben korábban leírt módszer) (Little 1993) . Ezeknek a mély összeköttetéseknek köszönhetően számítom, hogy az erősített kérdezés módszertani alapjait hamarosan javítani fogják.
Végül, a Blumenstock első és második próbálkozásainak összehasonlítása szintén fontos leckét mutat be a digitális korszak társadalmi kutatásáról: a kezdet nem a vég. Vagyis sokszor az első megközelítés nem a legjobb, de ha a kutatók továbbra is dolgoznak, a dolgok jobban meg tudnak felelni. Általánosabban, a digitális korban a társadalmi kutatás új megközelítéseinek értékelése során két különálló értékelést kell végezni: (1) Mennyire jól működik ez a digitális korszak? és (2) Mennyire jó lesz ez a jövőben az adatok tájak megváltoztatása és a kutatók nagyobb figyelmet fordítani a problémára? Bár a kutatók képzettek az első típusú értékelés elvégzésére, a második gyakran fontosabb.
