Зв'язавши обстеження для цифрових слідів може бути як питати кожного , ваші питання в будь-який час.
Запропонована в цілому йде за двома основними категоріями: вибіркових обстежень і переписів населення. Вибіркові обстеження, де Ви можете отримати доступ невелика кількість людей, може бути гнучким, своєчасним, і відносно дешево. Проте, вибіркових обстежень, оскільки вони засновані на вибірці, часто обмежені в їх вирішенні; з вибіркового обстеження, часто буває важко зробити оцінки про конкретні географічних регіонах або для конкретних демографічних груп. Перепису, з іншого боку, спроба взяти інтерв'ю у всіх в популяції. Вони мають великий дозвіл, але вони , як правило , дорогі, вузькі в фокусі (вони включають в себе лише невелику кількість питань), а не своєчасно (вони відбуваються за встановленим графіком, наприклад, кожні 10 років) (Kish 1979) . Тепер уявіть собі, якби дослідники могли б об'єднати в собі кращі характеристики вибіркових обстежень і переписів; уявіть собі, якби дослідники могли задати всі питання всім щодня.
Очевидно, що це постійне, повсюдне, завжди на обстеження є свого роду соціальної науки фантазії. Але, виявляється , що ми можемо почати , щоб наблизити це шляхом об'єднання питань обстеження з невеликого числа людей з цифровими слідами від багатьох людей. Я називаю цей тип комбінації посилюється з проханням. Якщо все зроблено правильно, то це може допомогти нам дає оцінку, які є більш локальними (для невеликих географічних районів), більш зерниста (для конкретних демографічних груп), а також більш своєчасно.
Одним із прикладів підсилюється питати приходить від роботи Джошуа Blumenstock, який хотів, щоб зібрати дані, які допомогли б розвитку керівництво в бідних країнах. Більш конкретно, Blumenstock хотів створити систему для вимірювання багатства і благополуччя , що в поєднанні повноти перепису з гнучкістю і частотою опитування (Blumenstock 2014; Blumenstock, Cadamuro, and On 2015) . Насправді, я вже описав роботу Blumenstock ненадовго в розділі 1.
Для того, щоб почати, Blumenstock партнерські відносини з найбільшим оператором мобільного зв'язку телефону в Руанді. Компанія надала йому анонімізувати записи транзакцій від близько 1,5 мільйонів клієнтів, що охоплюють поведінку з 2005 і 2009 Журнали містять інформацію про будь-яке повідомлення виклику і текст, наприклад, час початку, тривалість і приблизне географічне розташування абонента і приймача. Перед тим, як почати говорити про статистичні питань, то варто відзначити, що цей перший крок може бути одним з найважчих. Як описано в розділі 2, більшість цифрових даних трасування недоступна для дослідників. І багато компаній виправдано не наважуються ділитися своїми даними, оскільки вона є приватним; що їх клієнти, ймовірно, не очікували, що їх записи будуть передані в масі-з дослідниками. У цьому випадку, дослідники взяли обережні кроки, щоб анонімізувати даних і їх робота була під контролем третьої сторони (тобто їх IRB). Але, незважаючи на ці зусилля, ці дані, ймовірно , до сих пір ідентифіковані і вони , ймовірно , містити секретну інформацію (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . Я повернуся до цих етичних питанням в главі 6.
Нагадаємо, що Blumenstock був зацікавлений у вимірі багатства і благополуччя. Але ці рис чи безпосередньо в записах викликів. Іншими словами, ці записи викликів є неповними для даного дослідження, загальною особливістю цифрових слідів , які були детально обговорені в розділі 2. Але, цілком ймовірно , що записи викликів , ймовірно , мають деяку інформацію про багатство і благополуччя. Таким чином, один із способів задавати питання Blumenstock міг би бути: можна передбачити, як хтось відповість на обстеження на основі їх цифрових даних трасування? Якщо так, то, задавши кілька людей, ми можемо припустити, відповіді всіх інших.
Для оцінки цього емпірично, Blumenstock і наукових співробітників з Кігалі інститут науки і техніки називається зразок близько тисячі клієнтів мобільних телефонів. Дослідники пояснили мети проекту учасникам, просив їх згоди зв'язати відповідей обстеження для записів про виклики, а потім поставив їм ряд питань для оцінки їх багатства і благополуччя, такі, як "у вас є зробити радіо? "і" У вас є велосипед? "(див Малюнок 3.11 для часткового списку). Всі учасники дослідження були компенсовані у фінансовому відношенні.
Потім Blumenstock використовували процедуру двоступеневої загального в науці даних: особливість інженерного наступним підконтрольного навчання. По- перше, в особливість інженерної стадії, для всіх, хто давав інтерв'ю, Blumenstock перетворені записи викликів в набір характеристик про кожну людину; Вчені даних могли б назвати ці характеристики "особливості" і соціологи назвали б їх "змінними". Наприклад, для кожної людини, Blumenstock розраховується загальна кількість днів з активністю, число різних людей, людина перебувала в контакті з, кількість грошей, витрачених на ефірний час, і так далі. Критично, хороша особливість інженерного вимагає знання умов дослідження. Наприклад, якщо це важливо розрізняти внутрішні і міжнародні дзвінки (ми могли б очікувати, що люди, які називають на міжнародному рівні, щоб бути багатшими), то це повинно бути зроблено на особливість інженерної стадії. Дослідник з невеликим розумінням Руанди не може включати в себе цю функцію, а потім прогнозний продуктивність моделі буде страждати.
Далі, в підконтрольного стадії вивчення, Blumenstock побудували статистичну модель для прогнозування відповідь на опитування для кожної людини , в залежності від їх особливостей. В цьому випадку Blumenstock використовували логістичну регресію з 10-кратним перехресної перевірки, але він міг би використовувати цілий ряд інших підходів статистичних або машинного навчання.
Так, наскільки добре це працювало? Був Blumenstock в змозі передбачити відповіді на питання анкети, як "У вас є радіо?" І "Чи є у вас є велосипед?", Використовуючи функції, отримані із записів про виклики? Різновид. Точність прогнозів були високі для деяких ознак (рис 3.11). Але, це завжди важливо, щоб порівняти комплексний метод прогнозування проти простий альтернативи. У цьому випадку, простий альтернативою є, щоб передбачити, що кожен дасть найбільш загальна відповідь. Наприклад, 97,3% повідомили, що володіють радіо, так що якщо Blumenstock передбачали, що кожен буде повідомляти про володінні радіо він мав би точність 97,3%, що на диво схоже на виконання його більш складної процедури (точність 97,6%). Іншими словами, все фантазії дані і моделювання підвищило точність прогнозу з 97,3% до 97,6%. Проте, для інших питань, таких, як "У вас є велосипед?", Пророцтва покращився з 54,4% до 67,6%. У більш загальному плані, на малюнку 3.12 показані для деяких ознак Blumenstock не поліпшився далеко за межі просто зробити простий базовий прогноз, але і для інших ознак є деяке поліпшення.
На цьому етапі ви можете подумати , що ці результати є трохи розчаровує, але тільки один рік по тому, Blumenstock і двоє його колег-Габріель Cadamuro і Роберт On-опублікували статтю в журналі Science з істотно кращими результатами (Blumenstock, Cadamuro, and On 2015) , Існували дві основні технічні причини для поліпшення: 1) вони використовували більш складні методи (тобто, новий підхід до особливість техніки і більш складну модель машинного навчання) і 2), а не намагатися вивести відповіді на окремі питання анкети (наприклад, "У вас є радіо?"), вони спробували вивести індекс складеного багатства.
Blumenstock і його колеги продемонстрували ефективність свого підходу двома способами. По-перше, вони виявили, що для людей в їх вибірці, вони могли б зробити дуже гарну роботу прогнозування їх багатства від записів про виклики (Малюнок 3.14). По-друге, і ще більш важливо, Blumenstock і його колеги показали, що їх процедура може зробити оцінку високої якості географічного розподілу багатства в Руанді. Більш конкретно, вони використовували свою модель машинного навчання, який проходив підготовку по їх вибірці з близько 1000 чоловік, щоб передбачити добробут всього 1,5 мільйона чоловік, у записах викликів. Крім того, з геопросторових даних, вбудованих в дані обробки викликів (нагадаємо, що дані виклику включає в себе розташування найближчої комірки вежі для кожного виклику), дослідники змогли оцінити приблизну місце проживання кожної людини. Поєднуючи ці дві оцінки разом, дослідження справило оцінку географічного розподілу абонентської багатства в надзвичайно тонкої просторової деталізації. Наприклад, вони могли б оцінити середнє багатство в кожній з 2148 клітин Руанди (найменша адміністративна одиниця в країні). Ці передбачені значення багатства були настільки зернисте їх було важко перевірити. Таким чином, дослідники агрегувати їх результати для отримання оцінок середнього багатства 30 районів Руанди. Ці оцінки районного рівня були тісно пов'язані з оцінками з золотого стандарту традиційного опитування, Руандійськая області демографії та охорони здоров'я (Малюнок 3.14). Хоча оцінки з цих двох джерел були схожі, оцінки від Blumenstock і його колеги були приблизно в 50 разів дешевше і в 10 разів швидше (коли вартість в виміряні в термінах змінних витрат). Таке різке зниження вартості означає, що замість того, щоб бігти через кожні кілька років, як це стандарт для демографічних і медичних обстежень-гібрид невеликого обстеження в поєднанні з великими цифровими даними трасування може бути запущений кожен місяць.
На закінчення Blumenstock-х ампліфікували з проханням підхід в поєднанні даних обстеження з цифровими даними трасування для отримання оцінок, порівнянних з оцінками обстеження золотим стандартом. Цей приватний приклад також роз'яснює деякі компроміси між підсилюється задавати питання і традиційних методів обстеження. По-перше, ампліфіковані з проханням оцінки були більш своєчасно, значно дешевше, і більш зерниста. Але, з іншого боку, в цей час, не існує сильна теоретична основа для такого роду підсилюється питати. Тобто, цей приклад не показує, коли він буде працювати і коли він не буде. Крім того, посилений запитувана підхід ще не мають хороші способи кількісної оцінки невизначеності навколо своїх оцінок. Тим НЕ менше, посилений запитувана має глибокі зв'язки в трьох великих областей статистики-модель на основі пост-стратифікації (Little 1993) , зобов'язання (Rubin 2004) , а також оцінки малої площі (Rao and Molina 2015) -І тому я очікую , що прогрес буде бути швидким.
Посилений запитувана слід базовий рецепт, який можна адаптувати до вашої конкретної ситуації. Є два компонента і два кроки. Ці два компоненти є: 1) цифровий слід набір даних, який широкий, але тонкий (тобто, у нього є багато людей, але не інформацію, що вам потрібно про кожну людина) і 2) обстеження, яке вузька, але товста (тобто, у нього є лише кілька людей, але у нього є інформація, що вам потрібно про тих людей). Потім, існує два етапи. По-перше, для людей в обох джерелах даних, побудувати модель машинного навчання, яка використовує цифрові дані трасування для прогнозування відповідей опитування. Далі використовуйте цю модель машинного навчання для поставлення опитування відповіді кожного в цифрових даних трасування. Таким чином, якщо є якесь питання, що ви хочете, щоб попросити багато людей, шукати цифрових даних трасування від тих людей, які можуть бути використані для прогнозування їх відповідь.
Порівнюючи першу і другу спробу Blumenstock по крайней проблеми також ілюструє важливий урок про перехід від другої ери до третього підходів епохи для обстеження досліджень: початок не кінець. Тобто, у багато разів, перший підхід не буде кращим, але якщо дослідники продовжують працювати, все може стати краще. У більш загальному плані, при оцінці нових підходів до соціальних досліджень в епоху цифрових технологій, важливо, щоб зробити два різних оцінок: 1) наскільки добре це працює зараз, і 2) наскільки добре ви думаєте, що це може працювати в майбутньому в якості ландшафту даних зміни і як дослідники приділяють більше уваги до цієї проблеми. Хоча дослідники навчені, щоб зробити перший вид оцінки (наскільки добре ця конкретна частина дослідження), по-друге, часто більш важливо.