2.4.2 Прогнозування і прогнозування поточної погоди

Передбачати майбутнє важко, але передбачення поточного легше.

Друга основна стратегія дослідників, яку можна використовувати з спостережними даними, є прогнозуванням . Зробити здогади щодо майбутнього, як відомо, важко, і, можливо, з цієї причини прогнозування в даний час не є великою частиною соціальних досліджень (хоча це невелика і важлива частина демографії, економіки, епідеміології та політології). Проте тут я хотів би зосередити увагу на особливому прогнозуванні, яке називається nowcasting - термін, похідний від об'єднання "зараз" та "прогнозування". Замість того, щоб прогнозувати майбутнє, зараз спроби використовувати ідеї з прогнозування для вимірювання поточного стану світу; він намагається "передбачити справжнє" (Choi and Varian 2012) . Потенціал "зараз" може бути особливо корисним для урядів та компаній, які потребують своєчасних та точних заходів у світі.

Однією з умов, коли необхідність своєчасного та точного вимірювання дуже чітка, є епідеміологія. Розглянемо випадок грипу ("грипу"). Щороку сезонні епідемії грипу викликають мільйони хвороб та сотні тисяч смертей у всьому світі. Крім того, щороку існує можливість появи нової форми грипу, яка вб'є мільйони людей. Наприклад, спалах грипу 1918 р., За оцінками, загинули від 50 до 100 мільйонів чоловік (Morens and Fauci 2007) . Через необхідність відслідковувати та потенційно реагувати на спалахи грипу, уряди в усьому світі створили системи спостереження за грипом. Наприклад, Центри контролю та профілактики захворювань США (CDC) регулярно та систематично збирають інформацію від ретельно відібраних лікарів по всій країні. Хоча ця система виробляє високоякісні дані, вона має відставання в звітах. Тобто, через те, що час, необхідний для очищення, обробки та опублікування даних, що надходять від лікарів, система CDC видає оцінку того, скільки було грипу два тижні тому. Але, коли поводяться з новою епідемією, чиновники охорони здоров'я не хочуть знати, скільки було два тижні тому; вони хочуть дізнатись, скільки зараз є зараз грипу.

У той же час, що CDC збирає дані для відстеження грипу, Google також збирає дані про поширеність грипу, хоча і в іншій формі. Люди з усього світу постійно надсилають запити до Google, і деякі з цих запитань (наприклад, "засоби захисту від грипу" та "симптоми грипу" можуть свідчити про те, що особа, яка робить запит, має грип. Але використання цих пошукових запитів для оцінки поширеності грипу є складним: не всі, хто має грип, проводять пошук за грипом, а не будь-який пошук, пов'язаний з грипом, від того, хто має грип.

Джеремі Гінзберг та команда колег (2009) , деякі з них - в Google, а деякі - в CDC, мали важливу та розумну ідею поєднати ці два джерела даних. Грубо кажучи, за допомогою статистичної алхімії дослідники об'єднали швидкі та неточні дані пошуку з повільними та точними даними CDC, щоб швидко і точно виміряти поширеність грипу. Інший спосіб думати про те, що вони використовували дані пошуку для прискорення даних CDC.

Зокрема, використовуючи дані за період з 2003 по 2007 рік, Гінзберг та його колеги оцінили зв'язок між поширеністю грипу в даних CDC та обсягом пошуку на 50 мільйонів різних термінів. З цього процесу, який був повністю керований даними і не потребував спеціалізованих медичних знань, дослідники виявили набір з 45 різних запитів, які, як видається, найбільш прогнозують дані про поширеність захворюваності на СНІД. Потім, використовуючи зв'язки, які вони дізналися з даних 2003-2007 років, Гінзберг та його колеги протестували свою модель протягом сезону 2007-2008 років. Вони виявили, що їхні процедури дійсно можуть зробити корисні та точні відповіді (рис. 2.6). Ці результати були опубліковані в Nature і отримали обожнювання в пресі. Цей проект, який отримав назву Google Flu Trends, став часто повторюваною притчею про силу великих даних для зміни світу.

Рисунок 2.6: Джеремі Гінзберг та його колеги (2009) поєднали дані пошуку Google з даними CDC для створення Google Flu Trends, яка могла б оцінити рівень захворюваності на герпес (ILI). Результати на цій цифрі стосуються середньоатлантичного регіону Сполучених Штатів у сезоні 2007-2008 рр. З грипом. Хоча це спочатку було дуже перспективним, ефективність роботи Google Flu Trends з часом спадала (Cook et al. 2011; Olson et al. 2013; Lazer et al. 2014) . Адаптований з Ginsberg et al. (2009) , малюнок 3.

Однак ця очевидна історія успіху зрештою перетворилася на збентеження. З часом дослідники виявили дві важливі обмеження, які роблять Google Flu Trends менш вражаючими, ніж спочатку з'явилися. По-перше, ефективність Google Flu Trends насправді була набагато не кращою, ніж у простої моделі, яка оцінює кількість грипу за лінійною екстраполяцією з двох останніх вимірів поширеності грипу (Goel et al. 2010) . І протягом деяких періодів, Google Flu Trends було насправді гіршим, ніж цей простий підхід (Lazer et al. 2014) . Іншими словами, Google Flu Trends з усіма його даними, машинним навчанням та потужними обчислювальними пристроями не суттєво перевершив просту та зрозумілу евристику. Це свідчить про те, що при оцінці будь-якого прогнозу або прогнозу, важливо порівняти з базою.

Другим важливим застереженням щодо Google Flu Trends є те, що його здатність прогнозувати дані грипу CDC схильні до короткочасної аварії та довготривалого спаду внаслідок дрейфу та алгоритмічного збитку . Наприклад, під час вибуху свинячого грипу в 2009 році Google Flu Trends різко переоцінили кількість грипу, ймовірно, тому що люди, як правило, змінюють свою поведінку пошуку у відповідь на широко поширений страх перед глобальною пандемією (Cook et al. 2011; Olson et al. 2013) . Окрім цих короткострокових проблем, продуктивність поступово знижується з часом. Діагностика причин такого довготривалого занепаду важка, оскільки алгоритми пошуку Google є фірмовими, однак з'ясовується, що в 2011 році Google почав пропонувати відповідні пошукові терміни, коли люди шукають симптоми грипу, як "лихоманка" та "кашель" (також це здається ця функція більше не активна). Додавання цієї функції є цілком розумною справою, якщо ви використовуєте пошукову систему, але ця алгоритмічна зміна призвела до збільшення кількості пошукових запитів, пов'язаних із здоров'ям, що призвело до того, що Google Flu Trends переоцінили поширеність грипу (Lazer et al. 2014) .

Ці два застереження ускладнюють майбутні зусилля, що відбуваються зараз, але вони не зневажають їх. Насправді, використовуючи більш ретельні методи, Lazer et al. (2014) і Yang, Santillana, and Kou (2015) змогли уникнути цих двох проблем. Продовжуючи, я очікую, що дослідження, що проводяться в даний час, які поєднують великі джерела даних з даними, отриманими дослідником, дозволить компаніям та урядам створювати більш своєчасні та більш точні оцінки, істотно пришвидшуючи будь-які вимірювання, які з часом відбуваються неодноразово з часом. На сьогоднішній день такі проекти, як Google Flu Trends, також показують, що може статися, якщо великі джерела даних поєднуються з більш традиційними даними, які були створені для цілей дослідження. Мислячи до аналогії мистецтва глави 1, тепер, як і раніше, можна об'єднати готові предмети стилю Дюшана з замовленнями в стилі Мікеланджело, щоб надати фахівцям, які приймають рішення, більш своєчасні та точніші вимірювання сучасності та передбачення найближчого майбутнього.