2.4.2 Forecasting en nowcasting
Het voorspellen van de toekomst is moeilijk, maar het voorspellen van het heden is makkelijker.
De tweede belangrijkste strategie die onderzoekers kunnen gebruiken met observatiegegevens is voorspellen . Het maken van schattingen over de toekomst is notoir moeilijk, en misschien daarom is prognoses momenteel geen groot deel van sociaal onderzoek (hoewel het een klein en belangrijk onderdeel is van demografie, economie, epidemiologie en politieke wetenschappen). Hier wil ik me echter concentreren op een speciaal soort prognoses die nowcasting worden genoemd - een term die is afgeleid van het combineren van 'nu' en 'voorspellen'. In plaats van het voorspellen van de toekomst, worden nu pogingen gedaan om ideeën uit prognoses te gebruiken om de huidige staat te meten van de wereld; het probeert "het heden te voorspellen" (Choi and Varian 2012) . Nowcasting heeft het potentieel om vooral nuttig te zijn voor overheden en bedrijven die tijdige en nauwkeurige metingen van de wereld vereisen.
Een instelling waar de behoefte aan tijdige en nauwkeurige metingen heel duidelijk is, is epidemiologie. Overweeg het geval van influenza ("de griep"). Elk jaar veroorzaken seizoensgriepepidemieën miljoenen ziekten en honderdduizenden doden over de hele wereld. Verder is er elk jaar de mogelijkheid dat er een nieuwe vorm van griep zou ontstaan die miljoenen zou doden. De influenza-uitbraak in 1918, bijvoorbeeld, heeft naar schatting tussen de 50 en 100 miljoen mensen gedood (Morens and Fauci 2007) . Vanwege de noodzaak om influenza-uitbraken te volgen en mogelijk te reageren, hebben regeringen over de hele wereld griepsurveillancesystemen opgezet. De Amerikaanse centra voor ziektebestrijding en -preventie (CDC) verzamelen bijvoorbeeld regelmatig en systematisch informatie van zorgvuldig geselecteerde artsen in het hele land. Hoewel dit systeem hoogwaardige gegevens produceert, heeft het een rapportagevertraging. Dat wil zeggen, vanwege de tijd die het kost voordat de gegevens die van de dokters komen om te worden gereinigd, verwerkt en gepubliceerd, geeft het CDC-systeem schattingen van hoeveel griep er twee weken geleden was. Maar bij het omgaan met een opkomende epidemie willen volksgezondheidsfunctionarissen niet weten hoeveel influenza er twee weken geleden was; ze willen weten hoeveel influenza er op dit moment is.
Op hetzelfde moment dat de CDC gegevens verzamelt voor het volgen van influenza, verzamelt Google ook gegevens over de prevalentie van influenza, hoewel in een heel andere vorm. Mensen van over de hele wereld sturen constant vragen naar Google en sommige van deze vragen, zoals 'griepremedies' en 'griepsymptomen', kunnen aangeven dat de persoon die de zoekopdracht uitvoert griep heeft. Maar het gebruik van deze zoekopdrachten om de prevalentie van griep in te schatten is lastig: niet iedereen die griep heeft, maakt een griepgerelateerd onderzoek en niet elke griep-gerelateerde zoekactie is van iemand die griep heeft.
Jeremy Ginsberg en een team van collega's (2009) , sommigen bij Google en een aantal bij CDC, hadden het belangrijke en slimme idee om deze twee gegevensbronnen te combineren. Grofweg combineerden de onderzoekers, via een soort van statistische alchemie, de snelle en onnauwkeurige zoekgegevens met de langzame en nauwkeurige CDC-gegevens om snelle en nauwkeurige metingen van de prevalentie van influenza te produceren. Een andere manier om erover na te denken, is dat ze de zoekgegevens hebben gebruikt om de CDC-gegevens te versnellen.
Meer in het bijzonder schatten Ginsberg en zijn collega's met gegevens van 2003 tot 2007 de relatie tussen de prevalentie van influenza in de CDC-gegevens en het zoekvolume op 50 miljoen verschillende termen. Van dit proces, dat volledig gegevensgestuurd was en geen gespecialiseerde medische kennis vereiste, vonden de onderzoekers een reeks van 45 verschillende vragen die het meest voorspellend leken te zijn voor de CDC-prevalentiegegevens van de griep. Vervolgens hebben Ginsberg en zijn collega's hun relaties tijdens de griepseizoen 2007-2008 getest met behulp van de relaties die ze hebben opgedaan met de gegevens uit de periode 2003-2007. Ze vonden dat hun procedures inderdaad nuttige en accurate nowcasts konden maken (figuur 2.6). Deze resultaten werden gepubliceerd in de natuur en kregen lovende kritieken op de pers. Dit project, dat Google Grieptrends werd genoemd, werd een vaak herhaalde parabel over de kracht van big data om de wereld te veranderen.
Afbeelding 2.6: Jeremy Ginsberg en collega's (2009) combineerden Google-zoekgegevens met CDC-gegevens om Google Grieptrends te creëren, die de snelheid van influenza-achtige ziektes (ILI) konden afkappen. Resultaten in dit cijfer zijn voor de Mid-Atlantische regio van de Verenigde Staten in het griepseizoen 2007-2008. Hoewel het aanvankelijk veelbelovend was, vervielen de prestaties van Google Grieptrends na verloop van tijd (Cook et al. 2011; Olson et al. 2013; Lazer et al. 2014) . Aangepast door Ginsberg et al. (2009) , figuur 3.
Dit schijnbare succesverhaal werd uiteindelijk echter een schande. In de loop van de tijd ontdekten onderzoekers twee belangrijke beperkingen die Google Grieptrends minder indrukwekkend maken dan ze aanvankelijk leken. Ten eerste was de prestatie van Google Grieptrends eigenlijk niet veel beter dan die van een eenvoudig model dat de hoeveelheid griep schat op basis van een lineaire extrapolatie van de twee meest recente metingen van griepprevalentie (Goel et al. 2010) . En over een aantal perioden was Google Grieptrends eigenlijk slechter dan deze eenvoudige benadering (Lazer et al. 2014) . Met andere woorden: Google Grieptrends met al zijn gegevens, machine learning en krachtige computers presteerde niet dramatisch beter dan een eenvoudige en gemakkelijk te begrijpen heuristiek. Dit suggereert dat het bij het evalueren van een prognose of nowcast belangrijk is om te vergelijken met een baseline.
De tweede belangrijke waarschuwing over Google Grieptrends is dat het vermogen ervan om de CDC-griepgegevens te voorspellen, gevoelig was voor kortetermijnfalen en langdurig verval vanwege drift en algoritmische verstoringen . Tijdens de uitbraak van de varkensgriep in 2009 heeft Google Griep Trends de hoeveelheid griep drastisch overschat, waarschijnlijk omdat mensen de neiging hebben hun zoekgedrag te veranderen als reactie op de wijdverspreide angst voor een wereldwijde pandemie (Cook et al. 2011; Olson et al. 2013) . Naast deze kortetermijnproblemen vervielen de prestaties geleidelijk in de loop van de tijd. Het diagnosticeren van de redenen voor dit langdurige verval is moeilijk omdat de zoekalgoritmen van Google eigendom zijn, maar het lijkt erop dat Google in 2011 verwante zoektermen heeft voorgesteld wanneer mensen zoeken naar griepachtige symptomen zoals 'koorts' en 'hoest' (het lijkt er ook op dat deze functie is niet langer actief). Het toevoegen van deze functie is volkomen redelijk als u een zoekmachine gebruikt, maar deze algoritmische wijziging heeft geleid tot meer gezondheidsgerelateerde zoekopdrachten waardoor Google Grieptrends de griepprevalentie heeft overschat (Lazer et al. 2014) .
Deze twee voorbehouden bemoeilijken de toekomstige pogingen om te werpen, maar ze zijn niet onheilspellend. Sterker nog, door zorgvuldiger methoden te gebruiken, Lazer et al. (2014) en Yang, Santillana, and Kou (2015) konden deze twee problemen voorkomen. In de toekomst verwacht ik dat nucastingstudies die big data-bronnen combineren met door onderzoekers verzamelde gegevens, bedrijven en overheden in staat zullen stellen meer tijdige en nauwkeurigere schattingen te creëren door in essentie versneld metingen uit te voeren die herhaaldelijk met enige vertraging worden doorgevoerd. Nucasting-projecten zoals Google Grieptrends laten ook zien wat er kan gebeuren als grote gegevensbronnen worden gecombineerd met meer traditionele gegevens die zijn gemaakt met het oog op onderzoek. Terugdenkend aan de kunstanalogie van hoofdstuk 1, heeft nowcasting de potentie om readymades in Duchamp-stijl te combineren met Michelangelo-stijl custommades om besluitvormers te voorzien van meer tijdige en nauwkeurigere metingen van het heden en voorspellingen van de nabije toekomst.
