5.3.4 Conclusie
Met open oproepen kunt u oplossingen vinden voor problemen die u duidelijk kunt aangeven, maar die u zelf niet kunt oplossen.
In alle drie de open call-projecten Netflix Prize, Foldit, Peer-to-octrooi-onderzoekers vragen gesteld van een specifieke vorm, gevraagd oplossingen, en daarna pakte de beste oplossingen. De onderzoekers hebben niet eens nodig om de beste expert te vragen kennen, en soms kwam de goede ideeën van onverwachte plaatsen.
Nu kan ik ook twee belangrijke verschillen benadrukken tussen open call-projecten en menselijke rekenprojecten. Ten eerste specificeert de onderzoeker bij open call-projecten een doel (bijv. Het voorspellen van filmbeoordelingen), terwijl bij menselijke berekening de onderzoeker een microtask specificeert (bijvoorbeeld het classificeren van een sterrenstelsel). Ten tweede willen de onderzoekers bij open oproepen de beste bijdrage, zoals het beste algoritme voor het voorspellen van filmratings, de laagste energieconfiguratie van een eiwit of het meest relevante stuk van de stand van de techniek, niet een soort van eenvoudige combinatie van alle de bijdragen.
Gezien de algemene sjabloon voor open oproepen en deze drie voorbeelden, welke soorten problemen in sociaal onderzoek kunnen geschikt zijn voor deze aanpak? Op dit punt zou ik moeten erkennen dat er nog niet veel succesvolle voorbeelden zijn geweest (om redenen die ik in een ogenblik zal toelichten). Wat directe analogen betreft, zou je je kunnen voorstellen dat een peer-to-patent-stijl open call wordt gebruikt door een historische onderzoeker die op zoek is naar het vroegste document om een specifieke persoon of idee te noemen. Een open call-benadering voor dit soort problemen kan met name waardevol zijn wanneer de mogelijk relevante documenten niet in één archief zijn, maar op grote schaal worden verspreid.
Meer in het algemeen hebben veel overheden en bedrijven problemen die mogelijk openstaan voor oproepen, omdat open oproepen algoritmen kunnen genereren die kunnen worden gebruikt voor voorspellingen en deze voorspellingen kunnen een belangrijke leidraad zijn voor actie (Provost and Fawcett 2013; Kleinberg et al. 2015) . Net zoals Netflix bijvoorbeeld beoordelingen over films wilde voorspellen, zouden overheden resultaten willen voorspellen, zoals welke restaurants de meeste kans hebben op inbreuken op de gezondheidscodes om inspectiemiddelen efficiënter toe te wijzen. Gemotiveerd door dit soort problemen, gebruikten Edward Glaeser en collega's (2016) een open oproep om de stad Boston te helpen bij het voorspellen van schendingen van restaurants en sanitaire voorzieningen op basis van gegevens van Yelp-recensies en historische inspectiegegevens. Ze schatten dat het voorspellende model dat de open call won, de productiviteit van restaurantinspecteurs met ongeveer 50% zou verbeteren.
Open calls kunnen ook worden gebruikt om theorieën te vergelijken en te testen. Zo heeft de Fragile Families and Child Wellbeing Study ongeveer 5000 kinderen sinds hun geboorte in 20 verschillende Amerikaanse steden gevolgd (Reichman et al. 2001) . Onderzoekers hebben gegevens verzameld over deze kinderen, hun families en hun bredere omgeving bij de geboorte en op de leeftijd van 1, 3, 5, 9 en 15 jaar. Gezien alle informatie over deze kinderen, hoe goed zouden onderzoekers resultaten kunnen voorspellen, zoals wie zal afstuderen aan de universiteit? Of, uitgedrukt op een manier die voor sommige onderzoekers interessanter zou zijn, welke data en theorieën zouden het meest effectief zijn in het voorspellen van deze uitkomsten? Aangezien geen van deze kinderen op dit moment oud genoeg is om naar de universiteit te gaan, zou dit een echte toekomstgerichte voorspelling zijn en er zijn veel verschillende strategieën die onderzoekers kunnen gebruiken. Een onderzoeker die gelooft dat buurten cruciaal zijn in het vormgeven van levensresultaten, kan één benadering volgen, terwijl een onderzoeker die zich op gezinnen richt, iets heel anders zou kunnen doen. Welke van deze benaderingen zou beter werken? We weten het niet, en als we er achter komen, leren we misschien iets belangrijks over gezinnen, buurten, onderwijs en sociale ongelijkheid. Verder kunnen deze voorspellingen worden gebruikt om toekomstige gegevensverzameling te begeleiden. Stel je voor dat er een klein aantal afgestudeerden was waarvan niet was voorspeld dat ze zouden slagen voor een van de modellen; deze mensen zouden ideale kandidaten zijn voor follow-up kwalitatieve interviews en etnografische observatie. In dit soort open uitnodigingen zijn de voorspellingen dus niet het einde; veeleer bieden ze een nieuwe manier om verschillende theoretische tradities te vergelijken, te verrijken en te combineren. Dit soort open oproep is niet specifiek voor het gebruik van gegevens uit de Fragile Families and Child Wellbeing Study om te voorspellen wie naar de universiteit gaat; het kan worden gebruikt om een uitkomst te voorspellen die uiteindelijk in een longitudinale sociale dataset zal worden verzameld.
Zoals ik eerder in deze paragraaf heb geschreven, zijn er niet veel voorbeelden geweest van sociale onderzoekers die open oproepen gebruiken. Ik denk dat dit komt omdat open oproepen niet goed zijn afgestemd op de manier waarop sociale wetenschappers hun vragen meestal stellen. Terugkerend naar de Netflix-prijs, zouden sociale wetenschappers gewoonlijk niet vragen naar het voorspellen van smaken; in plaats daarvan vragen ze zich af hoe en waarom culturele smaken verschillen voor mensen uit verschillende sociale klassen (zie bijvoorbeeld Bourdieu (1987) ). Dergelijke "hoe" en "waarom" -vragen leiden niet tot gemakkelijk verifieerbare oplossingen en lijken daarom slecht geschikt om oproepen te openen. Het lijkt er dus op dat open uitnodigingen meer geschikt zijn voor het voorspellen van vragen dan uitlegvragen . Recente theoretici hebben sociale wetenschappers echter opgeroepen de dichotomie tussen uitleg en voorspelling (Watts 2014) te heroverwegen. Aangezien de grens tussen voorspelling en verklaring vervaagt, verwacht ik dat open oproepen steeds vaker voorkomen in sociaal onderzoek.
