5.2.1 Galaxy Zoo

Galaxy Zoo combineert de inspanningen van vele niet-deskundige vrijwilligers om een miljoen sterrenstelsels te classificeren.

Galaxy Zoo groeide uit van een probleem van Kevin Schawinski, een afgestudeerde student in sterrenkunde aan de Universiteit van Oxford in 2007. Vereenvoudiging nogal wat, Schawinski geïnteresseerd in sterrenstelsels was, en sterrenstelsels kunnen worden ingedeeld naar hun morfologie-elliptisch of spiraalvormig-en door hun kleur-blauw of rood. Op het moment, de conventionele wijsheid onder astronomen was dat spiraalvormige sterrenstelsels, zoals onze Melkweg, waren blauw van kleur (met vermelding van de jeugd), en dat elliptische sterrenstelsels waren rood van kleur (met vermelding van de ouderdom). Schawinski twijfelde deze conventionele wijsheid. Hij vermoedde dat terwijl dit patroon geldt in het algemeen zou kunnen zijn, waren er waarschijnlijk een aanzienlijk aantal uitzonderingen, en dat door het bestuderen van veel van deze ongewone sterrenstelsels-degenen die niet passen bij de verwachte patroon-kon hij iets over het proces te leren, waardoor sterrenstelsels vormden.

Dus, wat Schawinski nodig is om conventionele wijsheid ten val was een grote set van morfologisch geclassificeerde sterrenstelsels; dat wil stelsels die waren geclassificeerd als spiraal of elliptisch. Het probleem was echter dat de bestaande algoritmische werkwijzen voor indeling waren nog niet goed genoeg om te worden gebruikt voor wetenschappelijk onderzoek; met andere woorden, classificeren stelsels was, op dat moment een probleem dat moeilijk was voor computers. Wat daarom nodig was een groot aantal menselijke geclassificeerd stelsels. Schawinski ondernam deze classificatie probleem met het enthousiasme van een afgestudeerde student. In een marathon sessie van zeven, 12-uur per dag, was hij in staat om 50.000 sterrenstelsels te classificeren. Terwijl 50.000 sterrenstelsels klinkt misschien als veel, het is eigenlijk slechts ongeveer 5% van de bijna een miljoen sterrenstelsels die gefotografeerd werden in de Sloan Digital Sky Survey. Schawinski besefte dat hij een schaalbare aanpak nodig.

Gelukkig blijkt dat de taak van het classificeren van sterrenstelsels niet vereist geavanceerde opleiding in de astronomie; kun je iemand om het vrij snel te doen onderwijzen. Met andere woorden, hoewel classificeren stelsels is een taak die moeilijk was voor computers, was vrij gemakkelijk voor mensen. Dus, zittend in een pub in Oxford, Schawinski en collega-astronoom Chris Lintott bedacht een website waar vrijwilligers beelden van sterrenstelsels zou classificeren. Een paar maanden later, werd Galaxy Zoo geboren.

Aan het Galaxy Zoo website zouden vrijwilligers op een paar minuten van de opleiding; bijvoorbeeld leer- het verschil tussen een spiraal en elliptisch stelsel (figuur 5,2). Na deze training, de vrijwilligers moesten een relatief gemakkelijke quiz-correct classificeren van 11 van 15 sterrenstelsels pas met bekende indelingen-en dan de vrijwilliger zou beginnen echte classificatie van onbekende melkwegstelsels via een eenvoudige webinterface (Figuur 5.3). De overgang van vrijwilliger astronoom zou plaatsvinden in minder dan 10 minuten en alleen vereist het passeren van de laagste van hindernissen, een eenvoudige quiz.

Figuur 5.2: Voorbeelden van de twee belangrijkste soorten sterrenstelsels: spiraal en elliptische. De Galaxy Zoo project gebruikte meer dan 100.000 vrijwilligers categorieën meer dan 900.000 foto's. Bron: www.galaxyzoo.org .

Figuur 5.3: Input scherm waarin de kiezers werd gevraagd om een ​​enkel beeld te classificeren. Bron: www.galaxyzoo.org .

Galaxy Zoo trok zijn aanvankelijke vrijwilligers nadat het project was te zien in een nieuwsbericht, en in ongeveer zes maanden het project groeide uit tot meer dan 100.000 burger wetenschappers, mensen die hebben deelgenomen omdat zij de taak genoten en wilden ze vooraf astronomie helpen betrekken. Samen vormen deze 100.000 vrijwilligers droeg een totaal van meer dan 40 miljoen classificaties, met de meerderheid van de classificaties uit een relatief kleine kerngroep deelnemers (Lintott et al. 2008) .

Onderzoekers die hebben ervaring inhuren undergraduate aio's kunnen meteen sceptisch over de kwaliteit van de gegevens zijn. Hoewel deze scepsis is redelijk, Galaxy Zoo toont aan dat wanneer vrijwilliger bijdragen goed zijn schoongemaakt, debiased en geaggregeerd, kunnen ze resultaten van hoge kwaliteit te produceren (Lintott et al. 2008) . Een belangrijke truc voor het krijgen van de menigte om professionele kwaliteit van de gegevens te maken, is redundantie; dat wil zeggen met dezelfde taak door vele verschillende mensen. In Galaxy Zoo, waren er ongeveer 40 classificaties per melkwegstelsel; onderzoekers met behulp van undergraduate onderzoek assistenten kon nooit dit niveau van redundantie veroorloven en moeten daarom veel meer bezig met de kwaliteit van elk individueel klassement te zijn. Wat de vrijwilligers ontbrak in opleiding, ze maakte met ontslag.

Zelfs met meerdere classificaties per melkweg, echter, het combineren van de set van de vrijwilliger classificaties voor de productie van een consensus classificatie is lastig. Omdat zeer vergelijkbare problemen zich voordoen in de meeste menselijke berekening projecten, is het nuttig om een ​​beknopt overzicht van de drie stappen die de Galaxy Zoo onderzoekers gebruikten om hun consensus classificaties te produceren. Ten eerste, de onderzoekers "schoongemaakt" de gegevens door het verwijderen van valse classificaties. Bijvoorbeeld, mensen die herhaaldelijk dezelfde galaxy-iets dat er zou gebeuren als ze proberen om de te manipuleren ingedeeld resultaatgericht hadden al hun classificaties weggegooid. Deze en andere soortgelijke reiniging verwijderd ongeveer 4% van alle klassementen.

Ten tweede, na het reinigen, de onderzoekers die nodig zijn om systematische fouten in classificaties verwijderen. Door een reeks van partijdigheid detectie studies ingebed in het oorspronkelijke project, bijvoorbeeld, waarin een aantal vrijwilligers de melkweg in zwart-wit in plaats van kleur-ontdekten de onderzoekers een aantal systematische fouten, zoals een systematische vooringenomenheid te ver weg spiraalstelsels als elliptische sterrenstelsels te classificeren (Bamford et al. 2009) . Gecorrigeerd voor deze systematische fouten is uiterst belangrijk, omdat het gemiddelde van vele bijdragen heeft geen systematische vooringenomenheid te verwijderen; het verwijdert alleen toevallige fout.

Tenslotte, na debiasing de onderzoekers behoefte aan een methode om de individuele indelingen combineren tot een consensus classificatie produceren. De eenvoudigste manier om classificaties te combineren voor elk melkwegstelsel zou zijn om de meest voorkomende indeling kiezen. Toch zou deze aanpak elke vrijwilliger gelijk gewicht te geven, en de onderzoekers vermoeden dat sommige vrijwilligers waren beter bij keuren dan anderen. Daarom is de onderzoekers ontwikkelden een meer complexe iteratieve wegingsprocedure dat pogingen om automatisch de beste classifiers en geef ze meer gewicht.

Zo, na een proces in drie stappen reiniging, debiasing en weging-the Galaxy Zoo onderzoeksteam had 40 miljoen vrijwilligers classificaties omgezet in een reeks van consensus morfologische classificaties. Wanneer deze Galaxy Zoo classificaties werden vergeleken met drie eerdere kleinschaliger pogingen van professionele astronomen, met inbegrip van de indeling naar Schawinski dat hielp om te inspireren Galaxy Zoo, was er een sterke overeenkomst. Dus de vrijwilligers in het totaal konden hoogwaardige classificaties verschaffen en op een schaal die de onderzoekers niet zou kunnen evenaren (Lintott et al. 2008) . Sterker nog, door het hebben van de menselijke classificaties voor zo'n groot aantal sterrenstelsels, Schawinski, Lintott, en anderen waren in staat om aan te tonen dat slechts ongeveer 80% van sterrenstelsels volgen de verwachte patroon-blauwe spiralen en rode elliptische stelsels-en tal van papers zijn geschreven over deze ontdekking (Fortson et al. 2011) .

Gezien deze achtergrond kunnen we nu zien hoe Galaxy Zoo volgt de split-toepassing-combineren recept, hetzelfde recept dat gebruikt wordt voor de meeste menselijke berekening projecten. Eerst wordt een groot probleem werd in stukken gehakt. In dit geval wordt het probleem van de indeling van een miljoen melkwegstelsels splitsen in een miljoen problemen indeling één stelsel. Vervolgens wordt een bewerking op elk blok afzonderlijk. In dit geval zou elke vrijwilliger stelsel als of spiraal of elliptisch classificeren. Tenslotte worden de resultaten gecombineerd tot een consensus resultaat. In dit geval, de maaidorser stap omvatte de reiniging, debiasing en weging een consensus indeling voor elk stelsel produceren. Hoewel de meeste projecten het algemene recept gebruiken, alle stappen moet aangepast aan het specifieke probleem aangepakt. Bijvoorbeeld in het menselijke berekening hierna genoemde project, hetzelfde recept wordt gevolgd, maar de stappen toepassen en combineren zal heel anders zijn.

Voor de Galaxy Zoo team, dit eerste project was slechts het begin. Al snel besefte ze dat ook al waren ze in staat om te classificeren bijna een miljoen sterrenstelsels, deze schaal is niet genoeg om te werken met de nieuwere digitale sky surveys, waarop beelden van ongeveer 10 miljard sterrenstelsels kunnen produceren (Kuminski et al. 2014) . Om een ​​toename van 1 miljoen tot 10 hanteren miljard een factor 10.000-Galaxy Zoo zou moeten ongeveer 10.000 keer meer deelnemers te werven. Hoewel het aantal vrijwilligers op het internet is groot, het is niet oneindig. Daarom is de onderzoekers besefte dat als ze gaan steeds groeiende hoeveelheden gegevens, een nieuwe, nog beter schaalbaar, aanpak nodig was te behandelen.

Daarom Manda Banerji-werken met Kevin Schawinski, Chris Lintott, en andere leden van de Galaxy Zoo-team beginnen lesgeven computers om sterrenstelsels te classificeren. Meer in het bijzonder, met behulp van de menselijke classificaties gecreëerd door Galaxy Zoo, Banerji et al. (2010) bouwde een machine learning model dat de menselijke indeling van een sterrenstelsel op basis van de kenmerken van het beeld kan voorspellen. Als deze machine learning model van het menselijk indelingen met een hoge nauwkeurigheid kan reproduceren, dan kan het worden gebruikt door Galaxy Zoo onderzoekers om een ​​in wezen oneindig aantal sterrenstelsels te classificeren.

De kern van Banerji en collega 'benadering is eigenlijk vrij gelijkaardig aan technieken vaak gebruikt in sociaal onderzoek, hoewel dat gelijkenis niet duidelijk op het eerste gezicht zou kunnen zijn. Ten eerste, Banerji en collega's omgezet elk beeld in een reeks van numerieke functies die samen te vatten is het onroerend goed. Bijvoorbeeld, voor afbeeldingen stelsels kunnen er drie kenmerken: de hoeveelheid blauw in het beeld, de variantie in de helderheid van de pixels en het aandeel van niet-witte pixels. De keuze van de juiste functies is een belangrijk onderdeel van het probleem en het vereist doorgaans onderworpen oppervlaktegebonden deskundigheid. Deze eerste stap, in de volksmond functie engineering, resulteert in een data matrix met één rij per beeld en vervolgens drie kolommen beschrijven van dat imago. Aangezien de data matrix en de gewenste output (bijvoorbeeld of het beeld is ondergebracht in een mens als elliptisch stelsel), de onderzoeker schat de parameters van een statistisch model, bijvoorbeeld iets als een logistische regressie-de menselijke indeling gebaseerd voorspelt van de kenmerken van het beeld. Tot slot, de onderzoeker maakt gebruik van de parameters in dit statistisch model te verwachte classificaties van nieuwe sterrenstelsels (Figuur 5.4) te produceren. Te denken van een sociaal analoog, stel je voor dat je demografische informatie over een miljoen studenten gehad, en je weet of ze afgestudeerd aan de universiteit of niet. Je kon een logistische regressie passen om deze gegevens, en dan kun je het resulterende model parameters gebruiken om te voorspellen of nieuwe studenten gaan studeren aan de universiteit. In machine learning, deze benadering-met behulp van gemerkt voorbeelden om een statistisch model dat dan nieuwe kunnen labelen creëren data-heet onder toezicht leren (Hastie, Tibshirani, and Friedman 2009) .

Figuur 5.4: Vereenvoudigde beschrijving van hoe Banerji et al. (2010) gebruikte de Galaxy Zoo indelingen naar een nieuwe machine learning model te trainen om galaxy indeling doen. Beelden van stelsels omgezet in een matrix van elementen. In dit vereenvoudigde voorbeeld zijn er drie kenmerken (de hoeveelheid blauw in het beeld, de variantie in de helderheid van de pixels en het aandeel van niet-witte pixels). Dan, voor een subset van de beelden, de Galaxy Zoo labels worden gebruikt om een ​​machine learning model te trainen. Tenslotte wordt de machine learning gebruikt indelingen schatting voor de resterende stelsels. Ik noem dit soort projecten een tweede generatie menselijke computationele project, omdat, in plaats van de mens op te lossen een probleem, ze hebben mensen bouwen van een dataset die kan worden gebruikt om een ​​computer op te leiden om het probleem op te lossen. Het voordeel van deze computerondersteunde benadering is dat het stelt u in wezen oneindig hoeveelheden gegevens met slechts een beperkte hoeveelheid menselijke inspanning verwerken.

Voor het gebruik in Banerji et al. (2010) machine learning model waren complexer dan die in mijn speelgoed bijvoorbeeld, bijvoorbeeld, gebruikte ze functies zoals "de Vaucouleurs fit axiale ratio" -en haar model was niet logistische regressie, het was een kunstmatig neuraal netwerk. Met behulp van haar functies, haar model, en de consensus Galaxy Zoo classificaties, was ze in staat om gewicht te maken op elke functie, en vervolgens gebruik maken van deze gewichten om voorspellingen te doen over de indeling van sterrenstelsels te maken. Bijvoorbeeld, haar analyse bleek dat afbeeldingen met een lage "de Vaucouleurs fit axiale ratio" werden meer kans te spiraalstelsels zijn. Gezien deze gewichten, was ze in staat om de menselijke indeling van een sterrenstelsel te voorspellen met een redelijke nauwkeurigheid.

Het werk van Banerji et al. (2010) bleek Galaxy Zoo in wat ik een tweede-generatie menselijke berekening systeem zou noemen. De beste manier van denken over deze tweede-generatie systemen is dat in plaats van mensen een probleem, ze mensen bouwen een dataset die kan worden gebruikt om een ​​computer te leiden om het probleem op te lossen. De hoeveelheid gegevens die nodig is om de computer te trainen kan zo groot zijn dat het vereist een menselijke massasamenwerking te creëren. Bij Galaxy Zoo, de neurale netwerken gebruikt door Banerji et al. (2010) vereist een groot aantal menselijke gemerkte voorbeelden om een model dat betrouwbaar kan reproduceren menselijke classificatie is gebouwd.

Het voordeel van deze computerondersteunde benadering is dat het stelt u in wezen oneindig hoeveelheden gegevens met slechts een beperkte hoeveelheid menselijke inspanning verwerken. Zo kan een onderzoeker met een miljoen menselijke ingedeeld stelsels een voorspellend model dat vervolgens kan worden gebruikt om een ​​miljard of biljoen stelsels classificeren bouwen. Als er enorme aantallen sterrenstelsels, dan is deze vorm van mens-computer hybride is echt de enige mogelijke oplossing. Deze oneindige schaalbaarheid is niet gratis, echter. Het bouwen van een machine learning model dat juist het menselijk classificaties kan reproduceren is zelf een moeilijk probleem, maar gelukkig zijn er al uitstekende boeken gewijd aan dit onderwerp (Hastie, Tibshirani, and Friedman 2009; Murphy 2012; James et al. 2013) .

Galaxy Zoo toont de evolutie van vele menselijke berekening projecten. Ten eerste, een onderzoeker probeert het project in haar eentje of met een klein team van assistenten (bv Schawinski initiële classificatie inspanning). Als deze aanpak niet goed schaal, kan de onderzoeker verplaatsen naar een menselijke berekening project waar veel mensen bij te dragen classificaties. Maar, voor een bepaald volume van gegevens, puur menselijke inspanning zal niet genoeg zijn. Op dat moment moeten onderzoekers tweede generatie systemen waarbij menselijke classificaties gebruikt om een ​​machine learning model die vervolgens kan worden toegepast op vrijwel onbeperkte hoeveelheden data leiden bouwen.