Aktiviteter

• sværhedsgrad: let , medium , hårdt , meget hård
• kræver matematik ( )
• kræver kodning ( )
• dataindsamling ( )
• Mine favoritter ( )

1. [ , , , ] En af de mest spændende påstande fra Benoit og kollegernes (2016) forskning om crowd-kodning af politiske manifester er, at resultaterne er reproducerbare. Merz, Regel, and Lewandowski (2016) giver adgang til Manifesto Corpus. Prøv at reproducere figur 2 fra Benoit et al. (2016) ved hjælp af arbejdere fra Amazon Mechanical Turk. Hvordan lignende var dine resultater?

2. [ ] I InfluenzaNet-projektet rapporterer et frivilligt panel af mennesker om forekomsten, forekomsten og sundhedsøkonomisk adfærd relateret til influenzalignende sygdom (Tilston et al. 2010; Noort et al. 2015) .

   1. Sammenlign og kontrast design, omkostninger og sandsynlige fejl i InfluenzaNet, Google Flu Trends og traditionelle influenzasporing systemer.
   2. Overvej en uforstyrret tid, som et udbrud af en ny form for influenza. Beskriv de mulige fejl i hvert system.

3. [ , , ] The Economist er et ugentligt nyhedsmagasin. Opret et menneskeligt beregningsprojekt for at se, om forholdet mellem kvinder og mænd på omslaget er ændret over tid.

   1. Bladet kan have forskellige omslag i otte forskellige regioner (Afrika, Asien, Stillehavsområdet, Europa, EU, Latinamerika, Mellemøsten, Nordamerika og Det Forenede Kongerige) og de kan alle downloades fra bladets hjemmeside. Vælg en af ​​disse regioner og udfør analysen. Sørg for at beskrive dine procedurer med tilstrækkelig detaljer, at de kunne kopieres af en anden.

   Dette spørgsmål blev inspireret af et lignende projekt af Justin Tenuto, en datalogiker hos crowdsourcing firmaet CrowdFlower: se "Time Magazine Really Like Dudes" (http://www.crowdflower.com/blog/time-magazine-cover-data) .

4. [ , , ] Ud fra det foregående spørgsmål udfør nu analysen for alle otte regioner.

   1. Hvilke forskelle fandt du på tværs af regioner?
   2. Hvor meget ekstra tid og penge tog det for at opjustere din analyse til alle otte af regionerne?
   3. Forestil dig, at økonomen har 100 forskellige omslag hver uge. Anslå, hvor meget ekstra tid og penge det ville tage at opjustere din analyse til 100 omslag pr. Uge.

5. [ , ] Der er flere hjemmesider, der er vært for åbne opkaldsprojekter, som f.eks. Kaggle. Deltag i et af disse projekter og beskriv hvad du lærer om det pågældende projekt og om åbne opkald generelt.

6. [ ] Se igennem et nyligt udgave af et tidsskrift i dit felt. Er der nogen papirer, der kunne have været omformuleret som åbne opkaldsprojekter? Hvorfor eller hvorfor ikke?

7. [ ] Purdam (2014) beskriver en distribueret dataindsamling om tiggeri i London. Sammendrag styrken og svaghederne i dette forskningsdesign.

8. [ ] Redundans er en vigtig måde at vurdere kvaliteten af ​​distribueret dataindsamling på. Windt and Humphreys (2016) udviklede og testede et system til indsamling af rapporter om konfliktbegivenheder fra mennesker i Øst Congo. Læs papiret.

   1. Hvordan sikrer deres design redundans?
   2. De tilbød flere tilgange til at validere de indsamlede data fra deres projekt. Opsummere dem Hvilket var overbevisende for dig?
   3. Foreslå en ny måde at dataene kunne valideres på. Forslag bør forsøge at øge den tillid, som du ville have i dataene på en måde, der er omkostningseffektiv og etisk.

9. [ ] Karim Lakhani og kolleger (2013) skabte et åbent opkald for at anmode om nye algoritmer til at løse et problem i beregningsbiologi. De modtog mere end 600 indlæg, der indeholder 89 nye beregningsmetoder. Af indsendelserne overskred 30 resultaterne fra de amerikanske nationale institutter for sundhedens MegaBLAST, og den bedste indsendelse opnåede både større nøjagtighed og hastighed (1.000 gange hurtigere).

   1. Læs deres papir, og foreslå derefter et socialt forskningsproblem, som kunne bruge den samme slags åbne konkurrence. Denne slags åbne konkurrence er især rettet mod at fremskynde og forbedre præstationen af ​​en eksisterende algoritme. Hvis du ikke kan tænke på et sådant problem i dit felt, så prøv at forklare hvorfor ikke.

10. [ , ] Mange menneskelige beregningsprojekter er afhængige af deltagere fra Amazon Mechanical Turk. Tilmeld dig for at blive en medarbejder på Amazon Mechanical Turk. Tilbring en time arbejder der. Hvordan påvirker dette dine tanker om design, kvalitet og etik i menneskelige beregningsprojekter?