3.5.2 Wiki enquêtes

Wiki enquêtes maken nieuwe hybriden van gesloten en open vragen.

Naast het stellen van vragen op meer natuurlijke tijden en in meer natuurlijke contexten, stelt nieuwe technologie ons ook in staat om de vorm van de vragen te veranderen. De meeste enquêtevragen zijn gesloten, waarbij respondenten kiezen uit een vaste reeks keuzes die door onderzoekers zijn geschreven. Dit is een proces dat een prominente survey-onderzoeker noemt 'woorden in de mond stoppen'. Hier is bijvoorbeeld een gesloten enquêtevraag:

"Deze volgende vraag gaat over werk. Wil je alsjeblieft naar deze kaart kijken en me vertellen welk ding op deze lijst je het liefst in een baan zou hebben?

1. Hoog inkomen
2. Geen gevaar om te worden ontslagen
3. Werktijden zijn kort, veel vrije tijd
4. Kans op vooruitgang
5. Het werk is belangrijk en geeft een gevoel van voldoening. "

Maar zijn dit de enige mogelijke antwoorden? Zouden onderzoekers iets belangrijks kunnen missen door de antwoorden op deze vijf te beperken? Het alternatief voor gesloten vragen is een open vraag. Hier is dezelfde vraag gesteld in een open vorm:

"Deze volgende vraag is over het onderwerp van het werk. Mensen op zoek naar verschillende dingen in een baan. Wat zou je het liefst in een baan? '

Hoewel deze twee vragen vrij gelijkaardig lijken, onthulde een onderzoeksexperiment van Howard Schuman en Stanley Presser (1979) dat ze zeer verschillende resultaten kunnen produceren: bijna 60% van de antwoorden op de open vraag zijn niet opgenomen in de vijf door de onderzoeker gemaakte reacties ( figuur 3.9).

Figuur 3.9: Resultaten van een enquête-experiment waaruit blijkt dat antwoorden kunnen afhangen van het feit of de vraag in gesloten of open vorm wordt gesteld. Aangepast door Schuman and Presser (1979) , tabel 1.

Hoewel open en gesloten vragen heel andere informatie kunnen opleveren en beide populair waren in de begintijd van survey-onderzoek, zijn gesloten vragen het veld gaan domineren. Deze overheersing is niet omdat van gesloten vragen is bewezen dat ze betere meetresultaten opleveren, maar eerder omdat ze veel gemakkelijker te gebruiken zijn; het proces van het analyseren van open vragen is foutgevoelig en duur. De overgang van open vragen is ongelukkig omdat juist de informatie die onderzoekers niet van tevoren kenden, de meest waardevolle informatie kan zijn.

De overgang van door de mens beheerde naar computergestuurde onderzoeken suggereert echter een nieuwe uitweg uit dit oude probleem. Wat als we nu enquêtevragen zouden kunnen hebben die de beste eigenschappen van zowel open als gesloten vragen combineren? Dat wil zeggen, wat als we een enquête zouden kunnen hebben die beide open staat voor nieuwe informatie en eenvoudig te analyseren antwoorden produceert? Dat is precies wat Karen Levy en ik (2015) hebben geprobeerd te creëren.

In het bijzonder dachten Karen en ik dat websites die door gebruikers gegenereerde inhoud verzamelen en beheren, het ontwerp van nieuwe soorten enquêtes kunnen informeren. We waren vooral geïnspireerd door Wikipedia - een prachtig voorbeeld van een open, dynamisch systeem gedreven door door gebruikers gegenereerde inhoud - dus we noemden onze nieuwe enquête een wiki-enquête . Net zoals Wikipedia in de loop van de tijd evolueert op basis van de ideeën van de deelnemers, hebben we ons een onderzoek voorgesteld dat in de loop van de tijd evolueert op basis van de ideeën van de deelnemers. Karen en ik hebben drie eigenschappen ontwikkeld waaraan wiki-enquêtes moeten voldoen: ze moeten hebzuchtig, collaboratief en adaptief zijn. Vervolgens hebben we met een team van webontwikkelaars een website gemaakt die wiki-enquêtes kan uitvoeren_: www.allourideas.org .

Het proces van gegevensverzameling in een wiki-enquête wordt geïllustreerd door een project dat we met het New York City Mayor's Office hebben uitgevoerd om de ideeën van bewoners te integreren in PlaNYC 2030, het stadsbrede duurzaamheidsplan van New York. Om het proces te starten, heeft het bureau van de burgemeester een lijst met 25 ideeën gegenereerd op basis van hun eerdere bereik (bijvoorbeeld: "Alle grote gebouwen verplichten om bepaalde upgrades voor energie-efficiëntie te realiseren" en "Kinderen leren over groene kwesties als onderdeel van schoolcurriculum"). Met behulp van deze 25 ideeën als zaden stelde het burgemeestersbureau de vraag: "Wat is volgens u een beter idee voor het creëren van een groenere, grotere stad in New York?" Respondenten kregen een paar ideeën (bijv. "Open schoolpleinen in de stad als openbare speeltuinen "en" Betere boomaanplantingen verhogen in buurten met hoge astma-snelheden "), en werd gevraagd om tussen hen te kiezen (figuur 3.10). Na het kiezen, werden de respondenten onmiddellijk gepresenteerd met een ander willekeurig gekozen paar ideeën. Ze konden informatie blijven geven over hun voorkeuren zolang ze wilden, hetzij door te stemmen, hetzij door te kiezen voor "Ik kan niet beslissen." Cruciaal was dat respondenten op elk moment hun eigen ideeën konden inbrengen, wat in afwachting was van goedkeuring door het kantoor van de burgemeester - werd een deel van de pool van ideeën om aan anderen te worden gepresenteerd. De vragen die deelnemers ontvingen waren dus tegelijkertijd zowel open als gesloten.

Figuur 3.10: Interface voor een wiki-enquête. Paneel (a) toont het antwoordscherm en paneel (b) toont het resultatenscherm. Gereproduceerd met toestemming van Salganik and Levy (2015) , figuur 2.

Het bureau van de burgemeester lanceerde in oktober 2010 zijn wiki-enquête in combinatie met een reeks gemeenschapsbijeenkomsten om feedback van bewoners te verkrijgen. Meer dan vier maanden lang hebben 1.436 respondenten 31.893 reacties en 464 nieuwe ideeën bijgedragen. Kritiek is dat 8 van de top 10 scorende ideeën zijn geüpload door deelnemers in plaats van deel uit te maken van de reeks ideeën van het burgemeesterskantoor. En zoals we in onze paper beschrijven, gebeurt ditzelfde patroon, met geüploade ideeën die beter scoren dan ideeën voor zaad, in veel wiki-enquêtes. Met andere woorden, door open te staan ​​voor nieuwe informatie, kunnen onderzoekers dingen leren die zouden zijn gemist met behulp van meer gesloten benaderingen.

Afgezien van de resultaten van deze specifieke enquêtes, illustreert ons wiki-enquêteproject ook hoe de kostenstructuur van digitaal onderzoek betekent dat onderzoekers zich nu op enigszins verschillende manieren met de wereld kunnen bezighouden. Academische onderzoekers zijn nu in staat om echte systemen te bouwen die door veel mensen kunnen worden gebruikt: we hebben meer dan 10.000 wiki-enquêtes gehost en meer dan 15 miljoen reacties verzameld. Dit vermogen om iets te maken dat op grote schaal kan worden gebruikt, komt voort uit het feit dat wanneer de website eenmaal is gebouwd, het in principe niets kost om deze gratis beschikbaar te maken voor iedereen in de wereld (dit zou natuurlijk niet waar zijn als we mensen hadden -afhankelijke interviews). Verder maakt deze schaal verschillende soorten onderzoek mogelijk. Deze 15 miljoen reacties, evenals onze stroom van deelnemers, bieden bijvoorbeeld een waardevol testbed voor toekomstig methodologisch onderzoek. Ik zal meer beschrijven over andere onderzoeksmogelijkheden die worden gecreëerd door kostenstructuren van digitale leeftijden - met name geen variabele kostengegevens - wanneer ik de experimenten in hoofdstuk 4 bespreek.