3.5.2 Wiki undersökningar

Wiki undersökningar möjliggör nya hybrider av slutna och öppna frågor.

Förutom att ställa frågor i mer naturliga tider och i mer naturliga sammanhang tillåter ny teknik oss också att ändra formuläret på frågorna. De flesta undersökningsfrågorna är stängda, med respondenterna att välja från en fast uppsättning val som skrivits av forskare. Detta är en process som en framstående undersökningsforskare kallar "sätta ord i människornas mun". Till exempel är det här en sluten enkätfråga:

"Den här nästa frågan är om ämnet för arbete. Skulle du vilja titta på detta kort och berätta vilken sak på listan som du skulle de flesta föredra i ett jobb?

1. Hög inkomst
2. Ingen fara att bli avfyrade
3. Arbetstid är kort, mycket ledig tid
4. Chanser för framsteg
5. Arbetet är viktigt och ger en känsla av prestation. "

Men är dessa de enda möjliga svaren? Kan forskare sakna något viktigt genom att begränsa svaren på dessa fem? Alternativet till slutna frågor är en öppen undersökning fråga. Här är samma fråga som ställs i en öppen form:

"Denna nästa fråga är om ämnet arbete. Människor söker efter olika saker i ett jobb. Vad skulle du helst föredrar i ett jobb? "

Även om dessa två frågor förefaller ganska likartade, visade ett undersöknings experiment av Howard Schuman och Stanley Presser (1979) att de kan producera mycket olika resultat: nästan 60% av svaren på den öppna frågan ingår inte i de fem forskarskapade svaren ( figur 3.9).

Figur 3.9: Resultat från ett undersökningsexperiment som visar att svaren kan bero på om frågan ställs i sluten eller öppen form. Anpassad från Schuman and Presser (1979) , tabell 1.

Även om öppna och stängda frågor kan ge ganska annorlunda uppgifter och båda var populära under de tidiga undersökningsundersökningarna, har slutna frågor kommit att dominera fältet. Denna dominans beror inte på att stängda frågor har visat sig ge bättre mätning, utan snarare för att de är mycket enklare att använda. processen med att analysera öppna frågor är felaktigt och dyrt. Flyttet från öppna frågor är olyckligt eftersom det är just den information som forskare inte visste före tid som kan vara mest värdefulla.

Övergången från human-administrerade till datorstyrda undersökningar föreslår dock en ny väg ut ur detta gamla problem. Vad händer om vi nu kan få enkätfrågor som kombinerar de bästa funktionerna i både öppna och stängda frågor? Det är, om vi kunde få en undersökning som båda är öppna för ny information och ger lättanalyserade svar? Det är precis vad Karen Levy och jag (2015) har försökt att skapa.

Särskilt Karen och jag trodde att webbplatser som samlar in och kurerar användargenererat innehåll kanske kan informera utformningen av nya typer av undersökningar. Vi var särskilt inspirerade av Wikipedia - ett underbart exempel på ett öppet, dynamiskt system som drivs av användargenererat innehåll, så vi kallade vår nya undersökning en wiki-undersökning . Precis som Wikipedia utvecklas över tiden baserat på idéer deltagarna föreställde vi en undersökning som utvecklas över tiden baserat på idéer deltagarna. Karen och jag utvecklade tre egenskaper som wiki-undersökningar skulle uppfylla: de borde vara giriga, samarbetande och adaptiva. Sedan, med ett team av webbutvecklare, skapade vi en webbplats som kunde köra wiki-undersökningar: www.allourideas.org .

Datainsamlingsprocessen i en wiki-undersökning illustreras av ett projekt som vi gjorde med borgmästarbyrån i New York för att integrera invånarnas idéer i PlaNYC 2030, New Yorks stadens hållbarhetsplan. För att påbörja processen genererade borgmästarbyrån en lista med 25 idéer baserade på deras tidigare uppsökningar (t.ex. "Kräv alla stora byggnader för att göra vissa energieffektivitetsuppgraderingar" och "Lär barnen om gröna problem som en del av läroplanen"). Med hjälp av dessa 25 idéer som frön frågade borgmästarens kansli frågan "Vad tycker du är en bättre idé för att skapa en grönare, större New York City?" Respondenterna presenterades med ett par idéer (t.ex. "öppna skolgårdar över hela staden som offentliga lekplatser "och" Öka riktade trädplantningar i grannskap med höga astmahastigheter ") och uppmanas att välja mellan dem (figur 3.10). Efter valet presenterades respondenterna omedelbart med ett annat slumpmässigt valt par idéer. De kunde fortsätta att bidra med information om sina preferenser så länge de önskade antingen genom att rösta eller genom att välja "Jag kan inte bestämma." Viktigt var att respondenterna vid något tillfälle kunde bidra med sina egna idéer, vilket - i väntan på godkännande av Borgmästarens kansli - blev en del av idébassängen som skulle presenteras för andra. Således var de frågor som deltagarna fick båda öppna och stängda samtidigt.

Figur 3.10: Gränssnitt för en wiki-undersökning. Panel (a) visar svarskärmen och panelen (b) visar resultatskärmen. Reproducerad med tillstånd från Salganik and Levy (2015) , figur 2.

Borgmästarbyrån lanserade sin wiki-undersökning i oktober 2010 i samband med en rad mötesmöten för att få inhemsk feedback. Under cirka fyra månader bidrog 1 433 respondenter med 31 893 svar och 464 nya idéer. Kritiskt uppladdades 8 av de 10 bästa scoringsidéerna av deltagare snarare än att vara en del av uppsättningen fröidéer från borgmästarens kontor. Och som vi beskriver i vårt papper, händer det samma mönstret, med uppladdade idéer som scorer bättre än frösidéer, i många wiki-undersökningar. Med andra ord, genom att vara öppen för ny information, kan forskare lära sig saker som skulle ha blivit missade med hjälp av mer stängda tillvägagångssätt.

Utöver resultaten av dessa specifika undersökningar illustrerar vårt wiki-undersökningsprojekt hur kostnadsstrukturen för digital forskning innebär att forskare nu kan engagera sig i världen på något annorlunda sätt. Akademiska forskare kan nu bygga verkliga system som kan användas av många människor: vi har värd mer än 10 000 wiki-undersökningar och har samlat in mer än 15 miljoner svar. Denna förmåga att skapa något som kan användas i skala beror på det faktum att när webbplatsen har byggts kostar det i princip ingenting att göra det fritt tillgängligt för alla i världen (det skulle givetvis inte vara sant om vi hade mänskliga -administrerade intervjuer). Vidare möjliggör denna skala olika typer av forskning. Till exempel ger dessa 15 miljoner svar, liksom vår ström av deltagare, en värdefull testbädd för framtida metodologisk forskning. Jag beskriver mer om andra forskningsmöjligheter som skapas av kostnadsstrukturer för digital ålder - särskilt nollvariabelkostnadsdata - när jag diskuterar experiment i kapitel 4.