3.5.2 Wiki undersøkelser
Wiki undersøkelser aktivere nye hybrider av lukkede og åpne spørsmål.
I tillegg til å stille spørsmål på mer naturlige tider og i mer naturlige sammenhenger, gir ny teknologi også oss mulighet til å endre skjemaet på spørsmålene. De fleste spørreskjemaene er stengt, med respondenter som velger fra et fast sett av valg skrevet av forskere. Dette er en prosess som en fremtredende undersøkelsesforsker kaller "å sette ord i menneskers munn". For eksempel er det et lukket spørreskjema:
"Dette neste spørsmålet handler om arbeidet. Ønsker du å se på dette kortet og fortelle meg hvilken ting på denne listen du mest foretrekker i en jobb?
- Høy inntekt
- Ingen fare for å bli sparket
- Arbeidstid er kort, mye ledig tid
- Sjansene for fremskritt
- Arbeidet er viktig, og gir en følelse av prestasjon. "
Men er disse de eneste mulige svarene? Kan forskere savne noe viktig ved å begrense svarene på disse fem? Alternativet til lukkede spørsmål er et åpent spørreskjema. Her er det samme spørsmålet i en åpen form:
"Det neste spørsmålet er om emnet arbeid. Folk ser etter forskjellige ting i en jobb. Hva ville du de fleste foretrekker en jobb? "
Selv om disse to spørsmålene virker ganske like, viste et undersøkelseseksperiment av Howard Schuman og Stanley Presser (1979) at de kan produsere svært forskjellige resultater: nesten 60% av svarene på det åpne spørsmålet er ikke inkludert i de fem forskerskapede svarene ( figur 3.9).
Figur 3.9: Resultater fra et undersøkelseseksperiment som viser at svarene kan avhenge av om spørsmålet blir spurt i lukket eller åpen form. Tilpasset fra Schuman and Presser (1979) , tabell 1.
Selv om åpne og lukkede spørsmål kan gi ganske forskjellig informasjon, og begge var populære i de tidlige undersøkelsesundersøkelsene, har lukkede spørsmål kommet for å dominere feltet. Denne dominansen er ikke fordi lukkede spørsmål har vist seg å gi bedre måling, men heller fordi de er mye lettere å bruke. Prosessen med å analysere åpne spørsmål er feilaktig og dyrt. Bevegelsen vekk fra åpne spørsmål er uheldig fordi det er nettopp den informasjonen som forskerne ikke kjenner på forhånd, som kan være mest verdifulle.
Overgangen fra human-administrert til data-administrerte undersøkelser foreslår imidlertid en ny vei ut av dette gamle problemet. Hva om vi nå kunne få spørreskjemaer som kombinerer de beste funksjonene i både åpne og lukkede spørsmål? Det er, hva om vi kunne få en undersøkelse som begge er åpen for ny informasjon og gir lett å analysere svar? Det er akkurat det Karen Levy og jeg (2015) har forsøkt å skape.
Karen og jeg trodde spesielt at nettsteder som samler og kurerer brukergenerert innhold, kan være i stand til å informere utformingen av nye typer undersøkelser. Vi var spesielt inspirert av Wikipedia - et flott eksempel på et åpent, dynamisk system drevet av brukergenerert innhold, så vi kalte vår nye undersøkelse en wiki-undersøkelse . Akkurat som Wikipedia utvikler seg over tid basert på ideene til sine deltakere, forestilte vi en undersøkelse som utvikler seg over tid basert på ideene til sine deltakere. Karen og jeg utviklet tre egenskaper som wiki-undersøkelser skulle tilfredsstille: de burde være grådige, samarbeidende og adaptive. Da, med et team av webutviklere, opprettet vi et nettsted som kan kjøre wiki-undersøkelser: www.allourideas.org .
Datainnsamlingsprosessen i en wiki-undersøkelse er illustrert av et prosjekt vi gjorde med New York City Mayor's Office for å integrere beboernes ideer til PlaNYC 2030, New Yorks bærekraftplan for hele landet. For å starte prosessen genererte borgmesterkontoret en liste med 25 ideer basert på deres tidligere oppsøkelse (f.eks. "Krev alle store bygninger for å gjøre visse energieffektiviseringsoppgraderinger" og "Lær barna om grønne problemer som en del av skoleplanen"). Ved hjelp av disse 25 ideene som frø spurte borgmesterkontoret spørsmålet "Hva synes du er en bedre ide for å skape en grønnere, større New York City?" Respondenter ble presentert med et par ideer (f.eks. "Open schoolyards over hele byen som offentlige lekeplasser "og" Øke målrettede treplantinger i nabolag med høye astma priser "), og ble bedt om å velge mellom dem (figur 3.10). Etter at de ble valgt, ble respondentene umiddelbart presentert med et annet tilfeldig utvalgte ideer. De var i stand til å fortsette å bidra med informasjon om deres preferanser så lenge de ønsket enten ved å stemme eller ved å velge "Jeg kan ikke bestemme.". Vesentlig, til enhver tid var respondentene i stand til å bidra med sine egne ideer, som avventer godkjenning av Borgmesterens kontor - ble en del av ideepolen som ble presentert for andre. Dermed var spørsmålene som deltakerne fikk, både åpne og lukkede samtidig.
Figur 3.10: Grensesnitt for en wiki-undersøkelse. Panel (a) viser svarskjermen og panelet (b) viser resultatskjermbildet. Gjengitt med tillatelse fra Salganik and Levy (2015) , figur 2.
Borgmesterkontoret lanserte sin wiki-undersøkelse i oktober 2010 i forbindelse med en rekke fellesskapsmøter for å få tilbakemeldinger fra hjemlandet. I løpet av omtrent fire måneder bidro 1.436 respondenter til 31.893 svar og 464 nye ideer. Kritisk ble 8 av de 10 beste scoring ideene lastet opp av deltakerne i stedet for å være en del av settet av frø ideer fra ordførerens kontor. Og som vi beskriver i vårt papir, er det samme mønster, med opplastede ideer som skårer bedre enn frøideer, i mange wiki-undersøkelser. Med andre ord, ved å være åpen for ny informasjon, er forskere i stand til å lære ting som ville vært savnet ved å bruke mer lukkede tilnærminger.
Utover resultatene av disse spesifikke undersøkelsene, illustrerer også vårt wiki-undersøkelsesprosjekt hvordan kostnadsstrukturen i digital forskning betyr at forskere nå kan engasjere seg i verden på litt forskjellige måter. Akademiske forskere er nå i stand til å bygge virkelige systemer som kan brukes av mange mennesker: Vi har vert mer enn 10.000 wiki-undersøkelser og har samlet mer enn 15 millioner svar. Denne muligheten til å skape noe som kan brukes i skala, kommer fra det faktum at når nettstedet er bygget, koster det i utgangspunktet ingenting for å gjøre det fritt tilgjengelig for alle i verden (selvfølgelig, dette ville ikke være sant hvis vi hadde menneskelige -administrerte intervjuer). Videre gjør denne skalaen ulike typer forskning. For eksempel gir disse 15 millioner svarene, samt vår del av deltakerne, en verdifull test-seng for fremtidig metodologisk forskning. Jeg vil beskrive mer om andre forskningsmuligheter som er skapt av kostnadsstrukturer for digital alder - spesielt null variable data - når jeg diskuterer eksperimenter i kapittel 4.
