3.5.2 Wiki undersøgelser

Wiki undersøgelser gør det muligt nye hybrider af lukkede og åbne spørgsmål.

Ud over at stille spørgsmål på mere naturlige tidspunkter og i mere naturlige sammenhænge tillader ny teknologi også os at ændre formularen af ​​spørgsmålene. De fleste undersøgelsesspørgsmål er lukket, hvor respondenterne vælger fra et fast sæt af valg skrevet af forskere. Dette er en proces, som en fremtrædende undersøgelsesforsker kalder "sætte ord i folks mund". Her er et lukket spørgeskema spørgsmål:

"Dette næste spørgsmål er om emnet for arbejde. Vil du venligst se på dette kort og fortæl mig, hvilken ting på denne liste, du ville de fleste foretrækker i et job?

1. Høj indkomst
2. Ingen fare for at blive fyret
3. Arbejdstiden er kort, masser af fritid
4. Chancer for fremskridt
5. Arbejdet er vigtigt og giver en følelse af præstation. "

Men er disse de eneste mulige svar? Måske forskere mangler noget vigtigt ved at begrænse svarene på disse fem? Alternativet til lukkede spørgsmål er et åbent spørgeskema. Her er det samme spørgsmål i en åben form:

"Dette næste spørgsmål er om emnet arbejde. Folk ser for forskellige ting i et job. Hvad ville du foretrække i et job? "

Selvom disse to spørgsmål virker ret ens, viste et undersøgelseseksperiment af Howard Schuman og Stanley Presser (1979) , at de kan producere meget forskellige resultater: næsten 60% af svarene på det åbne spørgsmål er ikke inkluderet i de fem forskeroprettede svar ( figur 3.9).

Figur 3.9: Resultater fra et undersøgelseseksperiment, der viser, at svarene kan afhænge af, om spørgsmålet stilles i lukket eller åben form. Tilpasset fra Schuman and Presser (1979) , tabel 1.

Selv om åbne og lukkede spørgsmål kan give helt forskellige oplysninger, og begge var populære i de tidlige undersøgelsesundersøgelser, er der lukket spørgsmål om at dominere feltet. Denne dominans skyldes ikke, at lukkede spørgsmål har vist sig at give bedre måling, men snarere fordi de er meget lettere at bruge. processen med at analysere åbne spørgsmål er fejlagtigt og dyrt. Bevægelsen væk fra åbne spørgsmål er uheldigt, fordi det er netop de oplysninger, som forskere ikke vidste før tiden, der kan være den mest værdifulde.

Overgangen fra human-administrerede til computerstyrede undersøgelser foreslår dog en ny vej ud af dette gamle problem. Hvad hvis vi nu kunne få undersøgelsesspørgsmål, der kombinerer de bedste funktioner i både åbne og lukkede spørgsmål? Det er, hvad hvis vi kunne få en undersøgelse, der begge er åbne for ny information og giver nemme at analysere svar? Det er præcis, hvad Karen Levy og jeg (2015) har forsøgt at skabe.

Karen og jeg troede især, at websteder, der indsamler og styrer brugergenereret indhold, måske vil kunne informere udformningen af ​​nye typer undersøgelser. Vi var især inspireret af Wikipedia - et vidunderligt eksempel på et åbent, dynamisk system drevet af brugergenereret indhold - så vi kaldte vores nye undersøgelse en wiki-undersøgelse . Ligesom Wikipedia udvikler sig over tid på baggrund af dets deltagers ideer, forestillede vi os en undersøgelse, der udvikler sig over tid på baggrund af dets deltagers ideer. Karen og jeg udviklede tre egenskaber, som wiki-undersøgelser skulle tilfredsstille: de skulle være grådige, samarbejdsvillige og adaptive. Derefter oprettede vi med et team af webudviklere et websted, der kunne køre wiki-undersøgelser: www.allourideas.org .

Dataindsamlingsprocessen i en wiki-undersøgelse er illustreret af et projekt, vi gjorde med New York City borgmesterkontoret for at integrere beboernes ideer til PlaNYC 2030, New Yorks bymæssige bæredygtighedsplan. For at igangsætte processen genererede borgmesterkontoret en liste over 25 ideer baseret på deres tidligere udbredelse (f.eks. "Kræv alle store bygninger til at foretage visse energieffektivitetsopgraderinger" og "Lær børn om grønne problemer som en del af skolens læseplan"). Ved hjælp af disse 25 ideer som frø, stillede borgmesterkontoret spørgsmålet "Hvad synes du er en bedre ide for at skabe en grønnere, større New York City?" Respondenterne blev præsenteret med et par ideer (fx "Åben skolebyer over hele byen som offentlige legepladser "og" Forøg målrettede træplantager i kvarterer med høje astmapriser ") og blev bedt om at vælge imellem dem (figur 3.10). Efter at have været valgt, blev respondenterne straks præsenteret med et andet tilfældigt udvalgt par ideer. De kunne fortsætte med at bidrage med information om deres præferencer, så længe de ønskede enten ved at stemme eller ved at vælge "Jeg kan ikke bestemme.". Det var i hvert fald muligt at bidrage med deres egne ideer. Borgmesterkontoret blev en del af ideen om at blive præsenteret for andre. Således var de spørgsmål, som deltagerne modtog, både åbne og lukkede samtidigt.

Figur 3.10: Interface til en wiki-undersøgelse. Panel (a) viser svarskærmen og panelet (b) viser resultatskærmen. Reproduceret med tilladelse fra Salganik and Levy (2015) , figur 2.

Borgmesterkontoret lancerede sin wiki-undersøgelse i oktober 2010 i forbindelse med en række fællesskabsmøder for at få tilbagemeldinger fra residens. I løbet af cirka fire måneder bidrog 1.436 respondenter til 31.893 svar og 464 nye ideer. Kritisk blev 8 af de 10 bedste scoringsideer uploadet af deltagerne i stedet for at være en del af sæt af frøideer fra borgmesterkontoret. Og som vi beskriver i vores papir, sker det samme mønster, med uploadede ideer, der scorer bedre end frøideer, i mange wikiundersøgelser. Med andre ord, ved at være åben for nye oplysninger, er forskere i stand til at lære ting, der ville være blevet savnet ved hjælp af mere lukkede tilgange.

Udover resultaterne af disse specifikke undersøgelser illustrerer vores wiki-undersøgelsesprojekt også, hvordan omkostningsstrukturen i digital forskning betyder, at forskere nu kan engagere sig i verden på lidt forskellige måder. Akademiske forskere kan nu opbygge rigtige systemer, der kan bruges af mange mennesker: Vi har vært vært for mere end 10.000 wikiundersøgelser og har samlet mere end 15 millioner svar. Denne evne til at skabe noget, der kan anvendes i målestok, kommer ud fra, at når hjemmesiden er bygget, koster det stort set ingenting at gøre det frit tilgængeligt for alle i verden (selvfølgelig ville det ikke være sandt, hvis vi havde menneskelige -administrerede interviews). Endvidere muliggør denne skala forskellige former for forskning. For eksempel giver disse 15 millioner svar, såvel som vores strøm af deltagere, en værdifuld test-seng til fremtidig metodologisk forskning. Jeg vil beskrive mere om andre forskningsmuligheder, der er skabt af digitale aldersstrukturstrukturer - især nul variable data - når jeg diskuterer eksperimenter i kapitel 4.