3.5.2 Arolygon Wiki

Arolygon Wiki yn galluogi hybrid newydd o gwestiynau caeedig ac agored.

Yn ogystal â gofyn cwestiynau ar adegau mwy naturiol ac mewn cyd-destunau mwy naturiol, mae technoleg newydd hefyd yn ein galluogi i newid ffurf y cwestiynau. Mae'r mwyafrif o gwestiynau arolwg wedi'u cau, gyda'r ymatebwyr yn dewis o set sefydlog o ddewisiadau a ysgrifennwyd gan ymchwilwyr. Mae hon yn broses bod un ymchwilydd blaenllaw yn galw "rhoi geiriau ym mhennau pobl." Er enghraifft, dyma gwestiwn arolwg caeedig:

"Mae'r cwestiwn nesaf hwn ar bwnc gwaith. A wnewch chi edrych ar y cerdyn hwn ac yn dweud wrthyf pa beth ar y rhestr hon byddai'r rhan fwyaf well gennych mewn swydd?

1. Incwm uchel
2. Dim perygl o gael eich tanio
3. Mae'r oriau gwaith yn fyr, llawer o amser rhydd
4. Cyfleoedd i symud ymlaen
5. Mae'r gwaith yn bwysig, ac mae'n rhoi teimlad o gyflawniad. "

Ond ai'r rhain yw'r unig atebion posibl? A yw ymchwilwyr yn colli rhywbeth pwysig trwy gyfyngu'r ymatebion i'r pump hyn? Mae'r cwestiwn amgen i gwestiynau caeedig yn gwestiwn arolwg penagored. Dyma'r un cwestiwn a ofynnwyd ar ffurf agored:

"Mae'r cwestiwn nesaf ar y pwnc o waith. Mae pobl yn edrych ar gyfer gwahanol bethau mewn swydd. Beth fyddai'r rhan fwyaf well gennych mewn swydd? "

Er bod y ddau gwestiwn hyn yn ymddangos yn eithaf tebyg, datgelodd arolwg arbrawf gan Howard Schuman a Stanley Presser (1979) eu bod yn gallu cynhyrchu canlyniadau gwahanol iawn: nid yw bron i 60% o'r ymatebion i'r cwestiwn agored wedi'u cynnwys yn yr ymatebion a grëwyd gan bum ymchwilydd ( ffigwr 3.9).

Ffigur 3.9: Canlyniadau o arbrawf arolwg sy'n dangos y gall ymatebion fod yn dibynnu ar a yw'r cwestiwn yn cael ei ofyn ar ffurf caeedig neu agored. Addaswyd o Schuman and Presser (1979) , tabl 1.

Er bod cwestiynau agored a chaeedig yn gallu rhoi gwybodaeth eithaf gwahanol ac roedd y ddau yn boblogaidd yn ystod dyddiau cynnar ymchwil arolwg, mae cwestiynau caeedig wedi dod i ddominyddu'r maes. Nid yw'r dominiad hwn oherwydd bod profion caeedig wedi'u profi i ddarparu gwell mesuriad, ond yn hytrach oherwydd eu bod yn llawer haws i'w defnyddio; mae'r broses o ddadansoddi cwestiynau penagored yn agored i wall ac yn ddrud. Mae'r symudiad i ffwrdd o gwestiynau agored yn anffodus oherwydd ei fod yn union yr wybodaeth nad oedd ymchwilwyr yn ei wybod cyn y gall fod y mwyaf gwerthfawr.

Fodd bynnag, mae'r trosglwyddo o arolygon a weinyddir gan gyfrifiaduron dynol a ddynodir gan ddyn yn ffordd newydd o'r hen broblem hon. Beth os gallwn nawr gael cwestiynau arolwg sy'n cyfuno nodweddion gorau cwestiynau agored a chaeedig? Hynny yw, beth petaem yn gallu cael arolwg bod y ddau yn agored i wybodaeth newydd ac yn cynhyrchu ymatebion hawdd eu dadansoddi? Dyna'n union beth mae Karen Levy a Fi (2015) wedi ceisio creu.

Yn benodol, roedd Karen a minnau'n meddwl y gallai gwefannau sy'n casglu a chiwra cynnwys a gynhyrchir gan y defnyddwyr allu llywio dyluniad mathau newydd o arolygon. Cafodd Wikipedia ei ysbrydoli'n arbennig - enghraifft wych o system agored a deinamig sy'n cael ei yrru gan gynnwys a gynhyrchir gan ddefnyddwyr - felly gwnaethom alw arolwg ein wiki yn arolwg newydd. Yn union fel y mae Wikipedia yn datblygu dros amser yn seiliedig ar syniadau ei gyfranogwyr, fe wnaethom ddychmygu arolwg sy'n esblygu dros amser yn seiliedig ar syniadau ei gyfranogwyr. Datblygodd Karen a minnau dair eiddo y dylai arolygon yr wiki eu bodloni: dylent fod yn greedy, cydweithredol ac addasol. Yna, gyda thîm o ddatblygwyr gwe, gwnaethom greu gwefan a allai gynnal arolygon wiki: www.allourideas.org .

Mae'r broses gasglu data mewn arolwg wiki yn cael ei ddangos gan brosiect a wnaethom gyda Swyddfa Maer Dinas Efrog Newydd er mwyn integreiddio syniadau trigolion i mewn i Gynllun PlaNYC 2030, Efrog Newydd, cynaladwyedd y ddinas. I ddechrau'r broses, cynhyrchodd Swyddfa'r Maer restr o 25 syniad yn seiliedig ar eu hymestyniad blaenorol (ee, "Gofyn i'r holl adeiladau mawr wneud rhai uwchraddio effeithlonrwydd ynni" a "Teagu plant am faterion gwyrdd fel rhan o gwricwlwm yr ysgol"). Gan ddefnyddio'r 25 syniad hyn fel hadau, gofynnodd Swyddfa'r Maer y cwestiwn "Pa syniad gwell i chi yw creu Dinas Gwyrdd a mwy o Ddinas Efrog Newydd?" Cyflwynwyd pâr o syniadau i'r ymatebwyr (ee "Gyrfaoedd ysgol agored ar draws y ddinas fel meysydd chwarae cyhoeddus "a" Cynyddu plannu coed wedi'u targedu mewn cymdogaethau â chyfraddau asthma uchel "), a gofynnwyd iddynt ddewis rhyngddynt (ffigwr 3.10). Ar ôl dewis, cyflwynwyd pâr syniadau arall a ddewiswyd ar hap ar unwaith gan ymatebwyr. Roeddent yn gallu parhau i gyfrannu gwybodaeth am eu dewisiadau cyhyd ag y dymunent naill ai trwy bleidleisio neu drwy ddewis "Ni allaf benderfynu." Yn hollbwysig, ar unrhyw adeg, roedd yr ymatebwyr yn gallu cyfrannu eu syniadau eu hunain, a oedd, hyd nes y cymeradwywyd gan Swyddfa'r Maer - yn rhan o'r pwll o syniadau i'w cyflwyno i eraill. Felly, roedd y cwestiynau a gafodd y cyfranogwyr ar agor ac yn cau ar yr un pryd.

Ffigwr 3.10: Rhyngwyneb ar gyfer arolwg wiki. Mae Panel (a) yn dangos y sgrin ymateb a phanel (b) yn dangos y sgrîn canlyniad. Atgynhyrchwyd gan ganiatâd Salganik and Levy (2015) , ffigur 2.

Lansiodd Swyddfa'r Maer ei arolwg wiki ym mis Hydref 2010 ar y cyd â chyfres o gyfarfodydd cymunedol i gael adborth gan breswylwyr. Dros oddeutu pedwar mis, cyfrannodd 1,436 o ymatebwyr 31,893 o ymatebion a 464 o syniadau newydd. Yn feirniadol, cafodd 8 o'r 10 syniad sgorio uchaf eu llwytho gan gyfranogwyr yn hytrach na bod yn rhan o'r set o syniadau hadau gan Swyddfa'r Maer. Ac, wrth i ni ddisgrifio yn ein papur, mae'r un patrwm hwn, gyda syniadau wedi'u llwytho'n sgorio yn well na syniadau hadau, yn digwydd mewn llawer o arolygon wiki. Mewn geiriau eraill, trwy fod yn agored i wybodaeth newydd, mae ymchwilwyr yn gallu dysgu pethau a fyddai wedi'u colli gan ddefnyddio dulliau mwy caeëdig.

Y tu hwnt i ganlyniadau'r arolygon penodol hyn, mae ein prosiect arolwg wiki hefyd yn dangos sut mae strwythur cost ymchwil ddigidol yn golygu y gall ymchwilwyr ymgysylltu â'r byd mewn ffyrdd ychydig gwahanol. Mae ymchwilwyr academaidd bellach yn gallu adeiladu systemau go iawn y gall llawer o bobl eu defnyddio: rydym wedi cynnal mwy na 10,000 o arolygon wiki ac wedi casglu mwy na 15 miliwn o ymatebion. Mae'r gallu hwn i greu rhywbeth y gellir ei ddefnyddio ar raddfa yn deillio o'r ffaith bod unwaith y bydd y wefan wedi ei hadeiladu, mae'n costio dim byd i'w wneud ar gael yn rhydd i bawb yn y byd (wrth gwrs, ni fyddai hyn yn wir pe baem ni wedi cael dynol cyfweliadau â gweinidogaeth). Ymhellach, mae'r raddfa hon yn galluogi gwahanol fathau o ymchwil. Er enghraifft, mae'r 15 miliwn o ymatebion hyn, yn ogystal â'n niferoedd o gyfranogwyr, yn darparu gwely profi gwerthfawr ar gyfer ymchwil methodolegol yn y dyfodol. Byddaf yn disgrifio mwy am gyfleoedd ymchwil eraill a grëir gan strwythurau cost oedran digidol - yn enwedig data cost newidiol sero - wrth i mi drafod arbrofion ym mhennod 4.