3.5.2 Badania Wiki

Wiki badania umożliwiają nowe hybrydy zamkniętych i otwartych pytań.

Oprócz zadawania pytań w bardziej naturalnych czasach iw bardziej naturalnych kontekstach, nowa technologia pozwala nam również zmienić formę pytań. Większość pytań ankietowych jest zamknięta, a respondenci wybierają spośród ustalonego zbioru wyborów napisanych przez naukowców. Jest to proces, który jeden wybitny badacz ankiety nazywa "umieszczaniem słów w ustach ludzi". Na przykład tutaj jest zamknięte pytanie ankiety:

"Następne pytanie dotyczy tematu pracy. Czy mógłbyś spojrzeć na tę kartę i powiedzieć mi, która rzecz na tej liście najbardziej Ci odpowiada w pracy?

1. Wysoki przychód
2. Nie ma niebezpieczeństwa bycia zwolnionym
3. Godziny pracy są krótkie, dużo wolnego czasu
4. Szanse na awans
5. Praca jest ważna i daje poczucie spełnienia. "

Ale czy są to jedyne możliwe odpowiedzi? Czy naukowcom może brakować czegoś ważnego, ograniczając odpowiedzi do tych pięciu? Alternatywą dla pytań zamkniętych jest otwarte pytanie ankietowe. Oto to samo pytanie zadane w otwartej formie:

"To następne pytanie jest na temat pracy. Ludzie szukają różnych rzeczy w pracy. Co by większości wolisz w pracy? "

Chociaż te dwa pytania wydają się dość podobne, eksperyment ankiety przeprowadzony przez Howarda Schumana i Stanleya Pressera (1979) ujawnił, że mogą one przynieść bardzo różne wyniki: prawie 60% odpowiedzi na pytanie otwarte nie zostało uwzględnionych w pięciu odpowiedziach opracowanych przez naukowców ( rysunek 3.9).

Rysunek 3.9: Wyniki eksperymentu z ankiety pokazujące, że odpowiedzi mogą zależeć od tego, czy pytanie jest zadawane w formie zamkniętej czy otwartej. Adaptacja z Schuman and Presser (1979) , tabela 1.

Chociaż pytania otwarte i zamknięte mogą dostarczyć całkiem różnych informacji, a obie były popularne we wczesnych dniach badań ankietowych, pytania zamknięte zaczęły dominować w tej dziedzinie. Ta dominacja nie jest taka, że ​​dowiedziono, że zamknięte pytania zapewniają lepszy pomiar, ale raczej dlatego, że są znacznie łatwiejsze w użyciu; proces analizy pytań otwartych jest podatny na błędy i drogi. Odejście od otwartych pytań jest niefortunne, ponieważ właśnie te informacje, które naukowcy nie znali z wyprzedzeniem, mogą być najcenniejsze.

Przejście z ankiet przeprowadzanych przez ludzi na komputer, ale sugeruje nowe wyjście z tego starego problemu. Co by było, gdybyśmy mieli teraz pytania ankietowe łączące najlepsze cechy zarówno pytań otwartych, jak i zamkniętych? To znaczy, co by było, gdybyśmy mogli przeprowadzić ankietę, w której obie są otwarte na nowe informacje i dają łatwe do analizy odpowiedzi? Właśnie to staraliśmy się stworzyć Karen Levy i ja (2015) .

W szczególności Karen i ja uważaliśmy, że strony internetowe, które zbierają i zarządzają treściami tworzonymi przez użytkowników, mogą być w stanie informować o projektach nowych rodzajów ankiet. Szczególnie zainspirowała nas Wikipedia - wspaniały przykład otwartego, dynamicznego systemu opartego na treściach generowanych przez użytkowników - dlatego naszą ankietę nazwaliśmy ankietą wiki . Tak jak Wikipedia ewoluuje w miarę upływu czasu w oparciu o pomysły jej uczestników, wyobrażaliśmy sobie ankietę, która ewoluuje w miarę upływu czasu w oparciu o pomysły jej uczestników. Wraz z Karen opracowaliśmy trzy właściwości, które powinny spełniać ankiety na wiki: powinny być zachłanne, oparte na współpracy i adaptacyjne. Następnie, dzięki zespołowi programistów internetowych, stworzyliśmy stronę internetową, która mogłaby uruchomić ankiety na stronie wiki: www.allourideas.org .

Proces zbierania danych w badaniu wiki jest zilustrowany projektem, który przeprowadziliśmy z biurem nowojorskiego burmistrza, aby zintegrować pomysły mieszkańców z PlaNYC 2030, miejskim planem zrównoważonego rozwoju w Nowym Jorku. Aby rozpocząć proces, Biuro Burmistrza wygenerowało listę 25 pomysłów na podstawie ich wcześniejszego zasięgu (np. "Wymagaj wszystkich dużych budynków, aby dokonać pewnych ulepszeń podnoszących efektywność energetyczną" i "Naucz dzieci na temat problemów ekologicznych w ramach programu szkolnego"). Wykorzystując te 25 pomysłów jako nasion, Biuro Burmistrza zadało pytanie: "Jak myślisz, co jest lepszym pomysłem na stworzenie bardziej zielonego, większego Nowego Jorku?" Respondentom przedstawiono parę pomysłów (np. "Otwarte szkolnie w całym mieście") jako publiczne place zabaw "i" Zwiększenie docelowych nasadzeń drzew w dzielnicach o wysokim wskaźniku astmy ") i poproszono ich o wybór między nimi (rys. 3.10). Po wybraniu respondenci natychmiast otrzymali kolejną losowo wybraną parę pomysłów. Mogli nadal przekazywać informacje o swoich preferencjach tak długo, jak chcieli, albo głosując, albo wybierając "Nie mogę się zdecydować". Co najważniejsze, respondenci byli w stanie wnieść własne pomysły, które do czasu zatwierdzenia przez Biuro Prezydenta - stało się częścią puli pomysłów, które zostaną przedstawione innym. W związku z tym pytania, które otrzymali uczestnicy, były jednocześnie otwarte i zamknięte.

Rysunek 3.10: Interfejs do ankiety wiki. Panel (a) pokazuje ekran odpowiedzi i panel (b) pokazuje ekran wyników. Reprodukcja za zgodą Salganik and Levy (2015) , rysunek 2.

Biuro Burmistrza rozpoczęło badanie wiki w październiku 2010 r. W połączeniu z serią spotkań społecznościowych, aby uzyskać informacje zwrotne od mieszkańców. W ciągu około czterech miesięcy 1436 respondentów udzieliło 31 893 odpowiedzi i 464 nowych pomysłów. Krytycznie, 8 z 10 najlepszych pomysłów na wyniki zostało przesłanych przez uczestników, a nie wchodzących w skład zestawu pomysłów na nasiona z biura burmistrza. I, jak opisujemy w naszym artykule, ten sam wzorzec, z wgranymi pomysłami osiągającymi lepsze wyniki niż pomysły nasienne, ma miejsce w wielu ankietach wiki. Innymi słowy, dzięki otwarciu na nowe informacje, naukowcy są w stanie uczyć się rzeczy, które zostałyby pominięte przy użyciu bardziej zamkniętych podejść.

Oprócz wyników tych konkretnych badań, nasz projekt ankiety wiki również pokazuje, w jaki sposób struktura kosztowa badań cyfrowych oznacza, że ​​badacze mogą teraz angażować się w świat w nieco inny sposób. Naukowcy akademiccy są teraz w stanie zbudować prawdziwe systemy, z których może korzystać wielu ludzi: gościliśmy ponad 10 000 ankiet wiki i zebraliśmy ponad 15 milionów odpowiedzi. Ta umiejętność tworzenia czegoś, co można wykorzystać na dużą skalę, wynika z faktu, że po zbudowaniu strony internetowej nic nie kosztuje nic, aby udostępnić ją bezpłatnie wszystkim na świecie (oczywiście nie byłoby to prawdą, gdybyśmy mieli ludzkie - wywiady kwalifikowane). Co więcej, ta skala umożliwia różne rodzaje badań. Na przykład te 15 milionów odpowiedzi, a także nasz strumień uczestników, stanowią cenne miejsce do testowania przyszłych badań metodologicznych. Opowiem więcej o innych możliwościach badawczych, które są tworzone przez struktury kosztów związanych z wiekiem cyfrowym - w szczególności o zerowych danych o kosztach zmiennych - kiedy omawiam eksperymenty w rozdziale 4.