3.5.2 Wiki опросы

Вики исследования позволяют новые гибриды закрытых и открытых вопросов.

В дополнение к заданию вопросов в более естественные времена и в более естественных условиях новые технологии также позволяют нам изменять форму вопросов. Большинство опросных вопросов закрыты, причем респонденты выбирают из фиксированного набора вариантов, написанных исследователями. Это процесс, который один видный исследователь-исследователь называет «помещением слов в рот людям». Например, вот закрытый вопрос опроса:

«Следующий вопрос касается темы работы. Пожалуйста , смотрите ли на этой карте и скажите мне , какая вещь в этом списке вы больше всего предпочитаете в работе?

1. Высокий доход
2. Нет опасности быть уволенным
3. Рабочие часы короткие, много свободного времени
4. Шансы на продвижение
5. Работа важна и дает ощущение успеха ».

Но являются ли они единственно возможными ответами? Могут ли исследователи упустить что-то важное, ограничив ответы на эти пять? Альтернативой закрытым вопросам является вопрос открытого опроса. Вот тот же вопрос, заданный в открытой форме:

"Это следующий вопрос по теме работы. Люди ищут разные вещи в работе. Что бы вы больше всего предпочитаете в работе? "

Хотя эти два вопроса кажутся весьма схожими, опросный эксперимент Говарда Шумана и Стэнли Прессер (1979) показал, что они могут давать очень разные результаты: почти 60% ответов на открытый вопрос не включены в пять полученных автором исследований ( рисунок 3.9).

Рисунок 3.9: Результаты опроса, показывающего, что ответы могут зависеть от того, задан ли вопрос в закрытой или открытой форме. Адаптировано из Schuman and Presser (1979) , таблица 1.

Хотя открытые и закрытые вопросы могут дать совершенно другую информацию, и оба они были популярны в первые дни исследований исследования, закрытые вопросы стали доминировать в этой области. Это доминирование не потому, что закрытые вопросы доказали, что они обеспечивают лучшее измерение, а скорее потому, что они намного проще в использовании; процесс анализа открытых вопросов является ошибочным и дорогостоящим. Уход от открытых вопросов является неудачным, потому что именно информация, которую исследователи не знали заранее, может быть самой ценной.

Однако переход от управляемых человеком к компьютерным исследованиям предлагает новый выход из этой старой проблемы. Что, если у нас теперь могут быть вопросы обследований, которые сочетают в себе лучшие функции как открытых, так и закрытых вопросов? То есть, что, если бы мы могли провести опрос, который открыт для новой информации и дает легко анализируемые ответы? Именно это пытались создать Карен Леви и я (2015) .

В частности, мы с Кареном думали, что веб-сайты, которые собирают и обрабатывают контент, создаваемый пользователями, могут быть способны информировать о разработке новых типов опросов. Мы были особенно вдохновлены Википедией - замечательный пример открытой, динамичной системы, основанной на пользовательском контенте, поэтому мы назвали наш новый опрос обзором вики . Так же, как Википедия развивается со временем, основываясь на идеях ее участников, мы представили обзор, который со временем эволюционирует на основе идей его участников. Карен и я разработали три свойства, которые должны удовлетворять вики-обзоры: они должны быть жадными, совместными и адаптивными. Затем, с командой веб - разработчиков, мы создали сайт , который может запустить вики surveys_: www.allourideas.org .

Процесс сбора данных в вики-обзоре проиллюстрирован проектом, который мы сделали с мэрией Нью-Йорка, чтобы интегрировать идеи жителей в план PlaNYC 2030, общий план устойчивости в Нью-Йорке. Чтобы начать этот процесс, Мэрия создала список из 25 идей, основанных на их предыдущем аутрич-работе (например, «Требовать от всех крупных зданий для повышения энергоэффективности» и «Учить детей о« зеленых проблемах »в рамках школьной учебной программы»). Используя эти 25 идей в качестве семян, мэрия задала вопрос «Какая, по вашему мнению, лучшая идея для создания более зеленого, большего Нью-Йорка?» Респондентам была представлена ​​пара идей (например, «Открытые школьные дворы по всему городу» в качестве общественных игровых площадок »и« Увеличить целевые посадки деревьев в районах с высокими показателями астмы »), и им было предложено выбрать между ними (рисунок 3.10). После выбора респондентам была немедленно представлена ​​другая случайно выбранная пара идей. Они могли продолжать вносить информацию о своих предпочтениях до тех пор, пока они желали либо путем голосования, либо путем выбора «Я не могу решить». Существенно, что в любой момент респонденты могли вносить свои собственные идеи, которые в ожидании утверждения Мэрия - стала частью пула идей, которые будут представлены другим. Таким образом, вопросы, полученные участниками, были одновременно открытыми и закрытыми.

Рисунок 3.10: Интерфейс для опроса wiki. Панель (a) показывает экран ответа и панель (b) показывает экран результатов. Воспроизводится по разрешению Salganik and Levy (2015) , рис. 2.

Мэрия начала свою вики-опрос в октябре 2010 года в связи с серией встреч на уровне общин для получения отзывов от резидента. Примерно через четыре месяца 1436 респондентов внесли 31 893 ответа и 464 новых идеи. Критически, 8 из 10 лучших забитых идей были загружены участниками, а не были частью набора идей семени от Мэрии. И, как мы описываем в нашей статье, эта же модель, с загруженными идеями, забитыми лучше, чем семенные идеи, происходит во многих вики-опросах. Другими словами, открывая новую информацию, исследователи могут изучать вещи, которые были бы упущены с использованием более закрытых подходов.

Помимо результатов этих конкретных опросов, наш проект по изучению вики также иллюстрирует, как структура затрат цифровых исследований означает, что исследователи могут теперь взаимодействовать с миром по-разному. Академические исследователи теперь могут создавать реальные системы, которые могут использоваться многими людьми: мы провели более 10 000 обзоров вики и собрали более 15 миллионов ответов. Эта способность создавать что-то, что может использоваться в масштабе, происходит из-за того, что, как только сайт был построен, он практически не должен делать его доступным для всех в мире (конечно, это было бы неверно, если бы у нас был человеческий -приведенные интервью). Кроме того, этот масштаб позволяет проводить различные виды исследований. Например, эти 15 миллионов ответов, а также наш поток участников, являются ценным испытательным стендом для будущих методологических исследований. Я расскажу больше о других исследовательских возможностях, которые создаются структурами ценообразования с цифровым возрастом, в частности, с данными о нулевой переменной стоимости, когда я обсуждаю эксперименты в главе 4.