Далее комментарии

Этот раздел предназначен для использования в качестве эталона, вместо того , чтобы быть прочитан как рассказ.

• Введение (Раздел 3.1)

Многие из тем , в этой главе также отражение в недавних президентских Адреса в Американской ассоциации исследований общественного мнения (AAPOR), такие как Dillman (2002) , Newport (2011) , Santos (2014) и Link (2015) .

Для получения более подробных исторических фоне о развитии исследований обследования см Smith (1976) и Converse (1987) . Более подробную информацию о идее трех эпох обзорного исследования, см Groves (2011) и Dillman, Smyth, and Christian (2008) (который распадается на три эпохи немного по- другому).

Пик внутри перехода от первой ко второй эры в обзорного исследования является Groves and Kahn (1979) , которая делает детальное сравнение голова к голове между лицом к лицу и телефонного опроса. Brick and Tucker (2007) смотрит на историческое развитие случайной выборки цифровых методов набора.

Более подробную информацию, как опрос исследования изменился в прошлом в ответ на изменения в обществе, см Tourangeau (2004) , Mitofsky (1989) , и Couper (2011) .

• Задавать против наблюдения (раздел 3.2)

Узнав о внутренних состояниях, задавая вопросы может быть проблематичным, потому что иногда сами респонденты не знают о своих внутренних состояниях. Например, Nisbett and Wilson (1977) есть замечательный документ с вызывающей воспоминания названием: "Рассказывая больше , чем мы можем знать:. Словесные отчеты о психических процессах" В статье авторы приходят к выводу: "субъекты иногда (а) не знают о наличие стимула, что главное влияние на реакцию, (б) не знают о существовании ответа, и (в) не знают, что стимул повлияло на реакцию ".

Для аргументов , что исследователи должны отдавать предпочтение наблюдаемое поведение с сообщенной или поведения, см Baumeister, Vohs, and Funder (2007) (психология) и Jerolmack and Khan (2014) и ответов (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) - (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (социология). Разница между просьбой и наблюдения также возникает в экономике, где исследователи говорят о заявленных и выявленных предпочтений. Например, исследователь может спросить респондентов предпочитают ли они едят мороженое или ходить в тренажерный зал (заявленные предпочтения) или исследования могли наблюдать, как часто люди едят мороженое и ходить в спортзал (выявленных предпочтений). Существует глубокий скептицизм некоторых типов данных , указанных предпочтений в экономике (Hausman 2012) .

Основной темой этих дискуссий является то, что поведение является сообщенный не всегда точны. Но, автоматически записывается поведение не может быть точным, не может быть собрана на образце интерес, и не могут быть доступны для исследователей. Таким образом, в некоторых ситуациях, я считаю, что поведение может сообщенный быть полезным. Кроме того, второй основной темой этих дискуссий является то, что сообщения о эмоций, знаний, ожиданий и мнений не всегда точны. Но, если информация об этих внутренних состояний необходимы исследователями-либо, чтобы помочь объяснить некоторое поведение или как вещь, чтобы объяснить-то спрашивать, может быть целесообразным.

• Суммарная погрешность опроса (раздел 3.3)

Для лечения длины книги по общей ошибки обследования, см Groves et al. (2009) и Groves et al. (2009) или Weisberg (2005) . Для истории развития общей ошибки обследования, см Groves and Lyberg (2010) .

С точки зрения представления, большое введение к вопросам неответов и без ответа смещения является доклад Национального исследовательского совета по неполучение в области социальных наук Surveys: программы исследований (2013) . Другой полезный обзор обеспечивается (Groves 2006) . Кроме того , целые специальные выпуски журнала официальной статистики, Public Opinion Quarterly, и анналах американской академии политических и социальных наук были опубликованы на тему отсутствия ответа. И, наконец, на самом деле существует много различных способов расчета скорости реакции; эти подходы подробно описаны в докладе Американской ассоциации исследователей общественного мнения (AAPOR) (Public Opinion Researchers} 2015) .

1936 Literary Digest опрос был подробно изучен (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Он также используется как притча предостеречь от бессистемной сбора данных (Gayo-Avello 2011) . В 1936 году Джордж Гэллап использовал более сложную форму выборки, и была способна производить более точные оценки с гораздо меньшей выборке. Успех Гэллапа над Literary Digest был вехой развитие исследований обследования (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

С точки зрения измерения, первый большой ресурс для проектирования вопросников Bradburn, Sudman, and Wansink (2004) . Для более глубокой очистки ориентированной конкретно на отношении вопросов, см Schuman and Presser (1996) . Еще на предварительное тестирование вопросов доступна в Presser and Blair (1994) , Presser et al. (2004) и Presser et al. (2004) , а в главе 8 Groves et al. (2009) и Groves et al. (2009) .

Лечение классический, книга-длина компромисс между затратами обследования и ошибок обследования является Groves (2004) .

• Кто спросить (раздел 3.4)

Классический лечение книжной длины стандартной вероятности выборки и оценки являются Lohr (2009) (более вводный) и Särndal, Swensson, and Wretman (2003) (более продвинутый). Классическая обработка книга-длина постстратификация и связанных с ними методов является Särndal and Lundström (2005) . В некоторых цифровых установок возраста, исследователи знают совсем немного о нереспондентами, которых не было часто справедливо в прошлом. Различные формы корректировки без ответа возможны , когда исследователи имеют информацию о нереспондентами (Kalton and Flores-Cervantes 2003; Smith 2011) .

Xbox исследование Wang et al. (2015) и Wang et al. (2015) использует технику , называемую многоуровневый регрессионный и постстратификация (MRP, иногда называемый "Mister P") , что позволяет исследователям оценить ячейки означает , что даже тогда , когда есть много, много клеток. Хотя есть некоторые дебаты о качестве оценок от этой техники, это походит на перспективную область для изучения. Этот метод был впервые использован в Park, Gelman, and Bafumi (2004) , и было последующее использование и обсуждение (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) г. (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Более подробную информацию о связи между отдельными весами и весов на основе клеток см Gelman (2007) .

Для других подходов к весовыми веб - опросов см Schonlau et al. (2009) и Schonlau et al. (2009) , Valliant and Dever (2011) , и Bethlehem (2010) .

Соответствия образца была предложена Rivers (2007) . Bethlehem (2015) утверждает , что производительность согласования образца будет на самом деле похожи на другие подходы для отбора проб (например, стратифицированная выборка) и другие подходы корректировки (например, пост-стратификации). Более подробную информацию о онлайн - панелей см Callegaro et al. (2014) и Callegaro et al. (2014) .

Иногда исследователи обнаружили , что образцы вероятности и образцы невероятности дают оценки аналогичного качества (Ansolabehere and Schaffner 2014) , но и другие сравнения показали , что образцы невероятности сделать хуже (Malhotra and Krosnick 2007; Yeager et al. 2011) и (Malhotra and Krosnick 2007; Yeager et al. 2011) . Одной из возможных причин этих различий в том, что образцы невероятности улучшились с течением времени. Для более пессимистического методов выборки невероятности увидеть целевую группу AAPOR по невероятности отбору проб (Baker et al. 2013) и (Baker et al. 2013) , и я также рекомендую прочитать комментарий , который следует за итоговый отчет.

Для мета-анализа о влиянии взвешивания для уменьшения погрешности в образцах невероятности, см таблицу 2.4 в Tourangeau, Conrad, and Couper (2013) г. Tourangeau, Conrad, and Couper (2013) , что приводит авторов к выводу , "корректировки кажутся полезными , но подверженные ошибкам поправки. , ".

• Как спросить (раздел 3.5)

Conrad and Schober (2008) предоставляет отредактированный под названием Envisioning опроса при обследовании будущего, и она затрагивает многие темы в этом разделе. Couper (2011) рассматриваются аналогичные темы, и Schober et al. (2015) и Schober et al. (2015) предлагает хороший пример того , как методы сбора данных , которые приспосабливают к новой обстановке может привести к повышению качества данных.

Другой интересный пример использования Facebook приложений для обследований социальных наук см Bail (2015) .

Для получения более подробной консультации по вопросам создания обследуется приятный и ценный опыт для участников см работы по проектированию метода по индивидуальному заказу (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) и Stone et al. (2007) предлагает целую книгу лечение экологической мгновенной оценки и связанных с ними методов.

• Исследования , связанные с другими данными (раздел 3.6)

Judson (2007) описал процесс объединения обследований и административных данных в качестве "информационной интеграции", обсуждаются некоторые преимущества такого подхода, и предлагает несколько примеров.

Другой способ, который исследователи могут использовать цифровые следы и административных данных является основой выборки для людей с особыми характеристиками. Тем не менее, доступ эти записи , которые будут использоваться структуры выборки также может создавать вопросы , связанные с конфиденциальностью (Beskow, Sandler, and Weinberger 2006) .

Что касается усиливаемого запрошенных, этот подход не является столь новым, как это может показаться из того, как я описал. Такой подход имеет глубокие связи в трех крупных областей статистики-модель на основе пост-стратификации (Little 1993) , (Rubin 2004) (Rao and Molina 2015) (Little 1993) , вменения (Rubin 2004) , и оценка небольшой площади (Rao and Molina 2015) . Это также связано с использованием суррогатных переменных в медицинских исследованиях (Pepe 1992) .

В дополнение к этическим вопросам , касающимся доступа к данным цифровых следов, усиленный запрашиваемая также может быть использован , чтобы вывести чувствительные черты , которые люди не могли бы выбрать , чтобы показать в опросе (Kosinski, Stillwell, and Graepel 2013) .

Стоимость и время оценки в Blumenstock, Cadamuro, and On (2015) относятся больше к переменной затрат стоимости одного дополнительного обследования, и не включают в себя фиксированные затраты , такие как стоимость , чтобы очистить и обработать данные вызовов. В общем, усиленный запрашиваемая, вероятно, имеют высокие постоянные издержки и низкие переменные затраты, аналогичные цифровые эксперименты (см главу 4). Более подробную информацию о данных , используемых в Blumenstock, Cadamuro, and On (2015) бумага в Blumenstock and Eagle (2010) и Blumenstock and Eagle (2012) . Подходы из нескольких imputuation (Rubin 2004) может помочь неопределенность в оценках захвата от усиливаемого спрашивать. Если исследователи просят усиливается сделав только заботиться о совокупных подсчетов, а не черт на индивидуальном уровне, то подходы в King and Lu (2008) и Hopkins and King (2010) может быть полезным. Более подробную информацию о машине подходов к обучению в Blumenstock, Cadamuro, and On (2015) , см James et al. (2013) и James et al. (2013) (более вводная) или Hastie, Tibshirani, and Friedman (2009) (более продвинутый). Другой популярный машинного обучения учебник Murphy (2012) .

Что касается обогащенную запрошенных, результаты в Ansolabehere и Херш (2012) Петля на двух основных этапов: 1) способность Catalist объединить множество разрозненных источников данных , чтобы произвести точную мастер - файл данных и 2) способность Catalist связать данные обследования для его мастер-файл данных. Поэтому Ansolabehere и Херш проверить каждый из этих шагов внимательно.

Для создания мастер-файла данных, Catalist объединяет и гармонизирует информацию из множества различных источников, включая: несколько записей голоса снимков из каждого состояния, данные из почтового отделения Национального изменении реестра адресов, а также данные из других неуказанных коммерческих провайдеров. Окровавленные детали о том, как происходит все это уборка и слияние выходит за рамки этой книги, но этот процесс, независимо от того, каким образом будут распространяться ошибки в исходных источниках данных и привести к ошибкам. Хотя Catalist был готов обсудить его обработку данных и обеспечить некоторые из его исходных данных, это было для исследователей пересмотреть весь конвейер данных Catalist просто невозможно. Скорее всего, исследователи были в ситуации, когда файл данных Catalist имел какой-то неизвестный, и, возможно, непостижимое, количество ошибок. Это вызывает серьезную озабоченность, поскольку критик мог бы предположить, что большие различия между обзорными докладами о КУИС и поведении в файле основных данных Catalist были вызваны ошибками в файле основных данных, а не недостоверной респондентов.

Ansolabehere и Херш принял два различных подхода к решению качества данных озабоченность. Во-первых, в дополнение к сравнению самостоятельно сообщили голосования на голосование в мастер-файле Catalist, исследователи сравнили самооценка партии, раса, статус регистрации избирателей (например, зарегистрирован или не зарегистрирован) и метод голосования (например, в лицо, заочная бюллетеней и т.д.) для тех значений, найденных в базах данных Catalist. Для этих четырех демографических переменных, исследователи обнаружили гораздо более высокие уровни соглашения между обзорного доклада и данных в мастер-файле Catalist, чем для голосования. Таким образом, файл основных данных Catalist, как представляется, имеют высокое качество информации для целей, отличных голосования признаков, предполагая, что она не плохого качества в целом. Во-вторых, в части, используя данные из Catalist, Ansolabehere и Херш разработала три различные меры качества записей округа для голосования, и они обнаружили, что расчетная скорость завышая голосования по существу не связаны с какой-либо из этих мер качества данных, один важный вывод, позволяют предположить, что высокие темпы чрезмерной отчетности не активизированы по уездам с необычно низким качеством данных.

Учитывая создание этого мастер-файла для голосования, второй источник возможных ошибок связывает записи обследования к нему. Например, если эта связь будет сделано неправильно это может привести к завышенной оценке разницы между даннымииоценками одобренного поведения избирателей (Neter, Maynes, and Ramanathan 1965) . Если каждый человек имел стабильный, уникальный идентификатор, который был в обоих источниках данных, то связь будет тривиальным. В США и большинстве других стран, однако, не существует универсального идентификатора. Кроме того, даже если бы такой идентификатор людей, вероятно, не решаются, чтобы обеспечить его обследовать исследователей! Таким образом, Catalist должен был сделать связь с использованием несовершенных идентификаторов, в данном случае четыре части информации по каждому респонденту: имя, пол, год рождения и домашний адрес. Например, Catalist должен был решить, если Homie J Simpson в КУИС был тот же человек, как Homer Jay Simpson в их файле основных данных. На практике соответствия является сложным и хаотичный процесс, и, что еще хуже для исследователей, Catalist рассмотрел технику соответствия, чтобы быть частной собственностью.

Для подтверждения соответствия алгоритмов, они опирались на две задачи. Во-первых, Catalist участвовал в согласующего конкурсе, который был запущен в независимой третьей стороной: The Mitre Corporation. MITRE при условии, всем участникам две шумные файлы данных, которые будут согласованы, а также различные команды соревновались, чтобы вернуться к MITRE наилучшего соответствия. Потому что сама по себе MITRE знал правильное согласование они смогли забить команды. Из 40 компаний, которые соревновались, Catalist занял второе место. Такого рода независимой третьей стороной оценки собственной технологии является довольно редким и невероятно ценным; она должна дать нам уверенность в том, что процедуры согласования Catalist являются по существу на состоянии техники. Но это состояние-оф-арт достаточно хорошо? В дополнение к этому согласующего конкуренции, Ansolabehere и Херш создали свой собственный соответствующий вызов для Catalist. Из предыдущего проекта, Ansolabehere и Херш собирал записи избирателей из Флориды. Они обеспечили некоторые из этих записей с некоторыми из их полей отредактированных к Catalist, а затем по сравнению отчеты Catalist в этих областях до их фактических значений. К счастью, отчеты Catalist были близки к удержанных значений, указывая, что Catalist может соответствовать частичные записи избирателей на их основной файл данных. Эти две проблемы, одна третьей стороной и один Ansolabehere и Херш, дают нам больше уверенности в алгоритмов сопоставления Catalist, несмотря на то, что мы не можем рассмотреть их точное исполнение самих себя.

Там было много предыдущих попыток VALIDATE голосования. Для обзора этой литературы, см Belli et al. (1999) и Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , и Hanmer, Banks, and White (2014) .

Важно отметить, что, хотя в данном случае исследователи были воодушевлены качеством данных от Catalist, другие оценки коммерческих поставщиков было меньше энтузиазма. Исследователи обнаружили , плохое качество , когда данные опроса к потребительскому-файл из Marketing Systems Group (которая сама по себе слились воедино данные из трех провайдеров: Acxiom, Experian и InfoUSA) (Pasek et al. 2014) и (Pasek et al. 2014) . То есть, файл данных не совпадают ответы на опрос, что исследователи, как ожидается, будет правильно, файл данных были недостающие данные для большого количества вопросов, и недостающего шаблон данных коррелировало с сообщенной стоимости обследования (другими словами, отсутствие данных носило систематический характер , а не случайным образом).

Более подробную информацию о связи между звукозаписывающей обследований и административных данных, см Sakshaug and Kreuter (2012) и Schnell (2013) . Более подробную информацию о звукозаписывающей связи в целом, см Dunn (1946) и Fellegi and Sunter (1969) (историческое) и Larsen and Winkler (2014) (современный). Аналогичные подходы были также разработаны в информатике под такими названиями, как дедупликации данных, идентификации , например, сопоставление имен, обнаружения дубликатов, и дублировать запись обнаружения (Elmagarmid, Ipeirotis, and Verykios 2007) . Есть также конфиденциальность сохранения подходов к записи связи , которые не требуют передачи личную информацию (Schnell 2013) . Исследователи в Facebook разработали процедуру probabilisticsly связать свои записи с поведением голосования (Jones et al. 2013) и (Jones et al. 2013) ; эта связь была сделана , чтобы оценить эксперимент , который я вам расскажу в главе 4 (Bond et al. 2012) и (Bond et al. 2012) .

Другой пример увязки крупномасштабного социального обследования для государственных административных записей происходит от здравоохранения и пенсионного обследования и Администрации социального обеспечения. Более подробную информацию о данном исследовании, включая информацию о процедуре получения согласия см Olson (1996) и Olson (1999) .

Процесс объединения многих источников административных записей в мастер-файла данных процесса, который Catalist сотрудников-часто встречается в статистических управлений некоторых национальных правительств. Два исследователя из Статистического управления Швеции написал подробную книгу по этой теме (Wallgren and Wallgren 2007) . В качестве примера такого подхода в одном графстве в Соединенных Штатах (Olmstead Каунти, штат Миннесота; дома из клиники Майо), см Sauver et al. (2011) и Sauver et al. (2011) . Более подробную информацию об ошибках , которые могут появляться в административных записях см Groen (2012) .