далі коментарі

Цей розділ призначений для використання в якості еталону, замість того , щоб бути прочитаний як розповідь.

• Введення (Розділ 3.1)

Багато з тим , в цьому розділі також відображення в недавніх президентських Адреси в Американської асоціації досліджень громадської думки (AAPOR), такі як Dillman (2002) , Newport (2011) , Santos (2014) і Link (2015) .

Для отримання більш докладних історичних тлі про розвиток досліджень обстеження см Smith (1976) і Converse (1987) . Більш детальну інформацію про ідеї трьох епох оглядового дослідження, див Groves (2011) і Dillman, Smyth, and Christian (2008) (який розпадається на три епохи трохи по- іншому).

Пік всередині переходу від першої до другої ери в оглядового дослідження є Groves and Kahn (1979) , яка робить детальне порівняння голова до голови між лицем до лиця і телефонного опитування. Brick and Tucker (2007) дивиться на історичний розвиток випадкової вибірки цифрових методів набору.

Більш детальну інформацію, як опитування дослідження змінився в минулому у відповідь на зміни в суспільстві, см Tourangeau (2004) , Mitofsky (1989) , і Couper (2011) .

• Задавати проти спостереження (розділ 3.2)

Дізнавшись про внутрішні стани, ставлячи питання може бути проблематичним, тому що іноді самі респонденти не знають про свої внутрішні стани. Наприклад, Nisbett and Wilson (1977) є чудовий документ із зухвалою спогади назвою: "Розповідаючи більше , ніж ми можемо знати :. Словесні звіти про психічні процеси" У статті автори приходять до висновку: "суб'єкти іноді (а) не знають про наявність стимулу, що головний вплив на реакцію, (б) не знають про існування відповіді, і (в) не знають, що стимул вплинуло на реакцію ".

Для аргументів , що дослідники повинні віддавати перевагу спостерігається поведінка з повідомленої або поведінки, см Baumeister, Vohs, and Funder (2007) (психологія) і Jerolmack and Khan (2014) і відповідей (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) - (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (соціологія). Різниця між проханням і спостереження також виникає в економіці, де дослідники говорять про заявлених і виявлених переваг. Наприклад, дослідник може запитати респондентів воліють вони їдять морозиво або ходити в тренажерний зал (заявлені переваги) або дослідження могли спостерігати, як часто люди їдять морозиво і ходити в спортзал (виявлених переваг). Існує глибокий скептицизм деяких типів даних , зазначених переваг в економіці (Hausman 2012) .

Основною темою цих дискусій є те, що поведінка є повідомлений не завжди точні. Але, автоматично записується поведінка не може бути точним, не може бути зібрана на зразку інтерес, і не можуть бути доступні для дослідників. Таким чином, в деяких ситуаціях, я вважаю, що поведінка може повідомлений бути корисним. Крім того, другою основною темою цих дискусій є те, що повідомлення про емоцій, знань, очікувань і думок не завжди точні. Але, якщо інформація про ці внутрішніх станів необхідні дослідниками-небудь, щоб допомогти пояснити деяку поведінку або як річ, щоб пояснити щось питати, може бути доцільним.

• Сумарна похибка опитування (розділ 3.3)

Для лікування довжини книги по загальній помилки обстеження, см Groves et al. (2009) і Groves et al. (2009) або Weisberg (2005) . Для історії розвитку загальної помилки обстеження, см Groves and Lyberg (2010) .

З точки зору уявлення, велике введення до питань неответа і без відповіді зміщення є доповідь Національної дослідницької ради по неотримання в області соціальних наук Surveys: програми досліджень (2013) . Інший корисний огляд забезпечується (Groves 2006) . Крім того , цілі спеціальні випуски журналу офіційної статистики, Public Opinion Quarterly, і анналах американської академії політичних і соціальних наук були опубліковані на тему відсутності відповіді. І, нарешті, насправді існує багато різних способів розрахунку швидкості реакції; ці підходи детально описані в доповіді Американської асоціації дослідників громадської думки (AAPOR) (Public Opinion Researchers} 2015) .

+1936 Literary Digest опитування було детально вивчено (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Він також використовується як притча застерегти від безсистемної збору даних (Gayo-Avello 2011) . У 1936 році Джордж Геллап використовував більш складну форму вибірки, і була здатна виробляти більш точні оцінки з набагато меншою вибіркою. Успіх Геллапа над Literary Digest був віхою розвиток досліджень обстеження (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

З точки зору вимірювання, перший великий ресурс для проектування запитальників Bradburn, Sudman, and Wansink (2004) . Для більш глибокого очищення орієнтованої конкретно на питаннях, см Schuman and Presser (1996) . Ще на попереднє тестування питань доступна в Presser and Blair (1994) , Presser et al. (2004) і Presser et al. (2004) , а в главі 8 Groves et al. (2009) і Groves et al. (2009) .

Лікування класичний, книга-довжина компроміс між витратами обстеження і помилок обстеження є Groves (2004) .

• Хто запитати (розділ 3.4)

Класичний лікування книжкової довжини стандартної ймовірності вибірки і оцінки є Lohr (2009) (більш вступний) і Särndal, Swensson, and Wretman (2003) (більш просунутий). Класична обробка книга-довжина постстратіфікація і пов'язаних з ними методів є Särndal and Lundström (2005) . У деяких цифрових установок віку, дослідники знають зовсім небагато про нереспондентамі, яких не було часто справедливо в минулому. Різні форми коригування без відповіді можливі , коли дослідники мають інформацію про нереспондентамі (Kalton and Flores-Cervantes 2003; Smith 2011) .

Xbox дослідження Wang et al. (2015) і Wang et al. (2015) використовує техніку , звану багаторівневий регресійний і постстратіфікація (MRP, іноді званий "Mister P") , що дозволяє дослідникам оцінити осередку означає , що навіть тоді , коли є багато, багато клітин. Хоча є деякі дебати про якість оцінок від цієї техніки, це походить на перспективну область для вивчення. Цей метод був вперше використаний в Park, Gelman, and Bafumi (2004) , і було подальше використання та обговорення (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) р (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Більш детальну інформацію про зв'язок між окремими вагами і ваг на основі клітин см Gelman (2007) .

Для інших підходів до ваговими веб - опитувань см Schonlau et al. (2009) і Schonlau et al. (2009) , Valliant and Dever (2011) , і Bethlehem (2010) .

Відповідності зразка була запропонована Rivers (2007) . Bethlehem (2015) стверджує , що продуктивність узгодження зразка буде на справді схожі на інші підходи для відбору проб (наприклад, стратифікована вибірка) та інші підходи коригування (наприклад, пост-стратифікації). Більш детальну інформацію про онлайн - панелей см Callegaro et al. (2014) і Callegaro et al. (2014) .

Іноді дослідники виявили , що зразки ймовірності і зразки неймовірності дають оцінки аналогічної якості (Ansolabehere and Schaffner 2014) , але і інші порівняння показали , що зразки неймовірності зробити гірше (Malhotra and Krosnick 2007; Yeager et al. 2011) і (Malhotra and Krosnick 2007; Yeager et al. 2011) . Однією з можливих причин цих відмінностей в тому, що зразки неймовірності покращилися з плином часу. Для більш песимістичного методів вибірки неймовірності побачити цільову групу AAPOR по неймовірності відбору проб (Baker et al. 2013) і (Baker et al. 2013) , і я також рекомендую прочитати коментар , який слідує за підсумковий звіт.

Для мета-аналізу про вплив зважування для зменшення похибки в зразках неймовірності, см таблицю 2.4 в Tourangeau, Conrad, and Couper (2013) р Tourangeau, Conrad, and Couper (2013) , що призводить авторів до висновку , "коригування здаються корисними , але схильні до помилок поправки. , ".

• Як запитати (розділ 3.5)

Conrad and Schober (2008) надає відредагований під назвою Envisioning опитування при обстеженні майбутнього, і вона зачіпає багато тем в цьому розділі. Couper (2011) розглядаються аналогічні теми, і Schober et al. (2015) і Schober et al. (2015) пропонує хороший приклад того , як методи збору даних , які пристосовують до нової обстановки може привести до підвищення якості даних.

Інший цікавий приклад використання Facebook додатків для обстежень соціальних наук см Bail (2015) .

Для отримання більш докладної консультації з питань створення обстежується приємний і цінний досвід для учасників см роботи з проектування методу по індивідуальному замовленню (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) і Stone et al. (2007) пропонує цілу книгу лікування екологічної миттєвої оцінки і пов'язаних з ними методів.

• Дослідження , пов'язані з іншими даними (розділ 3.6)

Judson (2007) описав процес об'єднання обстежень і адміністративних даних в якості "інформаційної інтеграції", обговорюються деякі переваги такого підходу, і пропонує кілька прикладів.

Інший спосіб, який дослідники можуть використовувати цифрові сліди і адміністративних даних є основою вибірки для людей з особливими характеристиками. Тим НЕ менше, доступ ці записи , які будуть використовуватися структури вибірки також може створювати питання , пов'язані з конфіденційністю (Beskow, Sandler, and Weinberger 2006) .

Що стосується підсилюється запитаних, цей підхід не є настільки новим, як це може здатися з того, як я описав. Такий підхід має глибокі зв'язки в трьох великих областей статистики-модель на основі пост-стратифікації (Little 1993) , (Rubin 2004) (Rao and Molina 2015) (Little 1993) , зобов'язання (Rubin 2004) , і оцінка невеликій площі (Rao and Molina 2015) . Це також пов'язано з використанням сурогатних змінних в медичних дослідженнях (Pepe 1992) .

На додаток до етичних питань , що стосуються доступу до даних цифрових слідів, посилений запитувана також може бути використаний , щоб вивести чутливі риси , які люди не могли б вибрати , щоб показати в опитуванні (Kosinski, Stillwell, and Graepel 2013) .

Вартість і час оцінки в Blumenstock, Cadamuro, and On (2015) відносяться більше до змінної витрат вартості одного додаткового обстеження, і не включають в себе фіксовані витрати , такі як вартість , щоб очистити і обробити дані викликів. Загалом, посилений запитувана, ймовірно, мають високі постійні витрати і низькі змінні витрати, аналогічні цифрові експерименти (див главу 4). Більш детальну інформацію про дані , які використовуються в Blumenstock, Cadamuro, and On (2015) папір в Blumenstock and Eagle (2010) і Blumenstock and Eagle (2012) . Підходи з декількох imputuation (Rubin 2004) може допомогти невизначеність в оцінках захоплення від підсилюється питати. Якщо дослідники просять посилюється зробивши тільки дбати про сукупні підрахунків, а не чорт на індивідуальному рівні, то підходи в King and Lu (2008) і Hopkins and King (2010) може бути корисним. Більш детальну інформацію про машину підходів до навчання в Blumenstock, Cadamuro, and On (2015) , см James et al. (2013) і James et al. (2013) (більш вступна) або Hastie, Tibshirani, and Friedman (2009) (більш просунутий). Інший популярний машинного навчання підручник Murphy (2012) .

Що стосується збагачену запитаних, результати в Ansolabehere і Херш (2012) Петля на двох основних етапів: 1) здатність Catalist об'єднати безліч розрізнених джерел даних , щоб зробити точну майстер - файл даних і 2) здатність Catalist зв'язати дані обстеження для його майстер-файл даних. Тому Ansolabehere і Херш перевірити кожен з цих кроків уважно.

Для створення майстер-файлу даних, Catalist об'єднує і гармонізує інформацію з безлічі різних джерел, включаючи: кілька записів голосу знімків з кожного стану, дані з поштового відділення Національного внесення змін до реєстру адрес, а також дані з інших невказаних комерційних провайдерів. Закривавлені деталі про те, як відбувається все це прибирання і злиття виходить за рамки цієї книги, але цей процес, незалежно від того, яким чином будуть поширюватися помилки у вихідних джерелах даних і привести до помилок. Хоча Catalist був готовий обговорити його обробку даних і забезпечити деякі з його вихідних даних, це було для дослідників переглянути весь конвеєр даних Catalist просто неможливо. Швидше за все, дослідники були в ситуації, коли файл даних Catalist мав якийсь невідомий, і, можливо, незбагненне, кількість помилок. Це викликає серйозну заклопотаність, оскільки критик міг би припустити, що великі відмінності між оглядовими доповідями про КУІС і поведінці в файлі основних даних Catalist були викликані помилками в файлі основних даних, а не недостовірної респондентів.

Ansolabehere і Херш прийняв два різних підходи до вирішення якості даних заклопотаність. По-перше, на додаток до порівняння самостійно повідомили голосування на голосування в майстер-файлі Catalist, дослідники порівняли самооцінка партії, раса, статус реєстрації виборців (наприклад, зареєстрований або незареєстрований) і метод голосування (наприклад, в обличчя, заочна бюлетенів і т.д.) для тих значень, знайдених в базах даних Catalist. Для цих чотирьох демографічних змінних, дослідники виявили набагато вищі рівні угоди між оглядового доповіді і даних в майстер-файлі Catalist, ніж для голосування. Таким чином, файл основних даних Catalist, як видається, мають високу якість інформації для цілей, відмінних голосування ознак, припускаючи, що вона не поганої якості в цілому. По-друге, в частині, використовуючи дані з Catalist, Ansolabehere і Херш розробила три різні заходи якості записів округу для голосування, і вони виявили, що розрахункова швидкість завищуючи голосування по суті не пов'язані з будь-якої з цих заходів якості даних, один важливий висновок, дозволяють припустити, що високі темпи надмірної звітності не активізовані по повітах з незвично низькою якістю даних.

З огляду на створення цього майстер-файлу для голосування, друге джерело можливих помилок пов'язує записи обстеження до нього. Наприклад, якщо цей зв'язок буде зроблено неправильно це може привести до завищеної оцінки різниці між даннимііоценкамі схваленого поведінки виборців (Neter, Maynes, and Ramanathan 1965) . Якщо кожна людина мала стабільний, унікальний ідентифікатор, який був в обох джерелах даних, то зв'язок буде тривіальним. У США і більшості інших країн, однак, не існує універсального ідентифікатора. Крім того, навіть якщо б такий ідентифікатор людей, ймовірно, не вирішуються, щоб забезпечити його обстежити дослідників! Таким чином, Catalist повинен був зробити зв'язок з використанням недосконалих ідентифікаторів, в даному випадку чотири частини інформації по кожному респонденту: ім'я, стать, рік народження і домашня адреса. Наприклад, Catalist повинен був вирішити, якщо Homie J Simpson в КУІС був той же чоловік, як Homer Jay Simpson в їх файлі основних даних. На практиці відповідності є складним і хаотичний процес, і, що ще гірше для дослідників, Catalist розглянув техніку відповідності, щоб бути приватною власністю.

Для підтвердження відповідності алгоритмів, вони спиралися на два завдання. По-перше, Catalist брав участь в узгоджувального конкурсі, який був запущений в незалежною третьою стороною: The Mitre Corporation. MITRE за умови, всім учасникам дві гучні файли даних, які будуть узгоджені, а також різні команди змагалися, щоб повернутися до MITRE найкращої відповідності. Тому що сама по собі MITRE знав правильне узгодження вони змогли забити команди. З 40 компаній, які змагалися, Catalist посів друге місце. Такого роду незалежною третьою стороною оцінки власної технології є досить рідкісним і неймовірно цінним; вона повинна дати нам упевненість в тому, що процедури узгодження Catalist є по суті на стані техніки. Але цей стан-оф-арт досить добре? На додаток до цього узгоджувального конкуренції, Ansolabehere і Херш створили свій власний відповідний виклик для Catalist. З попереднього проекту, Ansolabehere і Херш збирав записи виборців з Флориди. Вони забезпечили деякі з цих записів з деякими з їх полів відредагованих до Catalist, а потім в порівнянні звіти Catalist в цих областях до їх фактичних значень. На щастя, звіти Catalist були близькі до утриманих значень, вказуючи, що Catalist може відповідати часткові записи виборців на їх основний файл даних. Ці дві проблеми, одна третьою стороною і один Ansolabehere і Херш, дають нам більше впевненості в алгоритмів зіставлення Catalist, незважаючи на те, що ми не можемо розглянути їх точне виконання самих себе.

Там було багато попередніх спроб VALIDATE голосування. Для огляду цієї літератури, см Belli et al. (1999) і Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , і Hanmer, Banks, and White (2014) .

Важливо відзначити, що, хоча в даному випадку дослідники були натхнені якістю даних від Catalist, інші оцінки комерційних постачальників було менше ентузіазму. Дослідники виявили , погана якість , коли дані опитування до споживчого-файл з Marketing Systems Group (яка сама по собі злилися воєдино дані з трьох провайдерів: Acxiom, Experian і InfoUSA) (Pasek et al. 2014) і (Pasek et al. 2014) . Тобто, файл даних не збігаються відповіді на опитування, що дослідники, як очікується, буде правильно, файл даних були відсутні дані для великої кількості питань, і відсутнього шаблон даних корелювало з повідомленої вартості обстеження (іншими словами, відсутність даних носило систематичний характер , а не випадковим чином).

Більш детальну інформацію про зв'язок між компанією звукозапису обстежень і адміністративних даних, див Sakshaug and Kreuter (2012) і Schnell (2013) . Більш детальну інформацію про звукозаписної зв'язку в цілому, см Dunn (1946) і Fellegi and Sunter (1969) (історичне) і Larsen and Winkler (2014) (сучасний). Аналогічні підходи були також розроблені в інформатиці під такими назвами, як дедуплікаціі даних, ідентифікації , наприклад, зіставлення імен, виявлення дублікатів, і дублювати запис виявлення (Elmagarmid, Ipeirotis, and Verykios 2007) . Є також конфіденційність збереження підходів до запису зв'язку , які не вимагають передачі особисту інформацію (Schnell 2013) . Дослідники в Facebook розробили процедуру probabilisticsly зв'язати свої записи з поведінкою голосування (Jones et al. 2013) і (Jones et al. 2013) ; цей зв'язок була зроблена , щоб оцінити експеримент , який я вам розповім в розділі 4 (Bond et al. 2012) і (Bond et al. 2012) .

Інший приклад ув'язки великомасштабного соціального обстеження для державних адміністративних записів походить від охорони здоров'я і пенсійного обстеження і Адміністрації соціального забезпечення. Більш детальну інформацію про дане дослідження, включаючи інформацію про процедуру отримання згоди см Olson (1996) і Olson (1999) .

Процес об'єднання багатьох джерел адміністративних записів в майстер-файлу даних процесу, який Catalist співробітників-часто зустрічається в статистичних управлінь деяких національних урядів. Два дослідники з Статистичного управління Швеції написав докладну книгу по цій темі (Wallgren and Wallgren 2007) . Як приклад такого підходу в одному графстві в Сполучених Штатах (Olmstead Каунті, штат Міннесота; будинки з клініки Майо), см Sauver et al. (2011) і Sauver et al. (2011) . Більш детальну інформацію про помилки , які можуть з'являтися в адміністративних записах см Groen (2012) .