Що слід читати далі

• Введення (розділ 3.1)

Багато тематик цього розділу також було відображено в останніх заявах президента США в Американській асоціації досліджень громадської думки (AAPOR), такими як Dillman (2002) , Newport (2011) , Santos (2014) та Link (2015)

Більш детальну інформацію про відмінності між опитуваннями та глибинними інтерв'ю див. На Small (2009) . Що стосується поглиблених інтерв'ю, це сімейство підходів, що називаються етнографією. В етнографічних дослідженнях дослідники зазвичай проводять значно більше часу з учасниками природного середовища. Більш детальну інформацію про відмінності між етнографією та глибинними інтерв'ю див. У статті Jerolmack and Khan (2014) . Більш детальну інформацію про цифрову етнографію див. У статті Pink et al. (2015) . Pink et al. (2015) .

Мій опис історії дослідницьких досліджень надто короткий, щоб врахувати багато цікавих подій, що відбулися. Більш історичний фон див. У Smith (1976) , Converse (1987) та Igo (2008) . Більш детальну інформацію про ідею трьох епох дослідницьких досліджень див. У статті Groves (2011) та Dillman, Smyth, and Christian (2008) що трохи по-різному розбиває три епохи.

Groves and Kahn (1979) пропонують заглянути в перехід від першої до другої епохи у дослідницьких дослідженнях шляхом детального порівняння між обличчям до обличчя та телефонного опитування. ( ??? ) повернемося назад до історичного розвитку методів вибіркового набору методом випадковим цифровим набором.

Щоб дізнатись, як раніше в дослідженні дослідження змінилося суспільство, див. Tourangeau (2004) , ( ??? ) та Couper (2011) .

• Прохання проти спостереження (розділ 3.2)

Baumeister, Vohs, and Funder (2007) та слабкі сторони питань і спостережень обговорювалися психологами (наприклад, Baumeister, Vohs, and Funder (2007) ) та соціологами (наприклад, Jerolmack and Khan (2014) , Maynard (2014) , Cerulo (2014) , Vaisey (2014) , Jerolmack and Khan (2014) ] Jerolmack and Khan (2014) відмінність між запитанням та спостереженням також виникає в економіці, де дослідники говорять про задекларовані та виявлені переваги. Наприклад, дослідник міг би попросити респондентів, чи вони вважають за краще їсти морозиво або йти до тренажерного залу (зазначені переваги), або можна спостерігати, як часто люди їдять морозиво та йдуть до тренажерного залу (виявлені переваги). Існує глибокий скептицизм щодо деяких типів заявлених переваг даних в економіці, як описано в Hausman (2012) .

Основною темою цих дискусій є те, що поведінка, яку повідомляють, не завжди точна. Але, як було описано в розділі 2, великі джерела даних можуть бути неточними, вони не можуть бути зібрані на вибірці, і вони можуть бути недоступними для дослідників. Таким чином, я думаю, що в деяких ситуаціях поведінка може бути корисною. Крім того, друга основна тема з цих дебатів полягає в тому, що повідомлення про емоції, знання, очікування та думки не завжди точні. Але якщо інформація про ці внутрішні стани потрібна дослідникам - чи то для того, щоб допомогти пояснити якусь поведінку чи як пояснити, то запитання може бути доречним. Звичайно, вивчення внутрішніх станів шляхом запитання питань може бути проблематичним, оскільки іноді самі респонденти не знають про свої внутрішні стану (Nisbett and Wilson 1977) .

• Загальна помилка обстеження (розділ 3.3)

Глава 1 Groves (2004) робить чудову роботу, яка збігається з періодично суперечливою термінологією, яку використовують дослідники опитування, щоб описати загальну структуру помилок опитування. Для обробки довжини книги загальної помилки в огляді див. Groves et al. (2009) , а також для історичного огляду див. Groves and Lyberg (2010) .

Ідея розбити помилки на упередженість та дисперсію також виникає в процесі машинного навчання; див., наприклад, в розділі 7.3 Hastie, Tibshirani, and Friedman (2009) . Це часто призводить дослідників до розмови про "компроміс упередженості".

З точки зору представництва, чудовим уявленням про проблеми невідповідності та відхилення від відповіді є Національна науково-дослідна рада "Невідповідність у дослідженні соціальних досліджень: Дослідницька програма" (2013) . Ще один корисний огляд представлений Groves (2006) . Також було опубліковано цілі спеціальні випуски журналу офіційної статистики , квартальної думки громадськості та літопису Американської академії політичних та суспільних наук про невідповідність. Нарешті, насправді існує безліч різних способів обчислення рівня відповіді; ці підходи детально описані в доповіді Американської асоціації дослідників громадського духу (AAPOR) ( ??? ) .

Докладніше про опитування літературного дайджесту 1936 см. Bryson (1976) , Squire (1988) , Cahalan (1989) та Lusinchi (2012) . Ще одне обговорення цього опитування як притчі про запобігання випадковому збору даних див. Gayo-Avello (2011) . У 1936 році Джордж Геллуп використовував більш складну форму відбору зразків і міг зробити більш точні оцінки з набагато меншою вибіркою. Успіх Геллапа над літературним дайджестом став віхою в розробці дослідницьких досліджень, як це описано у главі 3 @ converse_survey_1987; глава 4 " Ohmer (2006) ; і глава 3 @ igo_averaged_2008.

З точки зору вимірів, першим ресурсом для розробки анкетування є Bradburn, Sudman, and Wansink (2004) . Більш просунуті методи лікування див. У статті Schuman and Presser (1996) , яка спеціально зосереджена на питаннях ставлення, а Saris and Gallhofer (2014) , що є більш загальним. Дещо інший підхід до вимірювання приймається в психометрії, як описано в ( ??? ) . Детальніше про попередній тестування можна отримати у Presser and Blair (1994) , Presser et al. (2004) , а також глава 8 Groves et al. (2009) . Детальніше про дослідницькі експерименти див. У статті Mutz (2011) .

З точки зору вартості, класичне, довготривале ставлення до компромісу між вартістю опитування та помилками опитування є Groves (2004) .

• Хто запитати (розділ 3.4)?

Дві класичні методи обробки стандартної ймовірнісної вибірки та оцінки - Lohr (2009) (більш вступний) і Särndal, Swensson, and Wretman (2003) (більш розвинені). Класична Särndal and Lundström (2005) обробка пост-стратифікації та споріднених методів - це Särndal and Lundström (2005) . У деяких налаштуваннях цифрового віку дослідники знають небагато про невідповідників, що раніше не було правдою. Різні форми корекції безвідповідальності можливі, коли дослідники отримують інформацію про невідповідників, як це описано Kalton and Flores-Cervantes (2003) та Smith (2011) .

Дослідження Xbox W. Wang et al. (2015) використовує методику, яка називається багаторівневою регресією та пост-стратифікацією ("р-н П."), що дозволяє дослідникам оцінювати групові кошти, навіть якщо є багато, багато груп. Хоча існує дебати про якість оцінок за допомогою цієї методики, здається, що це перспективна область для вивчення. Ця техніка вперше була використана в Park, Gelman, and Bafumi (2004) , і в подальшому було використано та обговорено (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Більш детальну інформацію про зв'язок між окремими вагами та груповими вагами див. У статті Gelman (2007) .

Для інших підходів до оцінки веб-опитувань див. Schonlau et al. (2009) , Bethlehem (2010) та Valliant and Dever (2011) . Онлайнові панелі можуть використовувати як вибірку ймовірності, так і вибіркові зразки. Більш детальну інформацію про онлайн панелі див. Callegaro et al. (2014) .

Іноді дослідники встановили, що зразки імовірності та зразки невизначеності дають оцінки аналогічної якості (Ansolabehere and Schaffner 2014) , але інші порівняння показали, що зразки (Malhotra and Krosnick 2007; Yeager et al. 2011) мають гірше (Malhotra and Krosnick 2007; Yeager et al. 2011) . Одна з можливих причин цих розбіжностей полягає в тому, що вибіркові зразки з імовірністю з часом поліпшуються. Для більш песимістичного погляду на методи збору непідозведених зразків див. Цільову групу AAPOR з вибірки небаданих (Baker et al. 2013) , і я також рекомендую прочитати коментар, який слідує за підсумковим звітом.

• Як запитати (розділ 3.5)

Conrad and Schober (2008) - це редагований збірник « Представлення оглядового інтерв'ю про майбутнє» , який пропонує різні точки зору щодо майбутнього запитання. Couper (2011) звертається до аналогічних тем, і Schober et al. (2015) це приклад того, як способи збору даних, адаптовані до нового налаштування, можуть призвести до отримання якісних даних. Schober and Conrad (2015) пропонують більш загальний аргумент про те, щоб продовжувати коректувати процес опитування для відповідності змінам у суспільстві.

Tourangeau and Yan (2007) розглядають проблеми упередженості соціальної доцільності в делікатних питаннях, і Lind et al. (2013) пропонують деякі можливі причини, чому люди можуть розкривати більш конфіденційну інформацію в інтерв'ю, що проводиться комп'ютером. Більш детальну інформацію про роль інтерв'юерів в роботі зі збільшенням кількості участі в опитуваннях див. У Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) та Schaeffer et al. (2013) . Докладніше про опитування в змішаному режимі див. Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) пропонують довготривалу обробку екологічної моментальної оцінки та відповідних методів.

Щоб отримати додаткові поради щодо створення опитувань приємним та цінним досвідом для учасників, ознайомтеся з роботою над методом спеціального дизайну (Dillman, Smyth, and Christian 2014) . Ще один цікавий приклад використання додатків Facebook для опитувань соціальних досліджень див. У статті Bail (2015) .

• Опитування, пов'язані з великими джерелами даних (розділ 3.6)

Judson (2007) описує процес об'єднання опитувань та адміністративних даних як "інтеграції інформації" та обговорює деякі переваги цього підходу, а також пропонує деякі приклади.

Що стосується збагаченого запиту, то було багато попередніх спроб підтвердити голосування. Огляд цієї літератури див. У Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) , а також Berent, Krosnick, and Lupia (2016) . Перегляньте Berent, Krosnick, and Lupia (2016) за більш скептичним поглядом на результати, представлені в Ansolabehere and Hersh (2012) .

Важливо зазначити, що хоча Ansolabehere та Hersh були заохочені якістю даних від Catalist, інші оцінки комерційних постачальників були менш ентузіастичними. Pasek et al. (2014) виявили низьку якість, коли дані з опитування були порівняні з споживчим файлом від Marketing Systems Group (яка об'єднала дані трьох постачальників: Acxiom, Experian та InfoUSA). Тобто файл даних не збігся з результатами опитування, які дослідники вважали правильними, в споживчому файлі відсутні дані для великої кількості питань, а відсутній шаблон даних був співвіднесений з показником опитування (іншими словами, відсутніми дані були систематичними, а не випадковими).

Додаткові відомості про зв'язок між опитуваннями та адміністративними даними див. Sakshaug and Kreuter (2012) та Schnell (2013) . Більш детальну інформацію про зв'язок в цілому див. Dunn (1946) Fellegi and Sunter (1969) (історичний) та Larsen and Winkler (2014) (сучасні). Подібні підходи також були розроблені в області комп'ютерних наук за такими іменами, як дедупликація даних, ідентифікація екземплярів, збіг імен, виявлення дублікатів і виявлення повторюваних записів (Elmagarmid, Ipeirotis, and Verykios 2007) . Існують також підходи до збереження конфіденційності для запису зв'язків, які не вимагають передачі особистої інформації (Schnell 2013) . Дослідники на Facebook розробили процедуру, яка, можливо, пов'язуватиме свої записи з поведінкою щодо голосування (Jones et al. 2013) ; це зв'язок було зроблено для оцінки експерименту, який я розповім вам у розділі 4 (Bond et al. 2012) . Більш детальну інформацію про отримання згоди на реєстрацію зв'язку див. Sakshaug et al. (2012) .

Інший приклад пов'язування великомасштабного соціального опитування з державними адміністративними записами походить від Охорони здоров'я та виходу на пенсію та Адміністрації соціального забезпечення. Детальніше про це дослідження, включно з інформацією про процедуру згоди, див. Olson (1996, 1999) .

Процес об'єднання багатьох джерел адміністративних записів у головний файл даних - процес, який використовує Каталіст - є загальним у статистичних управліннях деяких національних урядів. Два дослідники із Статистики Швеції написали докладну книгу на цю тему (Wallgren and Wallgren 2007) . Для прикладу цього підходу в одному окрузі США (округ Олмстед, штат Міннесота, будинок клініки Майо) див. Sauver et al. (2011) . Додаткові відомості про помилки, які можуть відображатися в адміністративних записах, див. У статті Groen (2012) .

Інший спосіб, за допомогою якого дослідники можуть використовувати великі джерела даних у дослідницьких дослідженнях, є рамкою вибірки для людей з певними характеристиками. На жаль, цей підхід може піднімати питання, пов'язані з конфіденційністю (Beskow, Sandler, and Weinberger 2006) .

Що стосується посилених питань, то цей підхід не є таким новим, як може виникнути з того, як я описав це. Вона має глибокі зв'язки з трьома великими областями статистики: модельна пост-стратифікація (Little 1993) , обчислення (Rubin 2004) та оцінка невеликої площі (Rao and Molina 2015) . Це також пов'язано з використанням сурогатних змінних в медичних дослідженнях (Pepe 1992) .

Blumenstock, Cadamuro, and On (2015) вартості та часу в Blumenstock, Cadamuro, and On (2015) більше стосується змінних витрат - вартість одного додаткового опитування - і не включає фіксовані витрати, такі як вартість очищення та обробки даних дзвінка. Загалом, посилене запитання, ймовірно, матиме високі фіксовані витрати та низькі змінні витрати, подібні до цифрових експериментів (див. Розділ 4). Детальніше про опитування на мобільних телефонах в країнах, що розвиваються, див. Dabalen et al. (2016) . Dabalen et al. (2016) .

Щоб отримати уявлення про те, як зробити посилене запитання краще, я рекомендую більше дізнатись про декілька приписів (Rubin 2004) . Крім того, якщо дослідники посилюють запит про сукупність підрахунків, а не від рис особистого рівня, то підходи в King and Lu (2008) і Hopkins and King (2010) можуть бути корисними. Нарешті, щоб дізнатись більше про підходи до машинного навчання в Blumenstock, Cadamuro, and On (2015) , див. James et al. (2013) (більш вступний) або Hastie, Tibshirani, and Friedman (2009) (більш розвинена).

Одне етичне питання щодо посиленого запитання полягає в тому, що він може використовуватися для виявлення чутливих рис, які люди не можуть вибирати, як Kosinski, Stillwell, and Graepel (2013) в опитуванні, як це описано в Kosinski, Stillwell, and Graepel (2013) .