Допълнителна коментар

Този раздел е предназначен да се използва като отправна точка, а не да се чете като разказ.

• Въведение (раздел 3.1)

Много от темите в тази глава са и отекна в последните президентски Адреси на Американската асоциация за изследване на общественото мнение (AAPOR), като Dillman (2002) , Newport (2011) , Santos (2014) , и Link (2015) .

За повече исторически фон за развитието на научните изследвания проучване, вижте Smith (1976) и Converse (1987) . За повече информация относно идеята на три епохи на изследователското, вижте Groves (2011) и Dillman, Smyth, and Christian (2008) (който разчупва трите епохи малко по-различно).

Пикът вътре в прехода от първата към втората ера в изследователското е Groves and Kahn (1979) , което прави подробен главата до главата сравнение между едно лице-в-лице и телефонно проучване. Brick and Tucker (2007) поглежда назад в историческото развитие на случаен цифрени методи за вземане на проби за набиране.

За повече как изследване изследвания се е променило в миналото в отговор на промените в обществото, вижте Tourangeau (2004) , Mitofsky (1989) , и Couper (2011) .

• Питам vs. спазване (раздел 3.2)

Обучение за вътрешни състояния чрез задаване на въпроси може да бъде проблематично, защото понякога самите респонденти не са запознати със своите вътрешни състояния. Например, Nisbett and Wilson (1977) има една прекрасна книга с емоционален заглавие: "казвам повече, отколкото ние можем да знаем:. Устни доклади за психични процеси" В статията авторите заключават: "индивиди са понякога (а) не знаят за съществуване на стимул, че важното е повлиян отговор, (б) не знаят за съществуването на отговора, и (в) не знае, че стимулът е засегнала отговора. "

За аргументи, че изследователите трябва да предпочитат наблюдава поведение да съобщи поведение или нагласи, вижте Baumeister, Vohs, and Funder (2007) (психология) и Jerolmack and Khan (2014) и отговори (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (социология). Разликата между пита и спазване възниква също и в областта на икономиката, където изследователи говорят за заявените и разкриха предпочитания. Например, един изследовател може да попита участниците дали те предпочитат да ядат сладолед или ще фитнес (заявените предпочитания) или изследването може да се наблюдава как често хората ядат сладолед и отидете на фитнес (разкриха преференции) на. Има дълбок скептицизъм от някои видове, посочени данни предпочитания в областта на икономиката (Hausman 2012) .

Основна тема от тези дебати е този, съобщен поведение не винаги е точна. Но, автоматично записва поведение не може да бъде точна, не може да се събира въз основа на извадка от интерес, и не могат да бъдат достъпни за изследователите. По този начин, в някои ситуации, мисля, че отчетения поведение може да бъде полезно. По-нататък, а втората основна тема от тези дебати е, че докладите за емоции, знания, очаквания и мнения не винаги са точни. Но, ако са необходими информация за тези вътрешни състояния от изследователи-или да помогне да се обясни някои поведение или като нещо, което да бъде обяснено-после пита може да бъде подходящо.

• Общо грешка проучване (раздел 3.3)

За лечение дължина книга за общата грешка проучване, вижте Groves et al. (2009) или Weisberg (2005) . За историята на развитието на общата грешка проучване, вижте Groves and Lyberg (2010) .

По отношение на представителство, голямо въведение към проблемите на липсата на отговор и пристрастия на липсата на отговор е доклад на Националния съвет за научни изследвания за липса на отговор в областта на социалната наука Проучвания: A изследователска програма (2013) . Друг полезен преглед се осигурява от (Groves 2006) . Също така, цели специални броеве на вестник на официалната статистика, на общественото мнение Quarterly, и аналите на Американската академия по политически и социални науки са били публикувани по темата за липсата на отговор. И накрая, всъщност има много различни начини за изчисляване на степента на отговор; тези подходи са описани подробно в доклад на Американската асоциация на общественото мнение на учените (AAPOR) (Public Opinion Researchers} 2015) .

1936 Литературен преглед анкетата The е проучен в детайли (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Той също е бил използван като притча, за да предупреди срещу случаен събиране на данни (Gayo-Avello 2011) . През 1936 г. Джордж Галъп използва по-усъвършенствана форма на вземане на проби, и е в състояние да произвежда по-точни прогнози с много по-малка проба. Успех на Gallup над Литературен преглед на беше крайъгълен камък за развитието на научните изследвания изследване (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

От гледна точка на измерване, страхотно първо ресурс за проектиране на въпросници е Bradburn, Sudman, and Wansink (2004) . За по-напреднала обработка фокусиран специално върху отношението на въпроса, вижте Schuman and Presser (1996) . Още по въпроса предварително тестване е достъпно в Presser and Blair (1994) , Presser et al. (2004) , и Глава 8 от Groves et al. (2009) .

Лечението с класически, книга дължина на компромис между разходите за предварителни проучвания и грешки проучването е Groves (2004) .

• Кой да попитам (раздел 3.4)

Classic лечение книга дължина на стандартната случайни извадки и оценка са Lohr (2009) (по-уводна) и Särndal, Swensson, and Wretman (2003) (по-напреднали). Един класически лечение книга дължина на пост-стратификация и свързаните с тях методи е Särndal and Lundström (2005) . В някои цифрови настройки възрастови, изследователи знаят доста за не-респонденти, което не е често вярно в миналото. Различни форми на регулиране на неотговорилите са възможни, когато изследователи имат информация за не-респонденти (Kalton and Flores-Cervantes 2003; Smith 2011) .

Изследването Xbox на Wang et al. (2015) използва техника, наречена многостепенното регресия и пост-стратификация (MRP, понякога се нарича "Mister P"), която позволява на изследователите да смятат, клетка означава, дори когато има много, много клетки. Въпреки че има някои дебат за качеството на оценките от тази техника, тя изглежда като обещаваща област, за да се изследват. Техниката се използва за първи път в Park, Gelman, and Bafumi (2004) , и е налице последващо използване и дебат (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . За повече информация относно връзката между отделните тегла и на основата на клетки тежести видите Gelman (2007) .

За други подходи за претегляне на уеб изследвания, виж Schonlau et al. (2009) , Valliant and Dever (2011) , и Bethlehem (2010) .

Съвпадение на извадката беше предложен от Rivers (2007) . Bethlehem (2015) твърди, че изпълнението на пробата съвпадение всъщност ще бъде подобно на други подходи за вземане на проби (например, стратифицирана за вземане на проби) и други подходи за регулиране (например, пост-стратификация). За повече информация относно онлайн панели, вижте Callegaro et al. (2014) .

Понякога изследователите са открили, че случайни извадки и неслучайни извадки, дават оценки на подобно качество (Ansolabehere and Schaffner 2014) , но други сравнения са установили, че не са случайни извадки правят по-лоши (Malhotra and Krosnick 2007; Yeager et al. 2011) . Една от възможните причини за тези разлики е, че не са случайни извадки са се подобрили с течение на времето. За по-песимистична от методи не-случайни извадки видите Специалната група за AAPOR на Non-случайни извадки (Baker et al. 2013) , и аз също препоръчвам четене на коментара, че следва обобщения доклад.

За мета-анализ на ефекта на претегляне за намаляване пристрастия в не-случайни извадки, виж таблица 2.4 в Tourangeau, Conrad, and Couper (2013) , което води авторите да сключи "корекции изглеждат полезни, но грешни корекции. , . "

• Как да попитам (раздел 3.5)

Conrad and Schober (2008) осигурява редактирана обем озаглавена предвиждащи проучването Интервю на бъдещето, и то отговаря на много от темите в този раздел. Couper (2011) разглежда подобни теми, и Schober et al. (2015) предлага хубав пример за това как методи за събиране на данни, които са съобразени с нова настройка може да доведе до по-високи качествени данни.

За още един интересен пример за използване на Facebook приложения за проучвания на социалните науки, вижте Bail (2015) .

За повече съвети за вземане на изследвания приятно и ценен опит за участниците, вижте работа по проектиране метод Индивидуални (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) предлага лечение дължина книга на екологична моментна оценка и свързани методи.

• Проучвания, свързани с други данни (раздел 3.6)

Judson (2007) описва процеса на комбиниране на проучвания и административни данни, като "информация интеграция," обсъжда някои предимства на този подход, и предлага някои примери.

Друг начин, че учените могат да използват цифрови следи и административни данни е рамка за вземане на проби за хора със специфични характеристики. Въпреки това, достъп до тези записи да бъдат използвани рамка за вземане на проби, може да създаде въпроси, свързани с неприкосновеността на личния живот (Beskow, Sandler, and Weinberger 2006) .

Относно усилва питам, този подход не е толкова нова, тъй като може да се появи от това как съм го описва. Този подход има дълбоки връзки към три големи области в статистиката-модел на базата на пост-стратификация (Little 1993) , вменяване (Rubin 2004) , и малка оценка площ (Rao and Molina 2015) . Той също така се отнася до използването на заместители на променливи в медицински изследвания (Pepe 1992) .

В допълнение към етичните въпроси, свързани с достъпа до цифровите данни следи, усилва исканата също биха могли да бъдат използвани, за да се направи извод, чувствителни черти, които хората могат да решат да не се разкрие в проучване (Kosinski, Stillwell, and Graepel 2013) .

Оценките на разходите и времето в Blumenstock, Cadamuro, and On (2015) се отнасят повече към променлива цена на цената на един допълнителен проучване-и не включват фиксирани разходи, като например разходите за почистване и обработка на данни за повикване. Като цяло, усилва исканата вероятно ще имат високи постоянни разходи и ниски променливи разходи, подобни на дигитални експерименти (виж глава 4). Повече подробности за данните, използвани в Blumenstock, Cadamuro, and On (2015) хартия са в Blumenstock and Eagle (2010) и Blumenstock and Eagle (2012) . Подходи от множествена imputuation (Rubin 2004) могат да помогнат несигурност улавяне в оценки от усилва имота. Ако изследователи извършвайки усилва иска само грижа за съвкупните брои, а не на индивидуално равнище черти, а след това на подходите в King and Lu (2008) и Hopkins and King (2010) могат да бъдат полезни. За повече информация за подходите за машинно обучение в Blumenstock, Cadamuro, and On (2015) , вижте James et al. (2013) (повече уводни) или Hastie, Tibshirani, and Friedman (2009) (по-напреднали). Друг популярен учебник машинно обучение е Murphy (2012) .

Относно обогатен питам, резултатите в Ansolabehere и Хърш (2012) панта на две основни стъпки: 1) способността на Catalist да се комбинират много коренно различни източници на данни, за да се получи точна майстор файл от данни и 2) способността на Catalist да се свържат данните от проучването на му господар файл от данни. Ето защо, Ansolabehere и Хърш провери всяка от тези стъпки внимателно.

За създаване на главния файл от данни, Catalist съчетава и хармонизира информация от много различни източници, включително: няколко записа на глас снимки от всеки щат, данни от Националния промяна на адреса Registry Пощата, а данни от други неуточнени търговски доставчици. Кървави подробности за това как всичко това почистване и сливане се случва, са извън обхвата на тази книга, но този процес, без значение колко внимателни, ще се разпространяват грешки в първоначалните източници на данни и ще въведе грешки. Въпреки Catalist е готов да обсъди неговата обработка на данни и предоставяне на някои от суровините си данни, това е просто невъзможно за изследователите да направят преглед на целия газопровод данни Catalist. Вместо това, учените са били в ситуация, когато файлът данни на Catalist имаше някои неизвестни, а може би и непознаваем, количество на грешка. Това е сериозен проблем, тъй като критик може да се спекулира, че големите различия между докладите за проучване за CCES и поведението в файл основни данни на Catalist са били причинени от грешки във файла с основни данни, не чрез невярно декларирани данни от респондентите.

Ansolabehere и Хърш взе две различни подходи за справяне с опасенията във връзка с качеството на данните. Първо, в допълнение към сравняване на респондентите за гласуване, за да гласуват в основната документация Catalist, учените също сравняват респондентите страна, раса, статус регистрация на избирателите (например, регистрирани или не са регистрирани) и метод на гласуване (например, в човек, отсъстващ гласуване и т.н.) към тези ценности, намиращи се в базите данни Catalist. За тези четири демографски променливи, изследователите са открили, много по-високи нива на споразумение между доклад проучване и данни в основната документация Catalist отколкото за гласуване. Така файл основни данни на Catalist изглежда да има високо качество информация за черти, различни от гласуване, което предполага, че тя не е с лошо качество като цяло. На второ място, в част, използвайки данни от Catalist, Ansolabehere и Хърш разработи три различни мерки за качество на записа окръг на глас, и те установиха, че установеният процент на над-отчитане на гласуването по същество не е свързана с някоя от тези мерки за качество на данните, се установи, че предполагат, че високите темпове на над-отчетния не се движи по окръзи с необичайно ниско качество на данните.

Като се има предвид създаването на този главен файл гласуване, вторият източник на потенциални грешки, е свързването на регистрите от проучването за него. Например, ако тази връзка е направено неправилно това може да доведе до прекомерно оценка на разликата между отчетната и валидирани поведение гласуване (Neter, Maynes, and Ramanathan 1965) . Ако всеки човек имаше стабилен, единен идентификационен код, който беше и в двата източника на данни, след което връзката ще бъде тривиално. В другите страни, САЩ и повечето, обаче, не съществува универсален идентификатор. Освен това, дори ако имаше такъв идентификатор хора вероятно ще се въздържат да го предостави за проучване изследователите! По този начин, Catalist трябваше да направи връзката с помощта на несъвършени идентификатори, в този случай четири парчета на информация за всеки респондент: име, пол, година на раждане, и на домашния адрес. Например, Catalist трябваше да реши дали Homie J Симпсън в CCES е едно и също лице, тъй като Омир Джей Симпсън в досието им основни данни. На практика, съвпадение е труден и объркан процес, и, за да направим нещата по-лошо за изследователите, Catalist счита своята съвпадение техника, за да бъде защитена.

С цел да се валидира на съвпадение на алгоритми, те се позовават на две предизвикателства. Първо, Catalist участвал в едно съвпадение на конкуренцията, която се управлява от независим, от трета страна: на MITRE Corporation. MITRE условие всички участници две шумни файлове с данни да бъдат съчетани и различни отбора премериха сили да се върне в MITRE на най-доброто съчетаване. Защото самата MITRE знаеше правилното съчетаване те са били в състояние да вкара топката. От 40-те компании, които се състезаваха, Catalist зае второ място. Този вид независим, от трета страна за оценка на фирмената технология е доста рядко и невероятно ценно; тя трябва да ни даде увереност, че съвпадение на процедури Catalist са по същество в състоянието на най-съвременните. Но е състоянието на най-съвременните достатъчно добър? В допълнение към това съвпадение на конкуренцията, Ansolabehere и Хърш създали свои собствени съвпадение предизвикателство за Catalist. От ранна проект, Ansolabehere и Хърш бяха събрани избирателните записи от Флорида. Те условие някои от тези записи с някои от своите области редактирани, за да Catalist и след това сравняват доклади на тези полета към техните реални стойности Catalist му. За щастие, доклади Catalist бяха близки до удържани стойности, което показва, че Catalist може да съвпада с частични записи избирателните върху техния файл основни данни. Тези две предизвикателства, едно от гражданин на трета страна и един от Ansolabehere и Хърш, ни дават по-голяма увереност в съвпадение на алгоритми Catalist, въпреки че не можем да се преразгледа точното им прилагане.

Имало е много предишни опити да се валидират гласуване. За преглед на тази литература, виж Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , и Hanmer, Banks, and White (2014) .

Важно е да се отбележи, че въпреки че в този случай изследователите са били окуражени от качеството на данните от Catalist, други оценки на търговски доставчици са били по-малко ентусиазирани. Изследователите са установили, лошо качество, когато данните от проучване на потребителското-файл от Marketing Systems Group (което само по себе обединени заедно данни от трите доставчици: Acxiom, Experian, и InfoUSA) (Pasek et al. 2014) . Това означава, че базата данни не съвпадат отговорите от проучването, че изследователите се очаква да бъде вярна, на файл от данни бяха липсващи данни за голям брой въпроси, и липсва модел на данните е свързано с докладвани стойност проучване (с други думи липсващите данни е систематичен , не случайна).

За повече информация относно рекорд връзка между проучвания и административни данни, виж Sakshaug and Kreuter (2012) и Schnell (2013) . За повече информация относно рекорд връзка като цяло, виж Dunn (1946) и Fellegi and Sunter (1969) (исторически) и Larsen and Winkler (2014) (модерен). Подобни подходи са разработени също по компютърни науки под имената като дедупликация на данни, идентификация, например, име съвпадение, дубликат откриване и дублират рекорд откриване (Elmagarmid, Ipeirotis, and Verykios 2007) . Има и неприкосновеността на личния живот запазване подходи за записване на връзката, които не изискват предаването на лично идентифицираща информация (Schnell 2013) . Изследователи от Facebook, разработени на процедура за probabilisticsly свържат своите записи за поведение гласуване (Jones et al. 2013) ; тази връзка се прави, за да се оцени един експеримент, който аз ще ви кажа за в глава 4 (Bond et al. 2012) .

Друг пример за свързване на мащабна социално проучване на държавни административни записи идва от здраве и пенсиониране обзор и Администрация за социално осигуряване. За повече информация относно това проучване, включително и информация за процедурата по даване на съгласие, вижте Olson (1996) и Olson (1999) .

Процесът на комбиниране на много източници на административни записи в майстор файл от данни-процеса, който Catalist служители-е често срещана в статистическите служби на някои национални правителства. Двама изследователи от Статистика Швеция са написани подробно книга по темата (Wallgren and Wallgren 2007) . За пример на този подход в един окръг в САЩ (Олмстед, Минесота; дома на клиниката Майо), виж Sauver et al. (2011) . За повече информация относно грешките, които могат да се появят в административни записи, вижте Groen (2012) .