Какво да прочетете по-нататък

• Въведение (раздел 3.1)

Много от темите в тази глава бяха отразени и в неотдавнашните президентски адреси на Американската асоциация за изследване на общественото мнение (AAPOR), като тези на Dillman (2002) , Newport (2011) , Santos (2014) и Link (2015) .

За повече информация относно различията между проучването на проучвания и задълбочените интервюта, вижте Small (2009) . Свързано с задълбочените интервюта е семейство подходи, наречени етнография. В етнографските изследвания изследователите обикновено прекарват много повече време с участниците в естествената си среда. За повече информация относно разликите между етнографията и задълбочените интервюта вижте Jerolmack and Khan (2014) . Повече за цифровата етнография вижте Pink et al. (2015) .

Моето описание на историята на проучването на проучванията е твърде кратко, за да включи много от вълнуващите събития, които са се случили. За повече исторически сведения вижте Smith (1976) , Converse (1987) и Igo (2008) . За повече информация относно идеята за три епохи на изследването, вижте Groves (2011) и Dillman, Smyth, and Christian (2008) (което разделя трите ерони малко по-различно).

Groves and Kahn (1979) предлагат поглед в прехода от първата до втората ера в проучването на изследванията, като правят подробно сравнение "от главата до главата" между лице в лице и телефонно проучване. ( ??? ) погледнете назад към историческото развитие на методите за вземане на проби на случаен принцип.

За повече информация как научните изследвания в миналото са се променили в отговор на промените в обществото, вижте Tourangeau (2004) , ( ??? ) и Couper (2011) .

• Задаване срещу наблюдение (раздел 3.2)

Силните и слабите страни на иска и спазването бяха обсъждани от психолози (напр Baumeister, Vohs, and Funder (2007) ) и социолози (например, Jerolmack and Khan (2014) ; Maynard (2014) ; Cerulo (2014) ; Vaisey (2014) , Jerolmack and Khan (2014) ] Разликата между запитване и наблюдение възниква и в икономиката, където изследователите говорят за декларирани и разкрити предпочитания.Например, един изследовател може да попита респондентите дали предпочитат да ядат сладолед или да ходят на фитнес (заявени предпочитания), или може да наблюдава колко често хората ядат сладолед и отиват в салона (разкриват предпочитания). Съществува дълбок скептицизъм относно някои видове декларирани предпочитания в икономиката, както е описано в Hausman (2012) .

Основна тема от тези дебати е, че докладваното поведение не винаги е точно. Но, както е описано в глава 2, големи източници на данни може да не са точни, те не могат да бъдат събирани на извадка от интерес и те може да не са достъпни за изследователи. По този начин мисля, че в някои ситуации докладваното поведение може да бъде полезно. Освен това втора основна тема от тези дебати е, че отчетите за емоции, знания, очаквания и мнения невинаги са точни. Но ако изследователите имат нужда от информация за тези вътрешни състояния - или за да обяснят някакво поведение или за да бъдат обяснени - тогава искането може да е подходящо. Разбира се, изучаването на вътрешните държави чрез задаване на въпроси може да бъде проблематично, защото понякога самите респонденти не са наясно с вътрешните си държави (Nisbett and Wilson 1977) .

• Обща грешка в проучването (раздел 3.3)

Глава 1 от Groves (2004) прави отлична работа, съчетавайки понякога несъгласуваната терминология, използвана от изследователите, за да опише общата рамка за грешки в изследването. За обработка на цялата продължителност на общата грешка в изследването вижте Groves et al. (2009) , а за исторически преглед вижте Groves and Lyberg (2010) .

Идеята за разлагане на грешките в пристрастия и дисперсия също се появява в машинното обучение; вж. например раздел 7.3 от Hastie, Tibshirani, and Friedman (2009) . Това често кара изследователите да говорят за "изместване на пристрастия".

По отношение на представянето, голямото въведение към въпросите за отклонението от отговорността и липсата на отговор е докладът на Националния съвет за научни изследвания Nonresponse в социални научни изследвания: Програма за научни изследвания (2013) . Друг полезен преглед е предоставен от Groves (2006) . Също така са публикувани цели специални издания на вестник "Официален статистически данни" , "Тримесечно мнение за общественото мнение" и " Аналити на американската академия за политически и социални науки", посветени на въпроса за липсата на отговор. И накрая, съществуват много различни начини за изчисляване на степента на отговор; тези подходи са описани подробно в доклад на Американската асоциация на изследователите на общественото мнение (AAPOR) ( ??? ) .

За повече информация относно анкетата за литературната анкета от 1936 г. вижте Bryson (1976) , Squire (1988) , Cahalan (1989) и Lusinchi (2012) . За още едно обсъждане на това проучване като предупреждение за притчата срещу случайно събиране на данни, вижте Gayo-Avello (2011) . През 1936 г. Джордж Галъп използва по-сложна форма на вземане на проби и е в състояние да произведе по-точни оценки с много по-малка извадка. Успехът на Галъп в книгата " Literary Digest" е крайъгълен камък в разработването на изследване на изследването, както е описано в глава 3 на @ converse_survey_1987; глава 4 от Ohmer (2006) ; и глава 3 от @ igo_averaged_2008.

От гледна точка на измерването, първият ресурс за проектиране на въпросници е Bradburn, Sudman, and Wansink (2004) . За по-усъвършенствани лечения, вижте Schuman and Presser (1996) , който е съсредоточен специално върху въпроси, свързани с нагласите, и Saris and Gallhofer (2014) , който е по-общ. В психометрията се използва леко различен подход за измерване, както е описано в ( ??? ) . Повече за претестирането има в Presser and Blair (1994) , Presser et al. (2004) и глава 8 от Groves et al. (2009) . За повече информация относно експериментите с изследване, вижте Mutz (2011) .

От гледна точка на разходите, класическото третиране на компромисите между разходите за проучване и грешките от изследванията е Groves (2004) .

• Кой да попита (раздел 3.4)

Две класически методи за обработка на стандартни вероятни извадки и оценки са Lohr (2009) (по-встъпително) и Särndal, Swensson, and Wretman (2003) и Särndal, Swensson, and Wretman (2003) (по-напреднали). Класическо лечение на пост-стратификацията и свързаните с нея методи е Särndal and Lundström (2005) . В някои настройки за дигитална възраст изследователите знаят доста за несъответствията, което в миналото често не е било вярно. Различни форми на коригиране на несъответствията са възможни, когато изследователите имат информация за несъответствията, както е описано от Kalton and Flores-Cervantes (2003) и Smith (2011) .

Изследването на Xbox от W. Wang et al. (2015) използва техника, наречена многостепенна регресия и пост-стратификация ("г-н П."), която позволява на изследователите да оценяват груповите средства дори когато има много, много групи. Въпреки че има някакъв дебат относно качеството на оценките от тази техника, изглежда като обещаваща област, която трябва да се проучи. Технологията е използвана за пръв път в Park, Gelman, and Bafumi (2004) , и има последваща употреба и дебат (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . За повече информация относно връзката между отделните тегла и груповите тегла вижте Gelman (2007) .

За други подходи за претегляне на уеб проучвания, виж Schonlau et al. (2009) , Bethlehem (2010) и Valliant and Dever (2011) . Онлайн панелите могат да използват или вземане на проби с вероятност, или вземане на проби с вероятност. За повече информация относно онлайн панелите вижте Callegaro et al. (2014) .

Понякога изследователите са установили, че проби с вероятност и проби с вероятност добиват оценки с подобно качество (Ansolabehere and Schaffner 2014) , но други сравнения са установили, че пробите с вероятност се влошават (Malhotra and Krosnick 2007; Yeager et al. 2011) . Една от възможните причини за тези различия е, че пробите с вероятност се подобряват във времето. За по-песимистичен поглед върху методите за вземане на проби, които не са вероятни, вижте Task Force на AAPOR за вземане на проби с вероятност (Baker et al. 2013) и аз също препоръчвам да прочетете коментара, който следва обобщения доклад.

• Как да попитам (раздел 3.5)

Conrad and Schober (2008) е редактиран том, озаглавен " Представяне на изследването Интервю на бъдещето" , и предлага разнообразие от гледни точки за бъдещето на задаване на въпроси. Couper (2011) разглежда подобни теми, а Schober et al. (2015) дават добър пример за това как методите за събиране на данни, които са пригодени към нова настройка, могат да доведат до по-висококачествени данни. Schober and Conrad (2015) предлагат по-общ аргумент за продължаване на приспособяването на процеса на проучване на проучванията, за да се отговори на промените в обществото.

Tourangeau and Yan (2007) преразглеждат въпросите, свързани с пристрастност към обществото в чувствителни въпроси, и Lind et al. (2013) предлагат някои възможни причини, поради които хората могат да разкриват по-деликатна информация в интервю, администрирано от компютър. За повече информация относно ролята на анкетираните хора за увеличаване на процента на участие в изследванията, виж Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) и Schaeffer et al. (2013) . За повече проучвания в смесени режими, вижте Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) предлагат дългосрочна екологична оценка на екологичната оценка и свързаните с нея методи.

За повече съвети относно това, как да направите проучванията приятно и ценен опит за участниците, вижте работата по метода за индивидуален дизайн (Dillman, Smyth, and Christian 2014) . За друг интересен пример за използването на приложения за Facebook за социални научни изследвания, вижте Bail (2015) .

• Проучвания, свързани с големи източници на данни (раздел 3.6)

Judson (2007) описва процеса на комбиниране на проучвания и административни данни като "информационна интеграция" и обсъжда някои предимства на този подход, както и някои примери.

Що се отнася до обогатеното искане, има много предишни опити за валидиране на гласуването. За преглед на тази литература вижте Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) и Berent, Krosnick, and Lupia (2016) . Вж Berent, Krosnick, and Lupia (2016) за по-скептично отношение към резултатите, представени в Ansolabehere and Hersh (2012) .

Важно е да се отбележи, че въпреки че Ansolabehere и Hersh бяха насърчени от качеството на данните от каталозите, други оценки на търговските доставчици бяха по-малко ентусиазирани. Pasek et al. (2014) откриха лошо качество, когато данните от проучването бяха сравнени с потребителско досие от групата "Маркетинг системи" (което от своя страна обедини данни от три доставчици: Acxiom, Experian и InfoUSA). Тоест, файлът с данни не съвпада с отговорите на изследванията, които изследователите очакват да бъдат правилни, потребителският файл липсваше по данни за голям брой въпроси и липсващият модел на данните беше корелиран с отчетената стойност на изследването (с други думи липсващите данни данните бяха систематични, а не случайни).

За повече информация относно връзките между проучванията и административните данни вижте Sakshaug and Kreuter (2012) и Schnell (2013) . За повече информация относно връзката с рекордите като цяло, вижте Dunn (1946) и Fellegi and Sunter (1969) (исторически) и Larsen and Winkler (2014) (модерно). Подобни подходи също са разработени в областта на компютърните науки под наименования като дедупликация на данни, идентификация на потребителски (Elmagarmid, Ipeirotis, and Verykios 2007) съвпадение на имена, дублиране на откриване и дублиране на записи (Elmagarmid, Ipeirotis, and Verykios 2007) . Съществуват и подходи за запазване на неприкосновеността на личния живот за записване на връзката, които не изискват предаване на лична идентифицираща информация (Schnell 2013) . Изследователите на Facebook разработиха процедура за вероятностно свързване на техните записи с поведението при гласуване (Jones et al. 2013) ; тази връзка беше направена, за да се оцени експеримент, който ще ви разкажа в глава 4 (Bond et al. 2012) . За повече информация относно получаването на съгласие за свързване на запис, вижте Sakshaug et al. (2012) .

Друг пример за свързване на мащабно социално проучване с административните документи на правителството е проучването "Здравеопазване и пенсиониране" и "Администрация за социално осигуряване". За повече информация относно това проучване, включително информация за процедурата за съгласие, вижте Olson (1996, 1999) .

Процесът на комбиниране на много източници на административни записи в основен информационен файл - процесът, който катализаторът използва - е често срещан в статистическите служби на някои национални правителства. Двама изследователи от Статистика Швеция са написали подробна книга по темата (Wallgren and Wallgren 2007) . За пример на този подход в един окръг в Съединените щати (окръг Олмстед, Минесота, дом на клиника Майо), виж Sauver et al. (2011) . За повече информация относно грешките, които могат да се появят в административните записи, вижте Groen (2012) .

Друг начин, по който изследователите могат да използват големи източници на данни в изследванията, е рамката за вземане на проби за хора със специфични характеристики. За съжаление, този подход може да повдигне въпроси, свързани с неприкосновеността на личния живот (Beskow, Sandler, and Weinberger 2006) .

Що се отнася до разширените искания, този подход не е толкова нов, колкото може да изглежда от начина, по който го описах. Той има дълбоки връзки с три големи области в статистиката: базирано на модела пост-стратификация (Little 1993) , приписване (Rubin 2004) и малка оценка на района (Rao and Molina 2015) . Тя също е свързана с използването на сурогатни променливи в медицинските изследвания (Pepe 1992) .

Прогнозите за разходите и времето в Blumenstock, Cadamuro, and On (2015) отнасят по-скоро до променливите разходи - разходите за едно допълнително проучване - и не включват фиксирани разходи, като например разходите за почистване и обработка на данните за обажданията. Обикновено усиленото искане вероятно ще има високи постоянни разходи и ниски променливи разходи, подобни на тези при цифрови експерименти (вж. Глава 4). За повече информация относно изследванията, базирани на мобилни телефони в развиващите се страни, вижте Dabalen et al. (2016) .

За идеи за това как да направите разширено искане по-добре, бих препоръчал да научите повече за множество импулси (Rubin 2004) . Също така, ако изследователите се занимават с усилване, искайки да се интересуват от броя на агрегатите, а не от индивидуалните характеристики, тогава подходите в King and Lu (2008) и Hopkins and King (2010) могат да бъдат полезни. Накрая, за повече информация относно подходите за машинно обучение в Blumenstock, Cadamuro, and On (2015) , вижте James et al. (2013) (по-встъпително) или Hastie, Tibshirani, and Friedman (2009) (по-напреднали).

Единият проблем, свързан с разширеното искане, е, че той може да се използва, за да се извлекат чувствителни черти, които хората не могат да изберат да разкрият в едно проучване, както е описано в Kosinski, Stillwell, and Graepel (2013) .