далей каментары

Гэты падзел прызначаны для выкарыстання ў якасці эталона, замест таго , каб быць прачытаны як аповяд.

• Уводзіны (Раздзел 3.1)

Многія з тэм , у гэтым раздзеле таксама адлюстраванне ў нядаўніх прэзідэнцкіх Адрасы ў Амерыканскай асацыяцыі даследаванняў грамадскай думкі (AAPOR), такія як Dillman (2002) , Newport (2011) , Santos (2014) і Link (2015) .

Для атрымання больш падрабязных гістарычных фоне аб развіцці даследаванняў абследавання см Smith (1976) і Converse (1987) . Больш падрабязную інфармацыю пра ідэі трох эпох агляднага даследавання, см Groves (2011) і Dillman, Smyth, and Christian (2008) (які распадаецца на тры эпохі трохі па- іншаму).

Пік ўнутры пераходу ад першай да другой эры ў агляднага даследавання з'яўляецца Groves and Kahn (1979) , якая робіць дэталёвае параўнанне галава да галавы паміж твар у твар і тэлефоннага апытання. Brick and Tucker (2007) глядзіць на гістарычнае развіццё выпадковай выбаркі лічбавых метадаў набору.

Больш падрабязную інфармацыю, як апытанне даследаванні змяніўся ў мінулым у адказ на змены ў грамадстве, см Tourangeau (2004) , Mitofsky (1989) , і Couper (2011) .

• Задаваць супраць назірання (раздзел 3.2)

Даведаўшыся пра ўнутраныя станах, задаючы пытанні можа быць праблематычным, таму што часам самі рэспандэнты не ведаюць пра сваіх унутраных станах. Напрыклад, Nisbett and Wilson (1977) ёсць выдатны дакумент з выклікалай ўспаміны назвай: "Распавядаючы больш , чым мы можам ведаць :. Славесныя справаздачы аб псіхічных працэсах" У артыкуле аўтары прыходзяць да высновы: "суб'екты часам (а) не ведаюць пра наяўнасць стымулу, што галоўны ўплыў на рэакцыю, (б) не ведаюць пра існаванне адказу, і (в) не ведаюць, што стымул паўплывала на рэакцыю ".

Для аргументаў , што даследчыкі павінны аддаваць перавагу назіранае паводзіны з паведамленнем або паводзін, см Baumeister, Vohs, and Funder (2007) (псіхалогія) і Jerolmack and Khan (2014) і адказаў (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) - (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (сацыялогія). Розніца паміж просьбай і назіранні таксама ўзнікае ў эканоміцы, дзе даследчыкі кажуць аб заяўленых і выяўленых пераваг. Напрыклад, даследчык можа спытаць рэспандэнтаў аддаюць перавагу Ці яны ядуць марозіва ці хадзіць у трэнажорную залу (заяўленыя перавагі) або даследаванні маглі назіраць, як часта людзі ядуць марозіва і хадзіць у спартзалу (выяўленых пераваг). Існуе глыбокі скептыцызм некаторых тыпаў дадзеных , названых пераваг у эканоміцы (Hausman 2012) .

Асноўнай тэмай гэтых дыскусій з'яўляецца тое, што паводзіны з'яўляецца паведамленне не заўсёды дакладныя. Але, аўтаматычна запісваецца паводзіны не можа быць дакладным, не можа быць сабрана на ўзоры цікавасць, і не могуць быць даступныя для даследчыкаў. Такім чынам, у некаторых сітуацыях, я лічу, што паводзіны можа паведамленнямі быць карысным. Акрамя таго, другі асноўнай тэмай гэтых дыскусій з'яўляецца тое, што паведамленні пра эмоцый, ведаў, чаканняў і меркаванняў не заўсёды дакладныя. Але, калі інфармацыя аб гэтых ўнутраных станаў неабходныя даследчыкамі-небудзь, каб дапамагчы растлумачыць некаторы паводзіны ці як рэч, каб растлумачыць нешта пытаць, можа быць мэтазгодным.

• Сумарная хібнасць апытання (раздел 3.3)

Для лячэння даўжыні кнігі па агульнай памылкі абследавання, см Groves et al. (2009) і Groves et al. (2009) або Weisberg (2005) . Для гісторыі развіцця агульнай памылкі абследавання, см Groves and Lyberg (2010) .

З пункту гледжання прадстаўлення, вялікая ўвядзенне да пытанняў неответов і без адказу зрушэння з'яўляецца даклад Нацыянальнага даследчага савета па неатрыманне ў галіне сацыяльных навук Surveys: праграмы даследаванняў (2013) . Іншы карысны агляд забяспечваецца (Groves 2006) . Акрамя таго , цэлыя спецыяльныя выпускі часопіса афіцыйнай статыстыкі, Public Opinion Quarterly, і аналах амерыканскай акадэміі палітычных і сацыяльных навук былі апублікаваныя на тэму адсутнасці адказу. І, нарэшце, на самай справе існуе шмат розных спосабаў разліку хуткасці рэакцыі; гэтыя падыходы падрабязна апісаны ў дакладзе Амерыканскай асацыяцыі даследчыкаў грамадскай думкі (AAPOR) (Public Opinion Researchers} 2015) .

1936 Literary Digest апытанне быў падрабязна вывучаны (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Ён таксама выкарыстоўваецца як прытча перасцерагчы ад бессістэмнай збору дадзеных (Gayo-Avello 2011) . У 1936 году Джордж Гэлап выкарыстаў больш складаную форму выбаркі, і была здольная вырабляць больш дакладныя ацэнкі з значна меншай выбарцы. Поспех Гэлапа над Literary Digest быў вяхой развіццё даследаванняў абследавання (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

З пункту гледжання вымярэння, першы вялікі рэсурс для праектавання апытальнік Bradburn, Sudman, and Wansink (2004) . Для больш глыбокай ачысткі арыентаванай канкрэтна на адносінах да пытанняў, см Schuman and Presser (1996) . Яшчэ на папярэдняе тэставанне пытанняў даступная ў Presser and Blair (1994) , Presser et al. (2004) і Presser et al. (2004) , а ў главе 8 Groves et al. (2009) і Groves et al. (2009) .

Лячэнне класічны, кніга-даўжыня кампраміс паміж выдаткамі абследавання і памылак абследавання з'яўляецца Groves (2004) .

• Хто спытаць (раздел 3.4)

Класічны лячэнне кніжнай даўжыні стандартнай верагоднасці выбаркі і ацэнкі з'яўляюцца Lohr (2009) (больш ўводны) і Särndal, Swensson, and Wretman (2003) (больш прасунуты). Класічная апрацоўка кніга-даўжыня постстратификация і звязаных з імі метадаў з'яўляецца Särndal and Lundström (2005) . У некаторых лічбавых установак ўзросту, даследчыкі ведаюць зусім няшмат аб нереспондентами, якіх не было часта справядліва ў мінулым. Розныя формы карэкціроўкі без адказу магчымыя , калі даследчыкі маюць інфармацыю аб нереспондентами (Kalton and Flores-Cervantes 2003; Smith 2011) .

Xbox даследаванне Wang et al. (2015) і Wang et al. (2015) выкарыстоўвае тэхніку , званую шматузроўневы Рэгрэсійная і постстратификация (MRP, часам званы "Mister P") , што дазваляе даследчыкам ацаніць ячэйкі азначае , што нават тады , калі ёсць шмат, шмат клетак. Хоць ёсць некаторыя дэбаты аб якасці адзнак ад гэтай тэхнікі, гэта паходзіць на перспектыўную вобласць для вывучэння. Гэты метад быў упершыню выкарыстаны ў Park, Gelman, and Bafumi (2004) , і было наступнае выкарыстанне і абмеркаванне (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) г. (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Больш падрабязную інфармацыю пра сувязь паміж асобнымі вагамі і вагаў на аснове клетак см Gelman (2007) .

Для іншых падыходаў да вагавымі вэб - апытанняў см Schonlau et al. (2009) і Schonlau et al. (2009) , Valliant and Dever (2011) , і Bethlehem (2010) .

Адпаведнасці ўзору была прапанаваная Rivers (2007) . Bethlehem (2015) сцвярджае , што прадукцыйнасць ўзгаднення ўзору будзе на самой справе падобныя на іншыя падыходы для адбору пробаў (напрыклад, стратыфікаваная выбарка) і іншыя падыходы карэкціроўкі (напрыклад, пост-стратыфікацыі). Больш падрабязную інфармацыю аб онлайн - панэляў см Callegaro et al. (2014) і Callegaro et al. (2014) .

Часам даследнікі выявілі , што ўзоры верагоднасці і ўзоры неверагоднасці даюць ацэнкі аналагічнай якасці (Ansolabehere and Schaffner 2014) , але і іншыя параўнання паказалі , што ўзоры неверагоднасці зрабіць горш (Malhotra and Krosnick 2007; Yeager et al. 2011) і (Malhotra and Krosnick 2007; Yeager et al. 2011) . Адной з магчымых прычын гэтых адрозненняў у тым, што ўзоры неверагоднасці палепшыліся з цягам часу. Для больш песімістычнага метадаў выбаркі неверагоднасці ўбачыць мэтавую групу AAPOR па неверагоднасці адбору пробаў (Baker et al. 2013) і (Baker et al. 2013) , і я таксама рэкамендую прачытаць каментар , які ідзе за выніковая справаздача.

Для мета-аналізу пра ўплыў ўзважвання для памяншэння хібнасці ў узорах неверагоднасці, см табліцу 2.4 у Tourangeau, Conrad, and Couper (2013) г. Tourangeau, Conrad, and Couper (2013) , што прыводзіць аўтараў да высновы , "карэкціроўкі здаюцца карыснымі , але схільныя памылак папраўкі. , ".

• Як спытаць (раздел 3.5)

Conrad and Schober (2008) прадастаўляе адрэдагаваны пад назвай Envisioning апытання пры абследаванні будучага, і яна закранае многія тэмы ў гэтым раздзеле. Couper (2011) разглядаюцца аналагічныя тэмы, і Schober et al. (2015) і Schober et al. (2015) прапануе добры прыклад таго , як метады збору дадзеных , якія прыстасоўваюць да новага становішча можа прывесці да павышэння якасці дадзеных.

Іншы цікавы прыклад выкарыстання Facebook прыкладанняў для абследаванняў сацыяльных навук см Bail (2015) .

Для атрымання больш падрабязнай кансультацыі па пытаннях стварэння абследуецца прыемны і каштоўны вопыт для ўдзельнікаў см работы па праектаванню метаду па індывідуальнай замове (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) і Stone et al. (2007) прапануе цэлую кнігу лячэнне экалагічнай імгненнай ацэнкі і звязаных з імі метадаў.

• Даследаванні , звязаныя з іншымі дадзенымі (раздел 3.6)

Judson (2007) апісаў працэс аб'яднання абследаванняў і адміністрацыйных дадзеных у якасці "інфармацыйнай інтэграцыі", абмяркоўваюцца некаторыя перавагі такога падыходу, і прапануе некалькі прыкладаў.

Іншы спосаб, які даследчыкі могуць выкарыстоўваць лічбавыя сляды і адміністрацыйных даных з'яўляецца асновай выбаркі для людзей з адмысловымі характарыстыкамі. Тым ня менш, доступ гэтыя запісы , якія будуць выкарыстоўвацца структуры выбаркі таксама можа ствараць пытанні , звязаныя з прыватнасцю (Beskow, Sandler, and Weinberger 2006) .

Што тычыцца Узмацняецца запытаных, гэты падыход не з'яўляецца такім новым, як гэта можа здацца з таго, як я апісаў. Такі падыход мае глыбокія сувязі ў трох буйных абласцей статыстыкі-мадэль на аснове пост-стратыфікацыі (Little 1993) , (Rubin 2004) (Rao and Molina 2015) (Little 1993) , стаўлення (Rubin 2004) , і ацэнка невялікі плошчы (Rao and Molina 2015) . Гэта таксама звязана з выкарыстаннем сурагатных зменных у медыцынскіх даследаваннях (Pepe 1992) .

У дадатак да этычных пытаннях , што тычацца доступу да дадзеных лічбавых слядоў, узмоцнены запытаная таксама можа быць выкарыстаны , каб вывесьці адчувальныя рысы , якія людзі не маглі б выбраць , каб паказаць у апытанні (Kosinski, Stillwell, and Graepel 2013) .

Кошт і час ацэнкі ў Blumenstock, Cadamuro, and On (2015) ставяцца больш да зменнай выдаткаў кошту аднаго дадатковага абследавання, і не ўключаюць у сябе фіксаваныя выдаткі , такія як кошт , каб ачысціць і апрацаваць дадзеныя выклікаў. Увогуле, узмоцнены запытаная, верагодна, маюць высокія пастаянныя выдаткі і нізкія зменныя выдаткі, аналагічныя лічбавыя эксперыменты (гл главу 4). Больш падрабязную інфармацыю пра дадзеныя , якія выкарыстоўваюцца ў Blumenstock, Cadamuro, and On (2015) папера ў Blumenstock and Eagle (2010) і Blumenstock and Eagle (2012) . Падыходы з некалькіх imputuation (Rubin 2004) можа дапамагчы нявызначанасць у ацэнках захопу ад Узмацняецца пытацца. Калі даследчыкі просяць ўзмацняецца зрабіўшы толькі клапаціцца аб сукупных падлікаў, а не чорт на індывідуальным узроўні, то падыходы ў King and Lu (2008) і Hopkins and King (2010) можа быць карысным. Больш падрабязную інфармацыю пра машыну падыходаў да навучання ў Blumenstock, Cadamuro, and On (2015) , см James et al. (2013) і James et al. (2013) (больш уступная) або Hastie, Tibshirani, and Friedman (2009) (больш прасунуты). Іншы папулярны машыннага навучання падручнік Murphy (2012) .

Што тычыцца узбагачаную запытаных, вынікі ў Ansolabehere і Херш (2012) Пятля на двух асноўных этапаў: 1) здольнасць Catalist аб'яднаць мноства разрозненых крыніц дадзеных , каб вырабіць дакладную майстар - файл дадзеных і 2) здольнасць Catalist звязаць дадзеныя абследавання для яго майстар-файл дадзеных. Таму Ansolabehere і Херш праверыць кожны з гэтых крокаў ўважліва.

Для стварэння майстар-файла дадзеных, Catalist аб'ядноўвае і гарманізуе інфармацыю з мноства розных крыніц, уключаючы: некалькі запісаў галасы здымкаў з кожнага стану, дадзеныя з паштовага аддзялення Нацыянальнага змене рэестра адрасоў, а таксама дадзеныя з іншых неадзначаныя камерцыйных правайдэраў. Скрываўленыя дэталі аб тым, як адбываецца ўсё гэта ўборка і зліццё выходзіць за рамкі гэтай кнігі, але гэты працэс, незалежна ад таго, якім чынам будуць распаўсюджвацца памылкі ў зыходных крыніцах дадзеных і прывесці да памылак. Хоць Catalist быў гатовы абмеркаваць яго апрацоўку дадзеных і забяспечыць некаторыя з яго зыходных дадзеных, гэта было для даследчыкаў перагледзець увесь канвеер дадзеных Catalist проста немагчыма. Хутчэй за ўсё, даследчыкі былі ў сітуацыі, калі файл дадзеных Catalist меў нейкі невядомы, і, магчыма, неспасціжнае, колькасць памылак. Гэта выклікае сур'ёзную заклапочанасць, паколькі крытык мог бы выказаць здагадку, што вялікія адрозненні паміж агляднымі дакладамі аб КУИС і паводзінах у файле асноўных дадзеных Catalist былі выкліканыя памылкамі ў файле асноўных дадзеных, а не недакладнай рэспандэнтаў.

Ansolabehere і Херш прыняў два розных падыходу да вырашэння якасці дадзеных заклапочанасць. Па-першае, у дадатак да параўнання самастойна паведамілі галасавання на галасаванне ў майстар-файле Catalist, даследчыкі параўналі самаацэнка партыі, раса, статус рэгістрацыі выбаршчыкаў (напрыклад, зарэгістраваны або не зарэгістраваны) і метад галасавання (напрыклад, у твар, завочная бюлетэняў і г.д.) для тых значэнняў, знойдзеных у базах дадзеных Catalist. Для гэтых чатырох дэмаграфічных зменных, даследчыкі выявілі значна больш высокія ўзроўні пагаднення паміж агляднага дакладу і дадзеных у майстар-файле Catalist, чым для галасавання. Такім чынам, файл асноўных дадзеных Catalist, як уяўляецца, маюць высокую якасць інфармацыі для мэт, выдатных галасавання прыкмет, мяркуючы, што яна не дрэннага якасці ў цэлым. Па-другое, у частцы, выкарыстоўваючы дадзеныя з Catalist, Ansolabehere і Херш распрацавала тры розныя меры якасці запісаў акругі для галасавання, і яны выявілі, што разліковая хуткасць завышаючы галасавання па сутнасці не звязаныя з якой-небудзь з гэтых мер якасці дадзеных, адна важная выснова, дазваляюць выказаць здагадку, што высокія тэмпы празмернай справаздачнасці не актывізаваны па паветах з незвычайна нізкім якасцю дадзеных.

Улічваючы стварэнне гэтага майстар-файла для галасавання, другі крыніца магчымых памылак звязвае запісу абследавання да яго. Напрыклад, калі гэтая сувязь будзе зроблена няправільна гэта можа прывесці да завышанай ацэнцы розніцы паміж даннымииоценками адобранага паводзінаў выбаршчыкаў (Neter, Maynes, and Ramanathan 1965) . Калі кожны чалавек меў стабільны, унікальны ідэнтыфікатар, які быў у абодвух крыніцах дадзеных, то сувязь будзе трывіяльным. У ЗША і большасці іншых краін, аднак, не існуе універсальнага ідэнтыфікатара. Акрамя таго, нават калі б такі ідэнтыфікатар людзей, верагодна, не вырашаюцца, каб забяспечыць яго абследаваць даследчыкаў! Такім чынам, Catalist павінен быў зрабіць сувязь з выкарыстаннем недасканалых ідэнтыфікатараў, у дадзеным выпадку чатыры часткі інфармацыі па кожнаму рэспандэнту: імя, пол, год нараджэння і хатні адрас. Напрыклад, Catalist павінен быў вырашыць, калі Homie J Simpson ў КУИС быў той жа чалавек, як Homer Jay Simpson ў іх файле асноўных дадзеных. На практыцы адпаведнасці з'яўляецца складаным і хаатычны працэс, і, што яшчэ горш для даследчыкаў, Catalist разгледзеў тэхніку адпаведнасці, каб быць прыватнай уласнасцю.

Для пацвярджэння адпаведнасці алгарытмаў, яны абапіраліся на дзве задачы. Па-першае, Catalist ўдзельнічаў у згодзе конкурсе, які быў запушчаны ў незалежнай трэцяй бокам: The Mitre Corporation. MITRE пры ўмове, усім удзельнікам дзве шумныя файлы дадзеных, якія будуць узгоднены, а таксама розныя каманды спаборнічалі, каб вярнуцца да MITRE найлепшага адпаведнасці. Таму што сама па сабе MITRE ведаў правільнае ўзгадненне яны змаглі забіць каманды. З 40 кампаній, якія спаборнічалі, Catalist заняў другое месца. Такога роду незалежнай трэцяй бокам ацэнкі ўласнай тэхналогіі з'яўляецца даволі рэдкім і неверагодна каштоўным; яна павінна даць нам упэўненасць у тым, што працэдуры ўзгаднення Catalist з'яўляюцца па сутнасці на стане тэхнікі. Але гэты стан-оф-арт дастаткова добра? У дадатак да гэтага згодай канкурэнцыі, Ansolabehere і Херш стварылі свой уласны адпаведны выклік для Catalist. З папярэдняга праекта, Ansolabehere і Херш збіраў запісу выбаршчыкаў з Фларыды. Яны забяспечылі некаторыя з гэтых запісаў з некаторымі з іх палёў адрэдагаваных да Catalist, а затым у параўнанні справаздачы Catalist ў гэтых абласцях да іх фактычных значэнняў. На шчасце, справаздачы Catalist былі блізкія да ўтрыманых значэнняў, паказваючы, што Catalist можа адпавядаць частковыя запісу выбаршчыкаў на іх асноўны файл дадзеных. Гэтыя дзве праблемы, адна трэцім бокам і адзін Ansolabehere і Херш, даюць нам больш упэўненасці ў алгарытмаў супастаўлення Catalist, нягледзячы на ​​тое, што мы не можам разгледзець іх дакладнае выкананне саміх сябе.

Там было шмат папярэдніх спробаў VALIDATE галасавання. Для агляду гэтай літаратуры, гл Belli et al. (1999) і Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , і Hanmer, Banks, and White (2014) .

Важна адзначыць, што, хоць у дадзеным выпадку даследчыкі былі натхнёныя якасцю дадзеных ад Catalist, іншыя ацэнкі камерцыйных пастаўшчыкоў было менш энтузіязму. Даследчыкі выявілі , дрэнная якасць , калі дадзеныя апытання да спажывецкага-файл з Marketing Systems Group (якая сама па сабе зліліся разам дадзеныя з трох правайдэраў: Acxiom, Experian і InfoUSA) (Pasek et al. 2014) і (Pasek et al. 2014) . Гэта значыць, файл дадзеных не супадаюць адказы на апытанне, што даследчыкі, як чакаецца, будзе правільна, файл дадзеных былі адсутнічаюць дадзеныя для вялікай колькасці пытанняў, і якога не стае шаблон дадзеных карэлявала з паведамленнем кошту абследавання (гэта значыць, адсутнасць дадзеных насіла сістэматычны характар , а не выпадковым чынам).

Больш падрабязную інфармацыю пра сувязь паміж гуказапісвальнай абследаванняў і адміністрацыйных дадзеных, см Sakshaug and Kreuter (2012) і Schnell (2013) . Больш падрабязную інфармацыю аб гуказапісвальнай сувязі ў цэлым, гл Dunn (1946) і Fellegi and Sunter (1969) (гістарычнае) і Larsen and Winkler (2014) (сучасны). Аналагічныя падыходы былі таксама распрацаваны ў інфарматыцы пад такімі назвамі, як дедупликации дадзеных, ідэнтыфікацыі , напрыклад, супастаўленне імёнаў, выяўлення дублікатаў, і дубляваць запіс выяўлення (Elmagarmid, Ipeirotis, and Verykios 2007) . Ёсць таксама прыватнасць захавання падыходаў да запісу сувязі , якія не патрабуюць перадачы асабістую інфармацыю (Schnell 2013) . Даследчыкі ў Facebook распрацавалі працэдуру probabilisticsly звязаць свае запісы з паводзінамі галасавання (Jones et al. 2013) і (Jones et al. 2013) ; гэтая сувязь была зроблена , каб ацаніць эксперымент , які я вам распавяду ў частцы 4 (Bond et al. 2012) і (Bond et al. 2012) .

Іншы прыклад ўвязкі буйнамаштабнага сацыяльнага абследавання для дзяржаўных адміністрацыйных запісаў адбываецца ад аховы здароўя і пенсійнага абследавання і Адміністрацыі сацыяльнага забеспячэння. Больш падрабязную інфармацыю аб дадзеным даследаванні, уключаючы інфармацыю аб працэдуры атрымання згоды см Olson (1996) і Olson (1999) .

Працэс аб'яднання многіх крыніц адміністрацыйных запісаў у майстар-файла дадзеных працэсу, які Catalist супрацоўнікаў-часта сустракаецца ў статыстычных упраўленняў некаторых нацыянальных урадаў. Два даследчыка з Статыстычнага кіравання Швецыі напісаў падрабязную кнігу па гэтай тэме (Wallgren and Wallgren 2007) . У якасці прыкладу такога падыходу ў адным графстве ў Злучаных Штатах (Olmstead Каўнці, штат Мінесота; дома з клінікі Майо), см Sauver et al. (2011) і Sauver et al. (2011) . Больш падрабязную інфармацыю пра памылкі , якія могуць з'яўляцца ў адміністрацыйных запісах см Groen (2012) .