3.4 Хто спытаць

Лічбавай стагоддзе робіць імавернасную выбарку на практыцы ўсё складаней і стварае новыя магчымасці для выбаркі неверагоднасці.

У гісторыі выбаркі, было два канкуруючых падыходу: метады імавернаснай выбаркі і метады адбору пробаў, ня імавернасныя. Нягледзячы на ​​тое, што абодва падыходу былі выкарыстаны ў першыя дні выбаркі, імавернасны выбарка стала дамінаваць, і многія сацыяльныя даследчыкі вучаць глядзець выбаркі не імавернасны з вялікім скептыцызмам. Аднак, як я апішу ніжэй, змены, створаныя ў эпоху лічбавых тэхналогій азначае, што настаў час для даследчыкаў перагледзець выбаркі неверагоднасці. У прыватнасці, імавернасны выбарка была атрымаць цяжка зрабіць на практыцы, а таксама адбор проб без верагоднасці было атрымаць хутчэй, танней і лепш. Хутчэй і танней абследавання не толькі самамэтай: яны дазваляюць новыя магчымасці, такія як больш частых абследаванняў і вялікіх памераў ўзору. Так, напрыклад, з дапамогай метадаў, якія не імавернасных кааператыўны Кангрэс Выбары даследаванне (КУИС) могуць мець прыкладна ў 10 разоў больш, чым удзельнікаў папярэдніх даследаванняў з выкарыстаннем выбаркі верагоднасці. Гэта значна больш выбаркі дае палітычныя даследчыкам вывучаць змяненне адносіны і паводзіны ў розных падгрупах і сацыяльных кантэкстаў. Акрамя таго, усё гэта дададзеным маштабу прыйшоў без памяншэння якасці адзнак (Ansolabehere and Rivers 2013) .

У цяперашні час, дамінуючы падыход да адбору пробаў для сацыяльных даследаванняў з'яўляецца імавернаснай выбаркай. У імавернаснай выбаркі, усе члены мэтавай групы насельніцтва маюць вядомую, выдатную ад нуля верагоднасць таго, пробы, і ўсе людзі, якія выбарачныя рэагаваць на абследаванне. Калі гэтыя ўмовы выкананыя, элегантныя матэматычныя вынікі прапануюць даказальна гарантыі адносна здольнасці даследчыка выкарыстоўваць ўзор, каб зрабіць выснову аб мэтавай групе насельніцтва.

У рэальным свеце, аднак, ўмова, якое ляжыць у аснове гэтых матэматычных вынікаў рэдка сустракалася. Напрыклад, часта ўзнікаюць памылкі ахопу і неатрыманне. З-за гэтых праблем, даследчыкі часта даводзіцца выкарыстоўваць розныя статыстычныя карэкціроўкі для таго, каб зрабіць выснову з іх выбаркі ў іх мэтавай папуляцыі. Такім чынам, важна адрозніваць імавернаснай выбаркі ў тэорыі, якая мае моцныя тэарэтычныя гарантыі і імавернаснай выбаркі на практыцы, якая не дае такіх гарантый і залежыць ад цэлага шэрагу статыстычных паправак.

З часу, адрозненне паміж імавернаснай выбаркай ў тэорыі і імавернаснай выбарцы на практыцы павялічвалася. Напрыклад, неатрыманне стаўкі пастаянна расце, нават у высакаякасных, дарагіх абследаванняў (малюнак 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Неатрыманне стаўкі нашмат вышэй у камерцыйных тэлефонных абследаванняў, а часам нават вышэй , чым 90% (Kohut et al. 2012) і (Kohut et al. 2012) . Гэтыя павелічэння неатрымання пагражаюць якасць ацэнак, паколькі ацэнкі больш залежаць ад статыстычных мадэляў, якія даследчыкі выкарыстоўваюць для карэкціроўкі неатрымання. Акрамя таго, гэта зніжэнне па якасці адбылося, нягледзячы на ​​ўсё больш дарагія намаганні даследчыкаў абследавання для падтрымання высокіх тэмпаў рэагавання. Некаторыя людзі асцерагаюцца , што гэтыя двайняты тэндэнцыі зніжэння якасці і павелічэння выдаткаў на пагрозу асновы даследаванні даследаванняў (National Research Council 2013) .

Малюнак 3.5: ўлонне было больш стабільна, нават у высакаякасных дарагіх абследаванняў (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Неатрыманне стаўкі нашмат вышэй , для камерцыйных тэлефонных апытанняў, а часам нават вышэй , чым 90% (Kohut et al. 2012) і (Kohut et al. 2012) . Гэтыя доўгатэрміновыя тэндэнцыі ў неатрыманне азначае, што збор дадзеных з'яўляецца больш дарагім і ацэнкі з'яўляюцца менш надзейнымі. Адаптавана з BD Meyer, Mok, and Sullivan (2015) , на фиг.1.

У той жа час , што расце цяжкасць метадаў імавернаснай выбаркі, існуе таксама захапляльныя змены ў метадах выбаркі неверагоднасці. Ёсць мноства стыляў метадаў выбаркі неверагоднасці, але адна рэч , якую яны маюць у агульным , што яны не могуць лёгка змясціцца ў матэматычным рамках імавернаснай выбаркі (Baker et al. 2013) і (Baker et al. 2013) . Іншымі словамі, у метадах адбору пробаў без верагоднасці не кожны мае вядомую і ненулявога верагоднасць ўключэння. Метады выбаркі неверагоднасці маюць жахлівую рэпутацыю сярод сацыяльных даследчыкаў , і яны звязаны з некаторымі з самых драматычных няўдач даследчыкаў абследавання, такіх як фіяска Literary Digest (абмяркоўвалі раней) і «Дзьюі Паразы Трумэна» няправільны прагноз пра ЗША прэзідэнцкія выбары 1948 года (малюнак 3.6).

Малюнак 3.6: прэзідэнт Гары Трумэн трымае загаловак газеты, які няправільна абвясціў сваю паразу. Гэты загаловак быў заснаваны часткова на ацэнках з узораў , ня верагоднасці (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Хоць «Дзьюі Паразы Трумэна» адбылося ў 1948 годзе, ён па-ранейшаму ў ліку той прычыне, што некаторыя даследчыкі скептычна ставяцца да ацэнак узораў неверагоднасці. Крыніца: Гары С. Трумэн Бібліятэка і музей .

Адной з формаў выбаркі неверагоднасці , які асабліва падыходзіць для лічбавага стагоддзя з'яўляецца выкарыстанне анлайн - панэляў. Даследнікі з дапамогай онлайн-панэлі залежыць ад некаторай панэлі правайдэра звычайна кампаніі, ўрада ці універсітэт-пабудаваць вялікую разнастайную групу людзей, якія згаджаюцца служыць у якасці рэспандэнтаў пры правядзенні абследаванняў. Гэтыя ўдзельнікі панэлі часта набраныя з выкарыстаннем розных спецыяльных метадаў, такіх як онлайн-банэраў. Затым даследчык можа заплаціць пастаўшчык панэлі для доступу да выбарцы рэспандэнтаў з зададзенымі характарыстыкамі (напрыклад, рэпрэзентатыўнымі дарослыя). Гэтыя онлайн панэлі бескантактавыя метады імавернасныя, таму што не кожны мае вядомую, выдатную ад нуля верагоднасць ўключэння. Хоць не-імавернасныя онлайн - панэлі ўжо выкарыстоўваюцца сацыяльнымі даследчыкамі (напрыклад, КУИС), ёсць яшчэ некаторыя дэбаты аб якасці адзнак , якія прыходзяць з іх (Callegaro et al. 2014) і (Callegaro et al. 2014) .

Нягледзячы на ​​гэтыя дэбаты, я думаю, што ёсць дзве прычыны, чаму надышоў час для сацыяльных даследчыкаў перагледзеў выбаркі неверагоднасці. Па-першае, у эпоху лічбавых тэхналогій, было шмат распрацовак у галіне збору і аналізу пробаў, ня верагоднасці. Гэтыя новыя метады досыць адрозніваюцца ад метадаў, якія выклікалі праблемы ў мінулым, што я думаю, што гэта мае сэнс думаць пра іх як пра "не-імавернаснай выбарцы 2.0.» Другая прычына, чаму даследчыкі павінны перагледзець выбаркі не імавернасныя, таму што верагоднасць выбаркі ў практыка будуць станавіцца ўсё цяжэй. Калі высокія тэмпы неответа-паколькі ў рэальных абследаваннях цяпер-фактычныя верагоднасці ўключэння для рэспандэнтаў не вядомыя, і, такім чынам, ўзоры імавернасных і ўзоры без верагоднасці не гэтак розныя, як мяркуюць многія даследчыкі.

Як я ўжо казаў раней, ўзоры, ня імавернасныя прагледжаныя з вялікім скептыцызмам многіх сацыяльных даследчыкаў, збольшага з-за іх ролі ў некаторых з самых прыкрых няўдач у першыя дні агляднага даследавання. Яскравым прыкладам таго , як далёка мы прасунуліся з ўзорамі без верагоднасці з'яўляецца даследаванне Вэй Ван, Дэвід Ротшыльд, Шарада Goel і Эндру Гельман (2015) , што правільна вынятага выніках 2012 года выбарах у ЗША з выкарыстаннем ня-імавернасны выбарка амерыканскі Xbox карыстальнікі-рашуча невыпадковая выбарка амерыканцаў. Даследчыкі набраныя рэспандэнтаў з гульнявой сістэмы XBox, і, як можна было б чакаць, ўзор Xbox перакос мужчыны і перакос маладых: 18- да 29-гадовага ўзросту складаюць 19% выбаршчыкаў, але 65% выбаркі Xbox, і мужчын складаюць 47% выбаршчыкаў, але 93% выбаркі Xbox (малюнак 3.7). З-за гэтыя моцныя дэмаграфічных зрушэння неапрацаваных дадзеных Xbox быў дрэнны паказчыкам вынікаў выбараў. Ён прадказаў моцную перамогу Мітта Ромні над Баракам Абамам. Зноў жа , гэта яшчэ адзін прыклад небяспекі сыравіны, неўрэгуляваных ўзоры неверагоднасці і нагадвае фіяска Literary Digest.

Малюнак 3.7: Дэмаграфічныя дадзеныя рэспандэнтаў ва W. Wang et al. (2015) і W. Wang et al. (2015) . Паколькі рэспандэнты былі набраныя з XBox, яны былі больш схільныя быць маладымі і больш верагодна, будзе мужчына, у адносінах да выбаршчыкаў на выбарах 2012 года. Адаптавана з W. Wang et al. (2015) і W. Wang et al. (2015) , малюнак 1.

Тым не менш, Ван і яго калегі былі ў курсе гэтых праблем, і паспрабавалі наладзіць іх невыпадковы працэс адбору пробаў пры правядзенні ацэнак. У прыватнасці, яны выкарыстоўвалі постстратификацию, метад , які таксама шырока выкарыстоўваецца для рэгулявання узораў верагоднасці , якія маюць памылкі ахопу і неатрыманне адказы.

Асноўная ідэя паста-стратыфікацыі з'яўляецца выкарыстанне дапаможнай інфармацыі аб мэтавай аўдыторыі, каб дапамагчы палепшыць ацэнку, якая прыходзіць з ўзору. Пры выкарыстанні постстратификация, каб зрабіць ацэнкі з іх не-імавернаснай выбаркі, Ван і калегі нарэзанага насельніцтва ў розныя групы, ацанілі падтрымку Абамы ў кожнай групе, а затым прыняў узважанае сярэдняе значэнне адзнак групы для атрымання агульнай ацэнкі. Напрыклад, яны маглі б падзяліць насельніцтва на дзве групы (мужчыны і жанчыны), ацаніў падтрымку Абамы сярод мужчын і жанчын, а затым ацаніць агульную падтрымку Абамы, прымаючы сярэднеўзважанае для таго, каб ўлічыць той факт, што жанчыны робяць да 53% выбаршчыкаў і мужчын 47%. Груба кажучы, постстратификация дапамагае правільна для незбалансаванага ўзору шляхам прывядзення ў дапаможнай інфармацыі аб памерах груп.

Ключ да наступнай стратыфікацыі з'яўляецца фарміраванне правільных груп. Калі вы можаце крышыць насельніцтва на аднастайныя групы, такія, што схільнасці адказ аднолькавыя для ўсіх у кожнай групе, то постстратификация будзе вырабляць аб'ектыўную ацэнку. Іншымі словы, пасля распластоўванне па падлозе будзе вырабляць аб'ектыўныя ацэнкі, калі ўсе людзі маюць схільнасць адказу і ўсе жанчыны маюць такую ​​ж схільнасць адказу. Гэтая здагадка называецца аднастайная-рэакцыя-схільнасць-унутры-групы здагадка, і я апісаць гэта крыху больш у матэматычных заўвагах у канцы гэтай часткі.

Вядома, гэта здаецца малаверагодным, што схільнасці адказ будзе аднолькавым для ўсіх мужчын і ўсіх жанчын. Тым не менш, гамагенна-адказ-схільнасць-унутры-груп здагадка становіцца больш праўдападобным, як лік груп павялічваюцца. Груба кажучы, гэта становіцца лягчэй здрабніць насельніцтва на аднастайныя групы, калі стварыць больш груп. Напрыклад, гэта можа здацца непраўдападобным, што ўсе жанчыны маюць такую ​​ж схільнасць адказ, але гэта магло б здавацца больш верагодным, што існуе такі ж адказ Схільнасць для ўсіх жанчын, якія ва ўзросце 18-29 гадоў, якія скончылі каледж, і хто жыве ў Каліфорніі , Такім чынам, як колькасць груп, якія выкарыстоўваюцца ў посьце-стратыфікацыі становіцца больш, здагадка, неабходнае для падтрымкі метады становіцца больш разумным. Улічваючы гэты факт, даследчыкі часта хочуць стварыць велізарную колькасць груп для наступнай стратыфікацыі. Аднак, як лік груп павялічваецца, даследчыкі сутыкнуліся з іншай праблемай: разрэджанасці дадзеных. Калі ёсць толькі невялікая колькасць людзей у кожнай групе, то ацэнкі будуць больш нявызначанымі, і ў крайнім выпадку, калі ёсць група, якая не мае рэспандэнтаў, то постстратификация цалкам распадаецца.

Ёсць два выхаду з гэтай уласцівай напружанасці паміж праўдападабенства здагадкі аднастайнага водгук Схільнасці-в-груп, і попытам на разумныя памерах выбаркі ў кожнай групе. Па-першае, даследчыкі могуць сабраць большы, больш разнастайны ўзор, які дапамагае забяспечыць разумныя памеры выбаркі ў кожнай групе. Па-другое, яны могуць выкарыстоўваць больш складаныя статыстычныя мадэлі для атрымання адзнак ўнутры груп. І на самай справе, часам даследчыкі робяць і як Ван і яго калегі зрабілі з іх вывучэннем выбараў з выкарыстаннем рэспандэнтаў з Xbox.

Таму што яны выкарыстоўвалі метад выбаркі не імавернасны з кампутарам ўводзіць інтэрв'ю (я буду казаць больш пра кампутарным падпарадкаванні інтэрв'ю ў раздзеле 3.5), Ван і яго калегі былі вельмі недарагім збор дадзеных, што дазволілі ім збіраць інфармацыю ад 345,858 унікальных удзельнікаў , велізарная колькасць па мерках выбарчага апытання. Гэты масіўны памер выбаркі дазволіў ім сфармаваць велізарная колькасць постстратификации груп. У той час як постстратификация звычайна ўключае ў сябе драбненне насельніцтва ў сотні груп, Ван і яго калегі падзялілі насельніцтва на 176,256 груп, вызначаных па падлозе (2 катэгорыі), расаў (4 катэгорыі), ўзросту (4 катэгорыі), адукацыя (4 катэгорыі), дзяржаўныя (51 катэгорый), удзельнік ID (3 катэгорыі), ідэалогія (3 катэгорыі), і 2008 галасоў (3 катэгорыі). Іншымі словамі, іх велізарны памер выбаркі, які быў уключаны па зборы дадзеных з нізкім узроўнем выдаткаў, дазволілі ім зрабіць больш праўдападобнае здагадка ў працэсе іх ацэнкі.

Нават з 345,858 унікальных удзельнікаў, аднак, было яшчэ шмат, шмат гуртоў, для якіх Ван і яго калегі амаль не мелі рэспандэнтаў. Такім чынам, яны выкарыстоўвалі тэхніку , званую шматузроўневай рэгрэсіі для ацэнкі падтрымкі ў кожнай групе. Па сутнасці, каб ацаніць падтрымку Абамы ў рамках пэўнай групы, шматузроўневы Рэгрэсійная аб'ядноўваюць інфармацыю з многіх блізкароднасных груп. Напрыклад, уявіце сабе, спрабуючы ацаніць падтрымку Абамы сярод жанчын лацінаамерыканцаў паміж 18 і 29 гадоў, якія з'яўляюцца выпускнікамі каледжаў, якія зарэгістраваныя дэмакраты, якія ідэнтыфікуюць сябе ў якасці ўмераных, і хто галасаваў за Абаму ў 2008 г. Гэта вельмі , вельмі спецыфічная група, і цалкам магчыма, што там нікога няма ва ўзоры з гэтымі характарыстыкамі. Таму, каб зрабіць ацэнкі адносна гэтай групы, шматузроўневыя Рэгрэсійная выкарыстоўвае статыстычную мадэль для аб'яднання разам адзнак ад людзей, вельмі падобных груп.

Такім чынам, Ван і яго калегі выкарысталі падыход , які ў спалучэнне шматузроўневых рэгрэсіі і наступную стратыфікацыі, таму яны назвалі іх стратэгія шматузроўневых рэгрэсіі з наступнай стратыфікацыі ці больш ласкава, «Г - н П. »Калі Ван і яго калегі выкарысталі г-н П., каб зрабіць ацэнкі з ўзору XBox неверагоднасці, яны атрыманы ацэнкі вельмі блізкія да агульнай падтрымкі, якую Абама атрымаў у 2012 выбарах (малюнак 3.8). На самай справе іх ацэнкі былі больш дакладнымі, чым сукупнасць традыцыйных апытанняў грамадскага меркавання. Такім чынам, у гэтым выпадку, статыстычныя карэкціроўкі-канкрэтна г-н П., здаецца, робіць добрую працу выпраўляючы перакосы ў неверагоднасці даных; ўхілы, якія былі добра бачныя, калі вы глядзіце на адзнакі з неўрэгуляваных дадзеных Xbox.

Малюнак 3.8: Ацэнкі ад W. Wang et al. (2015) і W. Wang et al. (2015) . Нескорректированная ўзор XBox вытворчасці недакладных ацэнак. Але, ўзважаны ўзор XBox атрыманы ацэнкі, якія былі больш дакладнымі, чым у сярэднім па верагоднасці на аснове тэлефонных апытанняў. Адаптавана з W. Wang et al. (2015) і W. Wang et al. (2015) , лічбы 2 і 3.

Ёсць два асноўных урока з вывучэння Ван і яго калегі. Па-першае, нескорректированные ўзоры без верагоднасці можа прывесці да дрэнным ацэнак; гэта ўрок, які многія даследчыкі чулі раней. Другі ўрок, аднак, заключаецца ў тым, што ўзоры, ня імавернасныя, пры аналізе правільна, на самай справе можа даць добрыя ацэнкі; Узоры без верагоднасці не абавязкова аўтаматычна прывядзе да чаго - то накшталт фіяска Literary Digest.

Забягаючы наперад, калі вы спрабуеце вырашыць паміж выкарыстаннем падыходу імавернаснай выбаркі і выбарачны метад не імавернасны вы сутыкаецеся з цяжкім выбарам. Часам даследчыкі жадаюць хутка і жорсткае правіла (напрыклад, заўсёды выкарыстоўваць метады імавернаснай выбаркі), але яна становіцца ўсё цяжэй прапанаваць такое правіла. Даследчыкі сутыкаюцца з цяжкім выбарам паміж метадамі імавернаснай выбаркі на практыцы-якія становяцца ўсё больш дарагімі і далёкія ад тэарэтычных вынікаў, якія апраўдваюць свае метады-якія выбарак спажывецкай і ня імавернасных танней і хутчэй, але меней знаёмыя і больш разнастайнымі. Адзінае, што ясна, аднак, заключаецца ў тым, што калі вы вымушаныя працаваць з ўзорамі без верагоднасці або нерепрезентативность вялікіх крыніц дадзеных (успомніце главу 2), то ёсць важкія падставы меркаваць, што разлікі, выкананыя з выкарыстаннем постстратификации і звязаныя з імі метады будуць лепш, чым без карэкціроўкі, сыравіны ацэнак.