3.4 кој да прашам
Дигиталното доба ја прави веројатноста земање примероци во пракса потешко и создава нови можности за земање примероци кои не се веројатни.
Во историјата на земање мостри имало два натпреварувачки пристапа: методи на земање веројатност и методи на земање примероци со неверојатна веројатност. Иако двата пристапи биле користени во првите денови на земање примероци, веројатноста за земање примероци доминирала, а многу социјални истражувачи се учат да ги гледаат примероците со неверојатна веројатност со голем скептицизам. Меѓутоа, како што јас ќе го опишам подолу, промените создадени од дигиталната ера значи дека е време истражувачите да ја преиспитаат неверојатноста за земање примероци. Особено, земањето мостри е тешко да се направи во пракса, а земањето примероци од не-веројатност е побрзо, поевтино и подобро. Побрзи и поевтини истражувања не се само цели во себе: тие овозможуваат нови можности, како што се почести истражувања и поголеми големини на примероци. На пример, со користење на методи на неверојатност, Кооперативната Конгресна Изборна Студија (CCES) може да има околу 10 пати повеќе учесници од претходните студии со користење на веројатноста за земање примероци. Оваа многу поголема мостра им овозможува на политичките истражувачи да проучуваат варијации во ставовите и однесувањето низ подгрупите и социјалните контексти. Понатаму, целата оваа додадена скала дојде без намалување на квалитетот на проценките (Ansolabehere and Rivers 2013) .
Во моментов, доминантниот пристап кон земање мостри за општествени истражувања е земање мостри на веројатност . При земање примероци на веројатност, сите членови на целната популација имаат позната, неверојатна веројатност за земање мостри и сите луѓе кои се земаат мостри се одговорат на анкетата. Кога овие услови се исполнети, домотните математички резултати нудат доказни гаранции за способноста на истражувачот да ја користи примерокот за да направи заклучоци за целната популација.
Меѓутоа, во реалниот свет, релативно се исполнети условите што ги содржат овие математички резултати. На пример, често има грешки при покривање и нереагирање. Поради овие проблеми, истражувачите често мора да користат различни статистички прилагодувања со цел да направат заклучок од нивниот примерок до целното население. Така, важно е да се направи разлика помеѓу теоретските веројатноста за земање мостри , која има силни теоретски гаранции и веројатноста за земање примероци во пракса , која не нуди такви гаранции и зависи од различни статистички прилагодувања.
Со текот на времето, разликите помеѓу земањето примероци на веројатност во теоријата и примерокот на веројатност во пракса се зголемуваат. На пример, стапките на нерепресија постојано се зголемуваат, дури и во висококвалитетни, скапи истражувања (слика 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Стапките на нереакција се многу повисоки во комерцијалните телефонски истражувања - понекогаш дури и до 90% (Kohut et al. 2012) . Овие зголемувања во нереагирањето го загрозуваат квалитетот на проценките, бидејќи проценките сè повеќе зависат од статистичките модели што истражувачите ги користат за да се прилагодат за нереагирање. Понатаму, овие намалувања во квалитетот се случија и покрај сé поскапи напори со истражување на истражувачите за одржување на високи стапки на одговор. Некои луѓе се плашат дека овие двојни трендови на намалување на квалитетот и зголемување на трошоците претставуваат закана за темелите на истражувањето (National Research Council 2013) .
Слика 3.5: Неподготвеноста постојано се зголемува, дури и во висококвалитетни скапи истражувања (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Стапките на нереакција се многу повисоки за анкети за комерцијални телефони, понекогаш дури и до 90% (Kohut et al. 2012) . Овие долгорочни трендови во нереагирање значи дека собирањето на податоци е поскапо и проценките се помалку сигурни. Прилагодена од BD Meyer, Mok, and Sullivan (2015) , слика 1.
Во исто време, дека имало растечки потешкотии за методите за земање примероци на веројатност, исто така имало возбудливи случувања во методите за земање примероци со неверојатна веројатност . Постојат различни стилови на методите за земање примероци кои не се веродостојни, но едно нешто што тие имаат заедничко е дека тие не можат лесно да се вклопат во математичката рамка за земање примероци (Baker et al. 2013) . Со други зборови, кај методите за земање примероци кои не се веројатни, сите немаат позната и ненамерна веројатност за вклучување. Методите за земање примероци со неверојатна веројатност имаат ужасна репутација кај социјалните истражувачи и се поврзани со некои од најдраматичните неуспеси на анкетираните истражувачи, како што е фијаско на литературното досие (дискутирано претходно) и "Дејви дефанс Труман", неточни предвидувања за САД претседателски избори од 1948 година (слика 3.6).
Слика 3.6: Претседателот Хари Труман го држи насловот на еден весник кој неточно го објави својот пораз. Овој наслов се базираше делумно врз проценките од примероците кои не се веројатни (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Иако "Dewey Defeats Truman" се случи во 1948 година, сепак е меѓу причините што некои истражувачи се скептични во врска со проценките од примероците кои не се веројатни. Извор: библиотека и музеј Хари С. Труман .
Една форма на не-веројатност земање мостри, која е особено погодна за дигиталната ера е употребата на онлајн панели . Истражувачите кои користат интернет-панели зависат од некој од операторите - обично компанија, влада или универзитет - за изградба на голема, разновидна група на луѓе кои се согласуваат да служат како испитаници за анкети. Овие учесници на панелот често се регрутираат со користење на различни ад хок методи, како што се он-лајн банери. Потоа, истражувачот може да му плати на давателот на панел за пристап до примерок од испитаници со посакуваните карактеристики (на пример, национално претставник на возрасни). Овие онлајн панели се методи на не-веројатност, бидејќи не секој има позната, ненадејна веројатност за вклучување. Иако социјалните истражувачи веќе ги користат не-веројатните онлајн панели (на пр. CCES), сè уште постои дебата за квалитетот на проценките што доаѓаат од нив (Callegaro et al. 2014) .
И покрај овие дебати, мислам дека постојат две причини зошто времето е добро за социјалните истражувачи да ја преиспитаат неверојатноста за земање примероци. Прво, во дигиталната ера имало многу настани во собирањето и анализата на примероците кои не се веројатни. Овие понови методи се доволно различни од методите кои предизвикуваа проблеми во минатото и мислам дека е логично да се мисли на нив како "не-веројатност за земање мостри 2.0". Втората причина зошто истражувачите треба да ја преиспитаат неверојатноста за земање примероци е поради тоа што земањето мостри во практиката станува сè потешка. Кога има високи стапки на не-одговор - како што постојат во реални истражувања сега - вистинските веројатности за вклучување кај испитаниците не се познати, а со тоа и примероците за веројатност и примероците за неверојатност не се толку различни колку што веруваат многумина истражувачи.
Како што реков претходно, примероците со неверојатност се гледаат со голем скептицизам од страна на многу социјални истражувачи, делумно поради нивната улога во некои од најсложените неуспеси во раните денови на истражувањето. Јасен пример за тоа колку сме дојдени со примероци со неверојатна веројатност е истражувањето на Веи Ванг, Дејвид Ротшилд, Шарад Гоел и Ендру Гелман (2015) кои правилно го обновиле исходот од изборите во САД во 2012 година, користејќи примерок со неверојатна веројатност од Американските корисници на Xbox-дефинитивно неслучаен примерок од Американците. Истражувачите ги регрутирале испитаниците од гејмерскиот систем XBox, и како што можеше да се очекува, примерокот на Xbox ги искривуваше машките и искривени млади: 18- до 29-годишници сочинуваат 19% од електоратот, но 65% од примерокот Xbox, а мажите сочинуваат 47% од електоратот, но 93% од примерокот Xbox (слика 3.7). Поради овие силни демографски предрасуди, суровините Xbox податоци беа слаб показател за враќање на изборите. Тоа предвиде силна победа за Мит Ромни за Барак Обама. Повторно, ова е уште еден пример за опасностите на суровите, неприлагодените примероци за неверојатност и потсетува на Фијаско на книжевниот доказ .
Слика 3.7: Демографија на испитаниците во W. Wang et al. (2015) . Бидејќи испитаниците беа регрутирани од XBox, тие се со поголема веројатност да бидат млади и со поголема веројатност да бидат мажи, во однос на гласачите на изборите во 2012 година. Адаптирана од W. Wang et al. (2015) , слика 1.
Сепак, Ванг и неговите колеги беа свесни за овие проблеми и се обидеа да се прилагодат за нивниот процес на земање примероци при случаен избор при проценките. Особено, тие користеа пост-стратификација , техника која исто така е широко употребувана за прилагодување на примероци на веројатност кои имаат грешки при покривање и не-одговор.
Главната идеја за пост-стратификација е да се користат помошни информации за целната популација за да се подобри проценката што произлегува од примерокот. Кога користеле пост-стратификација за да направат проценки од примерокот за не-веројатност, Ванг и колегата ја исекле населението во различни групи, ја проценувале поддршката за Обама во секоја група, а потоа земале пондериран просек од групните проценки за да произведат целосна проценка. На пример, тие би можеле да го поделат населението во две групи (мажи и жени), ја проценуваат поддршката за Обама меѓу мажите и жените, а потоа ја проценуваат целокупната поддршка за Обама со земање на просечен просек за да го земат предвид фактот што жените до 53% од електоратот и мажи 47%. Грубо, пост-стратификацијата помага да се исправи неурамнотежен примерок со тоа што ќе се донесат помошни информации за големината на групите.
Клучот за пост-стратификација е да се формираат вистинските групи. Ако можете да ја исецкате популацијата во хомогени групи така што склоностите за одговор се исти за сите во секоја група, тогаш пост-стратификацијата ќе произведе непристрасни проценки. Со други зборови, пост-стратификација според род ќе произведе непристрасни проценки доколку сите мажи имаат склоност за одговор и сите жени имаат иста склоност за одговор. Оваа претпоставка се нарекува претпоставка на хомогени одговор-склоности-во рамките на групите , а јас ја опишувам малку повеќе во математичките белешки на крајот од ова поглавје.
Се разбира, малку е веројатно дека склоностите за одговор ќе бидат исти за сите мажи и за сите жени. Меѓутоа, претпоставката за хомоген одговор-склоности-во рамките на групите станува поверојатна со зголемувањето на бројот на групи. Грубо, полесно е да се исече населението во хомогени групи ако создадете повеќе групи. На пример, може да изгледа неверојатно дека сите жени имаат иста склоност за одговор, но може да изгледа поверојатно дека постои иста одговорност за сите жени на возраст од 18 до 29 години, кои дипломирале на колеџ и живеат во Калифорнија . Така, со оглед на тоа што бројот на групи користени во пост-стратификацијата станува поголем, претпоставките потребни за поддршка на методот стануваат пореални. Со оглед на овој факт, истражувачите често сакаат да создадат огромен број на групи за пост-стратификација. Сепак, со зголемувањето на бројот на групи, истражувачите се соочуваат со поинаков проблем: недостаток на податоци. Ако има само мал број луѓе во секоја група, тогаш проценките ќе бидат понеизвесни, а во екстремен случај кога постои група која нема испитаници, тогаш пост-стратификацијата целосно се распаѓа.
Постојат две начини за извлекување на оваа вродена тензија помеѓу веродостојноста на претпоставката за хомоген одговор-склоност во рамките на групите и побарувачката за разумни големини на примероци во секоја група. Прво, истражувачите можат да соберат поголем, поразновиден примерок, кој помага да се обезбедат разумни големини на примероци во секоја група. Второ, тие можат да користат пософистициран статистички модел за проценка во рамките на групите. И, всушност, понекогаш истражувачите прават и двете, како што Ванг и неговите колеги ги направија со нивната студија за изборот користејќи испитаници од Xbox.
Бидејќи тие користеа метод за земање примероци со неверојатна веројатност со интервјуа со компјутери (повеќе ќе разговарам за интервјуа со компјутери во делот 3.5), Ванг и колегите имаа многу евтин собир на податоци, што им овозможи да соберат информации од 345.858 уникатни учесници , голем број според стандардите на изборното гласање. Оваа масивна големина на примерокот им овозможи да формираат огромен број групи за пост-стратификација. Додека пост-стратификацијата обично вклучува сечење на населението во стотици групи, Ванг и неговите колеги ја поделеа населението во 176.256 групи дефинирани според пол (2 категории), раса (4 категории), возраст (4 категории), образование (4 категории), држава (51 категорија), партиски лист (3 категории), идеологија (3 категории) и 2008 гласање (3 категории). Со други зборови, нивната огромна големина на примерокот, која беше овозможена со ниски трошоци за собирање на податоци, им овозможи да направат поверојатна претпоставка во нивниот процес на проценка.
Дури и со 345.858 уникатни учесници, сепак, имало уште многу, многу групи за кои Ванг и неговите колеги немале речиси никакви испитаници. Затоа, користеле техника наречена рециклирање на повеќе нивоа за да ја проценат поддршката во секоја група. Во суштина, за да се процени поддршката за Обама во одредена група, регресијата на повеќе нивоа ги спојуваше информациите од многу тесно поврзани групи. На пример, замислете обид да ја процените поддршката за Обама кај женските Хиспанци меѓу 18 и 29 години, кои се дипломирани студенти, кои се регистрирани демократи, кои се идентификуваат како умерени и кои гласаа за Обама во 2008 година. Ова е многу , многу специфична група, и можно е дека нема никого во примерокот со овие карактеристики. Затоа, за да направат проценки за оваа група, регресијата на повеќе нивоа користи статистички модел за собирање на проценки од луѓе во многу слични групи.
Така, Ванг и неговите колеги го користеа пристапот кој ја комбинираше релаксацијата и пост-стратификацијата на повеќе нивоа, па ја нарекуваа нивната стратегија повеќерелевантна регресија со пост-стратификација или повозбудливо ". П. "Кога Ванг и неговите колеги го користеа г-динот П. да направат проценки од примерокот за неверојатност од XBox, тие произведоа проценки многу блиску до целокупната поддршка што Обама ја доби на изборите во 2012 година (слика 3.8). Всушност, нивните проценки беа попрецизни отколку агрегат на традиционални анкети за јавното мислење. Така, во овој случај, статистичките прилагодувања, посебно г-динот П., изгледа дека прават добра работа за коригирање на предрасудите во податоците за неверојатност; предрасуди кои беа јасно видливи кога ќе ги погледнете проценките од неприлагодените Xbox податоци.
Слика 3.8: Проценки од W. Wang et al. (2015) . Неприлагодениот примерок на XBox произведе неточни проценки. Но, пондерираниот примерок XBox произведе проценки кои беа попрецизни од просекот на телефонските анкети базирани на веројатност. Адаптирана од W. Wang et al. (2015) , број 2 и 3.
Постојат две главни лекции од проучувањето на Ванг и неговите колеги. Прво, неприлагодените примероци со неверојатност може да доведат до лоши проценки; ова е лекција што многумина научници претходно ја чуле. Втората лекција, сепак, е дека примероците за неверојатност, кога се анализираат правилно, всушност можат да произведат добри проценки; примероците со неверојатност не треба автоматски да доведат до нешто како фијаско на книжевниот раб .
Напредокот, ако се обидувате да одлучите помеѓу употребата на пристапот за земање веројатност и пристапот за земање примероци кои не се веројатни, ќе се соочите со тежок избор. Понекогаш истражувачите сакаат брзо и ригидно правило (на пример, секогаш користете методи за земање веројатност), но тоа е потешко да се понуди такво правило. Истражувачите се соочуваат со тежок избор помеѓу методите на веројатноста за земање примероци во пракса - кои се повеќе се скапи и далеку од теоретски резултати кои ги оправдуваат нивните методи за земање примероци и не-веројатност - кои се поевтини и побрзи, но помалку познати и поразновидни. Сепак, едно е јасно дека ако сте принудени да работат со примероци со неверојатна веројатност или непредлагачки големи извори на податоци (да се разгледате во глава 2), тогаш постои силна причина да верувате дека проценките направени со употреба на пост-стратификација и поврзани со техники ќе бидат подобри од неприлагодените, сурови проценки.
