3.4 Ki kell kérni

A digitális kor a gyakorlatban valószínûbb mintavételezést tesz, és új lehetõségeket teremt a nem valószínûségi mintavételhez.

A mintavétel történetében két versengő megközelítés létezett: valószínűségi mintavételi módszerek és nem valószínűségi mintavételi módszerek. Habár mindkét megközelítést a mintavétel kezdetén alkalmazták, a valószínűségi mintavétel dominál, és számos társadalmi kutatót arra tanítanak, hogy nagy valószínűtlenséggel megvizsgálják a nem valószínűségi mintavételt. Azonban, amint azt az alábbiakban ismertetem, a digitális korszak által létrehozott változások azt jelentik, hogy a kutatóknak újra kell gondolniuk a valószínűtlen mintavételezést. Különösen a valószínűségi mintavétel nehézségekbe ütközik a gyakorlatban, és a nem valószínűsíthető mintavétel egyre gyorsabb, olcsóbb és jobb. A gyorsabb és olcsóbb felmérések nem csupán önmaguk végződnek: új lehetőségeket tesznek lehetővé, mint például gyakoribb felmérések és nagyobb mintaméretek. Például a nem valószínűsíthető módszerek alkalmazásával a szövetségi kongresszusi választási tanulmány (CCES) körülbelül 10-szer több résztvevővel rendelkezik, mint a valószínűségi mintavételt alkalmazó korábbi vizsgálatok. Ez a sokkal nagyobb példa lehetővé teszi a politikai kutatók számára, hogy tanulmányozzák az attitűdök és magatartás variációit az alcsoportok és a társadalmi kontextusok között. Továbbá, az összes hozzáadott skála a becslések minőségében (Ansolabehere and Rivers 2013) nélkül csökkent.

Jelenleg a társadalmi kutatás mintavételének domináns megközelítése a valószínűségi mintavétel . Valószínűségi mintavétel esetén a célcsoport valamennyi tagjának ismert, nem nulla valószínűsége van a mintavételre, és minden olyan személy, aki mintavételezésre reagál, a kérdőívre válaszol. Ha ezek a feltételek teljesülnek, az elegáns matematikai eredmények bizonyítható garanciát jelentenek arra vonatkozóan, hogy a kutató képes-e a minta felhasználására, hogy következtetéseket vonjon le a célpopulációról.

A valós világban azonban ezeknek a matematikai eredményeknek a feltételei ritkán teljesülnek. Például gyakran vannak lefedettségi hibák és nem válaszok. E problémák miatt a kutatóknak gyakran különböző statisztikai kiigazításokat kell alkalmazniuk annak érdekében, hogy mintavételüket a célcsoportjukhoz lehessen következtetni. Ezért fontos, hogy különbséget valószínűségi mintavételt elmélet, melynek erős elméleti garanciákat, és valószínűségi mintavétel a gyakorlatban, ami nem kínál ilyen garanciákat, és függ a különböző statisztikai korrekciók.

Idővel az elméletben való valószínűségi mintavétel és a valószínűségi mintavétel közötti különbségek növekedtek. Például a válaszadási arányok folyamatosan növekszenek, még a kiváló minőségű, drága felmérésekben is (3.5. Ábra) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . A válaszadási arányok sokkal magasabbak a kereskedelmi telefonos felmérésekben - néha akár 90% -kal is (Kohut et al. 2012) . Ezek a növekedés nem reagálnak a becslések minőségére, mivel a becslések egyre inkább attól függenek, hogy a kutatók milyen statisztikai modelleket alkalmaznak a nem válaszadáshoz. Továbbá, ezek a minőségcsökkenések megtörténtek, annak ellenére, hogy a felmérésben résztvevők egyre drágább erőfeszítéseket tettek arra, Vannak, akik félnek attól, hogy a csökkenő minőség és a növekvő költségek ikeres tendenciái fenyegetik a felmérések kutatásának alapját (National Research Council 2013) .

3.5 ábra: A nonresponse folyamatosan növekszik, még a magas színvonalú, drága felmérések során is (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . A nonresponse arány sokkal magasabb a kereskedelmi telefonos felméréseknél, néha akár 90% -nál (Kohut et al. 2012) . Ezek a hosszú távú nem-felelősségteljes folyamatok azt jelentik, hogy az adatgyűjtés drágább, és a becslések kevésbé megbízhatóak. Módosítva a BD Meyer, Mok, and Sullivan (2015) , 1. ábra.

Ugyanakkor, hogy a valószínűségi mintavételi módszerek egyre nagyobb nehézségekkel küzdenek, izgalmas fejleményekre is sor került a nem valószínűségi mintavételi módszereknél . A nem valószínűségi mintavételi módszerek sokféle módszere létezik, de az egyetlen dolog, ami közös, hogy nem férhetnek könnyen a valószínűségi mintavétel matematikai keretébe (Baker et al. 2013) . Más szóval, a nem valószínűségi mintavételi módszereknél nem mindenki rendelkezik a befogadás ismert és nem nulla valószínűségével. A nem valószínűségi mintavételi módszerek szörnyű hírnévnek örvendenek a társadalmi kutatók körében, és a felmérés kutatóinak egyik legdrámaibb kudarcához kapcsolódnak, mint például a korábban tárgyalt Literary Digest fiasco és a "Dewey Defeats Truman", az Egyesült Államokra vonatkozó helytelen előrelátás az 1948-as elnökválasztás (3.6. ábra).

3.6. Ábra: Harry Truman elnök, aki egy olyan újság fejlécét állítja, amely helytelenül jelentette be vereségét. Ez a címsor részben a nem valószínűségi mintákra vonatkozó becsléseken alapult (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Bár a "Dewey Defeats Truman" 1948-ban történt, még mindig az egyik oka annak, hogy egyes kutatók szkeptikusak a nem valószínűségi minták becslései miatt. Forrás: Harry S. Truman Könyvtár és Múzeum .

A digitális korszakra különösen alkalmas nem valószínűségi mintavétel egyik formája az online panelek használata . Az online paneleket használó kutatók bizonyos paneltulajdonosoktól - általában egy vállalattól, kormánytól vagy egyetemen - függenek egy nagy, sokszínű embercsoport felépítésétől, akik beleegyeznek, hogy válaszadóként szolgálnak a felmérésekhez. Ezeket a panel résztvevőket gyakran különféle ad hoc módszerek, például online banner hirdetések felhasználásával vesznek fel. Ezután a kutató fizetheti a panel szolgáltatóját a kívánt jellemzőkkel rendelkező válaszadók (pl. Ezek az online panelek nem valószínûségi módszerek, mert nem mindenki rendelkezik a befogadás ismert, nem nulla valószínűségével. Bár a nem-valószínűségi online paneleket már használják a szociális kutatók (pl. A CCES), még mindig van vita a becslések minőségéről (Callegaro et al. 2014) .

A viták ellenére azt hiszem, két oka van annak, hogy a társadalmi kutatóknak megfelelő idő kell, hogy vizsgálják felül a nem valószínűségi mintavételezést. Először is, a digitális korban számos előrelépés történt a nem valószínűségi minták összegyűjtésében és elemzésében. Ezek az újabb módszerek eléggé eltérnek a múltbeli problémákat okozó módszerektől, és úgy vélem, érdemes úgy gondolni őket, mint "nem valószínűségi mintavételezés 2.0." A második ok, amiért a kutatóknak újra kell gondolniuk a nem valószínűségi mintavételt, a gyakorlat egyre nehezebbé válik. Ha igen nagy a válaszlépések aránya - ahogy vannak a valós felmérésekben - a válaszadók befogadásának tényleges valószínűségei nem ismertek, ezért a valószínűségi minták és a nem valószínűségi minták nem olyan különbözőek, mint sok kutató hisz.

Mint korábban említettem, a nem valószínűsíthető mintákat sok szociáldemokrata kutató szemmel látja, részben azért, mert szerepet játszott a felmérési kutatások legkorábbi napjaiban a leginkább zavaró kudarcokban. Egyértelmű példa arra, hogy milyen messzire jutottunk a nem valószínűségi mintákkal Wei Wang, David Rothschild, Sharad Goel és Andrew Gelman (2015) által végzett kutatások, amelyek helyesen helyezték vissza a 2012-es amerikai választások kimenetelét egy nem valószínűségi mintából Amerikai Xbox-felhasználók - az amerikaiak határozottan nem véletlenszerű mintája. A kutatók felvették a válaszadókat az XBox játékrendszerből, és ahogy az várható volt, az Xbox minta elhomályosodott a férfiak és a fiatalok körében: 18- 29 évesek alkotják a választók 19% -át, de az Xbox minta 65% -át és a férfiakat a szavazók 47% -a, az Xbox minta 93% -a (3.7. ábra). Az erőteljes demográfiai elfogultság miatt a nyers Xbox adatok a választási eredmények rossz mutatói voltak. Ez megjósolta Mitt Romney erős győzelmét Barack Obama felett. Ismét ez a példa a nyers, korrigálatlan, nem valószínűségi minták veszélyeiről, és emlékeztet az Irodalmi Digest fiaszkóra.

3.7. Ábra: W. Wang et al. (2015) Válaszadók demográfiai elemzése W. Wang et al. (2015) . Mivel a megkérdezetteket felvették az XBox-ból, valószínűbb, hogy fiatalabbak és valószínűbb, hogy férfiak, a választókhoz képest a 2012-es választásokon. Módosítva W. Wang et al. (2015) , 1. ábra.

Wang és munkatársai azonban tisztában voltak ezekkel a problémákkal, és becslésekor megpróbálták a nem véletlenszerű mintavételi folyamatokhoz igazítani őket. Különösen a poszt-rétegződést használták, olyan technikát, amelyet széles körben alkalmaznak a lefedettség hibáinak és a nem válaszreakcióval rendelkező valószínűségi minták igazítására.

A poszt-rétegződés fő elgondolása a célpopulációra vonatkozó kiegészítő információk felhasználása a mintából származó becslés javítása érdekében. Amikor utólagos rétegződést alkalmaztak, hogy becsléseket készítsenek a nem valószínűségi mintájukról, Wang és munkatársa eloszlatták a lakosságot különböző csoportokba, becsülték Obama támogatását minden csoportban, majd a csoport becsléseinek súlyozott átlagát vette át, hogy összességében becslést készítsen. Például megoszthatták volna a lakosságot két csoportba (férfiak és nők), becsülték Obama támogatását a férfiak és a nők körében, majd becsülték az általános támogatást Obama számára a súlyozott átlagot figyelembe véve annak figyelembevétele érdekében, hogy a nők a választók 53% -a és a férfiak 47% -a. Az utólagos rétegződés nagymértékben segít kiegyensúlyozatlan minta kijavításával a csoportok méretére vonatkozó kiegészítő információkkal.

A poszt-rétegződés kulcsa a megfelelő csoportok kialakítása. Ha a populációt homogén csoportokba rendezhetjük, úgyhogy a reagálási hajlandóságok megegyeznek minden csoport minden tagjával, akkor a poszt-rétegződés megalapozatlan becsléseket fog készíteni. Más szóval, a nemi felosztás utáni rétegződés megalapozatlan becsléseket fog eredményezni, ha minden férfi válaszreakcióra van hajlamos, és minden nőnek ugyanaz a válaszadási hajlama. Ezt a feltevést homogén-válasz-propenzitásoknak nevezzük, a csoporton belüli feltételezéseken belül , és ezt a fejezet végén egy kicsit többet írok le a matematikai feljegyzésekben.

Természetesen valószínűtlennek tűnik, hogy a reagálási hajlandóság minden emberre és minden nőre ugyanaz lesz. Azonban a homogén-válasz-elhivatottság-csoporton belüli feltételezés egyre inkább meggyőzővé válik, ahogy a csoportok száma növekszik. Nagyjából könnyebbé válik a lakosság homogén csoportokká válása, ha több csoportot hoz létre. Például hihetetlennek tűnhet, hogy minden nő ugyanazt a válaszadási hajlandóságot kapja, de valószínűbbnek tűnik, hogy ugyanaz a válaszadási hajlandóság mind a 18-29 éves nőknél, akik főiskolán végzettek, és akik Kaliforniában élnek . Így, mivel a poszt-rétegződésben használt csoportok száma nagyobb lesz, a módszer támogatásához szükséges feltevések ésszerűbbek lesznek. Tekintettel erre a tényre, a kutatók gyakran nagyszámú csoportot kívánnak létrehozni a poszt-rétegződéshez. Azonban, ahogy a csoportok száma nő, a kutatók egy másik problémába ütköznek: az adatok romlottsága. Ha csak kevés ember van az egyes csoportokban, akkor a becslések bizonytalanabbak lesznek, és szélsőséges esetekben, ahol olyan csoport van, amely nem rendelkezik válaszadókkal, akkor a poszt-rétegződés teljesen leáll.

A homogén-válasz-hajlandóság a csoporton belüli feltételezés plausibilitása és az egyes csoportokban ésszerű mintaméretek iránti igény között kétféleképpen lehet elhagyni ezt a belső feszültséget. Először is, a kutatók összegyűjthetnek egy nagyobb, sokszínűbb mintát, amely minden csoportban megkönnyíti a minta megfelelő méretét. Másodszor, egy bonyolultabb statisztikai modellt használhatnak a csoportok becslésére. Valójában néha kutatók is mindkettőjüket, ahogyan Wang és kollégái a választásokkal foglalkozó tanulmányaik során az Xbox-nktól válaszoltak.

Mivel számítógépes beavatkozásokkal foglalkoztak egy nem valószínűségi mintavételi módszerrel (a 3.5 fejezetben többet foglalkozom a számítógépes interjúkkal), Wang és munkatársai nagyon olcsó adatgyűjtést végeztek, ami lehetővé tette számukra, hogy 345.858 egyedi résztvevőből gyűjtsenek információkat , egy hatalmas szám a választási szavazás normái szerint. Ez a masszív minta mérete lehetővé tette számukra, hogy hatalmas számú poszt-rétegző csoportot képezzenek. Miközben a posztstratifikáció tipikusan a népesség több száz csoportba történő feldarabolódását eredményezi, Wang és munkatársai 176.256 csoportba osztották a nemet (2 kategória), a faj (4 kategória), az életkor (4 kategória), az oktatás (4 kategória), az állam (51 kategória), pártazonosító (3 kategória), ideológia (3 kategória) és 2008-as szavazás (3 kategória). Más szóval, a hatalmas mintaméretük, amelyet az alacsony költségű adatgyűjtés lehetővé tett, lehetővé tette számukra, hogy becslési folyamatukban elképzelhetőbb feltevést tegyenek.

Még 345.858 egyedülálló résztvevővel együtt még mindig sok olyan csoport létezett, amelyekre Wang és munkatársai szinte nem válaszoltak. Ezért a többszintű regresszióval kapcsolatos technikát alkalmazták, hogy megbecsüljék az egyes csoportok támogatását. Lényegében, hogy megítéljük Obama támogatását egy adott csoporton belül, a többszintű regresszió összegyűjtött információkat tartalmaz számos szorosan kapcsolódó csoporttól. Például, képzelje el, hogy megpróbálja megbecsülni Obama támogatását a 18 és 29 éves női spanyolok között, akik egyetemi diplomások, akik regisztrált demokraták, akik önmagukat mérsékelték, és akik 2008-ban Obama-ot választottak. Ez egy nagyon , nagyon specifikus csoport, és lehetséges, hogy a mintában senki sem rendelkezik ezekkel a jellemzőkkel. Ezért a csoportra vonatkozó becsléseknél a többszintű regresszió statisztikai modellt alkalmaz, hogy összevonja a nagyon hasonló csoportokból származó becsléseket.

Így Wang és munkatársai olyan megközelítést alkalmaztak, amely kombinálta a többszintű regressziót és a poszt-rétegződést, ezért stratégiájukat többszintű regresszióval hívták fel utólagos rétegződéssel vagy, kedvesen "Mr. P. "Amikor Wang és munkatársai P.-t használtak arra, hogy becsléseket készítsenek az XBox nem valószínűségi mintáról, becsléseket készítettek nagyon közel ahhoz a teljes támogatáshoz, amelyet Obama a 2012-es választásokon megkapott (3.8. Ábra). Valójában becsléseik pontosabbak voltak, mint a hagyományos közvélemény-kutatások összessége. Így ebben az esetben a statisztikai kiigazítások - konkrétan P. úr - úgy tűnik jó munkát végeznek, hogy korrigálják a nem valószínûségi adatokban elfoglalt eltéréseket; olyan előítéletek, amelyek jól láthatóak voltak, amikor megnézzük a nem módosított Xbox adatok becslését.

3.8. Ábra: Becslések W. Wang et al. (2015) . A korrigálatlan XBox minta pontatlan becsléseket eredményezett. De a súlyozott XBox minta olyan becsléseket eredményezett, amelyek pontosabbak voltak a valószínűségi alapú telefonos felmérések átlagánál. Módosítva W. Wang et al. (2015) , 2. és 3. ábra.

Két fő tanulság van Wang és munkatársai tanulmányozásáról. Először is, a nem korrigált nem valószínűségi minták rossz becsléseket eredményezhetnek; ez egy olyan lecke, amelyet sok kutató hallott korábban. A második lecke azonban az, hogy a nem valószínûségi minták megfelelõ analízis esetén ténylegesen jó becsléseket készítenek; a nem valószínűségi mintáknak nem kell automatikusan vezetniük valami olyasmit, mint a Literary Digest fiasco.

Ha előre megpróbálunk dönteni egy valószínűségi mintavételi megközelítés és egy nem valószínűségi mintavételi megközelítés között, nehéz választást találsz. Néha a kutatók gyors és merev szabályt akarnak (pl. Mindig használják a valószínűségi mintavételi módszereket), de egyre nehezebb ilyen szabályt felajánlani. A kutatóknak a gyakorlatban nehéz választási lehetőséget kell találniuk a valószínűségi mintavételi módszerek között - amelyek egyre drágábbak és messze vannak azoktól az elméleti eredményektől, amelyek igazolják felhasználásukat, és nem valószínűsíthető mintavételi módszereiket - amelyek olcsóbbak és gyorsabbak, de kevésbé ismertek és változatosabbak. Egyértelmű azonban az, hogy ha nem kényszerítő mintákkal vagy nem reprezentatív nagy adatforrásokkal kell dolgozni (gondoljon vissza a 2. fejezetre), akkor erős okkal feltételezhető, hogy a rétegződés és a az ehhez kapcsolódó technikák jobbak lesznek, mint a korrigálatlan, nyers becslések.