Mit kell olvasni?

• Bevezetés (3.1. Szakasz)

Az ebben a fejezetben szereplő számos témát az amerikai közvélemény-kutatás (AAPOR) egyesült államokbeli elnöki címeiben is felidézték, például Dillman (2002) , Newport (2011) , Santos (2014) és Link (2015) .

A felméréskutatás és a mélyinterjúk közötti különbségekről bővebben lásd: Small (2009) . A mélyreható interjúkhoz kapcsolódik a néprajz által felvetett megközelítések családja. A néprajzkutatásban a kutatók általában sokkal több időt töltenek a természeti környezetük résztvevőivel. A néprajz és a mélyinterjúk közötti különbségekről bővebben lásd Jerolmack and Khan (2014) . A digitális néprajzról bővebben lásd Pink et al. (2015) .

A felmérési kutatások történetének leírása túl rövid ahhoz, hogy számos izgalmas fejleményt lehessen bekapcsolni. További történelmi háttérről lásd Smith (1976) , Converse (1987) és Igo (2008) . További információk a három felmérési kutatás Groves (2011) : Groves (2011) és Dillman, Smyth, and Christian (2008) (ami enyhén eltéríti a három korszakot).

Groves and Kahn (1979) az első és a második korszak közötti átmenetben keressék fel a felmérések kutatását azáltal, hogy részletes fej-fej összehasonlítást végeztek a személyes és a telefonos felmérés között. ( ??? ) a véletlenszerű számjegyű tárcsázási módszerek történeti fejlődésére tekint vissza.

Ha többet szeretne arról, hogyan változott a felmérési kutatás a múltban a társadalom változásaira adott válaszként, lásd Tourangeau (2004) , ( ??? ) és Couper (2011) .

• A versus megfigyelés kérése (3.2. Szakasz)

A kérdezés és megfigyelés erősségeit és gyengeségeit pszichológusok (pl. Baumeister, Vohs, and Funder (2007) ) és szociológusok (pl. Jerolmack and Khan (2014) , Maynard (2014) , Cerulo (2014) , Vaisey (2014) , Jerolmack and Khan (2014) ] A kérdezés és megfigyelés közötti különbség a közgazdaságtanban is felmerül, ahol a kutatók a megállapított és feltárt preferenciákról beszélnek, például egy kutató megkérdezheti a válaszadókat, hogy inkább fagylaltot fogyasztanak-e, (megállapított preferenciák), vagy megfigyelhette, hogy az emberek gyakran fogyasztanak fagylaltot és menjenek az edzőterembe (kiderült preferenciák) Hausman (2012) gazdaságosságon belül a mélyebb szkepticizmus a megadott preferenciaadatokról szól, amint azt Hausman (2012) leírja.

A viták egyik fő témája, hogy a jelentett viselkedés nem mindig pontos. De a 2. fejezetben leírtak szerint a nagy adatforrások esetleg nem pontosak, nem vehetők fel érdeklődésre számot tartó mintán, és nem feltétlenül férnek hozzá a kutatókhoz. Így azt gondolom, hogy bizonyos helyzetekben a jelentett viselkedés hasznos lehet. Továbbá a viták második fő témája az, hogy az érzelmekről, a tudásról, az elvárásokról és a véleményekről szóló beszámolók nem mindig pontosak. De ha a kutatóknak szükségük van ezekre a belső állapotokra vonatkozó információkra - akár valamilyen viselkedés magyarázata, akár a megmagyarázandó dolog magyarázata -, akkor az esetleg megfelelő lehet. Természetesen a belső államok megismerése kérdéseket is felvethet, mert néha a válaszadók maguk nem ismerik belső állapotukat (Nisbett and Wilson 1977) .

• Összes felmérési hiba (3.3. Szakasz)

A Groves (2004) 1. fejezete kiváló munkát végez a felmérésben részt vevő kutatók által esetenként ellentmondásos terminológiával egyeztetve a teljes felmérési hiba keretrendszer leírására. A teljes felmérési hiba keretrendszer könyv szerinti kezelésére lásd Groves et al. (2009) , és egy történeti áttekintéshez lásd Groves and Lyberg (2010) .

A gépi tanulásban felmerül a hibák eloszlatásának és varianciájának eloszlatása is; lásd például a Hastie, Tibshirani, and Friedman (2009) 7.3. Ez gyakran arra vezeti a kutatókat, hogy beszéljenek egy "torzítás-variancia" kompromisszumról.

A reprezentáció szempontjából a Nem-válasz és a nem válaszfájdalom kérdéseinek nagyszerű bevezetése a Nemzeti Kutatási Tanács jelentése: Nem választható a társadalomtudományi felmérések: A kutatási menetrend (2013) . További hasznos áttekintést nyújt a Groves (2006) . Emellett a Journal of Official Statistics , a közvélemény negyedéves kiadványa és az Amerikai Politikai és Társadalomtudományi Akadémia évkönyvei is megjelentek a nem válaszadás témakörében. Végül a válaszadási arány számításának számos módja létezik; ezeket a megközelítéseket részletesen az amerikai közvélemény-kutatói egyesület (AAPOR) ( ??? ) .

Az 1936-os irodalmi felmérésről bővebben lásd: Bryson (1976) , Squire (1988) , Cahalan (1989) és Lusinchi (2012) . Ha ezt a közvélemény-kutatásot a szokatlan adatgyűjtés elleni példázó figyelmeztetésnek tekintjük, lásd még Gayo-Avello (2011) . 1936-ban George Gallup kifinomultabb mintavételi formát használt, és pontosabb becsléseket tudott készíteni sokkal kisebb mintával. Gallup sikere a Literary Digest felett mérföldkő volt a felmérési kutatások fejlesztésében, amint azt a @ converse_survey_1987 3. fejezete írja le; Ohmer (2006) 4. fejezete; és a @ igo_averaged_2008 3. fejezetét.

A mérés szempontjából a kitűnő első forrás a kérdőívek kidolgozásához a Bradburn, Sudman, and Wansink (2004) . A fejlettebb kezelésekhez lásd Schuman and Presser (1996) , amely kifejezetten a hozzáállás kérdéseire összpontosít, és Saris and Gallhofer (2014) , amely általánosabb. A méréshez valamivel eltérő megközelítést alkalmaznak a pszichometriai mérésekben, amint azt a ( ??? ) leírja. További részletek a Presser and Blair (1994) , Presser et al. (2004) és Groves et al. (2009) . A felmérési kísérletekről bővebben lásd Mutz (2011) .

A költségek szempontjából a felmérési költségek és a felmérési hibák közötti kompromisszum klasszikus, könyvhosszúságú kezelése Groves (2004) .

• Ki kéri (3.4. Szakasz)

A klasszikus valószínűségi mintavételezés és becslés két klasszikus Särndal, Swensson, and Wretman (2003) -kezelése a Lohr (2009) (több bevezető) és Särndal, Swensson, and Wretman (2003) (fejlettebb). A poszt-rétegződés és a kapcsolódó módszerek Särndal and Lundström (2005) kezelése Särndal and Lundström (2005) . Néhány digitális korszakban a kutatók meglehetősen keveset tudnak a nem tudósokról, ami a múltban gyakran nem volt igaz. A válaszadók különböző formái lehetségesek, ha a kutatók tájékoztatást kapnak a nem tudósokról, amint azt Kalton and Flores-Cervantes (2003) és Smith (2011) leírják.

A W. Wang et al. (2015) a többszintű regressziót és a poszt-rétegződést ("Mr. P.") nevezett technikát alkalmazza, amely lehetővé teszi a kutatók számára, hogy csoportos eszközöket becsüljenek akkor is, ha sok, sok csoport létezik. Bár a technika becsléseinek minőségéről vitatkozik, úgy tűnik, hogy ígéretes területet keres. A technikát először Park, Gelman, and Bafumi (2004) , és későbbi felhasználásra és vitára került sor (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Az egyes súlyok és a csoportsúlyok kapcsolatáról bővebben lásd Gelman (2007) .

A webes felmérések súlyozásának más megközelítéseit lásd Schonlau et al. (2009) , Bethlehem (2010) és Valliant and Dever (2011) . Az online panelek használhatják a valószínűségi mintavételt vagy a nem valószínűségi mintavételt. Az online panelekről bővebben lásd Callegaro et al. (2014) .

Néha a kutatók azt találták, hogy a valószínűségi minták és a nem valószínűségi minták hasonló minőségű minőségi becsléseket (Ansolabehere and Schaffner 2014) , de más összehasonlítások azt mutatták, hogy a nem valószínűségi minták rosszabbak (Malhotra and Krosnick 2007; Yeager et al. 2011) . E különbségek egyik oka az, hogy a nem valószínűségi minták idővel javultak. A nem valószínűségi mintavételi módszerekről szóló pesszimistább nézeteket lásd az AAPOR Munkacsoport a nem valószínûségi mintavételezésrõl (Baker et al. 2013) , és javaslom az összefoglaló jelentést követõ kommentár olvasását is.

• Kérdés (3.5. Szakasz)

Conrad and Schober (2008) egy szerkesztett kötet , a Future Survey Interview of Envisioning című kiadványa, és számos szempontot kínál a kérdezés jövőjéről. Couper (2011) hasonló témákkal foglalkozik, és Schober et al. (2015) jó példát nyújt arra, hogy az új beállításokhoz szabott adatgyűjtési módszerek minél jobb minőségű adatokat eredményezhetnek. Schober and Conrad (2015) általánosabb érveket nyújtanak a felmérés kutatásának a társadalom változásaival való összehangolásának folytatása érdekében.

Tourangeau and Yan (2007) a társadalmi kívánatosság torzulását érzékeny kérdésekben vizsgálja, és Lind et al. (2013) felajánlotta a lehetséges okokat, amelyek miatt az emberek érzékenyebb információkat közölhetnek a számítógépes interjúban. A humán interjúalanyok szerepe a felmérésekben a részvételi arány növelésében lásd Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) és Schaeffer et al. (2013) . További információ a vegyes módú felmérésekről: Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) az ökológiai pillanatnyi értékelés és a kapcsolódó módszerek könyv szerinti kezelését ajánlja.

Ha többet szeretne megtudni, hogy a felmérések élvezetes és értékes élményt nyújtanak a résztvevők számára, nézze meg a Testreszabott tervezési módszer (Dillman, Smyth, and Christian 2014) munkáját. Egy másik érdekes példa a Facebook-alkalmazásoknak a társadalomtudományi felmérésekhez való használatával kapcsolatban lásd: Bail (2015) .

• Nagy adatforrásokhoz kapcsolódó felmérések (3.6. Szakasz)

Judson (2007) írja le a felmérések és az adminisztratív adatok "információintegrációként" történő egyesítésének folyamatát, és megvitatja a megközelítés egyes előnyeit, valamint néhány példát.

Ami a dúsított kérést illeti, számos korábbi kísérlet történt a szavazás érvényesítésére. Az irodalom áttekintését lásd Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) , valamint Berent, Krosnick, and Lupia (2016) . Lásd Berent, Krosnick, and Lupia (2016) az Ansolabehere and Hersh (2012) eredményei szkeptikusabb megítélésére.

Fontos megjegyezni, hogy bár az Ansolabehere-t és a Hersh-et a Catalist által nyújtott adatok minősége ösztönözte, a kereskedelmi forgalmazók más értékelések kevésbé lelkesedtek. Pasek et al. (2014) rossz minőségűnek találta, amikor egy felmérésből származó adatokat összehasonlították a Marketing Systems Group egyik fogyasztói fájljával (amely maga is összeolvasta három szolgáltató adatát: az Acxiom, az Experian és az InfoUSA). Ez azt jelenti, hogy az adatfájl nem egyezik a felmérési válaszokkal, amelyekről a kutatók elvárják, hogy helyesek legyenek, a fogyasztói fájl számos kérdésre hiányzó adatokat tartalmazott, és a hiányzó adatmintát korrelálták a feltárt felmérési értékkel (azaz a hiányzó adatokkal az adatok szisztematikusak voltak, nem véletlenszerűek).

Bővebben a felmérések és az adminisztratív adatok közötti rekordösszeköttetésről lásd Sakshaug and Kreuter (2012) és Schnell (2013) . A felvételhez általában lásd: Dunn (1946) és Fellegi and Sunter (1969) (történeti), valamint Larsen and Winkler (2014) (modern). Hasonló módszereket fejlesztettek ki a számítástechnikában olyan nevek mellett, mint az adatok deduplikációja, a példány azonosítása, a (Elmagarmid, Ipeirotis, and Verykios 2007) kettős észlelés és a rekordok felismerése (Elmagarmid, Ipeirotis, and Verykios 2007) . Vannak olyan magánélet-megőrző megközelítések is, amelyek rögzítik a kapcsolatot, amelyek nem igénylik a személyazonosításra alkalmas adatok továbbítását (Schnell 2013) . A Facebook kutatói olyan eljárást dolgoztak ki, amely valószínűleg összekapcsolja rekordjaikat a szavazati magatartással (Jones et al. 2013) ; Ezt a kapcsolatot egy olyan kísérlet értékeléséhez végeztem, amelyet a 4. fejezetben ismertetünk (Bond et al. 2012) . Ha többet szeretne szerezni az Sakshaug et al. (2012) engedélyezéséhez, lásd Sakshaug et al. (2012) .

Egy másik példa arra, hogy egy nagyszabású társadalmi felmérést az államigazgatási nyilvántartásokhoz köti össze az Egészségügyi és Nyugdíjas Felmérés és a Szociális Biztonsági Igazgatóság. Ha többet szeretne erről a tanulmányról, beleértve a beleegyezési eljárással kapcsolatos információkat is, Olson (1996, 1999) .

Az egyes közigazgatási nyilvántartások sok forrásának egy master adatfájlba való bekapcsolásának folyamata - a katalizátor által alkalmazott folyamat - gyakori az egyes nemzeti kormányok statisztikai hivatalaiban. A svéd statisztikából két kutató részletes könyvet írt a témáról (Wallgren and Wallgren 2007) . Az Egyesült Államok egy megyéjében (Olmstead County, Minnesota, a Mayo Clinic otthona) egy példa erre a megközelítésre, lásd Sauver et al. (2011) . További információ az adminisztratív rekordokban megjelenő hibákról: Groen (2012) .

Egy másik módja annak, hogy a kutatók nagy adatforrásokat használhassanak a felmérési kutatásokban, mint mintavételi keret a sajátos jellemzőkkel rendelkező emberek számára. Sajnos ez a megközelítés a magánélethez kapcsolódó kérdéseket vet fel (Beskow, Sandler, and Weinberger 2006) .

Az erősített kérdezést illetően ez a megközelítés nem olyan új, mint amilyennek látszik, ahogyan azt leírtam. Nagyon kapcsolódik a statisztika három nagy területéhez: modellalapú utólagos rétegződés (Little 1993) , imputáció (Rubin 2004) és kis területbecslés (Rao and Molina 2015) . Ugyancsak kapcsolódik a helyettesítő változók orvosi kutatásokban való alkalmazásához (Pepe 1992) .

A Blumenstock, Cadamuro, and On (2015) költség- és Blumenstock, Cadamuro, and On (2015) többet jelentenek a változó költségekre - egy további felmérés költségeire - és nem tartalmaznak rögzített költségeket, például a hívásadatok tisztításának és feldolgozásának költségeit. Általában az erősített kérés valószínűleg magas fix költségekkel és alacsony változó költségekkel jár, mint a digitális kísérleteké (lásd 4. fejezet). További információk a mobiltelefon-alapú felmérésekről a fejlődő országokban lásd: Dabalen et al. (2016) .

Az ötletekről, hogyan lehetne jobban megismételni és jobban megkérdezni, azt javasolnám, hogy többet tanulj többszörös beolvasztásról (Rubin 2004) . Továbbá, ha a kutatók erősítik az aggregált számok iránti érdeklődést, nem pedig az egyéni vonások, akkor a King and Lu (2008) valamint Hopkins and King (2010) hasznosak lehetnek. Végül a Blumenstock, Cadamuro, and On (2015) gépi tanulási módszereiről lásd James et al. (2013) (több bevezető) vagy Hastie, Tibshirani, and Friedman (2009) (fejlettebb).

Az erõsített kérdésre vonatkozó egyik etikai kérdés az, hogy olyan érzékeny vonásokra utalhat, amelyeket az emberek a Kosinski, Stillwell, and Graepel (2013) szerint felmérésben nem találnak.