frekari athugasemd

Þessi hluti er hannað til að nota sem viðmiðun, frekar en að vera að lesa sem frásögn.

• Inngangur (kafli 3.1)

Margir af þeim þemum í þessum kafla hefur einnig verið echoed á undanförnum Presidential Addresses á American Association of Public mati Greiningardeildar (AAPOR), svo sem Dillman (2002) , Newport (2011) , Santos (2014) , og Link (2015) .

Fyrir frekari sögulegum bakgrunni um þróun könnun rannsókna, sjá Smith (1976) og Converse (1987) . Fyrir meira á þeirri hugmynd að þremur eras könnun rannsóknir, sjá Groves (2011) og Dillman, Smyth, and Christian (2008) (sem brýtur upp þrjár eras örlítið öðruvísi).

A hámarki inni í umskipti frá fyrsta til annað tímabil í könnun rannsóknum er Groves and Kahn (1979) , sem gerir nákvæma höfuð-til-höfuð samanburð milli augliti til auglitis og símakönnun. Brick and Tucker (2007) lítur til baka á sögulegri þróun handahófi tölustafur sýnatöku hringing aðferðum.

Fyrir meira hvernig könnun rannsóknir hefur breyst í fortíðinni til að bregðast við breytingum í þjóðfélaginu, sjá Tourangeau (2004) , Mitofsky (1989) , og Couper (2011) .

• Asking vs. fylgjast (kafli 3.2)

Læra um innri ríkja með því að spyrja spurninga getur verið erfið vegna þess að stundum svarendur sjálfir eru ekki meðvitaðir um innri ríkjum þeirra. Til dæmis, Nisbett and Wilson (1977) með frábæra pappír með kallar titilinn: "Segi meira en við getum vita:. Verbal skýrslur um andlega ferli" Í blaðinu höfundar álykta: "einstaklingar eru stundum (a) ókunnugt um tilvist áreiti sem vert áhrifum svar, (b) ókunnugt um tilvist viðbrögðum, og (c) ókunnugt um að hvati hefur áhrif á viðbrögð. "

Fyrir rök að vísindamenn ættu að kjósa sem sást hegðun að tilkynnt hegðun eða viðhorfum, sjá Baumeister, Vohs, and Funder (2007) (sálfræði) og Jerolmack and Khan (2014) og viðbrögð (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (félagsfræði). Munurinn á milli spyrja og fylgjast einnig kemur í hagfræði, þar sem vísindamenn tala um fram og í ljós óskir. Til dæmis, rannsóknarmaður gæti spurt hvort svarendur vilja borða ís eða fara að ræktina (settum óskir) eða rannsóknir gætu fylgst hversu oft fólk borðar ís og fara í ræktina (ljós óskir). Það er djúpt tortryggni tiltekinna sem fram óskir gögnum í hagfræði (Hausman 2012) .

A helsta þema frá þessum umræðum er að greint hegðun er ekki alltaf nákvæm. En, sjálfkrafa skráð hegðun mega ekki vera nákvæmur, má ekki safnað á úrtaki áhuga, og má ekki vera aðgengilegar rannsakendum. Svona, í sumum tilvikum, held ég að greint hegðun getur verið gagnlegt. Ennfremur, annað meginþema frá þessum umræðum er að skýrslur um tilfinningar, þekkingu, væntingar og skoðanir eru ekki alltaf réttar. En, ef upplýsingar um þessa innri ríkja þarf af vísindamönnum, annaðhvort til að útskýra nokkur hegðun eða sem hlutur til að skýra-þá spyrja kann að vera rétt.

• Total könnun villa (kafli 3.3)

Fyrir bók lengd meðferðir á heildar könnun villa, sjá Groves et al. (2009) eða Weisberg (2005) . Fyrir sögu þróun heildar könnun villa, sjá Groves and Lyberg (2010) .

Hvað varðar framsetningu, mikill kynning á málefnum brottfalls og non-svörun hlutdrægni er skýrsla National Research Council á nonresponse í Social Science Kannanir: A Research Agenda (2013) . Annar gagnlegur yfirlit er veitt af (Groves 2006) . Einnig, hafa allt sérstök málefni tímaritsins opinberri hagskýrslugerð almenningsálit ársfjórðungslega og annálum American Academy of Stjórnmála-og félagsvísindi verið birt á efni brottfalls. Að lokum, það eru í raun margar mismunandi leiðir til að reikna út svarhlutfall; þessar aðferðir eru lýst í smáatriðum í skýrslu frá American Association almennings vísindamanna (AAPOR) (Public Opinion Researchers} 2015) .

1936 Literary Digest skoðanakönnun hefur verið rannsakað í smáatriðum (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Það hefur einnig verið notað sem dæmisögu til að vara við tilviljanakenndur Gagnasöfnun (Gayo-Avello 2011) . Árið 1936, George Gallup notaði flóknari form sýnatöku og var fær um að framleiða meira nákvæmar áætlanir með miklu minni sýni. Árangur Gallup er yfir Literary Digest var áfangi þróun könnun rannsóknir (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

Hvað varðar mælingu, frábær fyrsta úrræði til að hanna spurningalista er Bradburn, Sudman, and Wansink (2004) . Fyrir fleiri háþróaður meðferð áherslu sérstaklega á viðhorfum spurningum, sjá Schuman and Presser (1996) . Meira um fyrirfram próf spurningum er í boði í Presser and Blair (1994) , Presser et al. (2004) , og kafla 8 Groves et al. (2009) .

Klassískt, bók-lengd meðferð málamiðlun milli kostnaðar könnun og könnun villur er Groves (2004) .

• Hver að spyrja (kafli 3.4)

Classic bók lengd meðferð venjulegu líkur sýnatöku og mat eru Lohr (2009) (meira inngangs) og Särndal, Swensson, and Wretman (2003) (lengra). Sígild bók-lengd meðferð eftir lagskiptingarþátta og tengdum aðferðum er Särndal and Lundström (2005) . Í sumum stafrænum stillingum aldri, vísindamenn vita töluvert um erlenda svarenda, sem var ekki oft satt í fortíðinni. Mismunandi gerðir af aðlögun ekki svar er mögulegt þegar vísindamenn hafa upplýsingar um erlenda svarenda (Kalton and Flores-Cervantes 2003; Smith 2011) .

The Xbox Rannsóknin á Wang et al. (2015) notar tækni sem kallast multilevel afturför og eftir lagskipting (MRP, stundum kallað "Mister P") sem leyfir vísindamenn að meta klefi þýðir jafnvel þegar það eru margir, margir frumur. Þó að það er einhver umræða um gæði mati frá þessari aðferð, það virðist eins og efnilegur svæði til að kanna. Tæknin var fyrst notað í Park, Gelman, and Bafumi (2004) , og það hefur verið síðari notkun og umræðu (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Fyrir meira á tengsl þyngdum og þyngd klefi byggir sjá Gelman (2007) .

Fyrir aðrar aðferðir til að vægi kannana vefur, sjá Schonlau et al. (2009) , Valliant and Dever (2011) , og Bethlehem (2010) .

Dæmi um samsvörun var lagt af Rivers (2007) . Bethlehem (2015) heldur því fram að afkoma sýni samsvörun mun reyndar vera svipuð öðrum aðferðum við sýnatöku (td lagskipt sýnatöku) og öðrum aðferðum aðlögun (td eftir lagskiptingarþátta). Frekari upplýsingar um online spjöldum, sjá Callegaro et al. (2014) .

Stundum vísindamenn hafa komist að því að sýni líkur og ekki líkindaúrtökum gefa mat á svipuðum gæðum (Ansolabehere and Schaffner 2014) , en aðrar samanburður hafa komist að því að ekki líkindaúrtökum verr (Malhotra and Krosnick 2007; Yeager et al. 2011) . Ein möguleg ástæða fyrir þessum mismun er sú að ekki líkindaúrtökum hafa batnað með tímanum. Fyrir svartsýnni ljósi ekki líkur sýnatökuaðferðir sjá á AAPOR Task Force á Non-líkum Sampling (Baker et al. 2013) , og ég mæli líka að lesa athugasemd sem fylgir samantekt skýrslu.

Fyrir safngreiningu á áhrifum vægi til að draga úr hlutdrægni í sýnum ekki líkur, sjá töflu 2.4 í Tourangeau, Conrad, and Couper (2013) , sem leiðir höfundar að álykta "leiðréttingar virðast vera gagnlegur en breyskir leiðréttingar. . . "

• Hvernig á að spyrja (kafli 3.5)

Conrad and Schober (2008) veitir breytt hljóðstyrk heitir Envisioning Könnunin Viðtal framtíðarinnar, og það fjallar margir af þeim þemum í þessum kafla. Couper (2011) fjallar svipuð þemu og Schober et al. (2015) býður upp á gott dæmi um hvernig gagnasöfnun aðferðir sem eru sniðin að nýrri stillingu geta leitt til hærri gæði gagna.

Til öðru áhugaverðu dæmi um notkun Facebook forrit fyrir félagslega könnunum vísindi, sjá Bail (2015) .

Fyrir frekari ráðgjöf um gerð Kannanir skemmtilegt og dýrmæta reynslu fyrir þátttakendur, sjá verk á sniðin hönnun aðferð (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) , býður upp á bók lengd meðferðar vistfræðilegar momentary mat og tengdum aðferðum.

• Kannanir tengjast öðrum gögnum (kafli 3.6)

Judson (2007) lýstu því að sameina kannanir og stjórn- gögn sem "upplýsingar sameining," fjallar nokkur kostur þessarar nálgunar, og býður upp á nokkur dæmi.

Önnur leið til að vísindamenn geta notað stafræna ummerki og stjórnsýslu gögn er Sýnatökuramminn fyrir fólk með sérstökum eiginleikum. Hins vegar aðgang þessar skrár til að nota á sýnatöku ramma getur líka búið til spurningar sem tengjast persónuvernd (Beskow, Sandler, and Weinberger 2006) .

Varðandi magna spyrja, þessi aðferð er ekki eins og nýtt og það kann að virðast frá því hvernig ég hef lýst því. Þessi aðferð hefur djúp tengsl við þremur stórum svæðum í statistics-líkan byggir post-lagskiptingu (Little 1993) , áætla stærðir (Rubin 2004) , og lítið svæði mat (Rao and Molina 2015) . Það er einnig í tengslum við notkun surrogate breytur í læknisfræðilegar rannsóknir (Pepe 1992) .

Í viðbót við siðferðileg málefni sem varða aðgang að stafrænum gögnum snefil, magnað uppsett gæti einnig verið notuð til að álykta viðkvæm einkenni sem fólk gæti ekki valið að sýna í könnun (Kosinski, Stillwell, and Graepel 2013) .

Kostnaður og tími mat í Blumenstock, Cadamuro, and On (2015) vísa meira til breytilegs kostnaðar-kostnaði við einn til viðbótar könnun-og innihalda ekki föstum kostnaði, svo sem kostnað til að hreinsa og vinna úr símtalinu gögn. Almennt, magnað uppsett mun líklega hafa háan fastan kostnað og lágan breytilegan kostnað svipaðar stafræna tilraunir (sjá kafla 4). Nánari upplýsingar um þau gögn sem notuð eru í Blumenstock, Cadamuro, and On (2015) pappír eru í Blumenstock and Eagle (2010) og Blumenstock and Eagle (2012) . Aðkomuleiðir frá mörgum imputuation (Rubin 2004) gæti hjálpað handtaka óvissu áætlunum magna spyrja. Ef vísindamenn gera magnað spyrja aðeins annt um samanlögð telja, frekar en einstaklingur stigi einkenni, þá aðferðir í King and Lu (2008) og Hopkins and King (2010) getur verið gagnlegt. Fyrir meira um vél nám í aðferðum í Blumenstock, Cadamuro, and On (2015) , sjá James et al. (2013) (meira inngangs) eða Hastie, Tibshirani, and Friedman (2009) (lengra). Annar vinsæll vél nám kennslubók er Murphy (2012) .

Varðandi auðgað spyrja, niðurstöður í Ansolabehere og Hersh (2012) löm á tveimur helstu skrefum: 1) hæfni Catalist að sameina margar ólíkum gögnum heimildum til að framleiða nákvæmar húsbóndi gagnaskrá og 2) getu Catalist að tengja könnun gagna til húsbóndi gagnaskrá hennar. Því Ansolabehere og Hersh athuga hvert af þessum skrefum vandlega.

Til að búa til skipstjóra gagnaskrá, Catalist sameinar og Samræmir upplýsingar frá mörgum mismunandi aðilum þ.mt: margar atkvæðabækur skyndimyndir frá hverju ríki, gögnum frá pósthús National breytingar á heimilisfangi Registry og gögn frá öðrum ótilgreindum viðskiptalegum veitendur. Gory upplýsingar um hvernig allt þetta hreinn og samruna gerist eru utan gildissviðs þessarar bókar, en þetta ferli, sama hversu varlega, mun breiða villur í upprunalegu gögn heimildum og mun kynna villur. Þótt Catalist var tilbúinn til að ræða gagnavinnslu sína og veita sumir af óunnum gögnum sínum, það var einfaldlega ómögulegt fyrir vísindamenn til að endurskoða allt Catalist gögn leiðsla. Frekar, vísindamenn voru í aðstæðum þar sem Catalist gögn skrá átti nokkur óþekkt, og ef til vill óþekkjanlegur, magn af villa. Þetta er alvarlegt áhyggjuefni vegna þess að gagnrýnandi getur velt að stór munur á milli kannana skýrslum um CCES og hegðun í Catalist húsbóndi gögn skrá voru af völdum villur í master gögn skrá, ekki misreporting svarenda.

Ansolabehere og Hersh tók tvö mismunandi aðferðir til að takast á við gögn gæði áhyggjum. First, auk samanburð sjálf-greint atkvæðagreiðslu til atkvæðagreiðslu í Catalist master file, rannsakendur borið saman einnig sjálf-greint aðila, kynþáttar, kjósandi skráning staða (td skráð eða ekki skráð) og atkvæðagreiðslur aðferð (td, í eigin persónu, kjörfundar atkvæðagreiðslu, osfrv) til að þeim gildum sem finnast í Catalist gagnagrunna. Af þessum fjórum lýðfræðilegum breytum, sem vísindamenn fundið mikið hærri stigum samkomulagi skýrslu könnun og gögn í Catalist master file en til atkvæðagreiðslu. Svona, Catalist húsbóndi gögn skrá virðist hafa hágæða upplýsingar fyrir aðra en atkvæðagreiðslu eiginleikum, sem bendir til að það er ekki af fátækur gæði. Í öðru lagi, að hluta með því að nota gögn frá Catalist, Ansolabehere og Hersh þróað þrjár mismunandi ráðstafanir um gæði gagna sýsla atkvæðagreiðslu, og þeir fundu að áætlaður hlutfall yfir-skýrslugerð atkvæðagreiðslu var í raun ótengd eitthvað af þessum gögnum gæðum ráðstafanir, niðurstöðu sem benda til þess að háir yfir-skýrslugjöf eru ekki knúin áfram af sýslum með óvenju lágu gögn gæðum.

Í ljósi sköpun þessarar meistara atkvæðagreiðslu skrá, annað uppspretta hugsanlegum villum er að tengja könnun færslur henni. Til dæmis, ef þetta tengingu er gert rangt gæti það leitt til yfir-mat á mismun milli greint og fullgilt atkvæðagreiðslu hegðun (Neter, Maynes, and Ramanathan 1965) . Ef sérhver einstaklingur hafði stöðugt, einstakt auðkenni sem var í báðum aðilum gögn, þá tengingu væri léttvæg. Í Bandaríkjunum og flestum öðrum löndum, en hins vegar er engin almenn heiti. Frekari, jafnvel ef það væri svo aðgreini fólk myndi líklega vera hikandi við að veita það að kanna vísindamenn! Þannig Catalist þurfti að gera tengsl með ófullkomnar auðkenni, í þessu tilfelli fjögur stykki af upplýsingum um hverja svaranda: nafn, kyn, fæðingarár, og heimilisfangið. Til dæmis, Catalist þurfti að ákveða hvort Homie J Simpson í CCES var sami maður og Homer Jay Simpson í stofngögn þeirra skrá. Í reynd, samsvörun er erfitt og sóðalegur ferli, og til að gera illt verra fyrir vísindamenn, Catalist talið samsvarandi tækni til þess að vera sér.

Í því skyni að sannreyna samsvörun reiknirit, treysta þeir á tveimur viðfangsefni. First, Catalist þátt í samsvarandi keppni sem var rekið af óháðum þriðja aðila: the Mitre Corporation. Mitre veitt Allir þátttakendur tvær hávær gagnaskrár að passa, og mismunandi lið keppt aftur til Mitre bestu samsvörun. Vegna Mitre sjálft þekkti rétta samsvörun þeir gátu til að skora liðum. Af þeim 40 félögum sem keppti, Catalist kom í öðru sæti. Þessi tegund af óháðum, þriðja aðila mat á eigin tækni er alveg sjaldgæft og ótrúlega dýrmætur; það ætti að gefa okkur sjálfstraust sem passa aðferðir Catalist eru í raun á ástand-af-the-list. En er ástand-af-the-list nógu gott? Í viðbót við þetta samsvörun samkeppni, Ansolabehere og Hersh skapað sinn eigin passa áskorun þeirra fyrir Catalist. Frá fyrri verkefni, Ansolabehere og Hersh hafði safnað kjósandi færslur frá Florida. Þeir sem sum þessara gagna með nokkrum af sínum redacted að Catalist og þá miðað skýrslur Catalist er af þessum sviðum til raunveruleg gildi sínu sviði. Sem betur fer, skýrslur Catalist voru nálægt staðgreiðslu gildum, gefur til kynna að Catalist gæti passa hluta kjósandi færslur á stofngögn þeirra skrá. Þessar tvær áskoranir, einn af þriðja aðila og einn af Ansolabehere og Hersh, gefa okkur meira sjálfstraust í Catalist samsvörun reiknirit, jafnvel þó að við getum ekki skoðað nákvæma framkvæmd þeirra sjálf.

Það hafa verið margar fyrri tilraunir til að sannreyna atkvæðagreiðslu. Til að fá yfirlit þeirrar bókmenntum, sjá Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , og Hanmer, Banks, and White (2014) .

Það er mikilvægt að hafa í huga að þrátt fyrir að í þessu tilfelli vísindamenn voru hvattir af gæðum gagna frá Catalist, aðrar rannsóknir viðskiptabanka smásali hafa verið minna ákafur. Vísindamenn hafa fundið lélegar þegar gögn úr könnun til neytenda-skrá frá Marketing Systems Group (sem sjálft sameinuðust saman gögn úr þremur fyrirtækjum: Acxiom, Experian, og InfoUSA) (Pasek et al. 2014) . Það er, gögn skrá ekki passa Könnun sem vísindamenn gert ráð fyrir að vera rétt, að gagnaskrá hafði vantar gögn fyrir fjölda spurninga, og vantar gögn mynstur var fylgni við uppgefinn könnun gildi (í öðrum orðum sem vantar gögn var kerfisbundin , ekki af handahófi).

Frekari upplýsingar um skrá tengsl milli kannana og stjórnsýslufyrirmælum gögn, sjá Sakshaug and Kreuter (2012) og Schnell (2013) . Frekari upplýsingar um skrá tengingu almennt, sjá Dunn (1946) og Fellegi and Sunter (1969) (historical) og Larsen and Winkler (2014) (nútíma). Svipaðar aðferðir hafa einnig verið þróuð í tölvunarfræði undir nöfnum eins og gögn deduplication, td auðkenningu, nafn samsvörun, afrit uppgötvun, og afrit skrá uppgötvun (Elmagarmid, Ipeirotis, and Verykios 2007) . Það eru líka næði viðhalda aðferðir til að taka tengsl sem þurfa ekki í sér persónugreinanlegar upplýsingar (Schnell 2013) . Vísindamenn á Facebook þróað aðferð til að probabilisticsly tengja skrár sínar til hegðunar atkvæðagreiðslu (Jones et al. 2013) ; þetta tengingu var gert til að meta tilraun sem ég ætla að segja ykkur í 4. kafla (Bond et al. 2012) .

Annað dæmi um að tengja stórfelldum félagslega könnun á opinberum stjórnsýsluupplýsingar kemur frá heilbrigðis- og Starfslok Survey og Tryggingastofnunar ríkisins. Frekari upplýsingar um þessi rannsókn, þar á meðal upplýsingar um samþykki aðferð, sjá Olson (1996) og Olson (1999) .

Ferlið að sameina margar uppsprettur stjórnsýsluupplýsingar í meistara gagnaskrá-ferlið sem Catalist starfsmenn-er algengt í hagstofa sumra ríkisstjórna. Tveir vísindamenn frá Hagstofu Svíþjóð hafa skrifað ítarlega bók um efnið (Wallgren and Wallgren 2007) . Fyrir dæmi um þessa nálgun í einu fylki í Bandaríkjunum (Olmstead County, Minnesota, heimili af Mayo Clinic), sjá Sauver et al. (2011) . Frekari upplýsingar um villur sem geta birst í stjórnsýsluupplýsingar sjá Groen (2012) .