Muita kommentteja

Tämä osio on suunniteltu käytettäväksi referenssinä, pikemmin kuin luettavaksi kerronnan.

• Johdanto (kohta 3.1)

Monet teemat tässä luvussa on myös vastakaikua viime Presidential Osoitteet American Association of Public Opinion Research (AAPOR), kuten Dillman (2002) , Newport (2011) , Santos (2014) , ja Link (2015) .

Saat historiallista taustaa n kehityksestä kyselytutkimuksen, katso Smith (1976) ja Converse (1987) . Saat ajatukseen kolme aikakausien kyselytutkimuksen, katso Groves (2011) ja Dillman, Smyth, and Christian (2008) (joka hajottaa kolme eras hieman eri).

Huippu sisällä siirtyminen ensimmäisestä toiseen aikakausi tutkimus tutkimus on Groves and Kahn (1979) , joka tekee yksityiskohtaisen head-to-head vertailu face-to-face ja puhelinhaastattelun. Brick and Tucker (2007) katsoo takaisin historialliseen kehitykseen satunnaisen numeron soitto näytteenottomenetelmät.

Saat miten tutkimus tutkimus on muuttunut viime vastauksena muutoksiin yhteiskunnassa, katso Tourangeau (2004) , Mitofsky (1989) , ja Couper (2011) .

• Kysymysten vs. havainnoimalla (kohta 3.2)

Tietoja sisäistä tilaa kysymällä voi olla ongelmallista, koska joskus vastaajat itse eivät ole tietoisia niiden sisäiset tilat. Esimerkiksi Nisbett and Wilson (1977) on ihana paperi mielikuvia otsikko: "Telling enemmän kuin voimme tietää: Suullinen raportit mielen prosesseja." Kun paperi kirjoittajat toteavat: "aiheet ovat joskus (a) tietämätön olemassaolo ärsyke, joka tärkeämpää vaikuttanut vastaus, (b) tietämättä sitä, että vasteen, ja (c) tietämättä, että ärsyke on vaikuttanut vastaus. "

Argumenteille että tutkijoiden olisi mieluummin havaittu käyttäytyminen raportoitu käyttäytymistä tai asenteita, katso Baumeister, Vohs, and Funder (2007) (psykologia) ja Jerolmack and Khan (2014) ja vasteet (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (sosiologia). Ero kysymällä ja havainnoimalla syntyy myös taloustieteessä, jossa tutkijat puhuvat totesi ja paljasti mieltymykset. Esimerkiksi tutkija voisi kysyä vastaajien ovatko he mieluummin syö jäätelöä tai menossa kuntosalilla (todettu asetuksia) tai tutkimus voi tarkkailla, kuinka usein ihmiset syövät jäätelöä ja mennä kuntosalille (paljasti mieltymykset). On syvä skeptisyys tietyntyyppisten todettiin mieltymysten data taloustiede (Hausman 2012) .

Tärkein teema Näistä keskusteluista on, että raportoitu käyttäytyminen ei ole aina tarkka. Mutta, tallennetaan automaattisesti käyttäytyminen ehkä ole tarkka, ei saa koota otoksen kiinnostava, ja ehkä ole saatavilla tutkijoille. Näin ollen joissakin tilanteissa, uskon, että raportoidusta käyttäytyminen voi olla hyödyllistä. Edelleen toinen pääteema Näistä keskusteluista on, että raportit tunteet, tieto, odotukset, ja lausunnot eivät aina ole tarkkoja. Mutta, jos tietoa näistä sisäistä tilaa tarvitaan tutkijoiden-joko auttavat selittämään käyttäytymisen tai asia selitetään-sitten kysyy voi olla tarkoituksenmukaista.

• Yhteensä kyselyyn error (kohta 3.3)

Kirjojen pituus hoitoja koko kyselyn virhe, katso Groves et al. (2009) tai Weisberg (2005) . Jotta historia kehitystä koko kyselyn virhe, katso Groves and Lyberg (2010) .

Edustamistavat, suuri johdatus kysymyksiä kadon ja kato puolueellisuus on National Research Council raportti kato in Social Science Surveys: tutkimusohjelma (2013) . Toinen hyödyllinen yleiskuva tarjoaa (Groves 2006) . Myös koko erityiskysymykset Journal virallisen tilaston, Public Opinion Quarterly, ja The Annals of American Academy of poliittisten ja Social Science on julkaistu aiheesta kato. Lopuksi on todella monia erilaisia ​​tapoja laskettaessa vaste; nämä lähestymistavat on kuvattu yksityiskohtaisesti raportin American Association of Public Opinion Tutkijat (AAPOR) (Public Opinion Researchers} 2015) .

1936 Literary Digest kysely on tutkittu yksityiskohtaisesti (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Sitä on myös käytetty vertausta varoittaa sattumanvaraista tiedonkeruun (Gayo-Avello 2011) . Vuonna 1936, George Gallup käytetään entistä kehittyneempiä muodossa näytteenotto, ja kykeni tuottamaan tarkempia arvioita, joissa on paljon pienempi näyte. Gallupin menestys yli Literary Digest oli virstanpylväs kehittämiseen kyselytutkimuksen (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .

Suhteen mittaus, suuri ensimmäinen voimavara suunniteltaessa kyselyt on Bradburn, Sudman, and Wansink (2004) . Kehittyneempiä käsittely keskittyi erityisesti asenne kysymyksiä, katso Schuman and Presser (1996) . Lisää esitestaamiseen kysymykset on saatavilla Presser and Blair (1994) , Presser et al. (2004) , ja 8 luvun Groves et al. (2009) .

Klassinen, kirja-pituus hoitoon kompromisseja tutkimus kustannusten ja tutkimus virheet on Groves (2004) .

• Keneltä (kohta 3.4)

Classic book-pituus hoidossa standardin todennäköisyysotantaan ja arviointi ovat Lohr (2009) (lisää johdanto) ja Särndal, Swensson, and Wretman (2003) (kehittyneempiä). Klassinen book-pituus hoitoon jälkiositukseen ja siihen liittyviä menetelmiä on Särndal and Lundström (2005) . Joissakin digitaaliaikana asetuksia, tutkijat tietävät melko vähän siitä vastaamatta, mikä ei useinkaan totta, että aiemmin. Erilaisia ei-vasteen säätö ovat mahdollisia, kun tutkijat ovat tietoa vastaamatta (Kalton and Flores-Cervantes 2003; Smith 2011) .

Xbox tutkimus Wang et al. (2015) käyttää tekniikkaa kutsutaan monitasoisen regressio ja jälkiositukseen (MRP, joskus kutsutaan "Mister P"), jonka avulla tutkijat voivat arvioida solu tarkoittaa, vaikka on monia, monia soluja. Vaikka on jonkin verran keskustelua laadusta arvioiden tätä tekniikkaa, se tuntuu lupaavalta alue tutkia. Tekniikkaa käytettiin ensimmäisen kerran vuonna Park, Gelman, and Bafumi (2004) , ja on ollut myöhempään käyttöön ja ​​keskustelua (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Lisää tietoja yhteys yksilön paino ja soluihin perustuvien painot katso Gelman (2007) .

Muiden lähestymistapoja painotusta web tutkimuksia, katso Schonlau et al. (2009) , Valliant and Dever (2011) , ja Bethlehem (2010) .

Näyte matching ehdotti Rivers (2007) . Bethlehem (2015) esittää, että suorituskyky näytteen yhteensovitus todella samanlainen kuin muut näytteenotto lähestymistapojen (esim ositettu otanta) ja muut säätö lähestymistapojen (esim jälkiositukseen). Saat online-paneelit, katso Callegaro et al. (2014) .

Joskus tutkijat ovat havainneet, että todennäköisyys näytteet ja ei-todennäköisyysotantaan tuottaa arvioita samanlaatuista (Ansolabehere and Schaffner 2014) , mutta muut vertailut ovat havainneet, että ei-todennäköisyysotantaan do huonompi (Malhotra and Krosnick 2007; Yeager et al. 2011) . Yksi mahdollinen syy näihin eroihin on se, että ei-todennäköisyysotantaan ovat parantuneet ajan mittaan. Saat pessimistisesti kuin todennäköisyys, näytteenotto- Katso aiempaa AAPOR työryhmän Non-todennäköisyys Näytteenotto (Baker et al. 2013) , ja olen myös suositella lukemista selostus, joka seuraa yhteenvedon.

Jotta meta-analyysi vaikutuksesta painotus vähentää bias ei-todennäköisyysotantaan, katso taulukko 2.4 Tourangeau, Conrad, and Couper (2013) , joka johtaa kirjoittajat tehdä "muutoksia näyttää olevan hyödyllinen mutta erehtyväinen korjauksia. . . "

• Miten kysyä (kohta 3.5)

Conrad and Schober (2008) tarjoaa muokattu tilavuus otsikolla Envisioning Survey haastattelu of the Future, ja se käsittelee monia aiheita tässä osiossa. Couper (2011) käsitellään samanlaisia ​​aiheita, ja Schober et al. (2015) tarjoaa mukavan esimerkki siitä, kuinka tiedonkeruun menetelmiä, jotka on räätälöity uusi asetus voi johtaa laadukkaampaa dataa.

Toisena mielenkiintoinen esimerkki Facebookin sovelluksia yhteiskuntatieteissä tutkimuksia, katso Bail (2015) .

Lisää ohjeita tehdä tutkimuksia miellyttävä ja arvokas kokemus osallistujille, katso työt Räätälöity laskentamalli (Dillman, Smyth, and Christian 2014) .

Stone et al. (2007) on kirjan pituus hoito ekologisten hetkellinen arvioinnin ja siihen liittyvät menetelmät.

• Tutkimukset liittyvät muihin tietoihin (jakso 3.6)

Judson (2007) kuvataan prosessi yhdistämällä tutkimuksia ja hallinnollisia tietoja kuin "tiedon integrointi," käsitellään joitakin etuja tämän lähestymistavan, ja tarjoaa joitakin esimerkkejä.

Toinen tapa, että tutkijat voivat käyttää digitaalisia jälkiä ja hallinnolliset tiedot on otoskehikkona ihmisille, joilla on erityisominaisuuksia. Kuitenkin käyttää näitä tietueita voidaan käyttää otoskehikkona voi myös luoda liittyviä kysymyksiä yksityisyyden (Beskow, Sandler, and Weinberger 2006) .

Mitä täydennetty kysyä, tämä lähestymistapa ei ole niin uutta kuin se voi esiintyä siitä, miten olen kuvaillut. Tämä lähestymistapa on syvät yhteydet kolme suurta alueilla tilastoihin-mallipohjaisia jälkiositukseen (Little 1993) , syyksi (Rubin 2004) , ja pieni alue arviointi (Rao and Molina 2015) . Se liittyy myös käyttöön korvike muuttujia lääketieteellisissä tutkimuksissa (Pepe 1992) .

Sen lisäksi, että eettisistä kysymyksistä pääsyä digitaalisen jäljittää tietojen monistettu kysyy voitaisiin käyttää myös päätellä herkkiä piirteitä, jotka eivät ehkä valita paljastaa kyselyyn (Kosinski, Stillwell, and Graepel 2013) .

Kustannukset ja aika arvioita Blumenstock, Cadamuro, and On (2015) katso lisää muuttujaan kustannustehokkuuden kustannukset yhden lisäkatsastuksen-ja eivät sisällä kiinteitä kustannuksia, kuten kustannuksia puhdistaa ja käsitellä puhelun tiedot. Yleensä monistettu kysyy luultavasti korkeat kiinteät kustannukset ja alhaiset muuttuvat kustannukset samanlainen digitaaliseen kokeissa (katso luku 4). Tarkempia tietoja käytettyjen tietojen Blumenstock, Cadamuro, and On (2015) paperi ovat Blumenstock and Eagle (2010) ja Blumenstock and Eagle (2012) . Approaches useista imputuation (Rubin 2004) voisi auttaa kaapata epävarmuutta arvioihin täydennetty pyytää. Jos tutkijat doing monistettiin kysyy vain välitä yhteenlaskettu määrä, pikemminkin kuin yksilötason piirteitä, niin lähestymistapoja King and Lu (2008) ja Hopkins and King (2010) voi olla hyödyllinen. Saat lisätietoja koneoppimisen lähestymistapoja Blumenstock, Cadamuro, and On (2015) , katso James et al. (2013) (lisää johdanto) tai Hastie, Tibshirani, and Friedman (2009) (kehittyneempiä). Toinen suosittu koneoppimisen oppikirja on Murphy (2012) .

Mitä rikastettu pyytämällä, tulokset Ansolabehere ja Hersh (2012) sarana kahdesta keskeisestä vaihetta: 1) kyky catalist yhdistää monia erilaisia tietolähteitä luomaan tarkan master datafile ja 2) kykyä catalist yhdistää tutkimustietojen isäntänsä datafile. Siksi Ansolabehere ja Hersh tarkistaa Molemmat vaiheet huolellisesti.

Voit luoda master datafile, catalist yhdistää ja harmonisoi tietoja monista eri lähteistä, kuten: useita äänestysrekistereistä otoksia kunkin valtion, dataa postilaitoksen National Osoitteenmuutos rekisterin, ja tietoja muista määrittelemätön kaupalliset palveluntarjoajat. Kammottava lisätietoja siitä, miten tämä kaikki puhdistus- ja yhdistäminen tapahtuu eivät kuulu tämän kirjan, mutta tämä prosessi, ei väliä kuinka huolellinen, etenevät virheitä alkuperäisten tietolähteiden ja esittelee virheitä. Vaikka catalist oli valmis keskustelemaan sen tietojenkäsittelyn ja antaa joitakin sen raakadataa, se oli yksinkertaisesti mahdotonta tutkijoille tarkistaa koko catalist data putki. Sen sijaan tutkijat olivat tilanteessa, jossa catalist tiedosto oli joitakin tuntemattomia, ja ehkä tuntemattoman, määrä virheitä. Tämä on vakava huolenaihe, koska kriitikko voisi spekuloida, että suuret erot kyselyn raportit CCES ja käyttäytyminen catalist master tiedosto johtuivat virheitä master data tiedostoa, eikä Virheellisten vastaajien.

Ansolabehere ja Hersh kesti kaksi erilaista lähestymistapaa käsitellään tietojen laatua huolenaihe. First, lisäksi vertaamaan itseään raportoitu äänestää äänestämällä catalist kantatiedoston tutkijat vertasi myös itse ilmoitettu osapuolen rotuun, äänestäjien rekisteröinnin tila (esim rekisteröityjä tai rekisteröimättömiä) ja äänestysmenetelmää (esim henkilökohtaisesti, poissaolija ballot, jne.), jolloin nämä arvot löytyvät catalist tietokantoihin. Näistä neljä demografiset muuttujat, tutkijat löysivät paljon korkeampia välisen tutkimuksen raportti ja tietoja catalist päätietorekisteri kuin äänestää. Siten catalist master data tiedosto näyttää olevan korkealaatuista tietoa piirteet muita kuin äänestys, mikä viittaa siihen, että se ei ole huono yleistä laatua. Toiseksi osittain tietojen avulla catalist, Ansolabehere ja Hersh kehitetty kolme eri toimenpiteiden laadun maakunta äänestysrekistereistä, ja he huomasivat, että arvioitua yli-raportoinnin äänestyksen oli olennaisesti liity mitään näistä tietojen laatuun liittyvät toimet, päätelmä viittaavat siihen, että korkeat yli-raportoinnin ei ajeta lääneittäin epätavallisen alhainen tietojen laatua.

Koska syntyi tämä master äänestyksen tiedostoa, toinen lähde mahdollisten virheiden yhdistää katsastuspöytäkirjat siihen. Esimerkiksi, jos tämä yhteys tehdään väärin se voisi johtaa yli-arvio eroa raportoitu ja validoitu äänestyskäyttäytymisestä (Neter, Maynes, and Ramanathan 1965) . Jos jokainen henkilö oli vakaa, yksilöllinen tunniste, joka oli molemmissa tietolähteiden, niin sidos olisi vähäpätöinen. Yhdysvalloissa ja useimmissa muissa maissa, kuitenkin, ei ole olemassa yleismaailmallista tunniste. Edelleen, vaikka olisikin ollut tällainen tunnuksen ihmiset olisivat luultavasti haluttomia antaa se kartoittaa tutkijoiden! Siten catalist piti tehdä nostolaitteen avulla epätäydellinen tunnisteiden, tässä tapauksessa neljä kappaletta tietoa vastausyksiköiltä: nimi, sukupuoli, syntymävuosi, ja kotiosoite. Esimerkiksi catalist täytyi päättää, Homie J Simpson on CCES oli sama henkilö kuin Homer Jay Simpson isäntäänsä tiedoston. Käytännössä sovitus on vaikea ja sotkuinen prosessi, ja kaiken kukkuraksi tutkijoille, catalist katsoi sen samansuuntaiset tekniikka olla oma.

Voidakseen vahvistaa vastaavia algoritmeja, ne vetosi kaksi haastetta. Ensinnäkin, catalist osallistui vastaava kilpailu, joka ajettiin riippumaton, kolmannen osapuolen: MITRE Corporation. MITRE tarjotaan kaikille osallistujille kaksi meluisa tiedostoja sovitettava, ja eri joukkuetta kilpaili palata MITRE paras sovitus. Koska MITRE itse tiennyt oikea sovitus he pystyivät maalaamaan joukkuetta. Niistä 40 yritystä, jotka kilpailivat, catalist tuli toiseksi. Tällainen riippumattoman, kolmannen osapuolen arviointi tekniikka on melko harvinainen ja uskomattoman arvokasta; sen pitäisi antaa meille luottamusta että catalist n matching menettelyt ovat olennaisesti state-of-the-art. Mutta on state-of-the-art tarpeeksi hyvä? Tämän lisäksi matching kilpailua, Ansolabehere ja Hersh luoneet omia matching haaste catalist. Aikaisemmasta projekti, Ansolabehere ja Hersh oli kerännyt äänestäjä levyjä Florida. He antoivat joitakin näistä kirjaa niiden tiettyjen alojen redacted on catalist ja sitten verrataan catalist raportit näillä aloilla niiden todellista arvoa. Onneksi catalist raportit olivat lähellä pidätetty arvoja, mikä osoittaa, että catalist kykeni osittain äänestäjä äänilevysi isäntäänsä datatiedosto. Nämä kaksi haastetta, yksi kolmannen osapuolen ja yksi Ansolabehere ja Hersh, antaa meille enemmän luottamusta catalist matching algoritmit, vaikka emme voi tarkistaa niiden tarkkaa täytäntöönpanoa itse.

On ollut monia aiemmin yritetty vahvistaa äänestykseen. Yleiskatsaus on joka kirjallisuudesta, katso Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , ja Hanmer, Banks, and White (2014) .

On tärkeää huomata, että vaikka tässä tapauksessa tutkijat rohkaisi laatua tietojen catalist, muut arvioinnit kaupallisten myyjät ovat olleet vähemmän innostunut. Tutkijat ovat löytäneet huonolaatuisia kun dataa kyselyn kuluttaja-tiedoston Marketing Systems Group (joka itse sulautunut yhteen tietoja kolmesta tarjoajat: Acxiom, Experian, ja infoUSA) (Pasek et al. 2014) . Eli tiedosto ei vastannut kyselyyn vastauksia, tutkijat odotetaan olevan oikea, datafile oli puuttuu tietoja, on useita kysymyksiä, ja puuttuvat tiedot ompeleen korreloi raportoitu tutkimus arvoon (toisin sanoen puuttuvia tietoja oli systemaattinen , ei satunnainen).

Lisää tietoja tiedostojen yhdistämistä välillä tutkimusten ja hallinnollisia tietoja, katso Sakshaug and Kreuter (2012) ja Schnell (2013) . Lisää tietoja tiedostojen yhdistämistä yleensä, katso Dunn (1946) ja Fellegi and Sunter (1969) (historiallinen) ja Larsen and Winkler (2014) (moderni). Samanlaisia lähestymistapoja on kehitetty myös tietotekniikassa nimillä kuten tietojen deduplication, esimerkiksi tunnistetiedot, nimi matching, päällekkäisiä tunnistus, ja kahtena kirjaa tunnistus (Elmagarmid, Ipeirotis, and Verykios 2007) . Myös yksityisyyden säilyttäminen lähestymistapoja tiedostojen yhdistämistä, jotka eivät vaadi välittämiseen yksilöiviä tietoja (Schnell 2013) . Tutkijat Facebook kehittänyt menettely probabilisticsly yhdistää niiden rekisterien äänestyskäyttäytymistä (Jones et al. 2013) ; tämä yhteys tehtiin arvioimaan kokeilun että kerron teille 4 luvussa (Bond et al. 2012) .

Toinen esimerkki yhdistää suuren mittakaavan sosiaalinen tutkimus valtion hallinnollisiin rekistereihin tulee terveys- ja eläkkeelle Survey ja Social Security Administration. Lisätietoja siitä, että tutkimus, mukaan lukien tiedot lupamenettelyssä, katso Olson (1996) ja Olson (1999) .

Prosessi yhdistää monia lähteitä hallinnollisten aineistojen osaksi master datafile-prosessi, joka catalist työntekijät-on yleinen tilastotoimistot joidenkin kansallisten hallitusten. Kaksi tutkijaa Tilastollisen kirjoittanut yksityiskohtaisen kirjan aiheesta (Wallgren and Wallgren 2007) . Esimerkkinä tästä lähestymistavasta yhdessä läänin Yhdysvalloissa (Olmstead County, Minnesota, koti Mayo Clinic), katso Sauver et al. (2011) . Lisää tietoja virheistä, jotka voivat näkyä hallinnollisiin rekistereihin, katso Groen (2012) .