Mitä seuraavaksi

• Johdanto (3.1 jakso)

Monet tämän luvun teemoista ovat toistuvasti vaikuttaneet amerikkalaisen yleisen mielipidetutkimuksen (AAPOR), kuten Dillman (2002) , Newport (2011) , Santos (2014) ja Link (2015) .

Lisätietoja tutkimustutkimuksen ja syvällisten haastatteluiden eroista on Small (2009) . Syvällisiin haastatteluihin liittyy etnografian lähestymistapa. Etnografisessa tutkimuksessa tutkijat viettävät paljon enemmän aikaa luonnonympäristönsä osanottajien kanssa. Lisää etnografian ja syvällisten haastatteluiden Jerolmack and Khan (2014) ks. Jerolmack and Khan (2014) . Lisätietoja digitaalisesta etnografiasta on julkaisussa Pink et al. (2015) .

Kuvaukseni tutkimustutkimuksen historiasta on aivan liian lyhyt, jotta se sisältää monia mielenkiintoisia tapahtumia. Lisää historiallista taustaa varten katso Smith (1976) , Converse (1987) ja Igo (2008) . Lisätietoja kolmesta tutkimusajanjaksosta on Groves (2011) ja Dillman, Smyth, and Christian (2008) (joka jakaa kolme aikakautta hieman eri tavalla).

Groves and Kahn (1979) tarjoavat kurssin siirtymisen siirtymisestä ensimmäisestä toiseen aikakauteen tutkimustutkimuksessa tekemällä yksityiskohtaisen päästä päähän vertaamisen kasvotusten ja puhelinkyselyn välillä. ( ??? ) palaa satunnaislukugeneraalisten näytteenottomenetelmien historialliseen kehitykseen.

Lisätietoja siitä, miten kyselytutkimus on muuttunut aiemmin yhteiskunnan muuttuessa, ks. Tourangeau (2004) , ( ??? ) ja Couper (2011) .

• Kysymys vs. tarkkailu (kohta 3.2)

Psykologit (esim. Baumeister, Vohs, and Funder (2007) ) ja sosiologit (esim. Jerolmack and Khan (2014) , Maynard (2014) , Cerulo (2014) , Vaisey (2014) , Jerolmack and Khan (2014) ] Ero kyselyn ja tarkkailun välillä syntyy myös taloustieteessä, jossa tutkijat puhuvat ilmoitetuista ja paljastuneista mieltymyksistä. (ilmoitetut mieltymykset) tai voisivat tarkkailla, kuinka usein ihmiset syövät jäätelöä ja menevät kuntosalille (paljastuneet mieltymykset Hausman (2012) .

Näistä keskusteluista pääteema on, että raportoitu käyttäytyminen ei aina ole tarkka. Mutta kuten luvussa 2 kuvattiin, suuret tietolähteet eivät ehkä ole tarkkoja, niitä ei ehkä kerätä kiinnostuksenäytteestä, eivätkä ne välttämättä ole tutkijoiden saatavilla. Näin ollen mielestäni tietyissä tilanteissa raportoitu käyttäytyminen voi olla hyödyllistä. Lisäksi näiden keskustelujen toinen pääaihe on, että tunteita, tietämystä, odotuksia ja mielipiteitä koskevat raportit eivät aina ole tarkkoja. Mutta jos tutkijat tarvitsevat tietoa näistä sisäisistä tiloista - joko selittääkseen jotain käyttäytymistä tai selittääkseen asiaa - kysely voi olla tarkoituksenmukaista. Tietenkin sisäisten tilojen oppiminen kysymyksiin voi olla ongelmallista, koska joskus vastaajat itse eivät ole tietoisia sisäisistä valtioistaan (Nisbett and Wilson 1977) .

• Kokonaisvirhe (yhteensä 3.3)

Groves (2004) luku 1 on erinomainen työ, joka sovittaa tutkimustutkijoiden satunnaisesti epäjohdonmukai- sen terminologian kuvaamaan kokonaistutkimusvirheitä. Kirjanpituisen käsittelyn koko- naiskyselyvirhepuitteista katso Groves et al. (2009) ja historiallisesta katsauksesta, katso Groves and Lyberg (2010) .

Ajatus virheiden hajoamisesta osaksi bias ja varianssi tulee myös koneoppimiseen; katso esim. Hastie, Tibshirani, and Friedman (2009) kohta 7.3. Tämä johtaa usein tutkijoita puhumaan "bias-varianssin" kompromissista.

Edustuksen näkökulmasta suuri vastuu ei-vastuu- ja vastuuseen liittyvistä asioista on National Research Council -raportti, joka ei ole vastannut yhteiskuntatieteellisiin tutkimuksiin: tutkimusohjelma (2013) . Toinen hyödyllinen yleiskuva on Groves (2006) . Myös virallisten tilastojen julkaisut , yleinen mielipide neljännesvuosittain ja Yhdysvaltain poliittisen ja yhteiskuntatieteellisen akatemian vuosikirjat on julkaistu aiheen vastaamatta jättämisestä. Lopuksi, vastausprosentti lasketaan todellakin monella eri tavalla; näitä lähestymistapoja kuvataan yksityiskohtaisesti American Association of Public Opinion Researchers (AAPOR) ( ??? ) raportissa.

Lue lisää 1936- kirjallisuuskatsauksesta Bryson (1976) , Squire (1988) , Cahalan (1989) ja Lusinchi (2012) . Toinen keskustelu tästä kyselystä vertailun varoitukseksi sattumanvaraisesta tiedonkeruusta, katso Gayo-Avello (2011) . Vuonna 1936 George Gallup käytti hienostuneempia näytteenottomuotoja ja pystyi tuottamaan tarkempia arvioita paljon pienemmällä näytteellä. Gallupin menestys Literary Digestin yli oli virstanpylväs tutkimustutkimuksen kehittämisessä, kuten luvussa 3 on kuvattu @ converse_survey_1987; Ohmer (2006) luku 4; ja luvussa 3 @ igo_averaged_2008.

Mittauksen kannalta hyvä kyselylomakkeiden Bradburn, Sudman, and Wansink (2004) on Bradburn, Sudman, and Wansink (2004) . Tarkempia hoitoja varten on esitetty Schuman and Presser (1996) , joka keskittyy erityisesti asennekysymyksiin ja Saris and Gallhofer (2014) , joka on yleisempi. Psyketrianalyysissä on hieman erilainen lähestymistapa mittaukseen, kuten on kuvattu ( ??? ) . Ennusteesta on saatavana Presser and Blair (1994) , Presser et al. (2004) ja luku 8, Groves et al. (2009) . Lisätietoja tutkimuskokeista, katso Mutz (2011) .

Kustannusten osalta kustannuskerroin, klassinen, kirjoituspituinen käsittely Groves (2004) ja kyselyvirheiden välillä on Groves (2004) .

• Kuka kysyy (kohta 3.4)

Kaksi klassista Särndal, Swensson, and Wretman (2003) käsittelevät tavanomaisen todennäköisyysnäytteenotto- ja arviointitutkimukset ovat Lohr (2009) (enemmän johdanto-osa) Särndal, Swensson, and Wretman (2003) (edistyneempi). Särndal and Lundström (2005) ovat post-stratifikaation ja siihen liittyvien menetelmien klassinen Särndal and Lundström (2005) . Joissakin digitaalisen ikäisissä olosuhteissa tutkijat tietävät melko vähän kirjeenvaihtajista, mikä ei useinkaan ollut totta aikaisemmin. Erilaiset vastaamattomien säätömuotojen muodot ovat mahdollisia, kun tutkijoilla on tietoja kirjeenvaihtajista, kuten Kalton and Flores-Cervantes (2003) ja Smith (2011) kuvaavat.

W. Wang et al. (2015) käyttää menetelmää, jota kutsutaan monitasoiseksi regressioiksi ja post-stratifioinniksi ("P. P."), jonka avulla tutkijat voivat arvioida ryhmän voimavaroja myös silloin, kun on monia, monta ryhmää. Vaikka tämän tekniikan arvioiden laadusta keskustellaan jonkin verran, näyttää olevan lupaava alue tutkia. Tekniikka käytettiin ensin Park, Gelman, and Bafumi (2004) , ja sitä on käytetty myöhemmässä vaiheessa (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Lisätietoja yksittäisten painojen ja ryhmän painojen välisestä yhteydestä on Gelman (2007) .

Muissa lähestymistavoissa web-kartoituksen painottamiseksi ks. Schonlau et al. (2009) , Bethlehem (2010) ja Valliant and Dever (2011) . Verkkopaneelit voivat käyttää joko todennäköisyysnäytteenottoa tai ei-todennäköisyysnäytteenottoa. Lisätietoja online-paneeleista, katso Callegaro et al. (2014) .

Joskus tutkijat ovat havainneet, että todennäköisyysnäytteet ja todennäköisyysnäytteet tuottavat samantyyppisiä arvioita (Ansolabehere and Schaffner 2014) , mutta muut vertailut ovat havainneet, että todennäköisyysnäytteet eivät pahene (Malhotra and Krosnick 2007; Yeager et al. 2011) . Näiden erojen yksi syy on se, että todennäköisyysnäytteet ovat parantuneet ajan myötä. Pessimistisemmäksi näkemykseksi ei-todennäköisyysnäytteenottomenetelmistä ks. AAPOR-työryhmä, jossa ei-todennäköisyysnäytteenotto (Baker et al. 2013) , ja suosittelen myös lukemaan yhteenvetokertomuksen seuraavaa kommenttia.

• Kysy (3.5 kohta)

Conrad and Schober (2008) on edited volume, jonka otsikko on Envisioning the Survey Interview of the Future , ja se tarjoaa erilaisia ​​näkökulmia tulevaisuuden kysymysten esittämiseen. Couper (2011) käsittelee samankaltaisia ​​teemoja, ja Schober et al. (2015) tarjoavat mukavan esimerkin siitä, miten uusiin asetuksiin räätälöidyt tiedonkeruumenetelmät voivat johtaa laadukkaampiin tietoihin. Schober and Conrad (2015) tarjoavat yleisempiä väitteitä siitä, että tutkimustutkimuksen prosessia jatketaan vastaamaan yhteiskunnan muutoksia.

Tourangeau and Yan (2007) tarkastelevat kysymyksiä sosiaalisen toivottavuuden puolueellisuudesta arkaluonteisissa kysymyksissä ja Lind et al. (2013) tarjoavat mahdollisia syitä siihen, miksi ihmiset saattavat julkistaa arkaluonteisempia tietoja tietokoneohjattuun haastatteluun. Lisää ihmisten haastattelijoiden roolista osallistumisasteiden kasvattamisessa kyselyissä ovat mm. Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) ja Schaeffer et al. (2013) . Lisätietoja sekatilastutkimuksista on Dillman, Smyth, and Christian (2014) .

Stone et al. (2007) tarjoavat kirjapituisen käsittelyn ekologisesta hetkellisestä arvioinnista ja niihin liittyvistä menetelmistä.

Jos haluat lisätietoja neuvoista, jotka tekevät kyselyistä nautinnollisen ja arvokkaan kokemuksen osallistujille, katso räätälöityä suunnittelumenetelmää (Dillman, Smyth, and Christian 2014) . Toinen mielenkiintoinen esimerkki Facebook-sovellusten käyttämisestä yhteiskuntatieteellisiä tutkimuksia varten, katso Bail (2015) .

• Suurten tietolähteiden yhteydessä suoritettavat tutkimukset (3.6 jakso)

Judson (2007) kuvaa prosesseja, joissa kyselyjen ja hallinnollisten tietojen yhdistäminen on "tietojenkäsittelyä", ja käsittelee joitakin tämän lähestymistavan etuja sekä tarjoaa joitain esimerkkejä.

Mitä tulee rikastettuun kysymykseen, on ollut monia aikaisempia yrityksiä äänestyksen vahvistamiseen. Yleiskatsaus tähän kirjallisuuteen, katso Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) sekä Berent, Krosnick, and Lupia (2016) . Katso Berent, Krosnick, and Lupia (2016) skeptisemmäksi näkemykseksi Ansolabehere and Hersh (2012) esitetyistä tuloksista.

On tärkeää huomata, että vaikka Catalistin tietojen laatua kannustettiin Ansolabeherea ja Hershia kohtaan, muut kaupallisten toimittajien arvioinnit ovat olleet vähemmän innostuneita. Pasek et al. (2014) havaittiin huonoa laatua, kun kyselyn tietoja verrattiin markkinointiryhmän Consumer File -tiedostoon (joka sulautui yhteen kolmesta palveluntarjoajasta: Acxiom, Experian ja InfoUSA). Toisin sanoen datatiedosto ei vastannut kyselyvastauksia, joiden tutkijat odottivat olevan oikeita. Kuluttajatiedostossa puuttui tietoja lukuisista kysymyksistä, ja puuttuva datakuvio korreloi ilmoitetun kyselyn arvon kanssa (toisin sanoen puuttuvien tietojen tiedot olivat systemaattisia, ei satunnaisia).

Lisätietoja kyselyjen ja hallinnollisten tietojen välisestä tietoliikenteestä löytyy kohdasta Sakshaug and Kreuter (2012) ja Schnell (2013) . Lisätietoja levy-yhteydestä yleensä on Dunn (1946) ja Fellegi and Sunter (1969) (historiallinen) sekä Larsen and Winkler (2014) (moderni). Samankaltaisia ​​lähestymistapoja on kehitetty myös tietojenkäsittelytieteissä nimien, kuten datan deduplikaation, esiintymän tunnistamisen, nimien sovittamisen, kaksoiskappaleiden havaitsemisen ja kaksoiskappaleiden havaitsemisen (Elmagarmid, Ipeirotis, and Verykios 2007) . Myös tietosuojaa ylläpitäviä lähestymistapoja, jotka edellyttävät henkilökohtaisten tunnistetietojen välittämistä (Schnell 2013) . Facebookin tutkijat kehittivät menettelyn todennäköisesti yhdistämään tietueitaan äänestyksiin (Jones et al. 2013) ; tämä linkki tehtiin arvioimaan kokeilua, jonka kerron luvusta 4 (Bond et al. 2012) . Lisätietojen saamiseksi suostumuksen saamiseksi Sakshaug et al. (2012) , katso Sakshaug et al. (2012) .

Toinen esimerkki suuren mittakaavan sosiaalisen kyselyn yhdistämisestä valtion hallinnollisiin rekistereihin kuuluu terveys- ja eläke-selvityksestä ja sosiaaliturvalaitoksesta. Lisätietoja tästä tutkimuksesta, mukaan lukien tiedot lupamenettelystä, katso Olson (1996, 1999) .

Prosessi, jossa yhdistyvät monet hallinnollisen tietolähteen lähteet master-datatiedostoon - prosessi, jota Catalist työllistää - on yleinen joidenkin jäsenvaltioiden hallitusten tilastotoimistoissa. Kaksi Tilastoviraston tutkijaa on kirjoittanut aiheesta yksityiskohtaisen kirjan (Wallgren and Wallgren 2007) . Esimerkkinä tästä lähestymistavasta yhdellä yhdysvaltalaisella läänillä (Olmstead County, Minnesota, Mayo Clinicin koti), katso Sauver et al. (2011) . Lisätietoja virheistä, jotka voivat näkyä hallinnollisissa rekistereissä, katso Groen (2012) .

Toinen tapa, jolla tutkijat voivat käyttää suuria tietolähteitä tutkimustutkimuksessa, on näytteenottokehys erityispiirteille ominaisille henkilöille. Valitettavasti tämä lähestymistapa voi herättää kysymyksiä yksityisyydestä (Beskow, Sandler, and Weinberger 2006) .

Monimutkaisen kyselyn osalta tämä lähestymistapa ei ole niin uusi kuin se voisi näyttää siitä, miten olen kuvannut sen. Sillä on syvät yhteydet tilastojen kolmeen suureen osa-alueeseen: mallipohjainen jälkikartoitus (Little 1993) , imputointi (Rubin 2004) ja pienen alueen arvio (Rao and Molina 2015) . Se liittyy myös korvaavien muuttujien käyttöön lääketieteellisessä tutkimuksessa (Pepe 1992) .

Blumenstock, Cadamuro, and On (2015) kustannus- ja aikamääritelmät viittaavat enemmän muuttuviin kustannuksiin - yhden Blumenstock, Cadamuro, and On (2015) kustannuksiin - eikä niihin sisälly kiinteitä kustannuksia, kuten puhelutietojen puhdistamisen ja käsittelyn kustannukset. Yleensä monistetulla kyselyllä todennäköisesti on korkeat kiinteät kustannukset ja alhaiset vaihtelevat kustannukset, jotka ovat samanlaisia ​​kuin digitaalisten kokeiden (ks. Luku 4). Lisätietoja matkapuhelinten tutkimuksista kehitysmaissa, ks. Dabalen et al. (2016) .

Ideoita siitä, miten tehdä vahvistettua kysyä paremmin, suosittelisin oppimista enemmän moninkertaisesta imputoinnista (Rubin 2004) . Myös jos tutkijat tekevät monipuolista kysyttävää aggregaattilaskelmista yksittäisten tason ominaisuuksien sijaan, niin King and Lu (2008) sekä Hopkins and King (2010) ovat hyödyllisiä lähestymistapoja. Lopuksi, lisää koneoppimisen lähestymistavoista Blumenstock, Cadamuro, and On (2015) , katso James et al. (2013) (lisää johdanto) tai Hastie, Tibshirani, and Friedman (2009) (edistyneempi).

Eräs eettinen kysymys monimutkaisesta kysymyksestä on se, että sitä voidaan käyttää päättelemään herkkiä piirteitä, joita ihmiset eivät ehkä haluta paljastaa tutkimuksessa, kuten Kosinski, Stillwell, and Graepel (2013) kuvaavat.