Margir af þemunum í þessum kafla hafa einnig verið echoed í nýlegum forsetakosningum við American Association of Public Opinion Research (AAPOR), eins og þær sem Dillman (2002) , Newport (2011) , Santos (2014) og Link (2015) .
Fyrir frekari upplýsingar um muninn á könnunarrannsóknum og ítarlegum viðtölum, sjá Small (2009) . Í tengslum við ítarlegar viðtöl er fjölskylda aðferða sem kallast þjóðháttur. Í rannsóknum á þjóðháttarsniði eyða vísindamenn almennt miklu meiri tíma með þátttakendum í náttúrulegu umhverfi sínu. Fyrir frekari upplýsingar um muninn á þjóðháttarfræði og ítarlegum viðtölum, sjá Jerolmack and Khan (2014) . Fyrir frekari upplýsingar um stafræn þjóðháttarfræði, sjá Pink et al. (2015) .
Mín lýsing á sögu könnunarrannsókna er allt of stutt til að innihalda margar spennandi þróun sem hafa átt sér stað. Fyrir frekari sögulegan bakgrunn, sjá Smith (1976) , Converse (1987) og Igo (2008) . Fyrir meira um hugmyndina um þremur tímum könnunarrannsókna, sjá Groves (2011) og Dillman, Smyth, and Christian (2008) (sem brýtur upp þremur tímum svolítið öðruvísi).
Groves and Kahn (1979) bjóða upp á kíkja í umskipti frá fyrsta til annars tímabilsins í könnunarrannsóknum með því að gera nákvæma samanburð á augliti til auglitis og símakönnun. ( ??? ) líta til baka í sögulegu þróun slembifallsstýringu sýnatökuaðferða.
Fyrir frekari upplýsingar um hvernig könnunarniðurstöður hafa breyst í fortíðinni til að bregðast við breytingum á samfélaginu, sjá Tourangeau (2004) , ( ??? ) og Couper (2011) .
Styrkur og veikleikar að spyrja og fylgjast með hafa verið rætt um sálfræðingar (td Baumeister, Vohs, and Funder (2007) ) og félagsfræðingar (td Jerolmack and Khan (2014) ; Maynard (2014) ; Cerulo (2014) ; Vaisey (2014) , Jerolmack and Khan (2014) . Munurinn á því að spyrja og fylgjast með kemur einnig upp í hagfræði þar sem vísindamenn tala um framburð og í ljós óskir. Til dæmis gæti rannsóknaraðili spurt svarenda hvort þeir vilja frekar að borða ís eða fara í ræktina (tilgreindar óskir) eða gætu fylgst með hversu oft fólk borðar ís og fer í ræktina (birtar óskir). Það er djúpt tortryggni um ákveðnar tegundir framangreindra gagna í hagfræði eins og lýst er í Hausman (2012) .
Meginatriði frá þessum umræðum er að greint hegðun er ekki alltaf nákvæm. En eins og lýst er í kafla 2, mega stór gögn gagna ekki vera nákvæm, þau kunna ekki að vera safnað á sýnishorn af áhuga, og þær kunna að vera ekki aðgengilegar vísindamönnum. Þannig held ég að í sumum tilvikum getur greint hegðun verið gagnlegt. Að auki er annað meginþema frá þessum umræðum að skýrslur um tilfinningar, þekkingar, væntingar og skoðanir eru ekki alltaf réttar. En ef upplýsingar um þessa innri ríki er þörf af vísindamönnum, annaðhvort til að hjálpa að útskýra nokkrar hegðun eða eins og hluturinn sem útskýrir, þá getur það verið viðeigandi að spyrja. Að sjálfsögðu er hægt að læra um innra ríki með því að spyrja spurninga vegna þess að stundum eru svarendur sjálfir ekki meðvitaðir um innri ríki þeirra (Nisbett and Wilson 1977) .
Í kafla 1 í Groves (2004) er frábært starf sem samræmir stundum ósamræmi hugtök sem könnunarfræðingar nota til að lýsa heildar könnunarsviði ramma. Fyrir bóklengdarmeðferð á heildar könnunarsviði ramma, sjá Groves et al. (2009) , og fyrir sögulegu yfirlit, sjá Groves and Lyberg (2010) .
Hugmyndin um niðurbrot villur í hlutdrægni og afbrigði kemur einnig upp í nám í vélinni; sjá til dæmis kafla 7.3 af Hastie, Tibshirani, and Friedman (2009) . Þetta leiðir oft vísindamenn til að tala um "hlutdrægni" afbrigði.
Að því er varðar fulltrúa er mikil kynning á málefnum óviðráðanlegs og ófyrirsjáanlegrar hlutdrægni, skýrsla rannsóknarnefndar Nonresponse in Social Science Surveys: Rannsóknaráætlun (2013) . Annað gagnlegt yfirlit er veitt af Groves (2006) . Einnig eru öll sérstök mál blaðsins opinberra hagskýrslna , opinber álit ársfjórðungslega og annálum American Academy of Political and Social Science birtar um efnið sem ekki er svarað. Að lokum eru í raun margar mismunandi leiðir til að reikna svörunarhlutfallið; Þessar aðferðir eru lýst í smáatriðum í skýrslu bandarískra samtaka opinberra áhorfenda (AAPOR) ( ??? ) .
Fyrir meira um 1936 Literary Digest könnunina, sjá Bryson (1976) , Squire (1988) , Cahalan (1989) og Lusinchi (2012) . Fyrir aðra umfjöllun um þessa skoðanakönnun sem Gayo-Avello (2011) viðvörun gegn gölluð gagnasöfnun, sjá Gayo-Avello (2011) . Árið 1936, George Gallup notaði flóknari mynd af sýnatöku og gat framleitt nákvæmari mat með miklu minni sýni. Velgengni Gallups yfir bókmenntafræði var áfangi í þróun könnunarrannsókna eins og lýst er í kafla 3 @ converse_survey_1987; kafli 4 af Ohmer (2006) ; og kafla 3 @ igo_averaged_2008.
Með tilliti til mælinga er mikill fyrsta auðlindur til að hanna spurningalista Bradburn, Sudman, and Wansink (2004) . Fyrir fleiri háþróaðar meðferðir, sjá Schuman and Presser (1996) , sem er sérstaklega lögð áhersla á viðhorf spurningar, og Saris and Gallhofer (2014) , sem er almennt. Mismunandi nálgun við mælingu er tekin í geðfræðilegum rannsóknum, eins og lýst er í ( ??? ) . Meira um pretesting er að finna í Presser and Blair (1994) , Presser et al. (2004) og kafla 8 í Groves et al. (2009) . Fyrir frekari upplýsingar um könnunartilraunir, sjá Mutz (2011) .
Hvað varðar kostnað, þá er klassískt, bóklengd meðferðar afgreiðslu á milli könnunar kostnaðar og könnunargalla Groves (2004) .
Tvær klassískar Särndal, Swensson, and Wretman (2003) meðferðir við staðlaðar líkur á sýnatöku og mati eru Lohr (2009) (fleiri inngangsorð) og Särndal, Swensson, and Wretman (2003) (háþróaður). Klassískt Särndal and Lundström (2005) meðferðar eftir stratification og tengdum aðferðum er Särndal and Lundström (2005) . Í sumum stafrænum aldri stillir vísindamenn nokkuð um ósamþykktir, en það var ekki oft satt í fortíðinni. Mismunandi gerðir nonresponse aðlögun eru mögulegar þegar vísindamenn hafa upplýsingar um ekki Kalton and Flores-Cervantes (2003) , eins og lýst er af Kalton and Flores-Cervantes (2003) og Smith (2011) .
Xbox rannsóknin af W. Wang et al. (2015) notar tækni sem kallast marghliða afturhvarf og eftir stratification ("Herra P.") sem gerir vísindamönnum kleift að meta hópana jafnvel þótt margar, margar hópar séu til staðar. Þó að það sé einhver umræða um gæði áætlana frá þessari tækni, virðist það vera efnilegur staður til að kanna. Tæknin var fyrst notuð í Park, Gelman, and Bafumi (2004) og síðan hefur verið notað og umræðu (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Fyrir frekari upplýsingar um tengingu milli einstakra lóða og hópsþyngdar, sjá Gelman (2007) .
Fyrir aðrar aðferðir við að vega Schonlau et al. (2009) , sjá Schonlau et al. (2009) , Bethlehem (2010) og Valliant and Dever (2011) . Online spjöld geta notað annaðhvort líkur á sýnatöku eða ósannprófun sýnatöku. Fyrir frekari á netinu spjöldum, sjá Callegaro et al. (2014) .
Stundum hafa vísindamenn komist að því að líkur eru á að líkur séu á sýnum og líkur á líkum á líkum á ávöxtun mati af svipuðum gæðum (Ansolabehere and Schaffner 2014) , en aðrar samanburður hefur sýnt að líkur eru á að líkurnar á líkum séu verri (Malhotra and Krosnick 2007; Yeager et al. 2011) . Ein möguleg ástæða fyrir þessum munum er að sýni sem ekki eru líkur eru batnar með tímanum. Til að fá svartsýnni mynd af sýnatökuaðferðum sem ekki eru líkurnar á líkum, sjá AAPOR Task Force on Sample Probability (Baker et al. 2013) og ég mæli einnig með að lesa athugasemdirnar sem fylgja samantektarskýrslunni.
Conrad and Schober (2008) er breytt bindi sem heitir Envisioning Survey Interview of the Future , og það býður upp á margs konar sjónarmið um framtíðina að spyrja spurninga. Couper (2011) fjallar um svipaða þemu og Schober et al. (2015) bjóða gott dæmi um hvernig gagnasöfnunaraðferðir sem eru sniðin að nýjum stillingum geta leitt til hærri gæðagagna. Schober and Conrad (2015) bjóða upp á almennari rök um að halda áfram að stilla ferli könnunarrannsókna til að samræma breytingar á samfélaginu.
Tourangeau and Yan (2007) endurskoða málefni félagslegrar æskilegrar hlutdrægni í viðkvæmum spurningum og Lind et al. (2013) bjóða upp á nokkrar mögulegar ástæður fyrir því að fólk gæti lýst yfir næmari upplýsingum í tölvuumsjón. Til að fá meira um hlutverk manna viðmælanda við aukinn þátttöku í könnunum, sjá Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) og Schaeffer et al. (2013) . Fyrir frekari upplýsingar um blönduðu könnunum, sjá Dillman, Smyth, and Christian (2014) .
Stone et al. (2007) bjóða upp á bókalengd meðferðar á vistfræðilegu skyndilegu mati og tengdum aðferðum.
Nánari ráðgjöf um að gera kannanir til skemmtilegrar og verðmætar reynslu fyrir þátttakendur, sjá vinnu í sniðmátaðferðinni (Dillman, Smyth, and Christian 2014) . Fyrir annað áhugavert dæmi um að nota Facebook forrit fyrir félagsvísindarannsóknir, sjá Bail (2015) .
Judson (2007) lýsir ferlinu við að sameina könnunum og stjórnsýslugögnum sem "upplýsingaaðlögun" og fjalla um nokkra kosti þessarar aðferðar, auk þess að bjóða upp á nokkur dæmi.
Hvað varðar auðgað spyrja, hafa verið margar fyrri tilraunir til að staðfesta atkvæðagreiðslu. Fyrir yfirlit yfir þessi bókmenntir, sjá Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) , og Berent, Krosnick, and Lupia (2016) . Sjá Berent, Krosnick, and Lupia (2016) fyrir meira efins að skoða niðurstöðurnar sem fram koma í Ansolabehere and Hersh (2012) .
Það er mikilvægt að hafa í huga að þótt Ansolabehere og Hersh hafi verið hvattir til þess að gæði gagna frá katalónska hafi verið önnur áhugi viðskiptasala hafi verið minna áhugasamir. Pasek et al. (2014) fundust léleg gæði þegar gögn úr könnun voru borin saman við neytendaskrá frá Marketing Systems Group (sem sameinaðist saman gögn frá þremur veitendum: Acxiom, Experian og InfoUSA). Þannig var gagnaskráin ekki í samræmi við könnunarsvörun sem vísindamenn áttu von á að vera rétt, neytendaskráin hafði vantar gögn fyrir fjölda spurninga og vantar gögnarmynstur var í tengslum við skráð gildi könnunarinnar (með öðrum orðum, vantar gögn voru kerfisbundin, ekki handahófi).
Fyrir frekari tengsl milli könnunar og stjórnsýslugagna, sjá Sakshaug and Kreuter (2012) og Schnell (2013) . Fyrir meira um tengslanet almennt, sjá Dunn (1946) og Fellegi and Sunter (1969) (söguleg) og Larsen and Winkler (2014) (nútíma). Svipaðar aðferðir hafa einnig verið þróaðar í tölvunarfræði með nöfnum eins og gagnaúthlutun, td auðkenningu, nafngreiningu, tvítekning og tvítekningarmæling (Elmagarmid, Ipeirotis, and Verykios 2007) . Það eru einnig persónuverndarverndar aðferðir til að skrá tengsl sem ekki krefjast sendingar persónulegra upplýsinga (Schnell 2013) . Vísindamenn í Facebook þróuðu málsmeðferð til að líklega tengja skrár sínar við atkvæðagreiðsluhegðun (Jones et al. 2013) ; Þessi tenging var gerð til að meta tilraun sem ég segi þér um í kafla 4 (Bond et al. 2012) . Fyrir frekari upplýsingar um að fá samþykki fyrir upptökutengingu, sjá Sakshaug et al. (2012) .
Annað dæmi um að tengja stórfellda félagslega könnun á stjórnsýsluyfirlitum kemur frá heilbrigðis- og eftirlaunakönnuninni og almannatryggingastofnuninni. Nánari upplýsingar um rannsóknina, þ.mt upplýsingar um samþykki, sjá Olson (1996, 1999) .
Ferlið við að sameina margar heimildir stjórnsýsluupplýsinga í meistaragagnagrunninn - ferlið sem Catalist starfar - er algengt í tölfræðilegum skrifstofum sumra ríkisstjórna. Tvær vísindamenn frá Svíþjóð hafa skrifað nákvæma bók um málið (Wallgren and Wallgren 2007) . Fyrir dæmi um þessa nálgun í einu fylki í Bandaríkjunum (Olmstead County, Minnesota, heimili Mayo Clinic), sjá Sauver et al. (2011) . Fyrir frekari upplýsingar um villur sem geta birst í stjórnsýsluyfirlitum, sjá Groen (2012) .
Önnur leið þar sem vísindamenn geta notað stóra gagnasöfn í rannsóknarannsóknum er sem sýnishorn ramma fyrir fólk með sérkenni. Því miður getur þessi nálgun vakið spurningar sem tengjast einkalífinu (Beskow, Sandler, and Weinberger 2006) .
Að því er varðar magnaðan spurningu er þessi aðferð ekki eins ný og það kann að birtast frá því hvernig ég hef lýst því. Það hefur djúp tengsl við þrjá stóra svæða í tölfræði: fyrirmynd byggingar eftir stratification (Little 1993) , imputation (Rubin 2004) , og lítið flatarmál (Rao and Molina 2015) . Það er einnig tengt notkun staðgengilsbreytur í læknisfræðilegum rannsóknum (Pepe 1992) .
Kostnaðar- og Blumenstock, Cadamuro, and On (2015) í Blumenstock, Cadamuro, and On (2015) vísa meira til breytilegrar kostnaðar - kostnaður við eina viðbótarkönnun og innihalda ekki fasta kostnað, svo sem kostnað við hreinsun og vinnslu símtala. Almennt mun magnað spyrja líklega hafa mikla fasta kostnað og lága breytilega kostnað svipað og stafrænar tilraunir (sjá kafla 4). Fyrir frekari upplýsingar um farsímatengda kannanir í þróunarlöndunum, sjá Dabalen et al. (2016) .
Fyrir hugmyndir um hvernig á að gera magnaðan spyrja betur, myndi ég mæla með að læra meira um margvísleg áhrif (Rubin 2004) . Einnig, ef vísindamenn gera mikla umhyggju um að hafa áhyggjur af heildarfjölda, frekar en einstök einkenni, þá geta aðferðirnar í King and Lu (2008) og Hopkins and King (2010) verið gagnlegar. Að lokum, til að fá meiri upplýsingar um námsmenn í Blumenstock, Cadamuro, and On (2015) , sjá James et al. (2013) (meira inngangs) eða Hastie, Tibshirani, and Friedman (2009) (háþróaður).
Eitt siðferðilegt mál varðandi magnað spyrja er að hægt sé að nota það til að draga úr viðkvæmum eiginleikum sem fólk gæti ekki valið að sýna í könnun eins og lýst er í Kosinski, Stillwell, and Graepel (2013) .