Šī sadaļa ir paredzēts izmantot kā atsauci, nevis jālasa kā stāstījumu.
Daudzi no tēmām šajā nodaļā arī ir atbalsojās pēdējos prezidenta adreses pie American asociācijas sabiedriskās domas pētījumu (AAPOR), piemēram, Dillman (2002) , Newport (2011) , Santos (2014) , un Link (2015) .
Lai iegūtu vairāk vēsturisko fonu par attīstību apsekojuma pētījumiem, sk Smith (1976) un Converse (1987) . Lai uzzinātu vairāk par ideju trīs laikmetu no aptaujas pētījumu, sk Groves (2011) un Dillman, Smyth, and Christian (2008) (kas salūst trīs laikmetu nedaudz atšķirīgi).
Maksimālā iekšpusē, pārejot no pirmā uz otro ēras apsekojuma pētījumiem ir Groves and Kahn (1979) , kas nav detalizētu head-to-head salīdzināt sejas-pret-aci un telefona aptauja. Brick and Tucker (2007) atskatās vēsturisko attīstību izlases ciparu zvanīšana paraugu ņemšanas metodēm.
Jau vairāk kā aptauja pētījumi ir mainījusies pagātnē, reaģējot uz pārmaiņām sabiedrībā, skatiet Tourangeau (2004) , Mitofsky (1989) , un Couper (2011) .
Mācības par iekšējiem valstīm, uzdodot jautājumus, var būt problemātiska, jo dažreiz paši respondenti nav informēti par savām iekšējām valstīm. Piemēram, Nisbett and Wilson (1977) ir brīnišķīgi papīra ar evocative virsrakstu: "Izstāstiet vairāk, nekā mēs varam zināt. Verbālā ziņojumus par psihisko procesu" In papīra autori secina: "priekšmeti reizēm (a) nezina no esamība stimuls, kas svarīgāk ietekmēt atbildi, (b) nezina, ka pastāv atbildes, un (c) nezina, ka stimuls ir ietekmējusi atbildi. "
Par argumentiem, kas paredz pētniekus dod novēroto uzvedību uz paziņoto uzvedību vai attieksmi, skat Baumeister, Vohs, and Funder (2007) (psiholoģija) un Jerolmack and Khan (2014) un atbildes (Maynard 2014; Cerulo 2014; Vaisey 2014; Jerolmack and Khan 2014) (socioloģija). Atšķirība starp lūdzot un ievērojot arī rodas ekonomikā, kur zinātnieki runā par noteiktajiem un atklāja vēlmēm. Piemēram, pētnieks varētu jautāt respondentiem, vai viņi labprātāk ēd saldējumu vai dodas uz sporta zāli (noteiktā preferences) vai pētījumu varētu vērot, cik bieži cilvēki ēd saldējumu un iet uz sporta zāli (atklāja vēlmēm). Ir dziļa skepse dažu veidu norādīto preferences datu ekonomikā (Hausman 2012) .
Galvenais temats no šīm debatēm, ka ziņoja rīcība ne vienmēr ir precīza. Bet, automātiski ieraksta uzvedība var nebūt precīza, nedrīkst vākti izlasi interešu, un var nebūt pieejami pētniekiem. Tādējādi, dažās situācijās, es domāju, ka ziņoja uzvedība var būt noderīga. Tālāk, otrā galvenā tēma no šīm debatēm, ka ziņojumi par emocijām, zināšanu, cerībām, un viedokļi ne vienmēr ir precīzi. Bet, ja informācija par šiem iekšējiem valstīm ir vajadzīgi pētnieki-nu, lai palīdzētu izskaidrot kādu uzvedību vai lieta, kas var izskaidrot, tad jautā var būt lietderīgi.
Par grāmatu garums ārstēšanu par kopējo aptaujas kļūdas, skatiet Groves et al. (2009) vai Weisberg (2005) . Par vēsturi attīstību kopējā aptaujas kļūdas, skatiet Groves and Lyberg (2010) .
Runājot par pārstāvniecību, lielisks ievads jautājumiem atbilžu un nerespondences neobjektivitāti ir Valsts pētniecības padomes ziņojums par Nonresponse in Social Science Aptaujas: Pētniecības programma (2013) . Vēl viena noderīga pārskats sniedz (Groves 2006) . Arī visu speciālie jautājumi par Vēstnesī oficiālo statistiku, Sabiedriskās domas ceturkšņa, un American Academy of politiskās un sociālās zinātnes hronika ir publicēti par tēmu nerespondences. Visbeidzot, ir tiešām daudz dažādi veidi, aprēķinot reakcijas ātrumu; šīs pieejas ir detalizēti aprakstīts ziņojumu American Association sabiedriskās domas pētnieku (AAPOR) (Public Opinion Researchers} 2015) .
1936 Literary Digest aptauja tika pētīta detalizēti (Bryson 1976; Squire 1988; Cahalan 1989; Lusinchi 2012) . Tā tika izmantota arī kā līdzībā, lai brīdinātu pret nejaušs datu vākšanas (Gayo-Avello 2011) . 1936, George Gallup izmanto sarežģītākas formu paraugus, un varēja ražot precīzākus aprēķinus ar daudz mazāku paraugu. Gallup panākumu pār daiļliteratūra Digest bija pagrieziena punkts attīstību apsekojuma pētniecības (Converse 1987, Ch 3; Ohmer 2006, Ch 4; Igo 2008, Ch 3) .
Runājot par mērījumu, lielisks pirmais resurss projektēšana anketām ir Bradburn, Sudman, and Wansink (2004) . Par spēcīgākās attieksme īpaši vērsta uz attieksme jautājumos, sk Schuman and Presser (1996) . Vairāk par iepriekš pārbaudes jautājumi ir pieejams Presser and Blair (1994) , Presser et al. (2004) , un 8. nodaļā Groves et al. (2009) .
Klasiskā, grāmatvedības garums ārstēšana kompromisu starp apsekojuma izmaksām un apsekošanas kļūdas ir Groves (2004) .
Klasisks grāmata garuma ārstēšana standarta izlasi pēc varbūtības un novērtēšanai ir Lohr (2009) (vairāk ievada) un Särndal, Swensson, and Wretman (2003) (spēcīgākās). Klasiska grāmata garuma ārstēšana pēc stratifikācijas un saistīto metožu ir Särndal and Lundström (2005) . Dažos digitālās vecuma iestatījumiem, pētnieki zina diezgan daudz par nepilsoņu respondentu, kas bija ne vien taisnība pagātnē. Dažādas formas nerespondences korekcija ir iespējama, ja pētnieki ir informācija par nerespondentu (Kalton and Flores-Cervantes 2003; Smith 2011) .
Xbox pētījums Wang et al. (2015) izmanto metodi, ko sauc daudzlīmeņu regresija un pēc noslāņošanās (MRP, dažreiz sauc par "Mister P"), kas ļauj zinātniekiem novērtēt šūna nozīmē, ka pat tad, ja tur ir daudzas, daudzas šūnas. Lai gan ir dažas diskusijas par to aplēsēm šo metodi kvalitāti, šķiet, piemēram daudzsološs jomā, lai izpētītu. Tehnika pirmo reizi tika izmantots Park, Gelman, and Bafumi (2004) , un ir bijis turpmākās izmantošanas un debates (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Lai uzzinātu vairāk par saikni starp individuālo nozīmīgumu un šūnu bāzes svaru redzēt Gelman (2007) .
Par citām pieejām svēruma interneta aptauju, skatiet Schonlau et al. (2009) , Valliant and Dever (2011) , un Bethlehem (2010) .
Paraugs saskaņošana ierosināja Rivers (2007) . Bethlehem (2015) apgalvo, ka sniegums izlases saskaņošanas faktiski būs līdzīgas citu paraugu ņemšanas metodēm (piemēram, stratificētu izlases) un citu korekciju pieejas (piemēram, pēc stratifikācijas). Lai uzzinātu vairāk par tiešsaistes paneļiem, sk Callegaro et al. (2014) .
Dažreiz pētnieki ir atklājuši, ka varbūtība paraugi un nav varbūtības izlases raža tāmes līdzīgas kvalitātes (Ansolabehere and Schaffner 2014) , bet citi salīdzinājumi ir konstatēts, ka nav varbūtības izlases darīt sliktāk (Malhotra and Krosnick 2007; Yeager et al. 2011) . Viens no iespējamiem iemesliem šīm atšķirībām ir tā, ka nav varbūtības izlases laika gaitā ir uzlabojies. Lai pesimistiskāks Ņemot nav varbūtības izlases metožu redzēt to AAPOR darba grupu Non-izlasi pēc varbūtības (Baker et al. 2013) , Un es arī ieteiktu lasījums komentārs, kas seko kopsavilkuma ziņojumu.
Par metaanalīzē par ietekmi svērumu, lai samazinātu neobjektivitāti nav izlasēm pēc varbūtības, skatīt 2.4 tabulu Tourangeau, Conrad, and Couper (2013) , kas noved autorus slēgt "korekcijas, šķiet, ir noderīgi, bet maldīgs korekcijas. . . "
Conrad and Schober (2008) sniedz edited tilpumu ar nosaukumu Paredzot Aptauja Intervija par nākotni, un tas risina daudzus tēmām šajā sadaļā. Couper (2011) adreses līdzīgas tēmas, un Schober et al. (2015) piedāvā jauku piemēru tam, kā datu vākšanas metodes, kas pielāgoti, lai jaunā vidē var radīt augstākas kvalitātes datiem.
Par citu interesantu piemēru izmantojot Facebook progr par sociālo zinātņu aptaujām, skatiet Bail (2015) .
Lai iegūtu vairāk padomu par padarot aptaujās patīkamu un vērtīgu pieredzi dalībniekiem, skatiet darbu pie pielāgoti projektēšanas metodi (Dillman, Smyth, and Christian 2014) .
Stone et al. (2007) piedāvā grāmatu garums attieksmi pret ekoloģisko momentāno novērtējumu un saistītās metodes.
Judson (2007) aprakstīja procesu, apvienojot pārskatus un administratīvos datus kā "informācijas integrāciju," apspriež dažas priekšrocības šo pieeju, un piedāvā dažus piemērus.
Vēl viens veids, ka pētnieki var izmantot ciparu pēdas un administratīvo dati ir izlases rāmis cilvēkiem ar īpašām iezīmēm. Tomēr piekļūt šiem ierakstiem, kas jāizmanto izlases bāzi var izveidot arī jautājumus, kas saistīti ar privāto dzīvi (Beskow, Sandler, and Weinberger 2006) .
Attiecībā pastiprina jautā, šī pieeja nav tik jauns, kā varētu šķist no tā, kā es esmu to raksturoja. Šī pieeja ir dziļas savienojumus ar trīs lielās teritorijās statistika modelis balstītas pēc stratifikācijas (Little 1993) , aprēķinus (Rubin 2004) , un mazu teritoriju novērtēšanas (Rao and Molina 2015) . Tas ir saistīts arī ar to izmantošanu aizstājēju mainīgo medicīnas pētījumiem (Pepe 1992) .
Papildus ētikas jautājumiem attiecībā piekļuvei ciparu izsekot datiem, papildināts prasītā var arī izmantot, lai secinātu jutīgu iezīmes, ka cilvēki varētu izvēlēties atklāt aptaujā (Kosinski, Stillwell, and Graepel 2013) .
Izmaksu un laika aprēķini Blumenstock, Cadamuro, and On (2015) attiecas vairāk uz mainīgo izmaksu izmaksas par vienu papildus aptauja, un neietver fiksētajām izmaksām, piemēram, izmaksām, lai tīrīt un apstrādāt zvanu datus. Kopumā papildināts prasītā, iespējams, būs augstas fiksētās izmaksas un zemas mainīgās izmaksas ir līdzīgas ciparu eksperimentiem (skatīt 4. nodaļu). Sīkāka informācija par izmantoto datu Blumenstock, Cadamuro, and On (2015) darbs ir Blumenstock and Eagle (2010) un Blumenstock and Eagle (2012) . Pieejas no vairākiem imputuation (Rubin 2004) varētu palīdzēt sagūstīt nenoteiktību aplēsēm pastiprina lūdzot. Ja zinātnieki darot papildināts jautā tikai rūp apkopotajiem skaitu, nevis individuāli līmeņa iezīmes, tad pieejas King and Lu (2008) un Hopkins and King (2010) var būt noderīga. Lai uzzinātu vairāk par mašīna mācīšanās pieeju Blumenstock, Cadamuro, and On (2015) , sk James et al. (2013) (vairāk ievada) vai Hastie, Tibshirani, and Friedman (2009) (spēcīgākās). Vēl viens populārs mašīna mācīšanās mācību grāmata ir Murphy (2012) .
Attiecībā bagātināts jautā, tad rezultāti Ansolabehere un Hersh (2012) vira uz diviem galvenajiem soļiem: 1) spēja catalist apvienot daudzas atšķirīgas datu avotus, lai iegūtu precīzu meistars datni un 2) spēja catalist saistīt apsekojumu datus tā kapteinis datni. Tāpēc, Ansolabehere un Hersh pārbaudīt katru no šiem soļiem uzmanīgi.
Lai izveidotu kapteinis datni, catalist apvieno un harmonizē informāciju no dažādiem avotiem, ieskaitot: vairākiem balsošanas reģistru snapshots no katras valsts, dati pastam Nacionālajā maiņa adrešu reģistra, un datus no citiem neprecizētu komerciālo pakalpojumu sniedzējiem. Asiņains detaļas par to, kā tas viss tīrīšanas un apvienošana notiek, ir plašāki par šajā grāmatā, bet šis process, neatkarīgi no tā, cik uzmanīgi, būs izplatīt kļūdas sākotnējos datu avotos un ieviesīs kļūdas. Kaut catalist bija gatavs apspriest savu datu apstrādi un sniegtu dažas tās izejas datu, tas bija vienkārši neiespējami pētniekiem pārskatīt visu catalist datu cauruļvads. Drīzāk, pētnieki bija situācijā, kad catalist datu fails bija daži nezināmu, un varbūt unknowable, daudzumu kļūdu. Tas rada nopietnas bažas, jo kritiķis varētu spekulēt, ka lielās atšķirības starp apsekojuma ziņojumus par CCES un uzvedību catalist kapteinis datu faila izraisīja kļūdas, kapteinis datu failu, nevis nepatiesu ziņu sniegšanu respondentu.
Ansolabehere un Hersh paņēma divas dažādas pieejas, lai risinātu datu kvalitātes bažas. Pirmkārt, papildus salīdzinot sevi ziņoja balsošanu uz balsošanu catalist pamatlietas, pētnieki arī salīdzināja self-ziņots partija, rase, vēlētāju reģistrācijas statusu (piemēram, reģistrēta vai nereģistrēta) un balsošanas metode (piemēram, personīgi, absentee balsošana, uc), lai šīs vērtības atrasto catalist datubāzēs. Attiecībā uz šiem četriem demogrāfiskajiem rādītājiem, zinātnieki konstatēja, daudz augstāku vienošanās starp apsekojuma ziņojumu un datiem no catalist pamatlietas nekā balsošanai. Tādējādi catalist kapteinis datu failu, šķiet, ir augstas kvalitātes informāciju par īpašībām, kas nav balsošanas, kas liecina, ka tā nav slikta vispārējo kvalitāti. Otrkārt, daļēji izmantojot datus no catalist, Ansolabehere un Hersh izstrādāja trīs dažādus pasākumus par novada balsstiesīgo ierakstu kvalitāti, un viņi konstatēja, ka paredzamā likme pār-ziņošanu par balsošanas būtībā bija saistīts ar kādu no šiem datu kvalitātes pasākumi, secinājumu, ka liecina, ka augstās likmes pār-ziņošanas netiek virza novadi ar neparasti zemu datu kvalitāti.
Ņemot izveidi šo kapteinis balsošanas failu, otrais avots iespējamo kļūdu ir saistot apsekojumu protokolus to. Piemēram, ja tas saistība tiek darīts nepareizi, tas var novest pie pārmērīgas aplēses starpības starp paziņotajiem un apstiprināta balsošanas uzvedību (Neter, Maynes, and Ramanathan 1965) . Ja katrs cilvēks bija stabila, unikālu identifikatoru, kas bija abos datu avotiem, tad saikne būtu niecīgs. ASV un lielākajā daļā citu valstu, tomēr nav universāla identifikators. Turklāt, pat ja būtu šāds identifikators cilvēki, iespējams, būtu vilcinājās nodrošināt to apsekojumu pētniekus! Tādējādi, catalist bija jādara saikni izmantojot nepilnīgus identifikatorus, šajā gadījumā četrus gabalus informāciju par katra respondenta: vārds, dzimums, dzimšanas gads un dzīvesvietas adresi. Piemēram, catalist bija jāizlemj, vai homie J Simpson šajā CCES bija tāds pats cilvēks kā Homer Jay Simpson viņu kapteinis datu failā. Praksē saskaņošana ir grūts un netīrs process, un, lai padarītu jautājumus sliktāk par pētniekiem, catalist uzskatīt tās saskaņošanas tehniku būt patentēta.
Lai apstiprinātu atbilstošos algoritmus, tie atsaucas uz diviem uzdevumiem. Pirmkārt, catalist piedalījās atbilstības konkursā, kas tika vada neatkarīga trešās puses: ar MITRE Corporation. Mitre sniegta visiem dalībniekiem divu skaļš datu failus jāsaskaņo, un dažādas komandas sacentās, lai atgrieztos Mitre labāko iekārtošanu. Jo Mitre pati zināja pareizo iekārtošanu viņi varēja rezultātu komandas. No 40 uzņēmumiem, kas konkurēja, catalist bija otrajā vietā. Šī neatkarīgā, trešo personu novērtēšanas patentētu tehnoloģiju veids ir diezgan reti un neticami vērtīgs; tai dod mums pārliecību, ka catalist ir saskaņošanas procedūras ir būtībā pie state-of-the-art. Bet ir state-of-the-art pietiekami labs? Papildus šajā saskaņošanas konkurencei, Ansolabehere un Hersh izveidoja savu saskaņošanas izaicinājums catalist. No iepriekšējā projekta, Ansolabehere un Hersh bija savākti vēlētāju ierakstus no Florida. Viņi nodrošināja daži no šiem ierakstiem ar dažiem saviem laukiem rediģēta catalist un tad salīdzina catalist s ziņojumus par šajās jomās saviem faktisko vērtību. Par laimi, catalist ziņojumos bija tuvu ieturēto vērtībām, norādot, ka catalist varētu saskaņot daļējus vēlētāju ierakstus uz to meistars datu failu. Šie divi uzdevumi, vienu pēc trešās puses un vienu Ansolabehere un Hersh, dod mums lielāku uzticību catalist saskaņošanas algoritmiem, lai gan mēs nevaram izskatīt to precīzu īstenošanu sevi.
Ir bijuši daudzi iepriekšējie mēģinājumi validāciju balsošanu. Lai iegūtu pārskatu par šīs literatūras skat Belli et al. (1999) , Berent, Krosnick, and Lupia (2011) , Ansolabehere and Hersh (2012) , un Hanmer, Banks, and White (2014) .
Ir svarīgi atzīmēt, ka, lai gan šajā gadījumā pētnieki tika veicināta ar datu kvalitāti no catalist, citi izmeklējumi komerciālo pārdevēji ir bijuši tik pozitīvi noskaņota. Pētnieki ir atklājuši, sliktas kvalitātes, ja dati no aptaujas uz patērētāju materiāliem no Marketing Systems Group (kas pats par sevi apvienoti dati no trim pakalpojumu sniedzējiem: ACXIOM, Experian, un infoUSA) (Pasek et al. 2014) . Tas nozīmē, ka datu fails nesakrita aptaujas atbildes, kas gaidāma pētnieki ir pareiza, tad datni bija trūkst datu par daudziem jautājumiem, un trūkstošo datu modelis tika saistīta ar ziņots apsekojuma vērtību (citiem vārdiem sakot, trūkst dati tika sistemātiski , nevis izlases).
Lai uzzinātu vairāk par ierakstu saikni starp apsekojumi un administratīvie dati, skatiet Sakshaug and Kreuter (2012) un Schnell (2013) . Lai uzzinātu vairāk par ierakstu saikni vispār, skatiet Dunn (1946) un Fellegi and Sunter (1969) (vēsturisko) un Larsen and Winkler (2014) (mūsdienu). Līdzīgas pieejas ir izstrādāti arī datorzinātnēs ar nosaukumu, piemēram, datu deduplication, piemēram identifikāciju, nosaukumu saskaņošanu, dublikātu atklāšanas, un dublēt ierakstu atklāšanu (Elmagarmid, Ipeirotis, and Verykios 2007) . Ir arī privātuma saglabāšanas pieejas, lai ierakstītu saikni, kas neprasa pārraidi personu identificējošu informāciju (Schnell 2013) . Pētniekiem Facebook izstrādāta procedūra, lai probabilisticsly saistīt savus ierakstus balsošanas uzvedību (Jones et al. 2013) ; šī saikne tika veikts, lai novērtētu eksperimentu, ka es jums pastāstīt par 4. nodaļā (Bond et al. 2012) .
Vēl viens savieno plaša mēroga sociālo aptauju, lai valdības administratīvajiem reģistriem piemērs nāk no veselības un pensionēšanās apsekojuma un Sociālās apdrošināšanas pārvalde. Lai uzzinātu vairāk par šo pētījumu, tostarp informāciju par piekrišanas procedūru skatīt Olson (1996) un Olson (1999) .
Par apvienojot daudzu avotu administratīvo uzskaites dati kapteinis datni-procesu, kas catalist darbinieki, ir izplatīta statistikas biroji dažu valstu valdību process. Divi zinātnieki no Zviedrijas Statistikas esmu uzrakstījis detalizētu grāmatu par tēmu (Wallgren and Wallgren 2007) . Par piemēru šādai pieejai vienā novada ASV (Olmstead County, Minnesota, Sadzīves no Mayo Clinic), sk Sauver et al. (2011) . Vairāk par kļūdām, kas var parādīties administratīviem reģistriem, sk Groen (2012) .