Que ler despois
- Introdución (sección 3.1)
Moitos dos temas deste capítulo tamén se fixeron eco nos recentes enderezos presidenciais da Asociación Estadounidense de Investigación de Opinión Pública (AAPOR), como os de Dillman (2002) , Newport (2011) , Santos (2014) e Link (2015) .
Para máis información sobre as diferenzas entre a investigación da enquisa e as entrevistas en profundidade, consulte Small (2009) . Relacionado con entrevistas en profundidade é unha familia de enfoques chamada etnografía. Na investigación etnográfica, os investigadores xeralmente pasan moito máis tempo cos participantes no seu contorno natural. Para máis información sobre as diferenzas entre etnografía e entrevistas en profundidade, vexa Jerolmack and Khan (2014) . Para máis información sobre etnografía dixital, vexa Pink et al. (2015) .
A miña descrición da historia da investigación de enquisas é moi breve para incluír moitos dos acontecementos emocionantes que se produciron. Para obter máis antecedentes históricos, consulte Smith (1976) , Converse (1987) e Igo (2008) . Para máis información sobre tres épocas de investigación de enquisas, vexa Groves (2011) e Dillman, Smyth, and Christian (2008) (que rompe as tres eras de forma lixeiramente diferente).
Groves and Kahn (1979) ofrecen unha visión dentro da transición da primeira a segunda era na investigación de enquisas realizando unha comparación detallada cara a cabeza entre unha enquisa cara a cara e teléfono. ( ??? ) observa o desenvolvemento histórico dos métodos de mostraxe por marcación aleatoria.
Para máis información sobre como a investigación da investigación cambiou no pasado en resposta aos cambios na sociedade, vexa Tourangeau (2004) , ( ??? ) e Couper (2011) .
- Preguntar contra observación (sección 3.2)
Os puntos fortes e débiles de preguntar e observar foron discutidos por psicólogos (por exemplo, Baumeister, Vohs, and Funder (2007) ) e sociólogos (por exemplo, Jerolmack and Khan (2014) , Maynard (2014) , Cerulo (2014) , Vaisey (2014) ; Jerolmack and Khan (2014) ]. A diferenza entre preguntar e observar xorde tamén na economía, onde os investigadores falan sobre as preferencias declaradas e reveladas. Por exemplo, un investigador pode pedir aos entrevistados que prefiren comer sorbetes ou ir ao ximnasio (preferencias declaradas), ou podería observar cantas veces as persoas comen sorbetes e van ao ximnasio (preferencias reveladas). Existe un profundo escepticismo sobre certos tipos de datos de preferencias establecidas en economía como se describe en Hausman (2012) .
Un tema principal destes debates é que o comportamento informado non sempre é preciso. Pero, como se describiu no capítulo 2, as grandes fontes de datos poden non ser precisas, poden non ser recollidas nunha mostra de interese e poden non ser accesibles para os investigadores. Así, creo que, nalgunhas situacións, o comportamento informado pode ser útil. Ademais, un segundo tema principal destes debates é que os informes sobre emocións, coñecementos, expectativas e opinións non sempre son precisos. Pero, se a información sobre estes estados internos é necesaria polos investigadores, xa sexa para axudar a explicar un comportamento ou como o que se explica, entón pídese que sexa apropiado. Por suposto, aprender sobre os estados internos facendo preguntas pode ser problemático porque ás veces os propios enquisados non son conscientes dos seus estados internos (Nisbett and Wilson 1977) .
- Erro de enquisa total (sección 3.3)
O capítulo 1 de Groves (2004) fai un traballo excelente que reconcilia a terminoloxía ocasionalmente inconsistente utilizada polos investigadores da enquisa para describir o cadro de erros da enquisa total. Para un tratamento de longa duración do cadro de erro da investigación total, consulte Groves et al. (2009) , e para unha visión histórica, vexa Groves and Lyberg (2010) .
A idea de descompor os erros no sesgo e a varianza tamén aparece na aprendizaxe automática; vexa, por exemplo, a sección 7.3 de Hastie, Tibshirani, and Friedman (2009) . Isto moitas veces leva aos investigadores a falar sobre un "trade-off de varianza".
En termos de representación, unha gran introdución aos problemas de non resposta e prexuízo de non resposta é o informe do Consello Nacional de Investigación Non respostas en enquisas de ciencias sociais: unha axenda de investigación (2013) . Outra visión útil é proporcionada por Groves (2006) . Así mesmo, publicáronse cuestións especiais sobre o tema da non resposta nas revistas de Journal of Official Statistics , Public Opinion Quarterly e Annals of the American Academy of Political and Social Science . Finalmente, hai moitas formas diferentes de calcular a taxa de resposta; Estes enfoques son descritos detalladamente nun informe da Asociación Americana de Investigadores de Opinión Pública (AAPOR) ( ??? ) .
Para máis información sobre a enquisa de 1936 Literary Digest , vexa Bryson (1976) , Squire (1988) , Cahalan (1989) e Lusinchi (2012) . Para outra discusión desta enquisa como advertencia parábola sobre a recopilación de datos inapropiados, vexa Gayo-Avello (2011) . En 1936, George Gallup usou unha forma de mostraxe máis sofisticada e foi capaz de producir estimacións máis precisas cunha mostra moito máis pequena. O éxito de Gallup sobre o Literary Digest foi un fito no desenvolvemento da investigación de investigación como se describe no capítulo 3 de @ converse_survey_1987; capítulo 4 de Ohmer (2006) ; e capítulo 3 de @ igo_averaged_2008.
En canto a medición, un gran primeiro recurso para o deseño de cuestionarios é Bradburn, Sudman, and Wansink (2004) . Para tratamentos máis avanzados, consulte Schuman and Presser (1996) , que está específicamente centrado en cuestións de actitude, e Saris and Gallhofer (2014) , que son máis xerais. Unha aproximación un pouco diferente á medida é tomada en psicometría, como se describe en ( ??? ) . Máis información sobre pretestación está dispoñible en Presser and Blair (1994) , Presser et al. (2004) e no capítulo 8 de Groves et al. (2009) . Para máis información sobre experimentos de investigación, vexa Mutz (2011) .
En termos de custo, o tratamento clásico e de longa duración do intercambio entre custos de enquisas e erros de enquisas é Groves (2004) .
- Quen preguntar (sección 3.4)
Dous tratamentos clásicos de lonxitude de reserva de probabilidade estándar de mostraxe e estimación son Lohr (2009) (máis introductoria) e Särndal, Swensson, and Wretman (2003) (máis avanzado). Un tratamento clásico de longametraxes de postratación e métodos relacionados é Särndal and Lundström (2005) . Nalgunhas configuracións de idade dixital, os investigadores saben un pouco sobre os non correspondentes, o cal non era habitual no pasado. Diferentes formas de axuste de non resposta son posibles cando os investigadores teñen información sobre non correspondentes, como describen Kalton and Flores-Cervantes (2003) e Smith (2011) .
O estudo de Xbox por W. Wang et al. (2015) usa unha técnica chamada regresión multinivel e postestratificación ("Sr. P.") que permite aos investigadores estimar os medios do grupo incluso cando hai moitos grupos. Aínda que hai un debate sobre a calidade das estimacións a partir desta técnica, parece ser unha área prometedora para explorar. A técnica foi utilizada por primeira vez en Park, Gelman, and Bafumi (2004) , e posteriormente Park, Gelman, and Bafumi (2004) e debateuse (Gelman 2007; Lax and Phillips 2009; Pacheco 2011; Buttice and Highton 2013; Toshkov 2015) . Para máis información sobre a conexión entre os pesos individuais e os pesos do grupo, vexa Gelman (2007) .
Para outros enfoques para ponderar enquisas web, consulte Schonlau et al. (2009) , Bethlehem (2010) e Valliant and Dever (2011) . Os paneis en liña poden usar mostraxe de probabilidade ou mostraxe non probábel. Para máis información sobre paneis en liña, consulte Callegaro et al. (2014) .
Ás veces, os investigadores descubriron que as mostras de probabilidade e as mostras non probábeis producían estimacións de calidade similar (Ansolabehere and Schaffner 2014) , pero outras comparacións descubriron que as mostras non (Malhotra and Krosnick 2007; Yeager et al. 2011) empeoran (Malhotra and Krosnick 2007; Yeager et al. 2011) . Unha posible razón para estas diferenzas é que as mostras non probables melloraron co paso do tempo. Para obter unha visión máis pesimista dos métodos de mostraxe non probabilísticos, consulte o Grupo de Tarefas AAPOR sobre mostraxe non probábel (Baker et al. 2013) e tamén recomendo ler o comentario que segue o informe de resumo.
- Como preguntar (sección 3.5)
Conrad and Schober (2008) é un volume editado titulado Envisioning the Survey Entrevista do futuro , e ofrece unha variedade de puntos de vista sobre o futuro de facer preguntas. Couper (2011) aborda temas similares, e Schober et al. (2015) ofrecen un bo exemplo de como os métodos de recopilación de datos que están adaptados a unha nova configuración poden producir datos de maior calidade. Schober and Conrad (2015) ofrecen un argumento máis xeral sobre continuar a axustar o proceso de investigación de busca para combinar os cambios na sociedade.
Tourangeau and Yan (2007) revisan as cuestións do sesgo de desexo social en cuestións sensibles, e Lind et al. (2013) ofrecen algunhas posibles razóns polas que a xente pode divulgar información máis sensible nunha entrevista administrada por computadora. Para máis información sobre o papel dos entrevistados humanos en aumentar as taxas de participación nas enquisas, vexa Maynard and Schaeffer (1997) , Maynard, Freese, and Schaeffer (2010) , Conrad et al. (2013) e Schaeffer et al. (2013) . Para máis información sobre enquisas en modo mixto, consulte Dillman, Smyth, and Christian (2014) .
Stone et al. (2007) ofrecen un tratamento de longa duración da avaliación momentánea ecolóxica e métodos relacionados.
Para obter máis consellos para facer enquisas unha experiencia agradable e valiosa para os participantes, consulte o traballo sobre o Método de deseño (Dillman, Smyth, and Christian 2014) . Por outro exemplo interesante de usar aplicacións de Facebook para enquisas de ciencias sociais, vexa Bail (2015) .
- Enquisas vinculadas a grandes fontes de datos (sección 3.6)
Judson (2007) describe o proceso de combinar enquisas e datos administrativos como "integración da información" e discute algunhas vantaxes deste enfoque, ademais de ofrecer algúns exemplos.
En canto ao pedido enriquecido, houbo moitos intentos previos de validar a votación. Para obter unha visión xeral da literatura, vexa Belli et al. (1999) , Ansolabehere and Hersh (2012) , Hanmer, Banks, and White (2014) , e Berent, Krosnick, and Lupia (2016) . Vexa Berent, Krosnick, and Lupia (2016) para unha visión máis escéptica dos resultados presentados en Ansolabehere and Hersh (2012) .
É importante notar que, aínda que Ansolabehere e Hersh foron estimulados pola calidade dos datos de Catalist, outras avaliacións de vendedores comerciais foron menos entusiasmados. Pasek et al. (2014) atoparon mala calidade cando os datos dunha enquisa comparáronse cun arquivo de consumidores de Marketing Systems Group (que a mesma fusionou datos de tres provedores: Acxiom, Experian e InfoUSA). É dicir, o ficheiro de datos non coincide coas respostas de enquisas que os investigadores esperaban ser correctos, o arquivo de consumidor dispoñía de datos perdidos para unha gran cantidade de preguntas e o patrón de datos faltantes correlacionouse co valor da enquisa rexistrada (noutras palabras, a falta Os datos foron sistemáticos, non aleatorios).
Para máis información sobre ligazón entre enquisas e datos administrativos, consulte Sakshaug and Kreuter (2012) e Schnell (2013) . Para máis información sobre ligazóns en xeral, vexa Dunn (1946) e Fellegi and Sunter (1969) (histórico) e Larsen and Winkler (2014) (moderno). Enfoques similares tamén se desenvolveron en informática baixo nomes como deduplicación de datos, identificación de instancia, correspondencia de nome, detección duplicada e detección de rexistro duplicado (Elmagarmid, Ipeirotis, and Verykios 2007) . Hai tamén enfoques que preservan a privacidade para rexistrar enlaces que non precisan a transmisión de información de identificación persoal (Schnell 2013) . Os investigadores de Facebook desenvolveron un procedemento para ligar probabilísticamente os seus rexistros ao comportamento de voto (Jones et al. 2013) ; Esta ligazón foi feita para avaliar un experimento que vos contarei no capítulo 4 (Bond et al. 2012) . Para máis información sobre a obtención do consentimento para o enlace de rexistro, consulte Sakshaug et al. (2012) .
Outro exemplo de vincular unha enquisa social a gran escala cos rexistros administrativos do goberno provén da Enquisa de Saúde e Xubilación e da Administración da Seguridade Social. Para máis información sobre ese estudo, incluída información sobre o procedemento de consentimento, consulte Olson (1996, 1999) .
O proceso de combinar moitas fontes de rexistros administrativos nun ficheiro de datos mestre (o proceso que Catalyst emprega) é común nas oficinas de estatística dalgúns gobernos nacionais. Dous investigadores de Statistics Sweden escribiron un libro detallado sobre o tema (Wallgren and Wallgren 2007) . Para un exemplo deste enfoque nun só concello nos Estados Unidos (Olmstead County, Minnesota, domicilio da Clínica Mayo), vexa Sauver et al. (2011) . Para máis información sobre os erros que poden aparecer nos rexistros administrativos, vexa Groen (2012) .
Outra forma na que os investigadores poden usar grandes fontes de datos na investigación de enquisas son como un marco de mostraxe para persoas con características específicas. Desafortunadamente, esta visión pode suscitar cuestións relacionadas coa privacidade (Beskow, Sandler, and Weinberger 2006) .
En canto á pregunta amplificada, este enfoque non é tan novo como podería aparecer a partir de como o describín. Ten conexións profundas con tres grandes áreas de estadística: postratación baseada en modelos (Little 1993) , imputación (Rubin 2004) e estimación de pequenas áreas (Rao and Molina 2015) . Tamén está relacionado co uso de variables sustitutas na investigación médica (Pepe 1992) .
As estimacións de custo e tempo en Blumenstock, Cadamuro, and On (2015) refírense máis ao custo variable -o custo dunha enquisa adicional- e non inclúen custos fixos, como o custo de limpeza e procesamento de datos de chamadas. En xeral, as solicitudes amplificadas probablemente terán elevados custos fixos e custos variables baixos similares aos experimentos dixitais (ver capítulo 4). Para máis información sobre enquisas a base de teléfono móbil en países en desenvolvemento, consulte Dabalen et al. (2016) .
Para obter ideas sobre como facer amplificado facendo un mellor traballo, recomendaría aprender máis sobre a imputación múltiple (Rubin 2004) . Ademais, se os investigadores facendo amplificación pedindo coidado sobre os recuentos agregados, en vez de trazos a nivel individual, os enfoques en King and Lu (2008) e Hopkins and King (2010) poden ser útiles. Finalmente, para máis información sobre os enfoques de aprendizaxe automática en Blumenstock, Cadamuro, and On (2015) , vexa James et al. (2013) (máis introductoria) ou Hastie, Tibshirani, and Friedman (2009) (máis avanzado).
Unha cuestión ética sobre a pregunta amplificada é que pode usarse para inferir trazos sensibles que a xente non poderá revelar nunha enquisa como se describe en Kosinski, Stillwell, and Graepel (2013) .
