3.6.1 Amplified pedindo

Ligando seu inquérito aos vestígios digitais pode ser como pedindo a todos suas perguntas em todos os momentos.

Pedindo geralmente vem em duas categorias principais: os inquéritos por amostragem e recenseamento. inquéritos por amostragem, onde você acessa um pequeno número de pessoas, pode ser flexível, oportuna e relativamente barato. No entanto, pesquisas por amostragem, porque eles são baseados em uma amostra, são muitas vezes limitados na sua resolução; com um inquérito por amostragem, é muitas vezes difícil de fazer estimativas sobre regiões geográficas específicas ou para grupos demográficos específicos. Censos, por outro, tentar entrevistar todos na população. Eles têm ótima resolução, mas eles são geralmente caros, estreito em foco (que incluem apenas um pequeno número de questões), e não oportuna (eles acontecem em um horário fixo, como a cada 10 anos) (Kish 1979) . Agora imagine se os pesquisadores podem combinar as melhores características de inquéritos por amostragem e censos; imagine se os pesquisadores pudessem fazer todas as perguntas a todos a cada dia.

Obviamente, esta contínua, onipresente, sempre-em pesquisa é uma espécie de fantasia científica social. Mas, parece que podemos começar a aproximar isso combinando perguntas da pesquisa a partir de um pequeno número de pessoas com traços digitais de muitas pessoas. Eu chamo este tipo de combinação amplificado perguntar. Se bem feito, poderia ajudar nos fornece estimativa de que são mais local (para áreas geográficas menores), mais granular (para grupos demográficos específicos), e mais oportuna.

Um exemplo de perguntar amplificado vem do trabalho de Josué Blumenstock, que queria recolher dados que poderiam ajudar a guiar o desenvolvimento nos países pobres. Mais especificamente, Blumenstock queria criar um sistema para medir a riqueza e bem-estar que combinava a integralidade de um censo com a flexibilidade e frequência de um inquérito (Blumenstock 2014; Blumenstock, Cadamuro, and On 2015) . Na verdade, eu já descreveu o trabalho de Blumenstock brevemente no Capítulo 1.

Para começar, Blumenstock parceria com a maior operadora de telefonia móvel no Ruanda. A empresa forneceu-lhe registros de transações anônimas de cerca de 1,5 milhões de clientes, cobrindo comportamento entre 2005 e 2009. Os registros contêm informações sobre cada mensagem de chamada e de texto, como a hora de início, duração e localização geográfica aproximada do chamador eo receptor. Antes de começar a falar sobre as questões estatísticas, é importante ressaltar que esse primeiro passo pode ser uma das mais difíceis. Conforme descrito no Capítulo 2, a maioria de dados de rastreio digital é inacessível aos pesquisadores. E, muitas empresas estão justificadamente hesitantes em compartilhar seus dados, porque é privado; isto é os seus clientes provavelmente não esperava que seus registros serão compartilhados-in bulk-com pesquisadores. Neste caso, os pesquisadores tomaram medidas cuidadosas para Anonymize os dados e seu trabalho foi supervisionado por um terceiro (ou seja, a sua IRB). Mas, apesar destes esforços, estes dados são provavelmente ainda identificáveis ​​e eles provavelmente conterão informações sensíveis (Mayer, Mutchler, and Mitchell 2016; Landau 2016) . I vai voltar a estes questão ética no Capítulo 6.

Lembre-se que Blumenstock estava interessado em medir a riqueza e bem-estar. Mas, essas características não são directamente nos registos de chamadas. Em outras palavras, estes registos de chamadas são incompletos para esta pesquisa, uma característica comum dos vestígios digitais que foi discutido em detalhes no Capítulo 2. Mas, parece provável que os registos de chamadas provavelmente tem algumas informações sobre a riqueza e bem-estar. Assim, uma maneira de pedir a pergunta de Blumenstock poderia ser: é possível prever como alguém vai responder a um inquérito com base em seus dados de rastreamento digitais? Se assim for, então, pedindo algumas pessoas que podem adivinhar as respostas de todos os outros.

Para avaliar esta empiricamente, Blumenstock e assistentes de pesquisa de Kigali Institute of Science and Technology chamado de uma amostra de cerca de mil clientes de telefonia móvel. Os pesquisadores explicaram os objetivos do projeto para os participantes, pediu o seu consentimento para ligar as respostas ao inquérito aos registos de chamadas e, em seguida, pediu-lhes uma série de perguntas para medir sua riqueza e bem-estar, como "Você possui um rádio? "e" você possui uma bicicleta? "(veja a Figura 3.11 para obter uma lista parcial). Todos os participantes da pesquisa foram compensados ​​financeiramente.

Em seguida, Blumenstock utilizado um procedimento de duas etapas comum na ciência de dados: engenharia recurso seguido de aprendizado supervisionado. Em primeiro lugar, na etapa de engenharia recurso, para todos que foi entrevistado, Blumenstock converteu os registos de chamadas em um conjunto de características sobre cada pessoa; cientistas de dados pode chamar essas características "características" e os cientistas sociais chamam-lhes "variáveis". Por exemplo, para cada pessoa, Blumenstock calculada número total de dias com atividade, o número de pessoas distintas que uma pessoa tenha estado em contacto com, a quantidade de dinheiro gasto em tempo de antena, e assim por diante. Criticamente, boa engenharia recurso requer conhecimento do ambiente de pesquisa. Por exemplo, se é importante distinguir entre chamadas nacionais e internacionais (podemos esperar que as pessoas que chamam a nível internacional a ser mais ricos), então isso deve ser feito na etapa de engenharia recurso. Um pesquisador com pouca compreensão do Ruanda pode não incluir esse recurso e, em seguida, o desempenho de previsão do modelo irá sofrer.

Em seguida, na etapa de aprendizagem supervisionada, Blumenstock construiu um modelo estatístico para prever a resposta de pesquisa para cada pessoa com base em suas características. Neste caso, Blumenstock utilizada a regressão logística com 10 vezes de validação cruzada, mas ele poderia ter usado uma variedade de outras abordagens de aprendizagem estatística ou à máquina.

Então, como é que ele funciona? Blumenstock foi capaz de prever as respostas às perguntas da pesquisa como "Você possui um rádio?" E "Você possui um bicicleta?" Usando recursos derivados de registros de chamadas? Tipo de. A precisão das previsões foram elevados para alguns traços (Figura 3.11). Mas, é sempre importante comparar um método de previsão complexa contra uma alternativa simples. Neste caso, uma alternativa simples é de prever que todos vão dar a resposta mais comum. Por exemplo, 97,3% relataram possuir um rádio para se Blumenstock previu que todos iriam relatar possuir um rádio, ele teria tido uma precisão de 97,3%, o que é surpreendentemente semelhante ao desempenho de seu procedimento mais complexo (97,6% de precisão). Em outras palavras, todos os dados de fantasia e modelagem aumentada a precisão da predição a partir de 97,3% para 97,6%. No entanto, para outras questões, tais como "Você possui uma bicicleta?", As previsões melhorou de 54,4% para 67,6%. De modo mais geral, a Figura 3.12 mostra para alguns traços Blumenstock não melhorou muito além de apenas fazer a previsão de linha de base simples, mas que, para outros traços houve alguma melhoria.

Figura 3.11: acurácia preditiva para modelo estatístico treinado com registros de chamadas. Resultados do Quadro 2 do Blumenstock (2014) .

Figura 3.12: Comparação da precisão da previsão para o modelo estatístico treinado com registos de chamadas a previsão de linha de base simples. Os pontos são ligeiramente agitou a evitar sobreposições; ver quadro 2 do Blumenstock (2014) para valores exactos.

Neste ponto, você pode estar pensando que estes resultados são um pouco decepcionante, mas apenas um ano mais tarde, Blumenstock e dois colegas-Gabriel Cadamuro e Robert On-publicou um artigo na revista Science com substancialmente melhores resultados (Blumenstock, Cadamuro, and On 2015) . Havia duas razões principais técnicas para a melhoria: 1) eles usaram métodos mais sofisticados (ou seja, uma nova abordagem para caracterizar engenharia e um modelo de aprendizagem de máquina mais sofisticada) e 2) ao invés de tentar inferir respostas a perguntas de pesquisa individuais (por exemplo, "você possui um rádio?"), eles tentaram inferir um índice de riqueza composto.

Blumenstock e colegas demonstraram o desempenho de sua abordagem de duas maneiras. Primeiro, eles descobriram que, para as pessoas em sua amostra, que poderiam fazer um trabalho muito bom de prever a sua riqueza a partir de registos de chamadas (Figura 3.14). Em segundo lugar, e cada vez mais importante, Blumenstock e colegas mostraram que o procedimento poderia produzir estimativas da distribuição geográfica da riqueza em Ruanda de alta qualidade. Mais especificamente, eles usaram seu modelo de aprendizagem de máquina, que foi treinado em sua amostra de cerca de 1.000 pessoas, para prever a riqueza de todos os 1,5 milhões de pessoas nos registos de chamadas. Além disso, com os dados geoespaciais embutidos nos dados da chamada (lembre-se que os dados de chamadas inclui a localização da torre de celular mais próxima para cada chamada), os pesquisadores foram capazes de estimar o lugar aproximado de residência de cada pessoa. Colocar essas duas estimativas em conjunto, a pesquisa produziu uma estimativa da distribuição geográfica da riqueza assinante no granularidade espacial extremamente fina. Por exemplo, eles poderiam estimar a riqueza média em cada uma das células de Ruanda de 2148 (a menor unidade administrativa do país). Estes valores riqueza previstos eram tão granular eles eram difíceis de verificar. Assim, os pesquisadores agregados os resultados para produzir estimativas da riqueza média dos 30 distritos de Ruanda. Estas estimativas a nível distrital foram fortemente relacionadas com as estimativas de uma pesquisa tradicional padrão-ouro, o Inquérito Demográfico e de Saúde de Ruanda (Figura 3.14). Embora as estimativas das duas fontes foram semelhantes, as estimativas de Blumenstock e seus colegas foram cerca de 50 vezes mais barato e 10 vezes mais rápido (quando o custo na medida em termos de custos variáveis). Esta diminuição drástica do custo significa que em vez de ser executado a cada poucos anos, como é padrão para Demográficos e de Saúde Inquéritos-o híbrido de pequeno levantamento combinado com grandes dados de rastreamento digitais poderia ser executado a cada mês.

Figura 3.13: Esquema de Blumenstock, Cadamuro, and On (2015) . dados de chamadas da companhia telefônica foi convertido para uma matriz com uma linha para cada pessoa e uma coluna para cada recurso (ie, variável). Em seguida, os pesquisadores construíram um modelo de aprendizagem supervisionada para prever as respostas da pesquisa da pessoa pela matriz recurso. Em seguida, o modelo de aprendizagem supervisionada foi utilizado para imputar as respostas da pesquisa para todos. Em essência, os pesquisadores usaram as respostas de cerca de mil pessoas para imputar a riqueza de cerca de um milhão de pessoas. Além disso, os pesquisadores estimaram o local aproximado de residência para todos os 1,5 milhões de pessoas, com base nos locais de suas chamadas. Quando essas duas estimativas foram combinados-a riqueza estimada eo local estimado de residência de os resultados foram semelhantes com estimativas do Inquérito Demográfico e de Saúde, uma pesquisa tradicional padrão-ouro (Figura 3.14).

Figura 3.14: Resultados de Blumenstock, Cadamuro, and On (2015) . Ao nível individual, os pesquisadores foram capazes de fazer um trabalho razoável em predizer a riqueza de alguém de seus registros de chamadas. As estimativas de nível distrital riqueza que se basearam em estimativas a nível individual de riqueza e local de residência de os resultados foram semelhantes aos resultados do Inquérito Demográfico e de Saúde, uma pesquisa tradicional padrão-ouro.

Em conclusão, de Blumenstock amplificado pedindo abordagem combinada dados da pesquisa com dados de rastreamento digitais para produzir estimativas comparáveis ​​com as estimativas da pesquisa padrão-ouro. Este exemplo em particular também esclarece alguns dos trade-offs entre pedir amplificado e métodos de pesquisa tradicionais. Em primeiro lugar, as estimativas pedindo amplificados foram mais oportuna, substancialmente mais barato, e mais granular. Mas, por outro lado, neste momento, não há uma forte base teórica para este tipo de pedir amplificado. Ou seja, este exemplo não mostra quando ele vai trabalhar e quando ele não vai. Além disso, a abordagem perguntando amplificada ainda não tem boas maneiras para quantificar a incerteza em torno das suas estimativas. No entanto, pedindo amplificado tem profundas ligações a três grandes áreas em com base em estatísticas do modelo de pós-estratificação (Little 1993) , de imputação (Rubin 2004) , e de estimativa da área pequena (Rao and Molina 2015) -e por isso espero que os progressos ser rápida.

Pedindo amplificado segue uma receita básica que pode ser adaptada à sua situação particular. Existem dois ingredientes e dois passos. Os dois ingredientes são: 1) um conjunto de dados de rastreio digital que é grande, mas fina (isto é, ele tem muitas pessoas, mas não as informações que você precisa sobre cada pessoa) e 2) uma pesquisa que é estreita, mas de espessura (isto é, ele tem apenas algumas pessoas, mas tem a informação que você precisa sobre essas pessoas). Então, há duas etapas. Em primeiro lugar, para as pessoas em ambas as fontes de dados, construir um modelo de aprendizagem de máquina que usa dados de rastreio digital para prever respostas da pesquisa. Em seguida, usar esse modelo de aprendizagem de máquina para imputar as respostas da pesquisa de todos os dados de rastreio digitais. Assim, se há alguma pergunta que você gostaria de perguntar a muitas pessoas, olhar para os dados de rastreio digitais daquelas pessoas que podem ser usados ​​para prever sua resposta.

Comparando primeira e segunda tentativa de Blumenstock o problema também ilustra uma importante lição sobre a transição da segunda era a abordagens terceira era fazer um levantamento de pesquisa: o início não é o fim. Isto é, muitas vezes, a primeira abordagem não será o melhor, mas se os investigadores de trabalho contínuo, as coisas podem melhorar. De modo mais geral, ao avaliar novas abordagens para a pesquisa social na era digital, é importante fazer duas avaliações distintas: 1) o quão bem isso funciona agora e 2) quão bem você acha que isso pode funcionar no futuro como a paisagem de dados mudanças e como pesquisadores dedicar mais atenção para o problema. Embora, os pesquisadores são treinados para fazer o primeiro tipo de avaliação (quão bom é este pedaço particular de pesquisa), a segunda é muitas vezes mais importante.