3.3.1 Representação
A representação é sobre como fazer inferências a partir de seus respondentes à sua população-alvo.
Para entender o tipo de erros que podem ocorrer quando se deduzem os respondentes da população maior, vamos considerar a pesquisa de opinião da Literary Digest que tentou prever o resultado da eleição presidencial de 1936 nos EUA. Embora isso tenha acontecido há mais de 75 anos, essa debacle ainda tem uma lição importante para ensinar pesquisadores hoje.
A Literary Digest era uma revista popular de interesse geral e, a partir de 1920, eles começaram a realizar pesquisas de opinião pública para prever os resultados das eleições presidenciais. Para fazer essas previsões, eles enviariam cédulas para muitas pessoas e depois simplesmente registrariam as cédulas retornadas; Literary Digest orgulhosamente informou que as cédulas recebidas não eram nem “ponderado, ajustado, nem interpretado.” Este procedimento previu corretamente os vencedores das eleições em 1920, 1924, 1928 e 1932. Em 1936, no meio da Grande Depressão, literária O Digest enviou as cédulas para 10 milhões de pessoas, cujos nomes vieram predominantemente de listas telefônicas e registros de registro de automóveis. Veja como eles descreveram sua metodologia:
“A máquina de corrida suave do DIGEST se move com a precisão de trinta anos de experiência para reduzir a adivinhação a fatos concretos… Esta semana, 500 canetas arrancaram mais de um quarto de milhão de endereços por dia. Todos os dias, em uma grande sala bem acima da Quarta Avenida, em New York, 400 funcionários deslizam habilmente um milhão de material impresso - o suficiente para pavimentar quarenta quarteirões - nos envelopes endereçados [sic]. A cada hora, na Subestação de Correios do DIGEST, três máquinas de medição de selos tagarelavam e selavam os retângulos brancos; funcionários especializados em correios os colocaram em embalagens de lixo volumosas; Os caminhões da DIGEST da frota os aceleraram para expressar os trens de correio. . . Na próxima semana, as primeiras respostas desses dez milhões começarão a maré de cédulas marcadas, triplamente verificadas, verificadas, cinco vezes cruzadas e totalizadas. Quando o último número foi totted e verificado, se a experiência passada é um critério, o país saberá dentro de uma fração de 1 por cento o voto popular real de quarenta milhões [eleitores]. ”(22 de agosto de 1936)
A fetichização do tamanho da Literary Digest é instantaneamente reconhecível para qualquer pesquisador de “big data” hoje. Dos 10 milhões de votos distribuídos, surpreendentes 2,4 milhões foram devolvidos - cerca de 1.000 vezes maiores que as pesquisas políticas modernas. Destes 2,4 milhões de entrevistados, o veredicto foi claro: Alf Landon estava indo derrotar o incumbente Franklin Roosevelt. Mas, na verdade, Roosevelt derrotou Landon em um deslizamento de terra. Como a Literary Digest poderia dar errado com tantos dados? Nosso entendimento moderno de amostragem torna claros os erros da Literary Digest e nos ajuda a evitar cometer erros semelhantes no futuro.
Pensar claramente sobre a amostragem exige que consideremos quatro grupos diferentes de pessoas (figura 3.2). O primeiro grupo é a população alvo ; esse é o grupo que o pesquisador define como a população de interesse. No caso da Literary Digest , a população-alvo era eleitores nas eleições presidenciais de 1936.
Depois de decidir sobre uma população-alvo, um pesquisador precisa desenvolver uma lista de pessoas que podem ser usadas para amostragem. Essa lista é chamada de frame de amostragem e as pessoas nela são chamadas de frame population . Idealmente, a população-alvo e a população de quadros seriam exatamente as mesmas, mas, na prática, isso geralmente não é o caso. Por exemplo, no caso da Literary Digest , a população de quadros era de 10 milhões de pessoas cujos nomes vinham predominantemente de listas telefônicas e registros de registro de automóveis. As diferenças entre a população-alvo e a população de quadros são chamadas de erro de cobertura . O erro de cobertura, por si só, não garante problemas. No entanto, isso pode levar a um viés de cobertura se as pessoas na população de quadros forem sistematicamente diferentes das pessoas da população-alvo que não estão na população de quadros. Isto é, de fato, exatamente o que aconteceu na pesquisa Literary Digest . As pessoas em sua população de quadros tendiam a ser mais propensas a apoiar Alf Landon, em parte porque eram mais ricas (lembre-se de que tanto os telefones como os automóveis eram relativamente novos e caros em 1936). Assim, na pesquisa Literary Digest , o erro de cobertura levou a um viés de cobertura.
Figura 3.2: Erros de representação.
Depois de definir a população de quadros , o próximo passo é para um pesquisador selecionar a população da amostra ; estas são as pessoas que o pesquisador tentará entrevistar. Se a amostra tiver características diferentes da população de quadros, a amostragem poderá introduzir erro de amostragem . No caso do fiasco Literary Digest , no entanto, na verdade não houve amostragem - a revista contatou todos na população de quadros - e, portanto, não houve erro de amostragem. Muitos pesquisadores tendem a se concentrar no erro de amostragem - esse é tipicamente o único tipo de erro capturado pela margem de erro relatada nas pesquisas -, mas o fiasco da Literary Digest nos lembra que precisamos considerar todas as fontes de erro, aleatórias e sistemáticas.
Finalmente, depois de selecionar uma população de amostra, um pesquisador tenta entrevistar todos os seus membros. As pessoas que são entrevistadas com sucesso são chamadas de respondentes . Idealmente, a população da amostra e os respondentes seriam exatamente os mesmos, mas na prática não há resposta. Ou seja, as pessoas selecionadas na amostra às vezes não participam. Se as pessoas que respondem forem diferentes daquelas que não respondem, então pode haver um viés de não resposta . O viés de não resposta foi o segundo principal problema da pesquisa Literary Digest . Apenas 24% das pessoas que receberam uma cédula responderam, e descobriu-se que as pessoas que apoiavam Landon eram mais propensas a responder.
Além de ser apenas um exemplo para introduzir as idéias de representação, a pesquisa Literary Digest é uma parábola repetida com frequência, alertando os pesquisadores sobre os perigos da amostragem casual. Infelizmente, acho que a lição que muitas pessoas tiram dessa história é a errada. A moral mais comum da história é que os pesquisadores não podem aprender nada com amostras não probabilísticas (ou seja, amostras sem regras estritas baseadas em probabilidade para selecionar participantes). Mas, como mostrarei mais adiante neste capítulo, isso não está certo. Em vez disso, acho que há realmente duas moralidades nessa história; moral que é tão verdadeira hoje como em 1936. Em primeiro lugar, uma grande quantidade de dados recolhidos a esmo não garante uma boa estimativa. Em geral, ter um grande número de respondentes diminui a variância das estimativas, mas isso não diminui necessariamente o viés. Com muitos dados, os pesquisadores às vezes podem obter uma estimativa precisa da coisa errada; eles podem ser precisamente imprecisos (McFarland and McFarland 2015) . A segunda lição principal do fiasco do Literary Digest é que os pesquisadores precisam explicar como sua amostra foi coletada ao fazer estimativas. Em outras palavras, como o processo de amostragem na pesquisa da Literary Digest foi sistematicamente desviado para alguns entrevistados, os pesquisadores precisaram usar um processo de estimativa mais complexo que ponderou alguns respondentes mais do que outros. Mais adiante neste capítulo, mostrarei um procedimento de ponderação - pós-estratificação - que pode permitir que você faça estimativas melhores a partir de amostras aleatórias.
