3.4.2 échantillons non probabilistes: pondération
Avec des échantillons non probabilistes, les poids peuvent annuler les distorsions causées par le processus d'échantillonnage supposé.
De la même manière que les chercheurs pondérer les réponses à partir d'échantillons de probabilité, ils peuvent aussi pondérer les réponses à partir d'échantillons non probabilistes. Par exemple, comme une alternative à la CPS, imaginez que vous avez placé des bannières publicitaires sur des milliers de sites Web pour recruter des participants pour une étude pour estimer le taux de chômage. Naturellement, vous seriez sceptique que la moyenne simple de votre échantillon serait une bonne estimation du taux de chômage. Votre scepticisme est probablement parce que vous pensez que certaines personnes sont plus susceptibles de compléter votre enquête que d'autres. Par exemple, les gens qui ne passent pas beaucoup de temps sur le web sont moins susceptibles de terminer votre enquête.
Comme nous l'avons vu dans la dernière section, cependant, si nous savons comment l'échantillon a été sélectionné, comme nous le faisons avec probabilité échantillons-alors nous pouvons annuler les distorsions causées par le processus d'échantillonnage. Malheureusement, lorsque l'on travaille avec des échantillons non probabilistes, nous ne savons pas comment l'échantillon a été sélectionné. Mais, nous pouvons faire des hypothèses sur le processus d'échantillonnage, puis appliquer une pondération de la même manière. Si ces hypothèses sont correctes, alors la pondération annuler les distorsions causées par le processus d'échantillonnage.
Par exemple, imaginez que, en réponse à vos bannières publicitaires, vous avez recruté 100.000 répondants. Cependant, vous ne croyez pas que ces 100.000 répondants sont un échantillon aléatoire simple des adultes américains. En fait, lorsque vous comparez vos répondants à la population des États-Unis, vous trouvez que les gens de certains Etats (par exemple, New York) sont surreprésentés et que les gens de certains Etats (par exemple, l'Alaska) sont sous-représentées. Ainsi, le taux de votre échantillon de chômage est susceptible d'être une mauvaise estimation du taux de chômage dans la population cible.
Un moyen d'annuler la distorsion qui est arrivé dans le processus d'échantillonnage est d'attribuer des pondérations à chaque personne; un poids plus faible à des personnes des Etats qui sont sur-représentés dans l'échantillon (par exemple, New York) et des poids plus élevés aux personnes des Etats qui sont sous-représentés dans l'échantillon (par exemple, en Alaska). Plus précisément, le poids de chaque répondant est lié à leur prévalence dans l'échantillon par rapport à leur prévalence dans la population des États-Unis. Cette procédure de pondération est appelée post-stratification, et l'idée de pesage devrait vous rappeler l'exemple dans la section 3.4.1 où les répondants de Rhode Island ont reçu moins de poids que les répondants de la Californie. Post-stratification exige que vous en savez assez pour mettre vos répondants en groupes et de connaître la proportion de la population cible dans chaque groupe.
Bien que la pondération de l'échantillon de probabilité et de l'échantillon non probabiliste sont les mêmes mathématiquement (voir annexe technique), ils fonctionnent bien dans différentes situations. Si le chercheur a un échantillon probabiliste parfait (aucune erreur de couverture et aucune non-réponse), puis pondération produira des estimations non biaisées pour tous les caractères dans tous les cas. Cette forte garantie théorique est pourquoi les défenseurs des échantillons de probabilité trouver si attrayants. D'autre part, des échantillons non probabilistes pondération ne produiront des estimations non biaisées pour tous les traits si les propensions à répondre sont les mêmes pour tout le monde dans chaque groupe. En d'autres termes, en repensant à notre exemple, à l'aide post-stratification produira des estimations non biaisées si tout le monde à New York a la même probabilité de participer et tout le monde en Alaska a la même probabilité de participer et ainsi de suite. Cette hypothèse est appelée l'hypothèse homogènes-réponse-propensions-sein-groupes, et il joue un rôle clé dans la connaissance si la post-stratification va bien travailler avec des échantillons non probabilistes.
Malheureusement, dans notre exemple, l'hypothèse homogène-réponse-propensions-dans-groupes semble peu probable pour être vrai. C'est, il semble peu probable que tout le monde en Alaska a la même probabilité d'être dans votre enquête. Mais, il y a trois points importants à garder à l'esprit à propos de la post-stratification, qui tous font paraître plus prometteur.
Tout d'abord, hypothèse homogène-réponse-propensions-dans-groupes devient plus plausible que le nombre de groupes augmente. Et, les chercheurs ne sont pas limités à des groupes simplement basés sur une seule dimension géographique. Par exemple, nous pourrions créer des groupes en fonction de l'état, l'âge, le sexe et le niveau d'éducation. Il semble plus plausible qu'il y ait des propensions de réponse homogènes au sein du groupe de 18-29, les femmes diplômées, collège vivant en Alaska que dans le groupe de toutes les personnes vivant en Alaska. Ainsi, comme le nombre de groupes utilisés pour la post-stratification augmente, les hypothèses nécessaires pour soutenir devenir plus raisonnable. Compte tenu de ce fait, il semble comme un des chercheurs voudraient créer un grand nombre de groupes pour la post-stratification. Mais, comme le nombre de groupes augmente, les chercheurs se heurtent à un autre problème: sparsity de données. S'il y a seulement un petit nombre de personnes dans chaque groupe, les estimations seront plus incertaines, et dans le cas extrême où il y a un groupe qui n'a pas répondants, puis post-stratification rompt complètement. Il y a deux façons de sortir de cette tension inhérente entre la plausibilité de supposition homogeneous- réponse-propension intra-groupes et la demande pour les tailles d'échantillons raisonnables dans chaque groupe. Une approche est de passer à un modèle statistique plus sophistiqué pour calculer le poids et l'autre est de recueillir un échantillon plus large, plus diversifiée, ce qui permet de garantir la taille des échantillons raisonnables dans chaque groupe. Et, parfois, les chercheurs font aussi bien, que je vais décrire plus en détail ci-dessous.
Une deuxième considération lorsqu'on travaille avec des post-stratification à partir d'échantillons non probabilistes est que l'hypothèse homogène-réponse-propension intra-groupes est déjà souvent fait lors de l'analyse des échantillons de probabilité. La raison pour laquelle cette hypothèse est nécessaire pour les échantillons de probabilité dans la pratique est que les échantillons de probabilité ont la non-réponse, et la méthode la plus courante pour l'ajustement pour la non-réponse est post-stratification comme décrit ci-dessus. Bien sûr, juste parce que de nombreux chercheurs font une certaine hypothèse ne signifie pas que vous devriez le faire aussi. Mais, cela signifie que lorsque l'on compare les échantillons non probabilistes à des échantillons de probabilité dans la pratique, nous devons garder à l'esprit que les deux dépendent sur des hypothèses et des données auxiliaires afin de produire des estimations. Dans les milieux les plus réalistes, il n'y a tout simplement aucune approche sans hypothèse à l'inférence.
Enfin, si vous vous souciez une estimation, en particulier dans notre exemple le chômage taux alors vous avez besoin d'une condition plus faible que homogènes-réponse-propension au sein de groupes hypothèse. Plus précisément, vous ne devez pas supposer que tout le monde a la même propension à répondre, il vous suffit de supposer qu'il n'y a pas de corrélation entre la propension de réponse et le taux de chômage au sein de chaque groupe. Bien sûr, même cette condition plus faible ne tiendra pas dans certaines situations. Par exemple, imaginez l'estimation de la proportion d'Américains qui font du bénévolat. Si les gens qui font du bénévolat sont plus susceptibles d'accepter d'être dans une enquête, puis les chercheurs seront systématiquement surestimer le montant du bénévolat, même si elles font des ajustements post-stratification, un résultat qui a été démontré empiriquement par Abraham, Helms, and Presser (2009) .
Comme je l'ai dit plus tôt, des échantillons non probabilistes sont considérés avec beaucoup de scepticisme par les spécialistes des sciences sociales, en partie à cause de leur rôle dans certains des échecs les plus embarrassantes dans les premiers jours de la recherche par sondage. Un exemple clair de savoir jusqu'où nous sommes arrivés avec des échantillons non probabilistes est la recherche de Wei Wang, David Rothschild, Sharad Goel et Andrew Gelman que correctement récupéré le résultat de l'élection américaine 2012 à l'aide d'un échantillon non probabiliste des utilisateurs américains Xbox -a échantillon décidément non aléatoire des Américains (Wang et al. 2015) . Les chercheurs ont recruté des répondants du système de jeu XBox, et comme on pouvait s'y attendre, l'échantillon de Xbox biaisés mâle et biaisés jeune: 18 - olds 29 ans représentent 19% de l'électorat, mais 65% de l'échantillon Xbox et les hommes représentent 47% de l'électorat et 93% de l'échantillon Xbox (Figure 3.4). En raison de ces biais démographiques fortes, les données brutes Xbox était un mauvais indicateur de résultats des élections. Il a prédit une forte victoire pour Mitt Romney sur Barack Obama. Encore une fois, ceci est un autre exemple des dangers de la , des échantillons non probabilistes non ajustés premières et rappelle le fiasco Literary Digest.
Figure 3.4: Démographie des répondants dans Wang et al. (2015) . Parce que les répondants ont été recrutés à partir XBox, ils étaient plus susceptibles d'être jeunes et plus susceptibles d'être de sexe masculin, par rapport aux électeurs dans l'élection de 2012.
Cependant, Wang et ses collègues étaient au courant de ces problèmes et ont tenté de pondérer les répondants pour corriger le processus d'échantillonnage. En particulier, ils ont utilisé une forme plus sophistiquée de la post-stratification je vous ai parlé. Il vaut la peine d'apprendre un peu plus sur leur approche, parce qu'il construit intuition de post-stratification, et la version particulière Wang et ses collègues utilisé est l'une des approches les plus intéressantes pour les échantillons non probabilistes pondération.
Dans notre exemple simple à propos de l'estimation du chômage dans la section 3.4.1, nous avons divisé la population en groupes en fonction de l'état de résidence. En revanche, Wang et ses collègues ont divisé la population en en 176,256 groupes définis par: le sexe (2 catégories), la race (4 catégories), l'âge (4 catégories), l'éducation (4 catégories), l'état (51 catégories), ID du parti (3 catégories), l'idéologie (3 catégories) et 2008 vote (3 catégories). Avec plusieurs groupes, les chercheurs espéraient qu'il serait plus probable que dans chaque groupe, la propension à répondre est décorrélé avec le soutien pour Obama. Ensuite, plutôt que de construire des poids au niveau individuel, comme nous l'avons fait dans notre exemple, Wang et ses collègues ont utilisé un modèle complexe pour estimer la proportion de personnes dans chaque groupe qui voter pour Obama. Enfin, ils ont combiné ces estimations de groupe de soutien avec la taille connue de chaque groupe pour produire un niveau global estimé de soutien. En d'autres termes, ils hachés la population en différents groupes, ont estimé que le soutien à Obama dans chaque groupe, puis a pris une moyenne pondérée des estimations du groupe pour produire une estimation globale.
Ainsi, le grand défi dans leur approche consiste à estimer le soutien à Obama dans chacun de ces 176,256 groupes. Bien que leur groupe comprenait 345,858 participants uniques, un grand nombre par les normes de sondages électoraux, il y avait beaucoup, beaucoup de groupes pour lesquels Wang et ses collègues avaient presque pas de répondants. Par conséquent, pour estimer le soutien dans chaque groupe, ils ont utilisé une technique appelée régression à plusieurs niveaux avec post-stratification, que les chercheurs appellent affectueusement M. P. Essentiellement, pour estimer le soutien à Obama dans un groupe spécifique, l'information M. P. de piscines de nombreux groupes étroitement liés. Par exemple, considérons le défi de l'estimation du soutien à Obama chez les Hispaniques femmes, âgés de 18-29 ans, qui sont diplômés des collèges, qui sont inscrits démocrates, qui eux-mêmes comme modérés, et qui ont voté pour Obama en 2008. Cette est un groupe très, très spécifique, et il est possible qu'il n'y a personne dans l'échantillon avec ces caractéristiques. Par conséquent, pour faire des estimations au sujet de ce groupe, M. P. piscines estime ensemble des personnes dans des groupes très similaires.
En utilisant cette stratégie d'analyse, Wang et ses collègues ont pu utiliser la XBox échantillon non probabiliste pour estimer très près le soutien global que Obama a reçu dans l'élection de 2012 (Figure 3.5). En fait, leurs estimations étaient plus précis que d'un total de sondages d'opinion publique. Ainsi, dans ce cas, la pondération spécifiquement M. P.-semble faire un bon travail de corriger les biais dans les données non probabiliste; préjugés qui sont visibles quand on regarde les estimations à partir des données de Xbox non ajustés.
Figure 3.5: Estimations de Wang et al. (2015) . échantillon de XBox non désaisonnalisés produit des estimations inexactes. Mais, l'échantillon de XBox pondérée produit des estimations qui étaient plus précis que la moyenne des sondages téléphoniques probabilistes.
Il existe deux principaux enseignements de l'étude de Wang et ses collègues. Tout d'abord, des échantillons non probabilistes non ajustés peuvent conduire à de mauvaises estimations; c'est une leçon que de nombreux chercheurs ont entendu. Cependant, la deuxième leçon est que les échantillons non probabilistes, après pondération correctement, peuvent réellement produire assez de bonnes estimations. En fait, leurs estimations étaient plus précises que les estimations de pollster.com, une agrégation de plusieurs sondages électoraux traditionnels.
Enfin, il y a des limites importantes à ce que nous pouvons apprendre de cette seule étude spécifique. Tout simplement parce que la post-stratification a bien fonctionné dans ce cas particulier, il n'y a aucune garantie que cela fonctionne bien dans d'autres cas. En fait, les élections sont peut-être l'un des paramètres les plus faciles parce que les sondeurs ont étudié les élections depuis presque 100 ans, il y a une rétroaction régulière (nous pouvons voir qui gagne les élections), et l'identification du parti et les caractéristiques démographiques sont relativement prédictif du vote. À ce stade, nous manquons de théorie solide et l'expérience empirique de savoir quand pondération des ajustements à des échantillons non probabilistes produiront des estimations suffisamment précises. Une chose qui est clair, cependant, est de savoir si vous êtes obligés de travailler avec des échantillons non probabilistes, alors il y a de fortes raisons de croire que les estimations ajustées seront mieux que les estimations non ajustées.
