3.4.3 Non-kans monsters: monster matching
Niet alle niet-waarschijnlijkheid monsters hetzelfde. We kunnen meer controle toevoegen aan de voorkant.
De aanpak Wang en zijn collega's gebruikt om het resultaat van de 2012 Amerikaanse presidentsverkiezingen schatten geheel afhankelijk verbeteringen in de data-analyse. Dat wil zeggen, verzamelden ze zo veel reacties als ze konden en vervolgens geprobeerd om opnieuw gewicht hen. Een aanvullende strategie voor het werken met niet-aselecte steekproeven is om meer controle over het verzamelen van gegevens proces.
Het eenvoudigste voorbeeld van een gedeeltelijk gecontroleerde niet-aselecte steekproeven proces is sampling quota, een techniek die teruggaat tot de vroege dagen van survey-onderzoek. In sampling quota, onderzoekers verdelen de bevolking in verschillende groepen (bijvoorbeeld, jonge mannen, jonge vrouwen, etc) en vervolgens vastgestelde quota voor het aantal mensen dat moet worden gekozen in elke groep. Respondenten zijn geselecteerd in een lukrake manier totdat de onderzoeker hun quota in elke groep heeft voldaan. Omwille van de quota, de resulterende steekproef lijkt meer op de doelgroep dan anders waar zou zijn, maar omdat de waarschijnlijkheid van opname onbekend veel onderzoekers zijn sceptisch van de bemonstering quota. In feite, sampling quotum was de oorzaak van de "Dewey Nederlagen Truman" fout in de 1948 Amerikaanse presidentsverkiezingen. Omdat het enige controle over de bemonstering proces, echter, kan men zien hoe de sampling quota enkele voordelen kunnen hebben over een volledig ongecontroleerd het verzamelen van gegevens.
Die verder gaat dan sampling quota, meer moderne initiatieven ter bestrijding van de niet-kanssteekproeven proces zijn nu mogelijk. Een dergelijke benadering genoemd monster matching, en wordt gebruikt door sommige commerciële online panel providers. In zijn eenvoudigste vorm, monster matching vereist twee gegevensbronnen: 1) een volledige register van de bevolking en 2) een groot panel van vrijwilligers. Het is belangrijk dat de vrijwilligers niet nodig om een aselecte steekproef van een populatie; om te benadrukken dat er geen eisen voor de selectie in het paneel, ik noem het een vieze panel. Ook moet zowel het bevolkingsregister en vuile paneel enige aanvullende informatie over elke persoon omvatten in dit voorbeeld acht ik leeftijd en geslacht, maar realistische situaties deze hulpinformatie veel gedetailleerder zijn. De truc van het monster matching is om monsters uit een vuile panel selecteert op een manier dat de monsters die er uitzien als waarschijnlijkheid monsters produceert.
Monster matching begint wanneer een gesimuleerd waarschijnlijkheid monster wordt genomen uit het bevolkingsregister; deze gesimuleerde voorbeeld wordt een doel monster. Vervolgens, gebaseerd op de hulpinformatie, gevallen de doelsteekproef zijn afgestemd op mensen in de vuile panel een afgestemd te vormen. Bijvoorbeeld, als er een 25-jarige vrouw in het doelmonster, dan de onderzoeker vindt een 25 jaar oude vrouw uit de vuile paneel in de afgedekte monster. Tot slot, de leden van de afgedekte monster worden geïnterviewd om de laatste set van de respondenten te produceren.
Hoewel de aangepaste monster ziet eruit als de doelgroep monster, is het belangrijk om te onthouden dat het aangepaste monster niet een kans monster. Matched monsters alleen overeen met de doelsteekproef de bekende hulpinformatie (bijvoorbeeld leeftijd en geslacht), maar niet op niet gemeten eigenschappen. Bijvoorbeeld, als mensen op het vuile panel hebben de neiging om armere-na alles, een van de redenen om lid te worden van een enquête panel is om geld vervolgens te verdienen, zelfs als het aangepaste monster ziet eruit als de doelgroep monster in termen van leeftijd en geslacht het zal nog steeds een neiging naar arme mensen. De magie van ware aselecte steekproeven is uit te sluiten problemen op beide gemeten en ongemeten kenmerken (een punt dat in overeenstemming is met onze bespreking van de aanpassing voor causale gevolgtrekking uit observationele studies in hoofdstuk 2).
In de praktijk is het monster matching is afhankelijk van het hebben van een groot en divers panel te popelen om enquêtes in te vullen, en dus het wordt vooral gedaan door bedrijven die zich kunnen veroorloven om te ontwikkelen en onderhouden van een dergelijk panel. Ook in de praktijk kunnen er problemen met aanpassing (soms een goede match voor iemand in de doelsteekproef bestaat niet op het paneel) en non-respons (soms mensen in de overeenkomende monster weigeren om deel te nemen aan het onderzoek) zijn. Daarom is in de praktijk, onderzoekers doen monster matching ook een soort van post-stratificatie aanpassing om schattingen te maken uit te voeren.
Het is moeilijk om nuttige theoretische garanties over monster matching te bieden, maar in de praktijk goed kan uitvoeren. Bijvoorbeeld, Stephen Ansolabehere en Brian Schaffner (2014) ten opzichte van drie parallelle onderzoeken van ongeveer 1.000 mensen uitgevoerd in 2010 met behulp van drie verschillende sampling en interviewen methoden: e-mail, telefoon en een internetaansluiting panel met behulp van sample matching en post-stratificatie aanpassing. De schattingen van de drie benaderingen waren zeer vergelijkbaar met schattingen uit hoogwaardige benchmarks zoals de Current Population Survey (CPS) en de National Health Interview Survey (NHIS). Meer in het bijzonder, zowel op het internet en e-mail enquêtes waren ervandoor met een gemiddelde van 3 procentpunten en de telefonische enquête was uitgeschakeld met 4 procentpunten. Fouten dit grote zijn ongeveer wat men zou verwachten van monsters van ongeveer 1.000 mensen. Hoewel geen van deze modi geproduceerd substantieel betere gegevens, zowel op het internet en telefonische enquête (die duurde dagen of weken) aanzienlijk sneller waren om het veld dan de e-mail enquête (die acht maanden duurde), en het internet onderzoek, welk monster matching gebruikt, was goedkoper dan de andere twee modi.
Tot slot, sociale wetenschappers en statistici zijn ongelooflijk sceptisch over gevolgtrekkingen uit deze niet-waarschijnlijkheid monsters, deels omdat ze worden geassocieerd met een aantal pijnlijke mislukkingen van survey-onderzoek, zoals de Literaire Digest poll. Voor een deel ben ik het eens met deze scepsis: niet-gecorrigeerde non-kans monsters zijn waarschijnlijk slecht schattingen. Echter, als onderzoekers kunnen aanpassen aan de vooroordelen in de sampling-proces (bijvoorbeeld, post-stratificatie) of enigszins de controle van de bemonstering (bijv monster matching), kunnen ze betere schattingen, en zelfs schattingen van voldoende kwaliteit voor de meeste doeleinden te produceren. Natuurlijk zou het beter zijn om perfect uitgevoerde aselecte steekproeven te doen, maar dat lijkt niet langer een realistische optie.
Zowel niet-waarschijnlijkheid monsters en de waarschijnlijkheid monsters variëren in hun kwaliteit, en op dit moment is het waarschijnlijk het geval dat de meeste schattingen van waarschijnlijkheid monsters zijn betrouwbaarder dan de schattingen van niet-waarschijnlijkheid monsters. Maar zelfs nu, schattingen van goed uitgevoerde niet-waarschijnlijkheid monsters zijn waarschijnlijk beter dan de schattingen van slecht uitgevoerde waarschijnlijkheid monsters. Verdere, niet waarschijnlijkheid monsters aanzienlijk goedkoper. Het blijkt dus dat de waarschijnlijkheid versus niet-kanssteekproeven biedt een kosteneffectieve kwaliteit afweging (figuur 3,6). Vooruitblikkend, verwacht ik dat de schattingen van goed gedaan non-kans monsters goedkoper en beter zal worden. Verder, als gevolg van de breuk in de vaste telefoon enquêtes en het verhogen van de tarieven van de non-respons, verwacht ik dat waarschijnlijkheid monsters duurder zal worden en van mindere kwaliteit. Vanwege deze lange termijn trends, ik denk dat de niet-kanssteekproeven steeds belangrijker in het derde tijdperk van de survey-onderzoek zal worden.
Figuur 3.6: kanssteekproeven in de praktijk en niet-kanssteekproeven zijn zowel grote, heterogene categorieën. In het algemeen is er een kosten-error trade-off met niet-aselecte steekproeven die lagere kosten, maar hogere fout. Echter, goed gedaan non-kanssteekproeven betere schattingen dan slecht gedaan kanssteekproeven te produceren. In de toekomst verwacht ik dat de niet-kanssteekproeven beter en goedkoper, terwijl kanssteekproeven erger en duurder zal krijgen zal krijgen.
