3.3.1 Vertegenwoordiging
Vertegenwoordiging is over het maken van gevolgtrekkingen uit uw respondenten naar uw doelgroep.
Met het oog op de aard van de fouten die kunnen gebeuren wanneer het afleiden van de respondenten aan de grotere bevolking te begrijpen, laten we eens kijken naar de Literaire Digest straw poll die probeerde om de uitkomst van de 1936 Amerikaanse presidentsverkiezingen te voorspellen. Hoewel het meer dan 75 jaar geleden was dit debacle heeft nog steeds een belangrijke les voor onderzoekers te leren vandaag.
Literaire Digest was een populaire algemeen belang tijdschrift, en het starten in 1920 begonnen ze loopt straw polls om de resultaten van de presidentsverkiezingen te voorspellen. Om deze voorspellingen te maken zouden ze stembiljetten te sturen naar veel mensen, en dan gewoon tally de stembiljetten die waren teruggekeerd; Literaire Digest trots gemeld dat de stembiljetten ze kregen waren niet "gewogen, aangepast, noch geïnterpreteerd." Deze procedure correct de winnaar voorspeld van de verkiezingen in 1920, 1924, 1928 en 1932. in 1936, in het midden van de Grote Depressie, Literaire Digest verzonden stembiljetten tot 10 miljoen mensen, van wie de namen voornamelijk afkomstig van telefoonboeken en auto-registraties. Hier is hoe ze beschreef hun methodologie:
"De samenvatting van de soepel lopende machine beweegt met de snelle precisie van dertig jaar ervaring om giswerk om harde feiten te verminderen. . . .Dit Week 500 pennen gekrast uit meer dan een kwart miljoen adressen per dag. Elke dag, in een grote kamer hoog boven-motor ribboned Fourth Avenue, in New York, 400 werknemers behendig schuift een miljoen stuks van drukwerk-genoeg om veertig stadsblokken-in het geadresseerde enveloppen [sic] effenen. Elk uur, in de samenvatting van de eigen Postkantoor Substation, drie chattering port frankeermachines verzegeld en gestempeld de witte oblongs; geschoolde post medewerkers klapte ze in uitpuilende mailsacks; vloot DIGEST vrachtwagens vloog ze naar mail-treinen uit te drukken. . . Volgende week zal de eerste antwoorden van deze tien miljoen gaan de opkomende vloed aan gemarkeerde stembiljetten, triple-gecontroleerd, geverifieerd, vijf keer cross-geclassificeerde en in totaal zijn. Als het laatste cijfer is totted en gecontroleerd, als ervaringen uit het verleden is een criterium, zal het land te leren kennen om binnen een fractie van 1 procent van de werkelijke populaire stemming van veertig miljoen [kiezers]. "(22 augustus 1936)
De Digest's fetisjering van omvang is direct herkenbaar aan een "big data" onderzoeker vandaag. Van de 10 miljoen stembiljetten verspreid, werden een verbazingwekkende 2,4 miljoen stembiljetten terug, dat is zo'n 1.000 keer groter dan de moderne politieke peilingen. Van deze 2,4 miljoen respondenten het verdict was duidelijk: Literary Digest voorspelt dat de uitdager Alf Landon was van plan om de zittende Franklin Roosevelt te verslaan. Maar, in feite, gebeurde het tegenovergestelde. Roosevelt versloeg Landon in een aardverschuiving. Hoe kon Literaire Digest mis gaan met zoveel gegevens? Onze moderne begrip van bemonstering maakt fouten Literary Digest's helder en helpt ons om te voorkomen dat soortgelijke fouten in de toekomst.
Denken duidelijk over sampling noopt ons tot vier verschillende groepen mensen (Figuur 3.1) te overwegen. De eerste groep mensen is de doelgroep; Dit is de groep die het onderzoek gedefinieerd als de populatie van belang. In het geval van Literaire Digest was de doelpopulatie kiezers in de 1936 presidentsverkiezingen. Na de beslissing op een doelgroep, een onderzoeker naast nodig heeft om een lijst van mensen die kunnen worden gebruikt voor de bemonstering te ontwikkelen. Deze lijst wordt een steekproefkader en de bevolking op het steekproefkader is het frame bevolking genoemd. In het geval van Literaire Digest was het frame bevolking van de 10 miljoen mensen van wie de namen kwamen voornamelijk uit telefoonboeken en auto-registraties. Idealiter de doelgroep en de kaderpopulatie zou precies hetzelfde zijn, maar in de praktijk is dit vaak niet het geval. De verschillen tussen de doelpopulatie en het frame bevolking worden genoemd dekking fout. Dekking fout niet op zichzelf garanderen problemen. Maar als de mensen in het frame bevolking systematisch verschillen van mensen die niet in het frame bevolking zal er dekking bias. Dekking fout was de eerste van de grote tekortkomingen bij de Literaire Digest poll. Ze wilden om te leren over de kiezers, dat was hun doelgroep, maar bouwden ze een steekproefkader voornamelijk uit telefoonboeken en auto-registers, bronnen die oververtegenwoordigd zijn rijkere Amerikanen die meer kans om Alf Landon (recall ondersteunen dat deze beide technologieën waren, die zijn tegenwoordig heel gewoon, waren relatief nieuw in de tijd en dat de VS was in het midden van de Grote Depressie).
Figuur 3.1: Vertegenwoordiging fouten.
Na het definiëren van de kaderpopulatie, de volgende stap is een onderzoeker het monster populatie te selecteren; dit zijn de mensen die de onderzoeker zal proberen te interviewen. Als het monster heeft andere kenmerken dan het frame bevolking, dan kunnen we sampling error introduceren. Dit is het soort fout gekwantificeerd in de foutmarge die meestal gepaard gaat schattingen. In het geval van de Literaire Digest fiasco, er was eigenlijk geen monster; ze probeerden om iedereen contact op te nemen in het kader bevolking. Ook al was er geen sampling error, was er uiteraard nog fout. Dit maakt duidelijk dat de marges van fouten die doorgaans worden gerapporteerd met schattingen uit enquêtes zijn meestal misleidend klein; ze bevatten niet alle bronnen van fouten.
Tot slot, een onderzoeker probeert om iedereen te interviewen in de steekproefpopulatie. Die mensen die met succes zijn ondervraagd worden de respondenten genoemd. Idealiter zou de steekproef en de respondenten precies hetzelfde zijn, maar in de praktijk is non-respons. Dat wil zeggen mensen die in de steekproef weigeren deel te nemen. Als de mensen die reageren zijn verschillend van die die niet reageren, dan kan er non-respons bias. Non-respons vertekening was de tweede grootste probleem met de Literaire Digest poll. Slechts 24% van de mensen die een stembiljet ontvangen gereageerd, en het bleek dat mensen die Landon gesteund hadden meer kans om te reageren.
Dan alleen een voorbeeld aan de ideeën van vertegenwoordiging te introduceren, de Literaire Digest poll is een vaak herhaalde gelijkenis, waarschuwen de onderzoekers over de gevaren van willekeurige steekproeven. Helaas, ik denk dat de les die veel mensen trekken uit dit verhaal is de verkeerde. De meest voorkomende moraal van het verhaal is dat de onderzoekers niets van niet-waarschijnlijkheid monsters kunnen leren (dat wil zeggen, monsters zonder strikte-waarschijnlijkheid op basis van de regels voor de selectie van deelnemers). Maar, zoals ik later in dit hoofdstuk zal je laten zien, dat is niet helemaal juist. In plaats daarvan, ik denk dat er eigenlijk twee moraal aan dit verhaal; moraal die zo waar vandaag de dag als ze in 1936. Eerst waren, zal een grote hoeveelheid lukraak verzamelde gegevens geen garantie voor een goede schatting. Ten tweede, de onderzoekers nodig om rekening te houden hoe hun gegevens werden verzameld wanneer ze maken schattingen van. Met andere woorden, omdat het verzamelen van gegevens in de Literaire Digest poll systematisch werd scheef in de richting van een aantal respondenten, moeten onderzoekers om een meer complexe schatting proces te gebruiken dat gewichten sommige respondenten meer dan anderen. Later in dit hoofdstuk, zal ik u een dergelijke wegingsprocedure-post-stratificatie-die u kunt in staat stellen om betere schattingen met niet-kans monsters te maken te tonen.
