3.3.1 Representasjon

Representasjon handler om å gjøre slutninger fra respondentene til målgruppen.

For å forstå hva slags feil som kan skje når dedusere fra respondentene i større populasjon, la oss vurdere den litterære Digest strå meningsmåling som prøvde å forutsi utfallet av 1936 amerikanske presidentvalget. Selv om det var mer enn 75 år siden, har denne fiaskoen fortsatt en viktig lekse å lære forskere i dag.

Literary Digest var en populær generell interesse magasin, og starter i 1920 de begynte å kjøre halm avstemninger for å forutsi utfallet av presidentvalget. For å gjøre disse spådommene de ville sende stemmesedler til mange mennesker, og så bare telleapparat opp stemmesedlene som ble returnert, Literary Digest stolt rapporterte at stemmesedlene de mottok var verken "vektet, justert, og heller ikke tolkes." Denne prosedyren korrekt spådde vinneren av valget i 1920, 1924, 1928 og 1932. i 1936, midt i den store depresjonen, Literary Digest sendt ut stemmesedler til 10 millioner mennesker, hvis navn hovedsakelig kom fra telefonkataloger og bil registrering poster. Her er hvordan de beskrev sin metodikk:

"THE Digest sin velfungerende maskin beveger seg med raske presisjon på tretti års erfaring for å redusere gjetting til harde fakta. . . .Dette Uke 500 penner ripete ut mer enn en kvart million adresser en dag. Hver dag, i en stor plass høyt over motor-ribboned Fourth Avenue i New York, 400 arbeidere deftly skyve en million biter av trykksaker-nok for å rydde førti byen blokker bygd i de adresserte omslutter [sic]. Hver time, i Digest sin egen Post Office Substation, tre chattering frankering maskiner forseglet og stemplet den hvite oblongs; dyktige postansatte vippet dem inn svulmende Mailsacks; flåte DIGEST lastebiler sped dem til å uttrykke post-tog. . . Neste uke vil de første svarene fra disse ti millioner begynne den innkommende bølgen av merkede stemmesedler, for å være trippel-sjekket, verifisert, fem ganger grense klassifisert og summert. Når den siste figuren har blitt totted og sjekket, hvis tidligere erfaringer er et kriterium, vil landet vite til innenfor en brøkdel av en prosent de faktiske stemmene på førti millioner [velgerne]. »(22.08.1936)

Den Digest sin fetishization av størrelse er umiddelbart gjenkjennelig for noen "big data" forsker i dag. Av de 10 millioner stemmesedler fordelt, ble en fantastisk 2,4 millioner stemmesedler tilbake-det er omtrent 1000 ganger større enn moderne politiske meningsmålinger. Fra disse 2,4 millioner respondenter dommen var klar: Literary Digest spådd at utfordreren Alf Landon skulle beseire den sittende Franklin Roosevelt. Men, faktisk, skjedde det motsatte. Roosevelt beseiret Landon i et ras. Hvordan kunne Literary Digest gå galt med så mye data? Vår moderne forståelse av sampling gjør Literary Digest feil klar og hjelper oss til å unngå å gjøre lignende feil i fremtiden.

Tenke klart om prøvetaking krever at vi skal vurdere fire ulike grupper av mennesker (figur 3.1). Den første gruppen av mennesker er målgruppen; Dette er den gruppen som forskning definerer som befolkningen av interesse. I tilfelle av Literary Digest målgruppen var velgere i 1936 presidentvalget. Etter beslutter på en målgruppen, ved behov for en forsker å utvikle en liste over personer som kan brukes for prøvetaking. Denne liste kalles en sampling ramme og populasjonen av samplingsrammen er kalt rammen befolkningen. I tilfelle av Literary Digest rammen befolkningen var de 10 millioner mennesker som har navn som kom hovedsakelig fra telefonkataloger og bil registrering poster. Ideelt målgruppen og rammen befolkningen ville være nøyaktig det samme, men i praksis er dette ofte ikke tilfelle. Forskjeller mellom målgruppen og ramme befolkningen kalles dekning feil. Dekning feilen ikke, av seg selv garanterer problemer. Men hvis folk i ramme befolkningen er systematisk forskjellig fra folk ikke i rammen befolkningen vil det være dekning bias. Dekning feil var den første av de store feil med Literary Digest meningsmåling. De ønsket å lære mer om velgerne-som var deres mål populasjons men de bygget en prøvetaking ramme hovedsakelig fra telefonkataloger og bil registre, kilder som overrepresentert rikere amerikanere som var mer sannsynlig å støtte Alf Landon (tilbakekalling at begge disse teknologiene, som er vanlig i dag, var relativt nye på den tiden og at USA var midt i den store depresjonen).

Figur 3.1: Representasjon feil.

Etter å ha definert ramme befolkningen, er neste skritt for en forsker å velge eksempel befolkningen; dette er mennesker som forskeren vil forsøke å intervjue. Hvis prøven har andre egenskaper enn rammen befolkningen, så vi kan innføre utvalgsfeil. Dette er den type feil kvantifisert i feilmarginen som vanligvis følger estimater. Når det gjelder den litterære Digest fiasco, det var faktisk ikke prøve; de har forsøkt å kontakte alle i rammen populasjonen. Selv om det ikke var noen prøvetaking feil, var det åpenbart fremdeles feil. Dette tydeliggjør at marginene for feil som vanligvis rapportert med estimater fra undersøkelsene er vanligvis villedende liten; de ikke inkluderer alle feilkilder.

Til slutt, forsøker en forsker å intervjue alle i utvalget befolkningen. De mennesker som er vellykket intervjuet kalles respondenter. Ideelt sett ville prøven populasjonen og de spurte være nøyaktig den samme, men i praksis er det ikke-respons. Det vil si, folk som er valgt i utvalget nekter å delta. Dersom personer som reagerer er forskjellige fra de som ikke svarer, så det kan være ikke-respons bias. Frafall skjevhet var den andre hovedproblemet med Literary Digest meningsmåling. Kun 24% av personene som fikk en stemmeseddel svarte, og det viste seg at folk som støttet Landon var mer sannsynlig til å svare.

Utover bare å være et eksempel for å innføre ideer om representasjon, er Literary Digest meningsmåling et ofte gjentatt lignelse, advarer forskere om farene ved tilfeldig prøvetaking. Dessverre tror jeg at lærdommen at mange mennesker trekke fra denne historien er det galt. Den vanligste Moralen i historien er at forskerne ikke kan lære noe fra ikke-sannsynlighetsutvalg (dvs. prøver uten strenge sannsynlighetsbaserte regler for valg av deltakere). Men, som jeg skal vise senere i dette kapitlet, det er ikke helt riktig. I stedet tror jeg det er egentlig to moral i denne historien; moral som er like sant i dag som de var i 1936. Først vil en stor mengde måfå innsamlede data ikke garantere et godt estimat. For det andre må forskerne å gjøre rede for hvordan deres data ble samlet når de gjør estimater fra den. Med andre ord, fordi datainnsamlingen i Literary Digest Målingen ble systematisk skjevt mot noen respondenter, må forskerne å bruke en mer kompleks estimeringsprosessen som veier noen respondenter mer enn andre. Senere i dette kapittelet, vil jeg vise deg en slik vekting prosedyre-post-stratifisering-som kan gjøre deg i stand til å ta bedre estimater med ikke-sannsynlighetsutvalg.