3.3.1 representation
Representation handlar om att göra slutsatser från dina respondenter till din målgrupp.
För att förstå den typ av fel som kan hända när dra slutsatsen från de tillfrågade i större befolkning, låt oss betrakta det litterära Digest halm enkät som försökte att förutsäga resultatet av 1936 års amerikanska presidentval. Även om det var mer än 75 år sedan, har detta misslyckande fortfarande en viktig läxa att lära forskare idag.
Litterära Digest var en populär allmänt intresse tidningen och från och med 1920 började de kör halm valurnorna för att förutsäga resultatet av presidentvalet. För att göra dessa förutsägelser de skulle skicka röstsedlar till massor av människor, och sedan helt enkelt stämmer upp röstsedlarna som returnerades, litterära Digest rapporterade stolt att röstsedlarna de inkomna varken "viktas, justeras eller tolkas." Detta förfarande korrekt förutspådde vinnaren av valen i 1920, 1924, 1928 och 1932. År 1936, mitt i den stora depressionen, skickade litterära Digest ut röstsedlar till 10 miljoner människor, vars namn huvudsakligen kom från telefonkataloger och bil registreringsposter. Här är hur de beskrev sin metod:
"Digest släta gående maskin rör sig med snabba precision trettio års erfarenhet för att minska gissningar till hårda fakta. . . .Detta Vecka 500 pennor skrapat ut mer än en kvarts miljon adresser en dag. Varje dag i ett stort rum högt ovanför motor ribboned Fourth Avenue i New York, 400 arbetare skickligt dra en miljon bitar av trycksaker nog att bana fyrtio kvarter-i de adresserade kuvert [sic]. Varje timme, i Digest egna postkontor Substation, tre pladdrande frankeringsmaskiner förseglade och stämplat vita avlånga; kompetenta postanställda vänt dem till utbuktning mailsacks; flotta Digest lastbilar accelererade dem att expresstågen. . . Nästa vecka kommer de första svaren från dessa tio miljoner börja inkommande tidvattnet markerade röstsedlar, att vara trippel kontrolleras, verifieras, fem gånger tvär sekretessbelagda och uppgick. När den sista siffran har totted och kontrolleras, om tidigare erfarenheter är ett kriterium, kommer landet vet inom en bråkdel av en procent själva folkval av fyrtio miljoner [väljare]. "(22 augusti 1936)
Den Digest fetische storlek är direkt igenkännbara för alla "big data" forskare idag. Av delade ut 10 miljoner röstsedlar, var en fantastisk 2,4 miljoner röster åter-det är ungefär 1000 gånger större än moderna politiska omröstningar. Från dessa 2,4 miljoner respondenter domen var klar: Litterär Digest förutspådde att utmanaren Alf Landon skulle besegra den sittande Franklin Roosevelt. Men i själva verket hände raka motsatsen. Roosevelt besegrade Landon i ett jordskred. Hur kunde litterära Digest gå fel med så mycket data? Vår moderna förståelse för provtagning gör Literary Digest s fel tydlig och hjälper oss att undvika att göra liknande misstag i framtiden.
Tänka klart om provtagning krävs oss att fundera över fyra olika grupper av människor (Figur 3.1). Den första gruppen av människor är målgruppen; detta är den grupp som forskningen definierar som den intressanta populationen. När det gäller litterära Digest målgruppen var väljarna i 1936 presidentval. Efter beslutar om en målgrupp, behöver en forskare bredvid utveckla en lista över personer som kan användas för provtagning. Denna lista kallas en urvalsramen och befolkningen på urvalsramen kallas rampopulationen. När det gäller litterära Digest rampopulationen var 10 miljoner människor vars namn kom huvudsakligen från telefonkataloger och bil registreringsposter. Helst målgruppen och rampopulationen skulle vara exakt densamma, men i praktiken är detta ofta inte fallet. Skillnader mellan målgruppen och ram befolkning kallas täckning fel. Täckning fel inte i sig garanterar problem. Men om människorna i rampopulationen systematiskt skiljer sig från människor inte i rampopulationen kommer det att finnas täckning partiskhet. Täckning fel var den första av de stora brister med litterära Digest enkät. De ville lära sig om väljarna, det var deras mål populations men de konstruerade en urvalsram huvudsakligen från telefonkataloger och bil register, källor som överrepresenterade rikare amerikaner som var mer benägna att stödja Alf Landon (minns att båda dessa tekniker, som är vanligt idag, var relativt ny på tiden och att USA var mitt i den stora depressionen).
Figur 3.1: Representation fel.
Efter att definiera ramen befolkningen, är nästa steg för en forskare att göra urvalet befolkningen; Dessa är de människor som forskaren kommer att försöka att intervjua. Om provet har olika egenskaper än rampopulationen, då kan vi införa urvalsfel. Detta är den typ av fel kvantifieras i felmarginalen som vanligen följer uppskattningar. I fallet med den litterära Digest fiasko, faktiskt fanns det inget prov; de försökte kontakta alla i rampopulationen. Även om det fanns ingen urvalsfel, det var uppenbarligen fortfarande fel. Detta klargör att marginalerna fel som vanligen rapporteras med uppskattningar från undersökningar är vanligtvis vilseledande små; De inkluderar inte alla felkällor.
Slutligen försöker forskare att intervjua alla i provpopulationen. De människor som framgångsrikt intervjuas kallas svarande. Helst skulle prov befolkningen och de svarande vara exakt densamma, men i praktiken finns det bortfall. Det vill säga personer som ingick i urvalet vägrar att delta. Om de människor som svarar skiljer sig från dem som inte svarar, då det kan vara icke-svarsbias. Bortfall partiskhet var den andra största problemet med litterära Digest enkät. Endast 24% av de människor som fick en omröstning svarade, och det visade sig att människor som stödde Landon var mer benägna att svara.
Mer än bara ett exempel att införa idéer representation är litterära Digest enkät en ofta upprepad liknelse, varnar forskare om farorna med slumpartat provtagning. Tyvärr tror jag att lärdomen att många människor drar från denna berättelse är fel. Den vanligaste Sensmoralen i historien är att forskarna inte kan lära sig något från icke-sannolikhetsurval (dvs prover utan strikta sannolikhetsbaserade regler för val av deltagare). Men, som jag ska visa senare i det här kapitlet, det är inte helt rätt. Istället tror jag att det finns egentligen två moral till denna berättelse; moral som är lika sant idag som de var 1936. Först kommer en stor mängd slumpmässigt insamlade data inte garantera en bra uppskattning. För det andra, forskare måste redogöra för hur deras data samlades in när de gör bedömningar från det. Med andra ord, eftersom datainsamlingsprocessen i den litterära Digest undersökning systematiskt skev mot vissa av de tillfrågade forskarna måste använda en mer komplex uppskattningsprocessen som väger några svarande mer än andra. Senare i detta kapitel, ska jag visa dig en sådan viktning procedur poststratifiering-som kan göra det möjligt för dig att göra en bättre bedömning med icke-sannolikhetsurval.
