3.3.1 representation
Representation handlar om att göra slutsatser från dina respondenter till din målgrupp.
För att förstå vilken typ av fel som kan hända när det kommer ifrån respondenterna till den större befolkningen, låt oss överväga litteraturundersökningen, som försökte förutsäga resultatet av 1936: s presidentval i USA. Även om det hände för mer än 75 år sedan, har denna debatt fortfarande en viktig lektion för att undervisa forskare idag.
Literary Digest var en populär tidskrift för allmänintresse, och började 1920 började de köra stråsundersökningar för att förutse resultaten av presidentvalet. För att göra dessa förutsägelser skulle de skicka omröstningar till massor av människor och sedan helt enkelt ställa upp de omröstningar som återlämnades. Literary Digest stolt rapporterade att de omröstningar de mottog varken "vägdes, justerades eller tolkades". Detta förfarande förutspådde rättvisarna valet 1920, 1924, 1928 och 1932. 1936, mitt i den stora depressionen, litterära Digest skickade ut omröstningar till 10 miljoner människor, vars namn kom övervägande från telefonkataloger och registrering av bilregister. Så här beskriver de deras metodik:
"DIGESTs smidiga maskin flyttar med den snabba precisionen av trettio års erfarenhet för att minska gissningen till hårda fakta ... Den här veckan rakade 500 pennor mer än en fjärdedel av adresserna om dagen. Varje dag, i ett stort rum högt över motorbandet Fourth Avenue, i New York, glider 400 arbetare smidigt en miljon bitar trycksaker - tillräckligt för att bana fyrtio stadsblock - in i de adresserade kuverten [sic]. Varje timme, i DIGESTs egna postkontorstation, förseglade tre chattande portmätningsmaskiner de vita vinklarna och stämplade dem. skickliga postanställda slingrade dem in i böjda brevpåsar; flotta DIGEST lastbilar sped dem för att uttrycka posttåg. . . Nästa vecka börjar de första svaren från dessa tio miljoner den inkommande tidvattnet med markerade omröstningar, att trippelcheckas, verifieras, fem gånger överklassificeras och totalt. När den sista siffran har blivit tagen och kontrollerad, om den tidigare erfarenheten är ett kriterium, kommer landet att veta att inom en bråkdel av 1 procent den faktiska populära rösten på fyrtio miljoner [väljarna]. "(22 augusti 1936)
Literary Digests fetishisering av storlek är omedelbar igenkännlig för någon stor dataforskare idag. Av de 10 miljoner rösterna som distribuerades återkom en fantastisk 2,4 miljoner-det är ungefär 1000 gånger större än de moderna politiska omröstningarna. Av dessa 2,4 miljoner respondenter var domen klar: Alf Landon skulle besegra den befintliga Franklin Roosevelt. Men i själva verket besegrade Roosevelt Landon i en jordskred. Hur kan Literary Digest gå fel med så mycket data? Vår moderna förståelse för provtagning gör Litterära Digests misstag tydliga och hjälper oss att undvika att göra liknande misstag i framtiden.
Att tänka klart om provtagning kräver att vi överväger fyra olika grupper av människor (figur 3.2). Den första gruppen är målpopulationen ; Det här är den grupp som forskaren definierar som intressebolaget. När det gäller litterära Digest var målpopulationen väljarna i 1936 presidentvalet.
Efter att ha beslutat om en målpopulation behöver en forskare utveckla en lista över personer som kan användas för provtagning. Denna lista heter en samplingsram och människorna på den kallas rampopulationen . Helst skulle målpopulationen och rampopulationen vara exakt densamma, men i praktiken är det ofta inte fallet. Till exempel, när det gäller litterära digest , var rampopulationen de 10 miljoner personer vars namn kom övervägande från telefonkataloger och registreringsregister för bilar. Skillnader mellan målpopulationen och rampopulationen kallas täckningsfel . Däckfel garanterar inte i sig själva problem. Det kan emellertid leda till täckningsförskjutning om personer i rambeståndet systematiskt skiljer sig från personer i målpopulationen som inte befinner sig i rambeståndet. Detta är i själva verket exakt det som hände i litteraturundersökningen . Folket i deras ram befolkning tenderade att vara mer benägna att stödja Alf Landon, delvis för att de var rikare (minns att både telefoner och bilar var relativt nya och dyra 1936). Så, i den litterära digestundundersökningen ledde täckningsfelet till täckningsbias.
Figur 3.2: Representationsfel.
Efter att ha definierat rampopulationen är nästa steg för en forskare att välja provpopulationen ; Det här är de personer som forskaren kommer att försöka intervjua. Om provet har olika egenskaper än rampopulationen, kan provtagningen introducera provtagningsfel . När det gäller Literary Digest fiasco var det emellertid ingen provtagning - tidningen att kontakta alla i rampopulationen - och det fanns därför inget provtagningsfel. Många forskare tenderar att fokusera på provtagningsfel. Det här är typiskt den enda typen av fel som fångas av felmarginalen som rapporterats i undersökningar. Men den litterära digestfasken påminner oss om att vi måste överväga alla felkällor, både slumpmässiga och systematiska.
Slutligen, efter att ha valt en provpopulation, försöker en forskare att intervjua alla sina medlemmar. De personer som framgångsrikt intervjuas kallas respondenter . Ideellt sett skulle provpopulationen och respondenterna vara exakt densamma, men i praktiken finns det ingen respons. Det vill säga, människor som väljs i urvalet deltar ibland inte. Om de människor som svarar är annorlunda från dem som inte svarar, kan det vara nonresponse bias . Nonresponse bias var det andra huvudproblemet med litteraturundersökningen . Endast 24% av de personer som fick en omröstning svarade, och det visade sig att personer som stödde Landon var mer benägna att svara.
Utöver att bara vara ett exempel för att presentera representationsidéer, är litteraturundersökningsundersökningen en ofta upprepad liknelse som varnar forskare om farorna med slumpmässig provtagning. Tyvärr tror jag att den lektion som många människor drar från den här historien är den felaktiga. Historiens vanligaste moral är att forskare inte kan lära sig något från icke-sannolikhetsprover (dvs. prover utan strikta sannolikhetsbaserade regler för att välja deltagare). Men som jag kommer att visa senare i det här kapitlet är det inte rätt. Istället tror jag att det verkligen finns två moral för denna berättelse; moraler som är lika sanna idag som de var 1936. För det första garanterar en stor mängd slumpmässigt insamlade data inte en bra uppskattning. I allmänhet minskar antalet svarande ett stort antal respondenter, men det minskar inte nödvändigtvis förspänningen. Med mycket data kan forskare ibland få en exakt uppskattning av det felaktiga. de kan vara exakt felaktiga (McFarland and McFarland 2015) . Den andra huvudsakliga lektionen från litterära Digest fiasko är att forskare måste redogöra för hur deras prov samlades in när man gjorde uppskattningar. Med andra ord, eftersom provtagningsprocessen i litteraturundersökningsundersökningen systematiskt skedde mot vissa respondenter, behövde forskare använda en mer komplex uppskattningsprocess som väger några respondenter mer än andra. Senare i det här kapitlet visar jag dig ett sådant viktningsförfarande - efterlagring - som kan göra det möjligt att göra bättre uppskattningar från slumpmässiga prover.
