3.3 Den totala ramen undersökning fel
Totalt undersökning error = representations fel + mätfel.
Uppskattningar som kommer från urvalsundersökningar är ofta ofullkomliga. Det är vanligtvis en skillnad mellan uppskattningen som gjorts av en provundersökning (t.ex. den beräknade genomsnittliga höjden för elever på en skola) och det verkliga värdet i befolkningen (t.ex. den faktiska genomsnittliga höjden för elever på en skola). Ibland är dessa fel så små att de är oväsentliga, men ibland kan de vara stora och följaktligen. I ett försök att förstå, mäta och minska fel skapade forskare gradvis en enda övergripande konceptuell ram för de fel som kan uppstå i urvalsundersökningar: den totala undersökningsfelramen (Groves and Lyberg 2010) . Trots att utvecklingen av denna ram började på 1940-talet, tycker jag att det erbjuder oss två användbara idéer för undersökningsforskning i digital ålder.
För det första klargör det totala undersökningsfelramverket att det finns två typer av fel: bias och varians . Grovt är förspänning systematiskt fel och varians är slumpmässigt fel. Med andra ord, föreställ dig att du kör 1000 replikeringar av samma provundersökning och sedan tittar på fördelningen av uppskattningarna från dessa 1000 replikeringar. Förspänningen är skillnaden mellan medelvärdet av dessa replikatestimat och det verkliga värdet. Variansen är variationen i dessa uppskattningar. Allt annat är lika, vi vill ha ett förfarande utan förskjutning och liten variation. Tyvärr finns det för många reella problem inte sådana mindre bias, små variansprocedurer, vilket ställer forskare i det svåra läget att bestämma hur man balanserar problemen som införs genom förspänning och varians. Vissa forskare föredrar instinktivt objektiva procedurer, men ett enstaka fokus på bias kan vara ett misstag. Om målet är att producera en uppskattning som är så nära som möjligt för sanningen (det vill säga med det minsta möjliga felet), då kanske du är bättre med en procedur som har en liten bias och en liten varians än med en som är opartisk men har en stor varians (figur 3.1). Med andra ord visar det totala undersökningsfelramverket att man vid bedömningen av undersökningsforskningsprocedurer bör överväga både bias och varians.
Figur 3.1: Bias och varians. Ideellt sett skulle forskare ha en icke-bias, lågvariationskalkyleringsprocedur. I själva verket måste de ofta fatta beslut som skapar en avvägning mellan bias och varians. Även om vissa forskare instinktivt föredrar objektiva procedurer, kan ibland en liten bias, liten variansprocedur producera mer exakta uppskattningar än ett opartiskt förfarande som har stor variation.
Den andra huvudinsikten från den totala undersökningsfelramen, som kommer att organisera mycket av det här kapitlet, är att det finns två felkällor: problem relaterade till vem du pratar med ( representation ) och problem relaterade till vad du lär dig av dessa samtal ( mätning ). Du kan till exempel vara intresserad av att uppskatta attityder om onlinesäkerhet hos vuxna som bor i Frankrike. Att göra dessa uppskattningar kräver två olika typer av inferens. För det första, från de svar som respondenterna ger, måste du utgå från deras attityder om onlinesäkerhet (vilket är ett måttproblem). För det andra måste man, utifrån de bedömda attityderna hos respondenterna, utgå från attityderna i befolkningen som helhet (vilket är ett representationsproblem). Perfekt provtagning med dåliga undersökningsfrågor kommer att ge dåliga uppskattningar, liksom dålig provtagning med perfekta undersökningsfrågor. Med andra ord kräver bra uppskattningar goda metoder för mätning och representation. Med tanke på den bakgrunden ska jag granska hur undersökningsforskare har tänkt på representation och mätning tidigare. Sedan ska jag visa hur idéer om representation och mätning kan leda till undersökningsundersökning för digital ålder.
