3.3 De totale survey error kader

Total survey error = vertegenwoordiging fouten + meetfouten.

Schattingen die afkomstig zijn van steekproefenquêtes zijn vaak onvolmaakt. Dat wil zeggen, er is meestal een verschil tussen de schatting die wordt geproduceerd door een steekproefenquête (bijvoorbeeld de geschatte gemiddelde lengte van studenten op een school) en de werkelijke waarde in de populatie (bijvoorbeeld de werkelijke gemiddelde lengte van studenten op een school). Soms zijn deze fouten zo klein dat ze onbelangrijk zijn, maar soms kunnen ze helaas groot en consequent zijn. In een poging om fouten te begrijpen, te meten en te verminderen, creëerden onderzoekers geleidelijk een enkel, overkoepelend conceptueel raamwerk voor de fouten die kunnen optreden in steekproefenquêtes: het totale referentiefoutenkader (Groves and Lyberg 2010) . Hoewel de ontwikkeling van dit raamwerk in de jaren veertig begon, denk ik dat het ons twee nuttige ideeën biedt voor survey-onderzoek in het digitale tijdperk.

Ten eerste verduidelijkt het totale kader voor enquêtefouten dat er twee soorten fouten zijn: bias en variantie . Grofweg is vertekening systematische fout en variantie is willekeurige fout. Stel met andere woorden voor dat u 1000 replicaties van dezelfde steekproefenquête uitvoert en vervolgens kijkt naar de verdeling van de schattingen van deze 1.000 replicaties. De bias is het verschil tussen het gemiddelde van deze gerepliceerde schattingen en de werkelijke waarde. De variantie is de variabiliteit van deze schattingen. Als al het andere gelijk is, willen we een procedure zonder vooroordeel en kleine variantie. Helaas bestaan ​​er voor veel echte problemen dergelijke niet-bias, kleine-variantieprocedures, wat onderzoekers in de moeilijke positie plaatst om te beslissen hoe de problemen die door vertekening en variantie zijn ontstaan, in evenwicht te brengen. Sommige onderzoekers geven instinctief de voorkeur aan onpartijdige procedures, maar een gerichte focus op vertekening kan een vergissing zijn. Als het doel is om een ​​schatting te maken die zo dicht mogelijk bij de waarheid ligt (dwz met de kleinst mogelijke fout), dan ben je misschien beter af met een procedure die een kleine afwijking en een kleine afwijking heeft dan met een procedure die onbevooroordeeld maar heeft een grote variantie (figuur 3.1). Met andere woorden, het totale enquêtefoutkader laat zien dat bij het evalueren van onderzoeksprocedures voor onderzoeken, zowel vooroordelen als variantie moeten worden overwogen.

Figuur 3.1: Bias en variantie. Idealiter zouden onderzoekers een niet-bias, low-variance schattingsprocedure hebben. In werkelijkheid moeten ze vaak beslissingen nemen die een afweging maken tussen vooringenomenheid en variantie. Hoewel sommige onderzoekers instinctief de voorkeur geven aan onbevooroordeelde procedures, kan soms een klein-bias, klein-variantie-procedure meer accurate schattingen opleveren dan een onpartijdige procedure die een hoge variantie heeft.

Het tweede hoofdinzicht van het totale survey-foutenraamwerk, dat veel van dit hoofdstuk zal organiseren, is dat er twee foutenbronnen zijn: problemen met betrekking tot wie u spreekt ( vertegenwoordiging ) en problemen die verband houden met wat u uit die gesprekken leert ( meting ). U zou bijvoorbeeld geïnteresseerd kunnen zijn in het schatten van attitudes over online privacy bij volwassenen die in Frankrijk wonen. Het maken van deze schattingen vereist twee verschillende soorten gevolgtrekkingen. Ten eerste, uit de antwoorden die respondenten geven, moet je hun attitudes over online privacy afleiden (wat een meetprobleem is). Ten tweede, uit de afgeleide attitudes van de respondenten, moet je de attitudes in de populatie als geheel afleiden (wat een probleem van representatie is). Perfecte bemonstering met slechte enquêtevragen levert slechte schattingen op, net als slechte steekproeven met perfecte enquêtevragen. Met andere woorden, goede schattingen vereisen een correcte benadering van meten en weergeven . Met die achtergrond zal ik bekijken hoe survey-onderzoekers in het verleden hebben nagedacht over representatie en meting. Vervolgens laat ik zien hoe ideeën over representatie en meting het onderzoek naar digitale leeftijdsonderzoek kunnen sturen.