3.3 Den samlede ramme undersøgelse fejl

Samlet undersøgelse error = repræsentation fejl + målefejl.

Estimater, der kommer fra stikprøveundersøgelser, er ofte ufuldkomne. Det vil sige, at der normalt er en forskel mellem estimatet produceret af en stikprøveundersøgelse (f.eks. Den anslåede gennemsnitlige højde for elever i en skole) og den sande værdi i befolkningen (fx den faktiske gennemsnitlige højde for elever i en skole). Nogle gange er disse fejl så små, at de er ubetydelige, men nogle gange kan de desværre være store og følgeskader. I et forsøg på at forstå, måle og reducere fejl skabte forskere gradvist en enkelt overordnet konceptuel ramme for de fejl, der kan opstå i stikprøveundersøgelser: den samlede undersøgelsesfejlramme (Groves and Lyberg 2010) . Selv om udviklingen af ​​denne ramme begyndte i 1940'erne, tror jeg, det giver os to nyttige ideer til undersøgelser i den digitale tidsalder.

For det første præciserer den samlede undersøgelsesfejlramme, at der er to typer fejl: bias og variance . Omhyggeligt er bias systematisk fejl, og varians er tilfældig fejl. Med andre ord, forestil dig at køre 1000 replikeringer af den samme stikprøveundersøgelse og derefter se på fordelingen af ​​estimaterne fra disse 1.000 replikationer. Forspændingen er forskellen mellem gennemsnittet af disse gentagne estimater og den sande værdi. Variansen er variabiliteten af ​​disse estimater. Alt andet lige, vi vil gerne have en procedure uden bias og lille variance. Desværre eksisterer der for mange virkelige problemer ikke sådanne små forkortelsesprocedurer, som sætter forskere i den vanskelige position at bestemme, hvordan man skal balancere de problemer, der indføres ved forspænding og varians. Nogle forskere foretrækker instinktivt upartiske procedurer, men et ensartet fokus på bias kan være en fejltagelse. Hvis målet er at producere et estimat, der er så tæt som muligt på sandheden (dvs. med den mindste mulige fejl), så er du måske bedre med en procedure, der har en lille bias og en lille varians end med en, der er upartisk men har en stor varians (figur 3.1). Med andre ord viser den samlede undersøgelsesfejlramme, at når du vurderer undersøgelsesforskningsmetoder, bør du overveje både bias og variance.

Figur 3.1: Bias og variance. Ideelt set ville forskere have en ikke-bias, lav varians estimation procedure. I virkeligheden skal de ofte træffe beslutninger, der skaber en afvejning mellem bias og variance. Selvom nogle forskere instinktivt foretrækker upartiske procedurer, kan nogle gange en mindre bias, mindre variansprocedure producere mere præcise estimater end en upartisk procedure, der har stor varians.

Den anden hovedindsigt fra den samlede undersøgelsesfejlramme, som vil organisere meget af dette kapitel, er at der er to kilder til fejl: problemer i forbindelse med, hvem du snakker med ( repræsentation ) og problemer i forbindelse med det, du lærer af disse samtaler ( måling ). For eksempel kan du være interesseret i at estimere holdninger til online privatliv blandt voksne, der bor i Frankrig. At foretage disse estimater kræver to forskellige typer af indledning. For det første skal du ud fra de svar, som respondenterne giver, udlede deres holdninger til online privatliv (hvilket er et måleproblem). For det andet skal du ud fra holdningerne i befolkningen som helhed (som er et repræsentationsproblem) afledte holdninger blandt respondenterne. Perfekt prøveudtagning med dårlige undersøgelsesspørgsmål vil frembringe dårlige estimater, ligesom det vil være dårlig prøveudtagning med perfekte undersøgelsesspørgsmål. Med andre ord kræver gode estimater gode tilgange til måling og repræsentation. På baggrund af denne baggrund vil jeg gennemgå, hvordan undersøgelsesforskere har tænkt på repræsentation og måling i fortiden. Derefter viser jeg, hvordan ideer om repræsentation og måling kan føre til undersøgelser af digital alderundersøgelse.