3.3 Den totale undersøkelsen feilen rammer

Totalt undersøkelse error = representasjonsfeil + målefeil.

Estimater som kommer fra utvalgsundersøkelser er ofte ufullkomne. Det er vanligvis en forskjell mellom estimatet produsert av en prøveundersøkelse (f.eks. Den estimerte gjennomsnittlige høyden for studenter i en skole) og den sanne verdien i befolkningen (f.eks. Den faktiske gjennomsnittlige høyden for studenter på en skole). Noen ganger er disse feilene så små at de er ubetydelige, men noen ganger dessverre kan de være store og følgeskader. I et forsøk på å forstå, måle og redusere feil, skapte forskere gradvis et enkelt, overordnet konseptbasert rammeverk for feilene som kan oppstå i utvalgsundersøkelser: det totale undersøkelsesfeilrammene (Groves and Lyberg 2010) . Selv om utviklingen av dette rammeverket begynte på 1940-tallet, tror jeg det gir oss to nyttige ideer for undersøkelsesforskning i den digitale tidsalderen.

For det første klargjør den totale undersøkelsesfeilrammen at det er to typer feil: forspenning og varians . Grovt er forspenning systematisk feil, og variansen er tilfeldig feil. Med andre ord, tenk å kjøre 1000 replikasjoner av samme utvalgsundersøkelse og deretter se på fordelingen av estimatene fra disse 1000 replikasjonene. Forspenningen er forskjellen mellom gjennomsnittet av disse replikatestimatene og den sanne verdien. Variansen er variabiliteten av disse estimatene. Alt annet er like, vi ønsker en prosedyre uten forspenning og liten varians. Dessverre eksisterer det for mange virkelige problemer ikke slike småprosessprosedyrer, noe som setter forskere i den vanskelige posisjonen for å bestemme hvordan man skal balansere problemene som innføres ved forstyrrelse og varians. Noen forskere foretrekker instinktivt saklige prosedyrer, men et ensartet fokus på bias kan være en feil. Hvis målet er å produsere et estimat som er så nært som mulig til sannheten (dvs. med minst mulig feil), så kan du være bedre med en prosedyre som har en liten forspenning og en liten varianse enn med en som er objektiv men har en stor varianse (figur 3.1). Med andre ord viser det totale undersøkelsesfeilrammebetinget at når du vurderer undersøkelsesforskningsprosedyrer, bør du vurdere både bias og varians.

Figur 3.1: Bias og varians. Ideelt sett ville forskere ha en ikke-bias, lav variansestimeringsprosedyre. I virkeligheten må de ofte ta avgjørelser som skaper en avvei mellom bias og varians. Selv om enkelte forskere instinktivt foretrekker objektive prosedyrer, kan noen ganger en liten bias, liten variansprosedyre produsere mer nøyaktige estimater enn en objektiv prosedyre som har høy varians.

Den andre hovedinnsigten fra det totale undersøkelsesfeilrammeverket, som vil organisere mye av dette kapittelet, er at det er to feilkilder: problemer knyttet til hvem du snakker med ( representasjon ) og problemer knyttet til det du lærer av disse samtalene ( måling ). For eksempel kan du være interessert i å estimere holdninger til privatlivets fred blant voksne som bor i Frankrike. Å gjøre disse estimatene krever to forskjellige typer inngrep. For det første, fra svarene som respondentene gir, må du utlede deres holdninger til online personvern (som er et måleproblem). For det andre, fra de utledte holdninger blant respondentene, må du utlede holdninger i befolkningen som helhet (som er et representasjonsproblem). Perfekt prøvetaking med dårlige undersøkelsesspørsmål vil gi dårlige estimater, og det vil være dårlig prøvetaking med perfekte spørreskjemaer. God estimat krever med andre ord sunne tilnærminger til måling og representasjon. Gitt den bakgrunnen, vil jeg se på hvordan undersøkelsesforskere har tenkt på representasjon og måling i fortiden. Deretter skal jeg vise hvordan ideer om representasjon og måling kan lede undersøkelsesundersøkelsen for digital alder.