Lodder kan fortryde forvrængninger bevidst forårsaget af stikprøver proces.
Sandsynlighed prøver er dem, hvor alle mennesker har en kendt, ikke-nul sandsynlighed for inklusion, og den enkleste stikprøver design er simpel tilfældig prøveudtagning, hvor hver person har lige stor sandsynlighed for optagelsen. Når respondenterne udvælges via simpel stikprøvekontrol med perfekt udførelse (fx ingen dækning fejl og ingen ikke-svar), så estimering er ligetil, fordi prøven vil-gennemsnit-være en miniatureudgave af befolkningen.
Simple stikprøvekontrol bruges sjældent i praksis, dog. Snarere, forskere vælger bevidst mennesker med ulige sandsynligheder for inklusion for at reducere omkostningerne og øge nøjagtigheden. Når forskerne bevidst vælger mennesker med forskellige sandsynligheder for integration, så er der behov for justeringer for at fortryde de forvridninger forårsaget af stikprøver proces. Med andre ord, hvordan vi generalisere fra en prøve afhænger af, hvordan prøven blev valgt.
For eksempel er den nuværende befolkning Survey (CPS), der anvendes af den amerikanske regering til at estimere arbejdsløsheden. Hver måned omkring 100.000 mennesker bliver interviewet, enten ansigt til ansigt eller over telefonen, og resultaterne bruges til at producere den anslåede arbejdsløshed. Fordi regeringen ønsker at estimere ledigheden i hver stat, kan det ikke gøre en simpel tilfældig stikprøve af voksne, fordi det ville give for få respondenter i stater med små populationer (f.eks, Rhode Island) og for mange fra stater med store befolkninger (f.eks , California). I stedet CPS prøver folk i forskellige stater på forskellige satser, en proces, der kaldes stratificeret sampling med ulige sandsynlighed for udvælgelse. For eksempel, hvis CPS ønskede 2.000 respondenter pr tilstand, så voksne i Rhode Island ville have omkring 30 gange højere sandsynlighed for inklusion end voksne i Californien (Rhode Island: 2.000 respondenter pr 800.000 voksne vs Californien: 2.000 respondenter pr 30.000.000 voksne). Som vi skal se senere, denne form for sampling med ulige sandsynlighed sker med online datakilder også, men i modsætning til de CPS, er mekanismen sampling normalt ikke er kendt eller kontrolleres af forskeren.
På grund af sin sampling design, CPS er ikke direkte repræsentant for USA; det omfatter alt for mange mennesker fra Rhode Island og for få fra Californien. Derfor ville det være uklogt at estimere arbejdsløsheden i landet med arbejdsløsheden i prøven. I stedet for prøven middelværdi, er det bedre at tage et vægtet gennemsnit, hvor vægtene højde for, at folk fra Rhode Island var mere tilbøjelige til at blive medtaget end folk fra California. For eksempel vil hver person fra Californien være upweighted- de ville tælle mere i estimatet-og hver person fra Rhode Island ville blive downweighted-de ville tælle mindre i estimatet. I det væsentlige, får du mere stemme til folk, at du er mindre tilbøjelige til at lære om.
Dette legetøj eksempel illustrerer en vigtig, men ofte misforstået punkt: en prøve behøver ikke at være en miniatureudgave af befolkningen for at frembringe gode estimater. Hvis nok om hvordan data blev indsamlet, så disse oplysninger kan bruges, når de foretager skøn fra prøven. Den tilgang har jeg netop beskrevet, og at jeg beskrive matematisk i det tekniske tillæg-falder entydigt ind under den klassiske rammer stikprøver. Nu vil jeg vise, hvordan den samme idé kan anvendes til ikke-stikprøver med tilfældig udvælgelse.