3.4 Hvem å spørre
Sannsynlighetsutvalg og ikke-sannsynlighetsutvalg er ikke så annerledes i praksis; i begge tilfeller handler det om vektene.
Sampling er grunnleggende for å kartlegge forskning. Forskere nesten aldri stille sine spørsmål til alle i sin målgruppen. I denne forbindelse, undersøkelser er ikke unike. Mest forskning, på en eller annen måte, innebærer prøvetaking. Noen ganger er dette prøvetaking gjøres eksplisitt ved forskeren; andre ganger skjer det implisitt. For eksempel har en forsker som kjører et laboratorium eksperiment på lavere grads studenter i universitetet henne også tatt en prøve. Dermed er sampling et problem som kommer opp i denne boken. Faktisk er en av de vanligste bekymringene som jeg hører om digitale alder datakilder "de ikke er representative." Som vi skal se i denne seksjonen, denne bekymringen er både mindre alvorlige og mer subtil enn mange skeptikere realisere. Faktisk vil jeg hevde at hele konseptet med "representativitet" er ikke nyttig for å tenke på sannsynlighet og ikke-sannsynlighetsutvalg. I stedet er nøkkelen til å tenke på hvordan dataene ble samlet inn og hvordan eventuelle skjevheter i at datainnsamling kan angres når du gjør estimater.
Foreløpig er den dominerende teoretisk tilnærming til representasjon er sannsynlighetsutvalg. Når data er samlet inn med en sannsynlighet prøvetakingsmetoden som er perfekt utført, forskere er i stand til å vekte sine data basert på den måten at de ble samlet for å gjøre deg estimater om målgruppen. Men perfekt sannsynlighetsutvalg i utgangspunktet aldri skjer i den virkelige verden. Det er vanligvis to hovedproblemer 1) forskjeller mellom målgruppen og rammen befolkningen og 2) ikke-respons (disse er nøyaktig de problemene som havarerte Literary Digest avstemning). Dermed snarere enn å tenke på sannsynlighetsutvalg som en realistisk modell av hva som faktisk skjer i verden, er det bedre å tenke på sannsynlighetsutvalg som et nyttig, abstrakt modell, mye som hvordan fysikerne tenke på en friksjonsfri ballen rulle ned en uendelig lang rampe.
Alternativet til sannsynlighetsutvalg er ikke-sannsynlighetsutvalg. Den største forskjellen mellom sannsynlighet og ikke-sannsynlighetsutvalg er at med sannsynlighet prøvetaking alle i befolkningen har en kjent sannsynlighet for inkludering. Det er faktisk mange varianter av ikke-sannsynlighetsutvalg, og disse metodene for datainnsamling blir stadig vanligere i den digitale tidsalderen. Men, har ikke-sannsynlighetsutvalg et forferdelig rykte blant samfunnsvitere og statistikere. Faktisk er ikke-sannsynlighetsutvalg i forbindelse med noen av de mest dramatiske feil av undersøkelsen forskere, for eksempel Literary Digest fiasco (omtalt tidligere) og feil prediksjon om det amerikanske presidentvalget i 1948 ( "Dewey Tap Truman») (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) .
Imidlertid er tiden riktig for å revurdere ikke-sannsynlighetsutvalg av to grunner. Først, som sannsynlighet prøver er blitt stadig vanskeligere å gjøre i praksis, er en linje mellom sannsynlighet prøver og ikke-sannsynlighetsutvalg uskarphet. Når det er høy forekomst av non-respons (som det er i det virkelige undersøkelser nå), den faktiske sannsynligheten for slutninger for respondentene ikke er kjent, og dermed, sannsynlighetsutvalg og ikke-sannsynlighetsutvalg er ikke så forskjellige som mange forskere tror. Faktisk, som vi vil se nedenfor, begge tilnærminger i utgangspunktet stole på den samme beregningsmetode: post-stratifisering. For det andre har det vært mange utviklingen i innsamling og analyse av ikke-sannsynlighetsutvalg. Disse metodene er forskjellige nok fra de metoder som forårsaket problemer i det siste at jeg tror det er fornuftig å tenke på dem som "ikke-sannsynlighetsutvalg 2,0." Vi bør ikke ha en irrasjonell aversjon mot ikke-sannsynlighets metoder på grunn av feil som har skjedd for lenge siden.
Neste, for å gjøre dette argumentet mer konkret, vil jeg gå gjennom standard sannsynlighetsutvalg og vekting (avsnitt 3.4.1). Nøkkelen Tanken er at hvordan du samlet inn data bør påvirke hvordan du gjør estimater. Særlig hvis ikke alle har den samme sannsynligheten for inkludering, så alle bør ikke ha samme vekt. Med andre ord, hvis prøvetaking er ikke demokratisk, så dine beregninger bør ikke være demokratisk. Etter å ha gjennom vekting, vil jeg beskrive to tilnærminger til ikke-sannsynlighetsutvalg: en som fokuserer på vekting for å håndtere problemet med måfå innsamlede data (avsnitt 3.4.2), og en som prøver å plassere mer kontroll over hvordan dataene er samlet (avsnitt 3.4.3). Argumentene i hovedteksten vil bli forklart nedenfor med ord og bilder; lesere som ønsker en mer matematisk behandling bør også se den tekniske vedlegg.
