3.4 Hvem at spørge
Sandsynlighed prøver og ikke-stikprøver med tilfældig udvælgelse er ikke så anderledes i praksis; i begge tilfælde handler det om vægtene.
Sampling er fundamental at overskue forskning. Forskere næsten aldrig stille deres spørgsmål til alle i deres målgruppe. I denne henseende undersøgelser er ikke enestående. Mest forskning, på en eller anden måde, involverer prøvetagning. Sommetider denne sampling sker eksplicit af forskeren; andre gange sker implicit. For eksempel har en forsker, der kører et laboratorium eksperiment på studerende i hendes universitet også taget en prøve. , Prøvetagning er således et problem, der kommer op i denne bog. Faktisk er en af de mest almindelige problemer, som jeg hører om digitale alder datakilder er "de ikke er repræsentative." Som vi vil se i dette afsnit, denne bekymring er både mindre alvorlige og mere subtil end mange skeptikere er klar over. Faktisk vil jeg argumentere for, at hele konceptet med "repræsentativitet" er ikke nyttigt for at tænke på sandsynlighed og ikke-stikprøver med tilfældig udvælgelse. I stedet, det vigtigste er at tænke over, hvordan dataene blev indsamlet og hvordan eventuelle skævheder i at dataindsamlingen kan fortrydes, når de foretager skøn.
I øjeblikket er den dominerende teoretiske tilgang til repræsentation er stikprøver. Når data indsamles med en sandsynlighed prøveudtagningsmetode, der er blevet perfekt udført, forskerne er i stand til at vægte deres data baseret på den måde, at de blev indsamlet til at foretage uvildige skøn om målgruppen. Men perfekt stikprøver dybest set aldrig sker i den virkelige verden. Der er typisk to hovedproblemer 1) forskelle mellem målgruppen og rammen befolkning og 2) ikke-respons (disse er netop de problemer, der ødelagt litterære Digest meningsmåling). Snarere end at tænke på stikprøver som en realistisk model af, hvad der rent faktisk sker i verden, er det således bedre at tænke på stikprøver som en hjælpsom, abstrakt model, ligesom den måde fysikere mener om en gnidningsfri bold rullende ned en uendelig lang rampe.
Alternativet til stikprøver er non-stikprøver. Den væsentligste forskel mellem sandsynlighed og ikke-stikprøver er, at med sandsynlighed prøveudtagning alle i befolkningen har en kendt sandsynlighed for integration. Der er faktisk mange sorter af ikke-sandsynlighed prøveudtagning, og disse metoder til indsamling af data bliver stadig mere almindelige i den digitale tidsalder. Men, ikke-sandsynlighed prøveudtagning har en frygtelig omdømme blandt samfundsforskere og statistikere. Faktisk er der ikke sandsynlighed prøveudtagning i forbindelse med nogle af de mest dramatiske svigt i undersøgelsens forskere, såsom Literary Digest fiasko (omtalt tidligere), og den forkerte forudsigelse om præsidentvalget i 1948 ( "Dewey Nederlag Truman") amerikanske (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) .
Men tiden er inde til at genoverveje ikke-stikprøver for to grunde. Først da sandsynlighed prøver er blevet stadig mere vanskeligt at gøre i praksis, er grænsen mellem sandsynlighed prøver og ikke-sandsynlighed prøver sløring. Når der er høje ikke-respons (som der er i reelle undersøgelser nu), den faktiske sandsynlighed for indeslutninger for respondenter er ikke kendt, og dermed, sandsynlighed prøver og ikke-sandsynlighed prøver ikke så forskellige, som mange forskere mener. Faktisk, så vi vil se nedenfor, begge tilgange dybest set er afhængige af den samme beregningsmetode: post-lagdeling. For det andet har der været mange udviklinger i indsamling og analyse af ikke-stikprøver med tilfældig udvælgelse. Disse metoder er forskellige nok fra de metoder, der forårsagede problemer i fortiden, at jeg synes, det giver mening at tænke på dem som "ikke-sandsynlighed prøveudtagning 2.0." Vi skal ikke have en irrationel modvilje mod ikke-sandsynlighed metoder på grund af fejl, der skete for lang tid siden.
Dernæst for at gøre dette argument mere konkret, vil jeg gennemgå standard sandsynlighed prøveudtagning og vægtning (afsnit 3.4.1). Det centrale idé er, at hvordan du indsamlet dine data bør påvirke, hvordan du foretager skøn. Især hvis alle ikke har den samme sandsynlighed for inklusion, så alle skal ikke have samme vægt. Med andre ord, hvis din prøvetagning er ikke demokratisk, så dine skøn bør ikke være demokratisk. Efter at have gennemgået vægtning, vil jeg beskrive to tilgange til ikke-stikprøver: en, der fokuserer på vægtning til at håndtere problemet med tilfældigt indsamlede data (afsnit 3.4.2), og en, der forsøger at lægge mere kontrol over, hvordan dataene er indsamlet (afsnit 3.4.3). Argumenterne i hovedteksten vil blive forklaret nedenfor med ord og billeder; læsere, der ønsker en mere matematisk behandling bør også se det tekniske tillæg.
