3.4.3 Mitte-valimid: proovi sobitamise

Mitte kõik mitte-valimid on samad. Me võime lisada rohkem kontrolli esiotsa.

Lähenemine Wang ja tema kolleegid hindamiseks kasutatud tulemustest 2012. aasta USA presidendivalimisi sõltus täielikult paranenud andmete analüüsi. See tähendab, et nad kogunud nii palju vastuseid, kui nad võiksid ja siis üritas uuesti kaalu neist. Täiendava strateegiana töötamiseks empiirilist valikut on, et rohkem kontrolli andmete kogumise protsessi.

Lihtsaim näide osaliselt kontrollitud empiirilist valikut protsess on kvootvalimi, tehnikat, mis ulatub tagasi algusaegadel uuringu tulemustest. In kvootvalimi teadlased jagavad elanikkonna eri rühmade (nt noored mehed, noored naised, jne) ning valige kvoodid inimeste arv valitakse iga rühma. Vastajatel valitud juhuslikult, kuni teadlane on täitnud oma kvoodi igas rühmas. Kuna kvootide tulemuseks proovi sarnaneb rohkem sihtrühma kui oleks tõsi teisiti, kuid kuna tõenäosuste kaasamine on teadmata paljud teadlased on skeptilised kvootvalimi. Tegelikult kvootvalimi oli põhjus "Dewey Kaotusi Truman" viga 1948 USA presidendi valima. Sest see annab mõned üle valimivõtmisele siiski võib näha, kuidas kvootvalimi võib olla mõningaid eeliseid täiesti kontrollimatu andmete kogumine.

Edasi liikudes kvootvalimi rohkem kaasaegse lähenemise kontrollides empiirilist valikut protsess on nüüd võimalik. Üks selline lähenemine on nn proovi sobitamise ning seda kasutatakse mõningaid kaubanduslikke Võrgupaneeli pakkujad. Kõige lihtsamal kujul, proovi sobitamine nõuab kahe andmeallika: 1) täielikku registrit elanikkonnast ja 2) suur paneel vabatahtlikega. On oluline, et vabatahtlikud ei pea olema tõenäosusele proovi igast populatsiooni; rõhutada, et ei ole nõudeid valikut paneeli, ma kutsun seda määrdunud paneeli. Ka nii rahvastikuregistri ja määrdunud paneel peab sisaldama mõne abistava informatsiooni iga inimene, selles näites ma kaalun vanusest ja soost, kuid realistlik olukordades seda täiendav teave võib olla palju üksikasjalikum. Trikk proovi sobitamine on valida proovid musta paneeli nii, et toodab proovid, mis näevad välja nagu valimid.

Proovi sobitamise algab siis, kui simuleeritud tõenäosusega proov võetakse rahvastikuregistrisse; See simuleeritud proovi muutub sihtvalimit. Siis, mis põhineb lisaandmeid, juhul Sihtvalimi vastandatakse inimest määrdunud paneeli moodustavad sobitada proovi. Näiteks, kui on olemas 25 aastane naine Sihtvalimi, siis uurija leiab 25 aastane Naine pärit musta paneeli olema tasakaalustatud proovi. Lõpuks kohal tasakaalustatud proovi küsitletakse toota lõpuosa vastanutest.

Kuigi tasakaalustatud proovi näeb sihtvalimit, see on oluline meeles pidada, et sobitada proov ei tõenäosusega proovi. Vastavad proovid saab sobitada sihtvalimit kohta tuntud abistava informatsiooni (nt vanus ja sugu), kuid mitte mõõtmata omadused. Näiteks, kui inimesed määrdunud paneel kipuvad olema kehvemad ju üks põhjus liituda uuringu paneel on teenida raha, siis isegi kui tasakaalustatud proovi näeb sihtvalimit nii vanus ja sugu on see ikkagi on eelarvamusi poole vaesed inimesed. Maagia tõsi valimit on välistada probleeme nii mõõdetud ja mõõtmata omadused (punkt, mis on kooskõlas meie arutelu sobitamine eest põhjuslik järeldada alates vaatlusuuringutele 2. peatükis).

Praktikas proovi sobitamine sõltub, millel on suur ja mitmekesine, paneel innukalt täitma uuringuid ja seega tehakse peamiselt ettevõtted, mis ei saa endale lubada, et arendada ja säilitada sellise paneeli. Ka praktikas ei saa olla probleeme sobitamine (mõnikord hea mängu keegi Sihtvalimi ei eksisteeri paneel) ja vastamata jätmise (mõnikord inimesi tasakaalustatud proovi keelduda uuringus osalemiseks). Seega praktikas teadlased teevad proovi sobitamise teostame ka mingi järelkihistamisega korrigeerimine hinnangute.

On raske anda kasulikke teoreetilisi garantiisid proovi sobitamine, kuid praktikas on võimalik teha ka. Näiteks Stephen Ansolabehere ja Brian Schaffneria (2014) võrreldes kolm paralleelset uuringud umbes 1000 inimest 2010. aastal läbi viidud kasutades kolme erinevat proovide võtmise ja intervjueerimise meetodeid: mail, telefon ja Interneti-paneeli abil proovi sobitamise ja järelkihistamisega reguleerimist. Hinnanguid alates kolmest meetodist olid üsna sarnased hinnangud kvaliteetsest kriteeriumid nagu praegune rahvaarv Survey (CPS) ja National Health Interview Survey (NHIS). Täpsemalt, nii interneti ja posti uuringud olid välja keskmiselt 3 protsendipunkti ja telefoni uuring oli välja 4 protsendipunkti võrra. Vead see suur on umbes, mida keegi oodata proove umbes 1000 inimest. Kuigi ükski neist režiimid toodetud oluliselt paremaid andmeid, nii interneti ja telefoni uuring (mis leidis päeva või nädalat) olid oluliselt kiiremini valdkonnas kui postiküsitlusest (mis võttis kaheksa kuud) ja interneti küsitluse, milles kasutatakse proovi sobing oli odavam kui teised kaks olekutes.

Kokkuvõtteks võib öelda, ühiskonnateadlased ja statistikud on uskumatult skeptiline järeldusi nende mitte-valimid, osaliselt seetõttu, et nad on seotud mõne piinlik ebaõnnestumisi uuringu tulemustest nagu Kirjanduse Digest küsitluse. Osaliselt olen nõus selle skepsise: korrigeerimata empiirilist valimit võivad toota halb hinnanguid. Samas, kui teadlased on võimalik reguleerida eest peensusi in valimivõtmisele (nt järelkihistamisega) või kontrollida valimivõtmisele mõnevõrra (nt proovi sobitamine), nad suudavad toota paremaid hinnanguid, ja isegi hinnangul piisav kvaliteet kõige eesmärkidel. Muidugi oleks parem teha täiesti täide valimit, kuid see ei ole enam tundub olevat realistlik variant.

Nii mitte-valimid ja valimid erinevad nende kvaliteeti ja praegu on tõenäoline juhtuda, et kõige hinnangute valimid on usaldusväärsem kui hinnangul mitte-valimid. Aga isegi nüüd, hinnangute hästi läbi mitte-valimid on ilmselt parem kui hinnangute halvasti läbi valimid. Edasine, mitte-valimid on oluliselt odavam. Seega tundub, et tõenäosus vs empiirilist valikut pakub kulude-kvaliteediga kompromisse (joonis 3.6). Ootan, ootan, et hinnangute hästi tehtud mitte-valimid muutuvad odavamaks ja paremaks. Lisaks, kuna jaotus lauatelefonilt uuringud ja suureneva vastamata jätmise, ma eeldan, et valimid on muutunud kallimaks ja madalama kvaliteediga. Kuna need pikaajalisi suundumusi, ma arvan, et mitte-valimit muutub üha olulisemaks kolmas ajastu uuringu tulemustest.

Joonis 3.6: valimit praktikas ja empiirilist valikut on nii suur, heterogeenne kategooriad. Üldiselt on olemas kulude viga kompromissile empiirilist valikut on madalam hind, kuid suurem viga. Samas hästi tehtud empiirilist valikut saab paremaid hinnanguid, kui halvasti teinud valimit. Tulevikus ma eeldan, et empiirilist valikut saab paremini ja odavamalt, kui valimit läheb hullemaks ja kallimaks.