3.4.2 eșantioane non-probabilitate: ponderare

Cu eșantioane non-probabilitate, greutățile pot anula distorsiunile cauzate de procesul de eșantionare asumat.

În același mod în care cercetătorii greutate răspunsuri din mostre de probabilitate, ele pot, de asemenea, greutate răspunsuri de la probele non-probabilitate. De exemplu, ca o alternativă la CPS, imaginați-vă că ați plasat reclame banner pe mii de site-uri web pentru a recruta participanți pentru un studiu pentru a estima rata șomajului. În mod natural, v-ar fi sceptic că simpla medie a eșantionului dvs. ar fi o bună estimare a ratei șomajului. scepticismul este, probabil, pentru că tu crezi că unii oameni sunt mai susceptibile de a finaliza ancheta dumneavoastră decât altele. De exemplu, persoanele care nu petrec mult timp pe web sunt mai putin probabil pentru a finaliza ancheta dumneavoastră.

Așa cum am văzut în ultima secțiune, cu toate acestea, dacă știm cum eșantionul a fost selectat-așa cum am face cu probabilitate mostre de-atunci putem anula distorsiunile cauzate de procesul de eșantionare. Din păcate, atunci când se lucrează cu eșantioane non-probabilitate, noi nu știm cum a fost selectat eșantionul. Însă, putem face presupuneri cu privire la procesul de prelevare a probelor și apoi se aplică de ponderare în același mod. În cazul în care aceste ipoteze sunt corecte, atunci se va anula ponderarea distorsiunile cauzate de procesul de eșantionare.

De exemplu, imaginați-vă că, în răspuns la anunțurile dvs. banner, ai recrutat 100.000 de respondenți. Cu toate acestea, nu cred că acești 100.000 de respondenți sunt un eșantion simplu aleator de adulți americani. De fapt, atunci când compara respondenții la populația din SUA, observați că oamenii din unele state (de exemplu, New York) sunt supra-reprezentate și că oamenii din unele state (de exemplu, Alaska) sunt sub-reprezentate. Astfel, rata șomajului a eșantionului este probabil să fie o estimare greșită a ratei șomajului în populația țintă.

O modalitate de a anula distorsiunea care a avut loc în procesul de eșantionare este de a atribui ponderi pentru fiecare persoană; ponderi mai mici pentru persoanele din statele care sunt supra-reprezentate în eșantion (de exemplu, New York) și ponderi mai mari pentru oamenii din statele care sunt sub-reprezentate în eșantion (de exemplu, Alaska). Mai precis, greutatea fiecărui respondent este legată de prevalența acestora în eșantion dvs. față de prevalența lor în populația Statelor Unite. Această procedură de ponderare se numește post-stratificare, iar ideea de cântărire ar trebui să vă amintesc de exemplu în secțiunea 3.4.1 , în cazul în care respondenții din Rhode Island , s - au dat mai puțin în greutate decât respondenții din California. Post-stratificare cere să știi suficient pentru a pune respondenții în grupuri și să cunoască proporția populației țintă din fiecare grup.

Cu toate că ponderea eșantionului probabilității și a eșantionului de bază non-probabilitate sunt aceeași matematic (a se vedea apendicele tehnic), ele funcționează bine în situații diferite. În cazul în care cercetătorul are o probabilitate de probă perfectă (de exemplu, nici o eroare de acoperire și nici o bază non-răspuns), atunci ponderea va produce estimări imparțiale pentru toate caracterele în toate cazurile. Această garanție a teoretică puternică este motivul pentru care adepții mostre de probabilitate a le găsi atât de atractive. Pe de altă parte, eșantioane de ponderare neprobabilistice va produce doar estimări imparțiale pentru toate caracterele dacă înclinațiilor de răspuns sunt aceleași pentru toți cei din fiecare grup. Cu alte cuvinte, gândire înapoi la exemplul nostru, folosind post-stratificare va produce estimări imparțiale dacă fiecare din New York-ul are aceeași probabilitate de a participa și toată lumea din Alaska are aceeași probabilitate de a participa și așa mai departe. Această presupunere se numește presupunerea omogeni-răspuns-înclinațiile-în interiorul grupurilor și joacă un rol - cheie în cazul în care cunoașterea post-stratificare va funcționa bine cu eșantioane non-probabilitate.

Din păcate, în exemplul nostru, presupunerea omogenă-răspuns-înclinațiile-în interiorul grupurilor pare puțin probabil să fie adevărat. Asta este, se pare puțin probabil că toată lumea din Alaska are aceeași probabilitate de a fi în sondajul tău. Însă, există trei puncte importante pentru a păstra în minte despre post-stratificare, toate acestea fac să pară mai promițătoare.

În primul rând, omogen-raspuns-înclinațiile in cadrul altei grupe ipoteza devine mai plauzibilă ca numărul de grupe crește. Și, cercetătorii nu sunt limitate la grupuri doar bazate pe o singură dimensiune geografică. De exemplu, am putea crea grupuri bazate pe stat, vârstă, sex, și nivelul de educație. Pare mai plauzibil că există înclinațiile de răspuns omogen în cadrul grupului de 18-29, absolvenți de sex feminin, colegiu care trăiesc în Alaska decât în ​​cadrul grupului tuturor persoanelor care trăiesc în Alaska. Astfel, numărul de grupe utilizate pentru creșteri post de stratificare, ipotezele necesare pentru a sprijini să devină mai rezonabil. Având în vedere acest fapt, se pare ca un cercetatorii s-ar dori să creeze un număr foarte mare de grupuri pentru post-stratificare. Dar, dupa cum numărul de grupuri crește, cercetătorii rula într-o altă problemă: sparsity date. În cazul în care există doar un număr mic de persoane din fiecare grup, atunci estimările vor fi mai nesigure, iar în cazul extrem în cazul în care există un grup care nu are respondenți, apoi post-stratificare se rupe complet în jos. Există două căi de ieșire din această tensiune inerentă între plauzibilității homogeneous- ipoteza răspunsului-predilecție-grupuri în interiorul și cererea de dimensiuni rezonabile de probă din fiecare grupă. O abordare este de a trece la un model statistic mai sofisticate pentru calcularea greutăților, iar celălalt este de a colecta o probă mai diversă mai mare, ceea ce ne asigură dimensiuni rezonabile eșantioane din fiecare grupă. Si, uneori, cercetatorii fac ambele, așa cum voi descrie mai în detaliu mai jos.

Un al doilea aspect atunci când se lucrează cu post-stratificare de la probe de bază non-probabilitate este că presupunerea omogenă-răspuns-predilecție în interiorul-grupuri este deja frecvent făcută atunci când se analizează mostre de probabilitate. Motivul pentru care este nevoie de această ipoteză pentru probele de probabilitate, în practică, este că eșantioanele de probabilitate au non-răspuns, iar cea mai comună metodă de ajustare pentru non-răspuns este post-stratificare așa cum s-a descris mai sus. Desigur, doar pentru că mulți cercetători fac o anumită presupunere nu înseamnă că ar trebui să o faci prea. Dar, aceasta nu înseamnă că, atunci când se compară probele non-probabilitate mostre de probabilitate, în practică, trebuie să ținem cont de faptul că ambele depind de ipoteze și informații auxiliare, în vederea elaborării unor estimări. În setările cele mai realiste, nu există pur și simplu nu abordare presupunere liber la deducție.

În cele din urmă, în cazul în care vă interesează o estimare, în special, în exemplul nostru de șomaj rata de atunci ai nevoie de o condiție mai slabă decât omogene-răspuns-propensiunea în interiorul grupurilor de ipoteză. Mai exact, nu trebuie să se presupună că toată lumea are aceeași tendință de răspuns, trebuie doar să presupunem că nu există nici o corelație între înclinația de răspuns și rata șomajului în cadrul fiecărui grup. Desigur, chiar și această condiție mai slabă nu se va ține în anumite situații. De exemplu, imaginați-vă estimarea proporției de americani care fac munca de voluntariat. Dacă oamenii care fac munca de voluntariat sunt mult mai probabil să fie de acord să fie într - un studiu, atunci cercetatorii vor sistematic supra-estima cantitatea de voluntariat, chiar și în cazul în care acestea fac ajustări post de stratificare, un rezultat care a fost demonstrată empiric de către Abraham, Helms, and Presser (2009) .

Așa cum am spus mai devreme, probele non-probabilitate sunt privite cu mare scepticism de către oamenii de știință sociale, în parte datorită rolului lor în unele dintre eșecurile cele mai jenant în primele zile ale cercetării sondajului. Un exemplu clar cât de departe am ajuns cu probe de bază non-probabilitate este cercetarea lui Wang Wei, David Rothschild, Sharad Goel, și Andrew Gelman că recuperate în mod corect rezultatul alegerilor 2012 din SUA, folosind un eșantion de bază non-probabilitate de utilizatori americani Xbox -un eșantion hotărât non-aleatoare de americani (Wang et al. 2015) , (Wang et al. 2015) . Cercetatorii au recrutat respondenti din sistemul de jocuri Xbox, și cum s-ar putea aștepta, proba Xbox înclinat de sex masculin și înclinat tânăr: 18 - tinerilor in varsta de 29 ani constituie 19% din electorat, dar 65% din eșantion Xbox și bărbați alcătuiesc 47% a electoratului și 93% din eșantionul Xbox (Figura 3.4). Din cauza acestor prejudecăți demografice puternice, datele Xbox prime a fost un bun indicator al alegerilor se întoarce. Ea a prezis o victorie puternică pentru Mitt Romney peste Barack Obama. Din nou, acesta este un alt exemplu de pericolele eșantioanelor de bază non-probabilitate prime, brută , cât și amintește de fiasco - ul literar Digest.

Figura 3.4: Criteriile demografice ale respondenților în Wang et al. (2015) . Pentru că respondenții au fost recrutați din XBox, au fost mai probabil sa fie tineri si mai probabil sa fie de sex masculin, în raport cu alegătorii în alegerile din 2012.

Cu toate acestea, Wang si colegii sai au fost constienti de aceste probleme și au încercat să cântărească respondenții pentru a corecta pentru procesul de eșantionare. În special, au folosit o formă mai sofisticată a post-stratificare ți-am spus. Este în valoare de învățare un pic mai mult despre abordarea lor, deoarece ea construiește intuiție despre post-stratificare, și mai ales versiunea Wang si colegii sai au folosit este una dintre metodele cele mai interesante pentru probele non-probabilitate de ponderare.

În exemplul nostru simplu despre estimarea șomajului în secțiunea 3.4.1, am împărțit populația în grupuri pe baza de stat de reședință. În contrast, Wang si colegii sai au împărțit populația în în 176,256 grupuri definite de: gen (2 categorii), rasă (4 categorii), vârsta (4 categorii), educație (4 categorii), stat (51 categorii), ID-ul de partid (3 categorii), ideologie (3 categorii) și 2008 vot (3 categorii). Cu mai multe grupuri, cercetatorii spera ca va fi din ce în ce mai probabil că în cadrul fiecărui grup, predilecția de răspuns a fost necorelate cu suport pentru Obama. În continuare, mai degrabă decât construirea de greutăți la nivel individual, așa cum am făcut în exemplul nostru, Wang si colegii sai au folosit un model complex pentru a estima proporția de persoane din fiecare grup care ar vota pentru Obama. În cele din urmă, au combinat aceste estimări de grup de sprijin cu dimensiunea cunoscută a fiecărui grup pentru a produce un nivel estimat global de sprijin. Cu alte cuvinte, ei au tocat populația în diferite grupuri, a estimat sprijinul pentru Obama în fiecare grup, iar apoi a luat o medie ponderată a estimărilor grupului pentru a produce o estimare globală.

Astfel, marea provocare în abordarea lor este de a estima suportul pentru Obama, în fiecare dintre aceste grupuri de 176,256. Cu toate că panoul lor a inclus 345,858 de participanti unici, un număr foarte mare de standardele de votare electorale, au existat mai multe, mai multe grupuri pentru care Wang si colegii sai au avut aproape nici respondenți. Prin urmare, pentru a estima suportul în fiecare grupă au folosit o tehnica numita regresie pe mai multe niveluri, cu post-stratificare, pe care cercetătorii afecțiune numesc Dl. P. În esență, pentru a estima sprijinul pentru Obama în cadrul unui grup specific, Dl. P. din multe informații piscine strâns legate de grupuri. De exemplu, ia în considerare provocarea de a estima sprijinul pentru Obama in randul Hispanics de sex feminin, varsta intre 18-29 de ani, care sunt absolvenți de facultate, care sunt înregistrate democrați, care se auto-identifică ca moderați și care au votat pentru Obama în 2008. Acest este un grup foarte, foarte specific, și este posibil să existe nimeni în eșantion cu aceste caracteristici. Prin urmare, pentru a face estimări cu privire la acest grup, dl P. împreună estimările de bazine de oameni în grupuri foarte asemănătoare.

Cu ajutorul acestei strategii de analiză, Wang si colegii sai au fost capabili de a utiliza proba de bază non-probabilitate XBox pentru a estima foarte îndeaproape sprijinul global pe care Obama a primit în alegerile din 2012 (Figura 3.5). De fapt, estimările lor au fost mai precise decât un ansamblu de sondaje de opinie publică. Astfel, în acest caz, în mod specific de ponderare-dl P.-pare să facă o treabă bună corectare a prejudecăților date non-probabilitate; prejudecăți care sunt vizibile atunci când te uiți la estimările de date Xbox neajustat.

Figura 3.5: Estimările de la Wang et al. (2015) . eșantion XBox neajustat a produs estimări inexacte. Însă, eșantionul ponderat XBox realizat estimări care au fost mai precise decât o medie de sondaje telefonice bazate pe probabilitate.

Există două lecții principale din studiul lui Wang si colegii. În primul rând, neajustate probe de bază non-probabilitate poate conduce la estimări nefavorabile; aceasta este o lecție pe care mulți cercetători s-au auzit mai înainte. Cu toate acestea, cea de a doua lecție este că probele non-probabilitate, atunci când ponderate în mod corespunzător, poate produce de fapt, estimări destul de bune. De fapt, estimările lor au fost mai precise decât estimările din pollster.com, o agregare a mai multor sondaje electorale tradiționale.

În cele din urmă, există limitări importante în ceea ce putem învăța de la acest un studiu specific. Doar pentru ca post-stratificare a funcționat bine, în acest caz particular, nu există nici o garanție că va funcționa bine în alte cazuri. De fapt, alegerile sunt, probabil, una dintre cele mai simple setări, deoarece sondare a opiniei publice au studiat alegerile pentru aproape 100 de ani, există un feedback regulat (putem vedea cine câștigă alegerile), precum și identificarea de partid și de caracteristicile demografice sunt relativ predictive pentru votare. În acest moment, ne lipsește teoria solidă și experiența empirică pentru a ști când ajustările ponderează eșantioane de bază non-probabilitate va produce estimări suficient de precise. Un lucru care este clar, cu toate acestea, este dacă sunteți obligat să lucreze cu eșantioane non-probabilitate, atunci există motive puternice să credem că estimările ajustate vor fi mai bune decât estimările non-ajustate.