3.4 Cine să ceară

Vîrsta digitală face probabilitatea de eșantionare în practică mai dificilă și creează noi oportunități pentru eșantionarea non-probabilității.

În istoria eșantionării au existat două abordări concurente: metode de eșantionare cu probabilitate și metode de eșantionare fără probabilitate. Deși ambele abordări au fost folosite în primele zile ale eșantionării, eșantionul de probabilitate a ajuns să domine și mulți cercetători sociali sunt învățați să vadă probele de non-probabilitate cu mare scepticism. Cu toate acestea, așa cum voi descrie mai jos, schimbările create de vârsta digitală înseamnă că este timpul ca cercetătorii să reconsidere eșantionarea non-probabilității. În special, eșantionarea de probabilități a devenit dificil de făcut în practică, iar prelevarea de probe non-probabilitate a devenit mai rapidă, mai ieftină și mai bună. Studiile mai rapide și mai ieftine nu sunt doar scopuri în sine: permit noi oportunități, cum ar fi sondaje mai frecvente și mărimi mai mari ale eșantionului. De exemplu, prin utilizarea metodelor non-probabilitate, studiul Cooperative Election Election Study (CCES) este capabil sa aiba aproximativ 10 ori mai multi participanti decat studiile anterioare folosind eșantioane de probabilitate. Această mostră mult mai mare permite cercetătorilor politici să studieze variațiile în atitudini și comportamente între subgrupuri și contexte sociale. Mai mult, toată această scală adăugată a apărut fără scăderea calității estimărilor (Ansolabehere and Rivers 2013) .

În prezent, abordarea dominantă a eșantionării pentru cercetarea socială este eșantionarea cu probabilitate . În eșantionarea cu probabilitate, toți membrii populației țintă au o probabilitate cunoscută, nesemnificativă de a fi incluși în eșantion, iar toți cei care sunt eșantionați răspund la sondaj. Atunci când aceste condiții sunt îndeplinite, rezultatele matematice elegante oferă garanții demonstrabile cu privire la capacitatea unui cercetător de a utiliza eșantionul pentru a face deducții cu privire la populația țintă.

În lumea reală, totuși, condițiile care stau la baza acestor rezultate matematice sunt rar întâlnite. De exemplu, există adesea erori de acoperire și lipsă de răspuns. Din cauza acestor probleme, cercetătorii trebuie adesea să utilizeze o varietate de ajustări statistice pentru a se deduce din eșantionul lor la populația țintă. Astfel, este important să se facă distincția între eșantionarea probabilității în teorie , care are garanții teoretice puternice și eșantionarea probabilității în practică , care nu oferă astfel de garanții și depinde de o varietate de ajustări statistice.

În timp, diferențele dintre eșantionarea probabilității în teorie și eșantionarea probabilității în practică au crescut. De exemplu, ratele de nerespectare au crescut constant, chiar și în sondaje de înaltă calitate și costisitoare (Figura 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Ratele de răspuns non-responsive sunt mult mai mari în sondajele de telefoane comerciale - câteodată chiar până la 90% (Kohut et al. 2012) . Aceste creșteri de nonresponsiune amenință calitatea estimărilor, deoarece estimările depind din ce în ce mai mult de modelele statistice pe care cercetătorii le folosesc pentru a le ajusta pentru absența răspunsului. Mai mult, aceste scăderi în ceea ce privește calitatea au avut loc în ciuda eforturilor din ce în ce mai costisitoare ale cercetătorilor din sondaj pentru a menține rate ridicate de răspuns Unii oameni se tem că aceste tendințe gemene de scădere a calității și creșterea costurilor amenință fundamentul cercetării (National Research Council 2013) .

Figura 3.5: Nerespectarea a fost din ce în ce mai constantă, chiar și în studiile costisitoare de înaltă calitate (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Ratele de răspuns non-responsive sunt mult mai mari pentru sondajele de telefoane comerciale, uneori chiar până la 90% (Kohut et al. 2012) . Aceste tendințe pe termen lung în nonresponse înseamnă că colectarea datelor este mai scumpă și estimările sunt mai puțin fiabile. Adaptat de la BD Meyer, Mok, and Sullivan (2015) , figura 1.

În același timp, că au existat dificultăți crescânde în ceea ce privește metodele de eșantionare cu probabilitate, au existat, de asemenea, evoluții interesante în metodele de eșantionare fără probabilitate . Există o varietate de stiluri de metode de eșantionare non-probabilitate, dar singurul lucru pe care îl au în comun este că nu se pot încadra cu ușurință în cadrul matematic al eșantionării probabilităților (Baker et al. 2013) . Cu alte cuvinte, în metodele de eșantionare fără probabilitate, nu toată lumea are o probabilitate cunoscută și nesemnificativă de includere. Metodele de eșantionare non-probabilitate au o reputație teribilă în rândul cercetătorilor sociali și sunt asociate cu unele dintre cele mai dramatice eșecuri ale cercetătorilor din sondaj, cum ar fi fiasco-ul Literary Digest (discutat mai devreme) și "Dewey Defeats Truman" alegerile prezidențiale din 1948 (figura 3.6).

Figura 3.6: Președintele Harry Truman susținând titlul unui ziar care a anunțat incorect înfrângerea sa. Acest titlu a fost bazat, în parte, pe estimările din eșantioane non-probabilitate (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Deși "Dewey Defeats Truman" sa întâmplat în 1948, acesta este încă unul dintre motivele pentru care unii cercetători sunt sceptici în ceea ce privește estimările din probele de non-probabilitate. Sursa: Biblioteca și muzeul Harry S. Truman .

O formă de eșantionare non-probabilitate care este în mod special adaptată vârstei digitale este utilizarea panourilor online . Cercetătorii care utilizează panouri online depind de un furnizor de panouri - de obicei, de o companie, de guvern sau de universitate - pentru a construi un grup mare și diversificat de oameni care sunt de acord să participe la chestionare. Acești participanți la panel sunt deseori recrutați utilizând o varietate de metode ad-hoc, cum ar fi anunțurile banner online. Apoi, un cercetător poate plăti furnizorului de panouri pentru accesul la un eșantion de respondenți cu caracteristici dorite (de exemplu, reprezentativ la nivel național pentru adulți). Aceste panouri online sunt metode non-probabilitate, deoarece nu toată lumea are o probabilitate cunoscută, non-greșită de includere. Deși panourile online non-probabilitate sunt deja utilizate de cercetătorii sociali (de exemplu CCES), există încă o dezbatere despre calitatea estimărilor care provin din ele (Callegaro et al. 2014) .

În ciuda acestor dezbateri, cred că există două motive pentru care este potrivit pentru cercetătorii sociali să reconsidere eșantionarea non-probabilității. În primul rând, în era digitală, s-au înregistrat numeroase progrese în colectarea și analiza eșantioanelor de non-probabilitate. Aceste metode mai noi sunt destul de diferite de metodele care au provocat probleme în trecut, ceea ce cred că este logic să le considerăm drept "eșantionare non-probabilitate 2.0". Al doilea motiv pentru care cercetătorii ar trebui să reconsidere eșantionarea non-probabilității este deoarece eșantionarea probabilității practica devin din ce în ce mai dificilă. Atunci când există rate ridicate de non-răspuns - așa cum există în anchete reale acum - probabilitățile incluziunii pentru respondenți nu sunt cunoscute și, astfel, eșantioanele de probabilitate și probele de non-probabilitate nu sunt la fel de diferite cum cred mulți cercetători.

Așa cum am spus mai devreme, probele de non-probabilitate sunt văzute cu mare scepticism de către mulți cercetători sociali, în parte din cauza rolului lor în unele dintre cele mai jenante eșecuri din primele zile ale cercetării. Un exemplu clar de cât de departe am venit cu probele de non-probabilitate este cercetarea de către Wei Wang, David Rothschild, Sharad Goel și Andrew Gelman (2015) care a recuperat corect rezultatul alegerilor din SUA din 2012 utilizând un eșantion de non-probabilitate Utilizatorii americani ai Xbox-ului - un esantion puternic de americani. Cercetătorii au recrutat respondenți din sistemul de jocuri XBox și, așa cum s-ar putea aștepta, eșantionul Xbox a înclinat bărbații și bărbații înclinați: copiii cu vârste cuprinse între 18 și 29 de ani reprezintă 19% din electorat, dar 65% din eșantionul Xbox, reprezintă 47% din electorat, dar 93% din eșantionul Xbox (figura 3.7). Din cauza acestor deviații demografice puternice, datele brute Xbox au fost un indicator slab al revenirii la alegeri. A prezis o victorie puternică pentru Mitt Romney în fața lui Barack Obama. Din nou, acesta este un alt exemplu al pericolelor probelor brute, neajustate de non-probabilitate și amintește de fiasco-ul Literary Digest .

Figura 3.7: Demografia respondenților în W. Wang et al. (2015) . Deoarece respondenții au fost recrutați de la XBox, au fost mult mai probabil să fie tineri și mai susceptibili de a fi bărbați, comparativ cu alegătorii în alegerile din 2012. Adaptat de la W. Wang et al. (2015) , figura 1.

Cu toate acestea, Wang și colegii au fost conștienți de aceste probleme și au încercat să se adapteze pentru procesul de eșantionare non-aleatoriu atunci când fac estimări. În special, au folosit post-stratificare , o tehnică care este, de asemenea, utilizată pe scară largă pentru a ajusta probele de probabilitate care au erori de acoperire și non-răspuns.

Ideea principală a post-stratificării este de a utiliza informații auxiliare despre populația țintă pentru a ajuta la îmbunătățirea estimării care provine dintr-un eșantion. Când au folosit post-stratificarea pentru a face estimări din eșantionul de non-probabilitate, Wang și colegul au tăiat populația în diferite grupuri, au estimat sprijinul pentru Obama în fiecare grup și apoi au luat o medie ponderată a estimărilor grupului pentru a produce o estimare generală. De exemplu, ei ar fi putut împărți populația în două grupuri (bărbați și femei), au estimat sprijinul acordat lui Obama în rândul bărbaților și femeilor și apoi au estimat sprijinul general acordat Obama luând o medie ponderată pentru a ține cont de faptul că femeile până la 53% din electorat și 47% în rândul bărbaților. Aproximativ, post-stratificarea ajută la corectarea unei eșantioane dezechilibrate prin aducerea de informații auxiliare despre dimensiunile grupurilor.

Cheia pentru post-stratificare este formarea grupurilor potrivite. Dacă puteți împărți populația în grupuri omogene, astfel încât înclinațiile de răspuns să fie aceleași pentru fiecare din fiecare grup, atunci post-stratificarea va produce estimări imparțiale. Cu alte cuvinte, post-stratificarea pe sexe va produce estimări imparțiale dacă toți bărbații au tendința de a răspunde și toate femeile au aceleași tendințe de reacție. Această ipoteză se numește ipoteza omogenă-propensități-în-grupuri , și o descriu un pic mai mult în notele matematice de la sfârșitul acestui capitol.

Desigur, este puțin probabil ca înclinațiile de răspuns să fie aceleași pentru toți bărbații și toate femeile. Cu toate acestea, ipoteza de răspuns omogen-predispoziții în interiorul grupurilor devine mai plauzibilă pe măsură ce crește numărul de grupuri. Aproape, devine mai ușor să tăiați populația în grupuri omogene dacă creați mai multe grupuri. De exemplu, s-ar părea improbabil ca toate femeile să aibă aceeași tendință de reacție, dar ar putea părea mai plauzibil faptul că există aceeași tendință de reacție pentru toate femeile cu vârsta cuprinsă între 18 și 29 de ani care au absolvit colegiu și care locuiesc în California . Astfel, pe măsură ce numărul de grupuri utilizate în post-stratificare devine mai mare, ipotezele necesare pentru susținerea metodei devin mai rezonabile. Având în vedere acest fapt, cercetătorii doresc adesea să creeze un număr mare de grupuri pentru post-stratificare. Cu toate acestea, pe măsură ce crește numărul de grupuri, cercetătorii se confruntă cu o altă problemă: sparsitatea datelor. Dacă există doar un număr mic de persoane în fiecare grup, atunci estimările vor fi mai incerte și, în cazul extrem, în cazul în care există un grup care nu are respondenți, atunci post-stratificarea se descompune complet.

Există două căi de ieșire din această tensiune inerentă între plauzibilitatea ipotezei omogene-răspuns-propensitate-în-grupuri și cererea de dimensiuni rezonabile ale eșantioanelor în fiecare grup. În primul rând, cercetătorii pot colecta un eșantion mai mare, mai divers, care ajută la asigurarea unei dimensiuni rezonabile a eșantioanelor în fiecare grup. În al doilea rând, pot utiliza un model statistic mai sofisticat pentru a face estimări în cadrul grupurilor. Și, de fapt, uneori cercetătorii fac ambele, așa cum au făcut Wang și colegii cu studiul lor asupra alegerilor folosind respondenții de la Xbox.

Deoarece folosesc o metodă de eșantionare non-probabilitate cu interviuri administrate de calculator (vom vorbi mai multe despre interviurile administrate de calculator în secțiunea 3.5), Wang și colegii au avut o colecție de date foarte ieftină, care le-a permis să colecteze informații de la 345.858 participanți unici , un număr uriaș de standardele alegerilor electorale. Această dimensiune masivă a eșantionului le-a permis să formeze un număr imens de grupări post-stratificare. În timp ce post-stratificarea implică în mod obișnuit tăierea populației în sute de grupuri, Wang și colegii au împărțit populația în 176.256 grupuri definite prin sex (2 categorii), rasă (4 categorii), vârstă (4 categorii), educație (4 categorii) (51 categorii), ID-ul partidului (3 categorii), ideologia (3 categorii) și votul din 2008 (3 categorii). Cu alte cuvinte, mărimea mare a eșantionului, care a fost posibilă prin colectarea datelor cu cost redus, le-a permis să facă o presupunere mai plauzibilă în procesul de estimare a acestora.

Chiar și cu 345.858 de participanți unici, totuși, mai existau multe, multe grupuri pentru care Wang și colegii nu aveau aproape nici un respondent. Prin urmare, au folosit o tehnică numită regresie pe mai multe niveluri pentru a estima suportul din fiecare grup. În esență, pentru a estima sprijinul acordat lui Obama în cadrul unui anumit grup, regresia pe mai multe niveluri a reunit informații din mai multe grupuri strâns legate. De exemplu, imaginați-vă că ați încercat să estimați sprijinul acordat lui Obama în rândul femeilor Hispanici între 18 și 29 de ani, care sunt absolvenți de facultate, care sunt democrați înregistrați, care se autoidentifică ca moderați și care au votat pentru Obama în 2008. Acesta este un foarte , grup foarte specific, și este posibil ca nimeni din eșantion să nu aibă aceste caracteristici. Prin urmare, pentru a face estimări despre acest grup, regresia pe mai multe niveluri utilizează un model statistic pentru a combina estimările de la persoane din grupuri foarte asemănătoare.

Astfel, Wang și colegii au folosit o abordare care a combinat regresia pe mai multe niveluri și post-stratificarea, așa că și-au numit strategia de regresie pe mai multe niveluri cu post-stratificare sau, mai afectiv, "domnul P. "Când Wang și colegii l-au folosit pe domnul P. pentru a face estimări din eșantionul non-probabilitate XBox, au produs estimări foarte apropiate de sprijinul general pe care la primit Obama în alegerile din 2012 (figura 3.8). De fapt, estimările lor au fost mai exacte decât un ansamblu de sondaje tradiționale de opinie publică. Astfel, în acest caz, ajustările statistice - în special domnul P. - par să facă o treabă bună corectând prejudecățile în datele non-probabilității; prejudecăți care au fost clar vizibile atunci când priviți estimările din datele Xbox neajustate.

Figura 3.8: Estimări de la W. Wang et al. (2015) . Eșantionul XBox neajustat a produs estimări inexacte. Dar, proba ponderată XBox a produs estimări mai precise decât o medie a studiilor telefonice bazate pe probabilități. Adaptat de la W. Wang et al. (2015) , figurile 2 și 3.

Există două lecții principale din studiul lui Wang și al colegilor. În primul rând, eșantioanele neajustate neajustate pot duce la estimări nepotrivite; aceasta este o lecție pe care mulți cercetători au auzit-o înainte. A doua lecție, totuși, este că eșantioanele de non-probabilitate, atunci când sunt analizate în mod corespunzător, pot produce, de fapt, estimări bune; probele non-probabilitate nu trebuie să conducă automat la ceva asemănător cu fiasco-ul Literary Digest .

Continuând înainte, dacă încercați să decideți între utilizarea unei abordări de eșantionare a probabilității și a unei abordări de eșantionare fără probabilitate, vă confruntați cu o alegere dificilă. Uneori, cercetătorii doresc o regulă rapidă și rigidă (de exemplu, utilizați întotdeauna metode de eșantionare a probabilităților), dar este din ce în ce mai dificil să se ofere o astfel de regulă. Cercetătorii se confruntă cu o alegere dificilă între metodele de eșantionare a probelor în practică - care sunt din ce în ce mai costisitoare și departe de rezultatele teoretice care justifică metodele de eșantionare utilizate și non-probabilitate - care sunt mai ieftine și mai rapide, dar mai puțin familiare și mai variate. Un lucru clar, cu toate acestea, este că, dacă sunteți forțat să lucrați cu eșantioane de non-probabilitate sau cu surse mari de date non-reprezentative (gândiți-vă la capitolul 2), atunci există un motiv serios de a crede că estimările făcute utilizând post stratificarea și tehnicile conexe vor fi mai bune decât estimările brute, neajustate.