3.4 Kush për të kërkuar

Mosha dixhitale po e bën më të vështirë marrjen e probabilitetit në praktikë dhe po krijon mundësi të reja për marrjen e mostrave me probabilitet.

Në historinë e marrjes së mostrave, ka pasur dy qasje konkurruese: metodat e mostrimit të probabilitetit dhe metodat e mostrimit të probabilitetit. Megjithëse të dyja qasjet u përdorën në ditët e para të marrjes së mostrave, ka dominuar probabiliteti i marrjes së mostrave dhe shumë studiues socialë mësohen të shohin mostrimin e jo-probabilitetit me skepticizëm të madh. Megjithatë, siç do të përshkruaj më poshtë, ndryshimet e krijuara nga epoka dixhitale nënkuptojnë se është koha që kërkuesit të rishikojnë mostrimin e jo-probabilitetit. Në veçanti, marrja e mostrave të probabilitetit është bërë e vështirë për t'u bërë në praktikë dhe mostrimi i jo-probabilitetit po bëhet më i shpejtë, më i lirë dhe më i mirë. Sondazhet më të shpejta dhe më të lira nuk janë vetëm përfundime në vetvete: ato mundësojnë mundësi të reja të tilla si anketime më të shpeshta dhe madhësi më të mëdha të kampioneve. Për shembull, duke përdorur metoda jo-probabilitare, Studimi i Zgjedhjeve Kongresiv të Bashkëpunimit (CCES) është në gjendje të ketë afërsisht 10 herë më shumë pjesëmarrës sesa studimet e mëparshme duke përdorur mostrimin e probabilitetit. Ky model shumë më i madh i mundëson hulumtuesve politikë të studiojnë ndryshimet në qëndrimet dhe sjelljet në nëngrupet dhe kontekstet shoqërore. Më tej, e gjithë kjo shkallë e shtuar erdhi pa rënie në cilësinë e vlerësimeve (Ansolabehere and Rivers 2013) .

Aktualisht, qasja dominante për marrjen e mostrave për hulumtime sociale është marrja e mostrave të probabilitetit . Në marrjen e mostrave të probabilitetit, të gjithë anëtarët e popullsisë së synuar kanë një probabilitet të njohur, jo-zero për t'u kampionuar, dhe të gjithë njerëzit që janë kampionë i përgjigjen anketës. Kur këto kushte plotësohen, rezultatet elegante matematikore ofrojnë garanci të provës për aftësinë e një studiuesi për të përdorur mostrën për të nxjerrë konkluzione rreth popullatës së synuar.

Në botën reale, megjithatë, kushtet që i nënshtrojnë këto rezultate matematikore rrallë përmbushen. Për shembull, shpesh ka gabime mbulimi dhe mosrespektimi. Për shkak të këtyre problemeve, studiuesit shpesh duhet të përdorin një sërë rregullimesh statistikore në mënyrë që të nxjerrin përfundimin nga mostra e tyre në popullatën e synuar. Kështu, është e rëndësishme të bëhet dallimi në mes të mostrave të probabilitetit në teori , që ka garanci të forta teorike dhe mostër të probabilitetit në praktikë , e cila nuk ofron garanci të tilla dhe varet nga një shumëllojshmëri rregullimesh statistikore.

Me kalimin e kohës, dallimet midis mostrimit të probabilitetit në teori dhe marrjes së probabilitetit në praktikë janë rritur. Për shembull, normat e mosrespozitës janë rritur vazhdimisht, madje edhe në sondazhe të cilësisë së lartë dhe të kushtueshme (figura 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Normat e mosresponimit janë shumë më të larta në sondazhet telefonike komerciale - nganjëherë madje deri në 90% (Kohut et al. 2012) . Këto rritje në mospërmbushje kërcënojnë cilësinë e vlerësimeve, sepse vlerësimet gjithnjë e më shumë varen nga modelet statistikore që hulumtuesit përdorin për t'u përshtatur për mospërmbushje. Më tej, këto rënie në cilësi kanë ndodhur pavarësisht përpjekjeve gjithnjë e më të shtrenjta nga hulumtuesit e anketës për të mbajtur normat e larta të përgjigjes. Disa njerëz kanë frikë se këto tendenca binjake të uljes së cilësisë dhe rritjes së kostos kërcënojnë themelet e hulumtimit të anketës (National Research Council 2013) .

Figura 3.5: Mosrespektimi ka qenë gjithnjë e në rritje, madje edhe në sondazhe të shtrenjta me cilësi të lartë (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . Normat e mosresponimit janë shumë më të larta për sondazhet e telefonave komercialë, madje edhe deri në 90% (Kohut et al. 2012) . Këto tendenca afatgjata në mosrespektim nënkuptojnë që mbledhja e të dhënave është më e shtrenjtë dhe vlerësimet janë më pak të besueshme. Përshtatur nga BD Meyer, Mok, and Sullivan (2015) , figura 1.

Në të njëjtën kohë që ka pasur vështirësi në rritje për metodat e mostrimit të probabilitetit, ka pasur gjithashtu zhvillime emocionuese në metodat e marrjes së mostrave të jo-probabilitetit . Ka një shumëllojshmëri të stileve të metodave të marrjes së mostrave të jo-probabilitetit, por një gjë që ata kanë të përbashkët është se ata nuk mund të përshtaten lehtë në kuadrin matematikor të mostrimit të probabilitetit (Baker et al. 2013) . Me fjalë të tjera, në metodat e mostrimit të jo-probabilitetit jo të gjithë kanë një probabilitet të njohur dhe jo-zero të përfshirjes. Metodat e marrjes së mostrave të jo-probabilitetit kanë një reputacion të tmerrshëm në mesin e hulumtuesve socialë dhe ato janë të lidhura me disa nga dështimet më dramatike të hulumtuesve të sondazhit, të tilla si Fiasco e Letërsisë Digest (diskutuar më herët) dhe "Dewey Defeats Truman", parashikimi i pasaktë në lidhje me SHBA zgjedhjet presidenciale të vitit 1948 (figura 3.6).

Figura 3.6: Presidenti Harry Truman mbajti titullin e një gazete që kishte deklaruar gabimisht humbjen e tij. Ky titull u bazua pjesërisht në vlerësimet nga mostrat e jo-probabilitetit (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) . Megjithëse "Dewey Defeats Truman" ka ndodhur në vitin 1948, ajo është akoma ndër arsyet pse disa studiues janë skeptikë rreth vlerësimeve nga mostrat e jo-probabilitetit. Burimi: Biblioteka dhe Muzeu Harry S. Truman .

Një formë mostrimi jo-probabiliteti që është veçanërisht e përshtatshme për moshën digjitale është përdorimi i paneleve online . Hulumtuesit që përdorin panelet online varen nga disa ofrues të paneleve - zakonisht një kompani, qeveri ose universitet - për të ndërtuar një grup të madh njerëzish të cilët pranojnë të shërbejnë si të anketuar për sondazhet. Këta pjesëmarrës të panelit shpesh rekrutohen duke përdorur një sërë metodash ad hoc siç janë reklamat banner online. Pastaj, një studiues mund të paguajë ofruesin e panelit për qasje në një mostër të të anketuarve me karakteristika të dëshiruara (p.sh. përfaqësues kombëtar të të rriturve). Këto panele online janë metoda jo-probabilitare, sepse jo gjithkush ka një probabilitet të njohur, jo-zero të përfshirjes. Megjithëse panelet jo-probabilitetin në internet tashmë janë duke u përdorur nga hulumtuesit socialë (p.sh. CCES), ka ende një debat për cilësinë e vlerësimeve që vijnë prej tyre (Callegaro et al. 2014) .

Përkundër këtyre debateve, mendoj se ka dy arsye pse koha është e drejtë për hulumtuesit socialë që të rishikojnë mostrimin e jo-probabilitetit. Së pari, në epokën dixhitale, ka pasur shumë zhvillime në mbledhjen dhe analizën e mostrave të jo-probabilitetit. Këto metoda më të reja janë mjaft të ndryshme nga metodat që shkaktuan probleme në të kaluarën, që unë mendoj se ka kuptim t'i mendojmë ato si "mostrim jo-probabilitet 2.0". Arsyeja e dytë pse studiuesit duhet të rishikojnë mostrimin e jo-probabilitetit është për shkak se mostrimi i probabilitetit praktika janë gjithnjë e më të vështira. Kur ekzistojnë nivele të larta mos reagimi - siç ekzistojnë në sondazhe reale tani - probabiliteti aktual i përfshirjes për të anketuarit nuk dihet dhe kështu, mostrat e probabilitetit dhe mostrat e jo-probabilitetit nuk janë aq të ndryshme sa shumë studiues besojnë.

Siç thashë më parë, mostrat e jo-probabilitetit shihen me skepticizëm të madh nga shumë studiues socialë, pjesërisht për shkak të rolit të tyre në disa nga dështimet më të turbullta në ditët e para të studimit të anketës. Një shembull i qartë se sa larg kemi ardhur me mostrat e jo-probabilitetit është hulumtimi nga Wei Wang, David Rothschild, Sharad Goel dhe Andrew Gelman (2015) që korrigjuar saktë rezultatin e zgjedhjeve amerikane 2012 duke përdorur një mostër jo-probabiliteti Përdoruesit amerikanë të Xbox-it, një mostër e vendosur jo-rastësisht e amerikanëve. Hulumtuesit rekrutuan të anketuarit nga sistemi i lojrave XBox, dhe siç mund të prisni, mostra e Xbox ka shtrembëruar meshkuj dhe anon nga të rinjtë: 18 deri në 29 vjeç përbëjnë 19% të elektoratit por 65% të mostrës së Xbox dhe burrave përbëjnë 47% të elektoratit, por 93% të mostrës së Xbox (figura 3.7). Për shkak të këtyre anshmërive të forta demografike, të dhënat e para të Xbox ishin një tregues i dobët i kthimit të zgjedhjeve. Ai parashikoi një fitore të fortë për Mitt Romniun mbi Barack Obama. Përsëri, ky është një shembull tjetër i rreziqeve të mostrave të papërpunuara dhe jo-probabilitetit të papërpunuara dhe që kujton fiasko të Letërsisë Digest .

Figura 3.7: Demografia e të anketuarve në W. Wang et al. (2015) . Për shkak se të anketuarit u rekrutuan nga XBox, ata kishin më shumë gjasa të ishin të rinj dhe më shumë të ngjarë të ishin meshkuj, në krahasim me votuesit në zgjedhjet e vitit 2012. Përshtatur nga W. Wang et al. (2015) , figura 1.

Megjithatë, Wang dhe kolegët ishin të vetëdijshëm për këto probleme dhe u përpoqën të përshtateshin për procesin e marrjes së mostrave të tyre jo të rastësishme kur bënin vlerësime. Në veçanti, ata përdorën post-stratifikimin , një teknikë që gjithashtu përdoret gjerësisht për të rregulluar mostrat e probabilitetit që kanë gabime mbulimi dhe mosgjigje.

Ideja kryesore e pas-stratifikimit është përdorimi i informacionit ndihmës për popullatën e synuar për të ndihmuar në përmirësimin e vlerësimit që vjen nga një mostër. Kur përdorimi i pas-stratifikimit për të bërë vlerësime nga mostra e tyre jo-probabilitare, Wang dhe kolegu e copëtuan popullsinë në grupe të ndryshme, vlerësuan mbështetjen për Obamën në secilin grup dhe pastaj morën një mesatare të ponderuar të vlerësimeve të grupeve për të prodhuar një vlerësim të përgjithshëm. Për shembull, ata mund të kishin ndarë popullsinë në dy grupe (burra dhe gra), vlerësuan mbështetjen për Obamën midis burrave dhe grave dhe pastaj vlerësuan mbështetjen e përgjithshme për Obamën duke marrë një mesatare të ponderuar për të llogaritur faktin që gratë bëjnë deri 53% e elektoratit dhe meshkujt 47%. Afërsisht, shtresëzimi ndihmon në korrigjimin e një mostre të çekuilibruar duke sjellë informacion ndihmës për madhësitë e grupeve.

Çelësi i post-stratifikimit është të formojnë grupet e duhura. Nëse mund ta ndash popullsinë në grupe homogjene në mënyrë që përgjigjet e përgjigjes të jenë të njëjta për të gjithë në secilin grup, atëherë shtresimi do të prodhojë vlerësime të paanshme. Me fjalë të tjera, pas-stratifikimi sipas gjinisë do të prodhojë vlerësime të paanshme nëse të gjithë njerëzit kanë prirjen e përgjigjes dhe të gjitha gratë kanë të njëjtën prirje përgjigjeje. Ky supozim quhet homogjen-përgjigje-propensities-brenda-grupe supozim, dhe unë e përshkruaj atë pak më shumë në shënimet matematikore në fund të këtij kapitulli.

Natyrisht, duket e pamundur që përgjegjësitë e përgjigjes do të jenë të njëjta për të gjithë burrat dhe të gjitha gratë. Megjithatë, homogjen-reagimi-propensities-brenda grupit supozimi bëhet më e besueshme si numri i grupeve rritet. Përafërsisht, bëhet më e lehtë për të përzënë popullatën në grupe homogjene nëse krijon grupe të tjera. Për shembull, mund të duket e pabesueshme që të gjitha gratë të kenë të njëjtën prirje përgjigjeje, por mund të duket më e besueshme se ka të njëjtën prirje përgjigjeje për të gjitha gratë që janë të moshës 18-29 vjeç, të cilët janë diplomuar në kolegj dhe që jetojnë në Kaliforni . Kështu, meqë numri i grupeve të përdorura në post-stratifikim bëhet më i madh, supozimet e nevojshme për të mbështetur metodën bëhen më të arsyeshme. Duke pasur parasysh këtë fakt, studiuesit shpesh duan të krijojnë një numër të madh grupesh për post-stratifikim. Sidoqoftë, me rritjen e numrit të grupeve, hulumtuesit kanë probleme të ndryshme: të dhënat e paarsyeshme. Nëse ka vetëm një numër të vogël njerëzish në secilin grup, atëherë vlerësimet do të jenë më të pasigurta, dhe në rastin ekstrem ku ka një grup që nuk ka të anketuar, atëherë pas-stratifikimi tërësisht prishet.

Ekzistojnë dy mënyra nga kjo tension i pandarë mes besueshmërisë së supozimit homogjen-përgjigje-prirje-brenda grupeve dhe kërkesës për madhësi të arsyeshme të mostrës në secilin grup. Së pari, hulumtuesit mund të mbledhin një mostër më të madhe dhe më të ndryshme, e cila ndihmon në sigurimin e madhësive të arsyeshme të mostrës në secilin grup. Së dyti, ata mund të përdorin një model statistikor më të sofistikuar për të bërë vlerësime brenda grupeve. Dhe, në fakt, ndonjëherë studiuesit bëjnë të dyja, siç bëri Wang dhe kolegët me studimin e tyre të zgjedhjeve duke përdorur të anketuarit nga Xbox.

Për shkak se ata po përdorin një metodë të mostrimit jo të probabilitetit me intervista të administruara nga kompjuteri (unë do të flas më shumë rreth intervistave të administruara nga kompjuteri në seksionin 3.5), Wang dhe kolegët kishin shumë të shtrenjtë grumbullimin e të dhënave, gjë që u mundësoi atyre të grumbullonin informacion nga 345,858 pjesëmarrës të veçantë , një numër i madh nga standardet e votimit zgjedhor. Kjo madhësi masive e mostrës u mundësoi atyre të formojnë një numër të madh grupesh pas-stratifikimi. Ndërsa pas-stratifikimi zakonisht përfshin grisjen e popullsisë në qindra grupe, Wang dhe kolegët e ndarë popullsinë në 176,256 grupe të përcaktuara sipas gjinisë (2 kategori), racës (4 kategori), moshës (4 kategori), arsimit (4 kategori), shtetit (51 kategori), ID-ja e partisë (3 kategori), ideologjia (3 kategori) dhe votimi i vitit 2008 (3 kategori). Me fjalë të tjera, madhësia e madhe e mostrës, e cila u mundësua nga grumbullimi i të dhënave me kosto të ulët, u mundësoi atyre të bëjnë një supozim më të besueshëm në procesin e vlerësimit të tyre.

Edhe me 345,858 pjesëmarrës të veçantë, megjithatë, ka pasur ende shumë, shumë grupe për të cilat Wang dhe kolegët kishin pothuajse asnjë të anketuar. Prandaj, ata përdorën një teknikë të quajtur regres multilevel për të vlerësuar mbështetjen në secilin grup. Në thelb, për të vlerësuar mbështetjen për Obamën brenda një grupi të veçantë, regresioni multilevel grumbulloi informacion nga shumë grupe të lidhura ngushtë. Për shembull, imagjinoni të përpiqeni të vlerësoni mbështetjen e Obamës në mesin e hispanikëve femra ndërmjet 18 dhe 29 vjeç, të cilët janë të diplomuar në kolegj, të cilët janë të regjistruar si demokratë, të cilët vetëidentifikohen si të moderuar dhe të cilët votuan për Obamën në vitin 2008. Kjo është shumë , grup shumë specifik, dhe është e mundur që në kampion të mos ketë këta karakteristika. Prandaj, për të bërë vlerësime rreth këtij grupi, regresioni multilevel përdor një model statistikor për të grumbulluar së bashku vlerësime nga njerëz në grupe shumë të ngjashme.

Kështu, Wang dhe kolegët e përdorur një qasje që regresionit të kombinuar multilevel dhe post-stratifikimit, kështu që ata e quajtën strategjinë e tyre regresionit multilevel me post-stratifikim ose, me shumë dashuri, "Z. P. "Kur Wang dhe kolegët e përdorën z. P. për të bërë vlerësime nga mostra e jo-probabilitetit XBox, ata prodhuan vlerësime shumë afër mbështetjes së përgjithshme që Obama mori në zgjedhjet e vitit 2012 (figura 3.8). Në fakt, vlerësimet e tyre ishin më të sakta se një sërë anketash tradicionale të opinionit publik. Kështu, në këtë rast, përshtatjet statistikore-posaçërisht Z. P.-duket se bëjnë një punë të mirë duke korrigjuar paragjykimet në të dhënat e jo-probabilitetit; paragjykimet që ishin të dukshme kur shikoni vlerësimet nga të dhënat e pakontrolluara të Xbox.

Figura 3.8: Vlerësimet nga W. Wang et al. (2015) . Mostra e pakorzhuar XBox ka prodhuar vlerësime të pasakta. Por, mostra e peshuar e XBox prodhonte vlerësime që ishin më të sakta se një mesatare e anketave telefonike të bazuara në probabilitet. Përshtatur nga W. Wang et al. (2015) , figurat 2 dhe 3.

Ka dy mësime kryesore nga studimi i Wang dhe kolegët. Së pari, mostrat e pakontrolluara të jo-probabilitetit mund të çojnë në vlerësime të këqija; ky është një mësim që shumë studiues kanë dëgjuar më parë. Megjithatë, mësimi i dytë është që mostrat e jo-probabilitetit, kur analizohen siç duhet, në të vërtetë mund të japin vlerësime të mira; mostrat e jo-probabilitetit nuk kanë nevojë të çojnë automatikisht në diçka të ngjashme me fiasko të Letërsisë Digest .

Përpara, nëse po përpiqesh të vendosësh mes përdorimit të një metode të mostrimit të probabilitetit dhe një qasjeje të mostrimit jo-probabilistik, përballesh me një zgjedhje të vështirë. Ndonjëherë kërkuesit kërkojnë një rregull të shpejtë dhe të ngurtë (p.sh., gjithmonë përdorin metodat e mostrimit të probabilitetit), por është gjithnjë e më e vështirë të ofrohet një rregull i tillë. Studiuesit përballen me një zgjedhje të vështirë në mes të metodave të mostrimit të probabilitetit në praktikë - të cilat janë gjithnjë e më të shtrenjta dhe larg rezultateve teorike që justifikojnë përdorimin e metodave të marrjes së mostrave dhe jo-probabilitetit - të cilat janë më të lira dhe më të shpejta, por më pak të njohura dhe më të ndryshme. Megjithatë, një gjë që është e qartë është se nëse jeni i detyruar të punoni me mostrat e jo-probabilitetit ose burimet e mëdha jo-përfaqësuese të të dhënave (mendo në Kapitullin 2), atëherë ekziston një arsye e fortë për të besuar se vlerësimet e bëra duke përdorur pas-stratifikimin dhe teknikat e lidhura me të do të jenë më mirë se vlerësimet e papërpunuara, të papërpunuara.