3.4 질문하기

디지털 시대는 실제로 확률 샘플링을 더 어렵게 만들고 비 확률 샘플링을위한 새로운 기회를 창출하고 있습니다.

표본 추출의 역사에서, 두 가지 경쟁 접근법이있다 : 확률 표본 추출 방법과 비 확률 표본 추출 방법. 샘플링 초기에 두 가지 접근법이 모두 사용되었지만, 확률 샘플링이 우세 해졌으며 많은 사회 연구가들이 큰 회의론으로 비 확률 샘플링을 보도록 가르칩니다. 그러나, 아래에서 설명 하겠지만, 디지털 시대에 의해 만들어진 변화는 연구원들이 비 확률 샘플링을 재고 할 때가되었음을 의미합니다. 특히, 확률 샘플링은 실제 수행하기가 어려워졌으며, 비 확률 샘플링은 점점 더 빠르고 저렴 해졌습니다. 더 빠르고 저렴한 설문 조사는 그 자체로 끝이 아닙니다. 설문 조사 횟수를 늘리고 표본 크기를 늘리는 등 새로운 기회를 창출합니다. 예를 들어, 확률 론적 방법을 사용함으로써 협의회 선거 연구 (CCES)는 확률 표본 추출을 사용한 이전 연구보다 약 10 배 더 많은 참가자를 가질 수 있습니다. 이 훨씬 더 큰 표본은 정치 연구원들이 하위 집단과 사회적 맥락 전반에서 태도와 행동의 변화를 연구 할 수있게 해줍니다. 더욱이,이 모든 추가 규모는 추정치의 품질 저하없이 나타났습니다 (Ansolabehere and Rivers 2013) .

현재 사회 조사를위한 샘플링에 대한 지배적 인 접근법은 확률 샘플링 입니다. 확률 샘플링에서 대상 모집단의 모든 구성원은 표본 추출의 확률이 0이 아니며 표본 추출 된 모든 사람들이 설문 조사에 응답합니다. 이러한 조건이 충족되면 우아한 수학적 결과는 표본 집단에 대한 추론을하기 위해 표본을 사용하는 연구자의 능력에 대한 증명 가능한 보증을 제공합니다.

그러나 현실 세계에서는 이러한 수학적 결과의 기본 조건이 거의 충족되지 않습니다. 예를 들어, 종종 커버리지 에러 및 무응답이있다. 이러한 문제로 인해 연구원들은 표본에서 표적 집단으로 추론하기 위해 다양한 통계적 조정을해야합니다. 따라서 이론적 인 보장이 있는 이론 에서의 확률 표본 추출과 실제적으로 확률 표본 추출 을 구별하는 것이 중요하며, 이는 그러한 보장을 제공하지 않으며 다양한 통계적 조정에 달려있다.

시간이 흐르면서 이론적 확률 샘플링과 실제 확률 샘플링 간의 차이가 커지고 있습니다. 예를 들어, 고품질의 비싼 설문 조사 (그림 3.5) (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) 에서조차도 무응답 률은 꾸준히 증가하고 있습니다. 비 응답 속도는 상업용 전화 조사에서 훨씬 높습니다. 때로는 90 %까지 높습니다 (Kohut et al. 2012) . 이러한 무 반응의 증가는 연구원이 무 반응에 적응하기 위해 사용하는 통계 모델에 대한 추정치가 점점 더 많아지기 때문에 추정의 품질을 위협합니다. 또한, 응답률을 높게 유지하기 위해 설문 조사자가 점점 더 많은 노력을 기울 였음에도 불구하고 이러한 품질 저하가 발생했습니다. 일부 사람들은 질적 저하와 비용 증가라는 쌍둥이 경향이 조사 연구의 기초를 위협 할 것을 두려워합니다 (National Research Council 2013) .

그림 3.5 : 고비용의 고비용 조사에서도 비 반응이 꾸준히 증가 해왔다 (National Research Council 2013; BD Meyer, Mok, and Sullivan 2015) . 응답이없는 전화 요금은 상용 전화 조사의 경우 훨씬 높으며 때로는 90 %까지 높습니다 (Kohut et al. 2012) . 이러한 무 반응의 장기 경향은 데이터 수집이 더 비싸고 추정치가 덜 신뢰할 수 있음을 의미합니다. BD Meyer, Mok, and Sullivan (2015) , Figure 1에서 발췌.

확률 샘플링 방법에 어려움이 커지고있는 동시에 비 확률 샘플링 방법 에도 흥미로운 개발이있었습니다. 다양한 유형의 비 확률 샘플링 방법이 있지만 공통점은 확률 샘플링 (Baker et al. 2013) 의 수학적 틀에 쉽게 맞출 수 없다는 것입니다. 즉, 비 확률 샘플링 방법에서 모든 사람이 알고 있고 포함되지 않을 가능성이 없습니다. 비확산 채취 방법은 사회 연구자들 사이에서 끔찍한 명성을 얻었으며 미국에서의 잘못된 예측 인 ' 문학의 다이제스트 '(Dewey Defeats Truman)와 같은 설문 조사 연구자의 가장 극적인 실패와 관련이 있습니다. 1948 년 대통령 선거 (그림 3.6).

그림 3.6 : 해리 트루먼 (Harry Truman) 대통령은 패배를 잘못 발표 한 신문의 헤드 라인을 들고있다. 이 표제는 부분적으로 비 확률 표본 (Mosteller 1949; Bean 1950; Freedman, Pisani, and Purves 2007) 추정치를 기반으로합니다. 1948 년에 "Dewey가 Truman을 패배 시켰음에도 불구하고", 어떤 연구자들은 확률이 낮은 표본으로부터의 추정에 대해 회의적이었습니다. 출처 : Harry S. Truman Library & Museum .

디지털 시대에 특히 적합한 비 확률 샘플링의 한 형태는 온라인 패널을 사용하는 것입니다. 온라인 패널을 사용하는 연구원은 일부 패널 제공 업체 (대개 회사, 정부 또는 대학)에 따라 조사 응답자 역할을하는 대규모의 다양한 그룹을 구성합니다. 이러한 패널 참여자는 온라인 배너 광고와 같은 다양한 임시 방편을 사용하여 모집됩니다. 그런 다음 연구원은 원하는 특성 (예 : 성인을 대표하는 국가)을 가진 응답자 샘플에 액세스 할 수 있도록 패널 제공 업체에 비용을 지불 할 수 있습니다. 이 온라인 패널은 모든 사람이 포함 할 확률이 0이 아니므로 확률 적 방법이 아닙니다. 확률이 낮은 온라인 패널이 이미 사회 연구원 (예 : CCES)에 의해 사용되고 있지만, 그로부터 오는 추정치의 품질에 대한 논의가 여전히있다 (Callegaro et al. 2014) .

이러한 논쟁에도 불구하고 사회 연구원이 비확산 샘플링을 재검토하는 것이 적절한시기에는 두 가지 이유가 있다고 생각합니다. 첫째, 디지털 시대에 비확산 표본의 수집과 분석에 많은 발전이있었습니다. 이 새로운 방법은 과거에 문제를 일으킨 방법과 충분히 다르므로 이들을 "비 확률 표본 추출 2.0"으로 생각하는 것이 합리적이라고 생각합니다. 연구자가 비 확률 표본 추출을 재고해야하는 두 번째 이유는 실천이 점점 어려워지고 있습니다. 현재 실제 설문 조사에있는 것과 같이 응답률이 높을 때 응답자에 대한 포함 가능성은 알 수 없기 때문에 확률 표본과 비 확률 표본은 많은 연구자가 믿는만큼 다르지 않습니다.

앞서 말했듯이, 확률이 낮은 표본은 설문 조사 초기에 가장 난처한 실패의 일부로 인해 많은 사회 연구자들에 의해 크게 회의적으로 여겨집니다. 우리가 비 확률 표본과 얼마나 멀리 떨어져 왔는지에 대한 명확한 예는 Wei Wang, David Rothschild, Sharad Goel 및 Andrew Gelman (2015) 의 연구로, 2012 년 미국 선거의 결과를 정확하게 미국의 X 박스 사용자 - 확실히 미국인의 샘플. 연구원은 XBox 게임 시스템에서 응답자를 모집했으며 예상 한 바와 같이 Xbox 샘플은 남성과 비뚤어진 젊은이를 왜곡했습니다. 18 세에서 29 세 사이의 사람들이 유권자의 19 %를 차지하지만 Xbox 샘플의 65 %를 차지합니다. 유권자의 47 %를 차지하지만 Xbox 샘플의 93 %를 차지한다 (그림 3.7). 이러한 강력한 인구 통계 학적 편향 때문에 원시 Xbox 데이터는 선거 결과를 알 수없는 지표였습니다. 미트 롬니 (Mitt Romney)는 버락 오바마 상대로 강력한 승리를 예언했다. 다시 말하지만, 이것은 원시되지 않은 비 확률 샘플의 위험에 대한 또 다른 예이며 문학적 다이제스트 실패를 연상시킵니다.

도표 3.7 : W. Wang et al. (2015) 응답자의 인구 통계 W. Wang et al. (2015) . 응답자는 XBox에서 모집되었으므로 2012 년 선거에서 유권자와 관련하여 젊었을 가능성이 높았고 남성이 될 가능성이 컸습니다. W. Wang et al. (2015) , 그림 1.

그러나 왕 (Wang)과 동료들은 이러한 문제들을 알고 있었고 예측을 할 때 무작위 추출 과정을 조정하려고 시도했다. 특히 그들은 커버리지 오류 및 무응답의 확률 표본을 조정하는 데 널리 사용되는 사후 계층화를 사용했습니다.

사후 층화의 주된 아이디어는 표본 집단에 대한 보조 정보를 사용하여 표본에서 오는 추정치를 개선하는 것입니다. 사후 계층화를 사용하여 확률이 낮은 표본에서 추정치를 산출 할 때 Wang과 동료는 인구를 여러 그룹으로 나누고 각 그룹에서 Obama에 대한 지원을 추정 한 다음 그룹 추정치의 가중 평균을 취하여 전체 추정치를 산출했습니다. 예를 들어, 인구를 두 그룹 (남성과 여성)으로 나누고 남성과 여성간에 오바마에 대한 지지도를 추정 한 다음 오바 마에 대한 전반적인 지원을 산정하기 위해 가중 평균을 취하여 여성이 유권자 53 %와 남성 47 % 대체로 post-stratification은 그룹의 크기에 대한 보조 정보를 가져 와서 불균형 한 표본을 수정하는 데 도움이됩니다.

사후 계층화의 핵심은 올바른 그룹을 형성하는 것입니다. 인구 집단을 균질 그룹으로 나눠서 각 그룹의 모든 사람들에게 응답 성향이 동일 할 경우 사후 계층화는 불평등 추정치를 산출합니다. 다시 말하면, 모든 남성이 반응 성향을 갖고 모든 여성이 동일한 반응 성향을 갖는다면, 성별에 의한 사후 계층화는 불평등 추정치를 산출 할 것이다. 이 가정을 그룹 내 동 질적 응답 성향 가정이라고하며,이 장의 끝에있는 수학적 메모에서 좀 더 자세히 설명합니다.

물론 응답 성향이 모든 남성과 모든 여성에게 동일하지는 않을 것 같습니다. 그러나 그룹 내에서 동질성 - 반응 - 성향 가정은 그룹의 수가 증가함에 따라 더 그럴듯해진다. 대체로 그룹을 더 많이 만들면 집단을 균질 그룹으로 나눌 수 있습니다. 예를 들어, 모든 여성이 동일한 반응 성향을 갖는 것은 당연한 것처럼 보일 수 있지만, 18 세에서 29 세 사이의 모든 여성이 대학을 졸업하고 캘리포니아 주에서 살고있는 모든 여성들에 대해 동일한 반응 성향이 있다는 것은 더 그럴듯 해 보일 수 있습니다 . 따라서 사후 계층화에 사용 된 그룹의 수가 커지면이 방법을 지원하는 데 필요한 가정이보다 합리적이됩니다. 이 사실을 감안할 때, 연구자들은 종종 포스트 층화를위한 엄청난 수의 그룹을 만들고 싶어합니다. 그러나 그룹의 수가 증가함에 따라 연구자는 데이터 희소성이라는 다른 문제에 직면하게됩니다. 각 그룹에 소수의 사람 만있는 경우 견적이 더 불확실 해지고 극단적 인 경우 응답자가없는 그룹이있는 경우 사후 계층화가 완전히 중단됩니다.

동질성 반응 성향 그룹 내 가정의 타당성과 각 집단에서 합당한 표본 크기에 대한 요구 사이에는이 고유 한 긴장 관계에서 두 가지 방법이있다. 첫째, 연구원은 더 크고 다양한 표본을 수집하여 각 그룹에서 적절한 표본 크기를 확보 할 수 있습니다. 둘째, 그룹 내에서 견적을 산출하기 위해보다 정교한 통계 모델을 사용할 수 있습니다. 사실 왕과 동료들이 Xbox의 응답자를 사용하여 선거에 대한 연구를 한 결과 연구자들은 두 가지 모두를 수행합니다.

그들은 컴퓨터 관리 인터뷰를 통해 비 확률 샘플링 방법을 사용했기 때문에 (3.5 절의 컴퓨터 관리 인터뷰에 대해 더 자세히 설명 할 예정 임) Wang과 동료들은 매우 저렴한 데이터 수집을 통해 345,858 명의 고유 참가자로부터 정보를 수집 할 수있었습니다 , 선거 투표 기준에 의한 엄청난 숫자. 이 대규모 표본 크기 덕분에 엄청난 수의 사후 계층화 그룹을 구성 할 수있었습니다. 성별 (2 개 카테고리), 인종 (4 개 카테고리), 연령 (4 개 카테고리), 교육 (4 개 카테고리), 주 (인구, 직업, 직업)에 의해 정의 된 176,256 개 그룹으로 인구를 나눕니다. (51 개 범주), 당 ID (3 개 범주), 이데올로기 (3 개 범주) 및 2008 년 투표 (3 개 범주)로 구성됩니다. 즉, 저비용 데이터 수집으로 가능했던 거대한 표본 크기 덕분에 견적 과정에서 더 합리적인 가설을 세울 수있었습니다.

그러나 345,858 명의 독특한 참가자들조차도 여전히 Wang과 동료들이 거의 응답하지 않은 많은 그룹이있었습니다. 따라서 각 그룹의 지원을 평가하기 위해 다단계 회귀 ( multilevel regression) 기법을 사용했습니다. 근본적으로, 특정 그룹 내에서 오바마에 대한지지를 평가하기 위해, 다단계 회귀 분석은 많은 밀접한 관련 그룹으로부터의 정보를 모았다. 예를 들어, 18 세에서 29 세 사이의 여성 히스패닉계, 대학 졸업자, 등록 된 민주당 원, 온건파로 자칭하는 사람, 2008 년에 오바마 후보로 투표 한 여성 오바마 후보에 대한지지를 평가하려고 상상해보십시오. , 매우 특수한 그룹이며, 이러한 특성을 가진 표본에는 아무도 없을 가능성이 있습니다. 따라서이 그룹에 대한 추정을하기 위해 다단계 회귀 분석은 통계 모델을 사용하여 매우 유사한 그룹의 사람들로부터 추정치를 모으는 것입니다.

따라서 Wang과 동료들은 다단계 회귀와 사후 계층화를 결합한 접근 방식을 사용 했으므로 사후 계층화 또는보다 정교하게 "전략적 다단계 회귀 분석" 이라고 불렀습니다. P. "Wang과 동료들이 Mr.P를 사용하여 XBox의 비 확률 표본으로부터 추정치를 산출했을 때, 그들은 Obama가 2012 년 선거에서받은 전반적인 지원과 매우 유사한 추정치를 산출했습니다 (그림 3.8). 실제로 그들의 견적은 전통적인 여론 조사의 총합보다 정확했다. 따라서이 경우 통계 조정, 구체적으로 P. P는 비 확률 데이터의 편향을 수정하는 작업을 잘하는 것처럼 보입니다. 조정되지 않은 Xbox 데이터에서 견적을 볼 때 명확하게 볼 수있는 편견.

도표 3.8 : W. Wang et al. (2015) 으로부터의 추정치 W. Wang et al. (2015) . 조정되지 않은 XBox 샘플은 부정확 한 추정치를 산출했습니다. 그러나 가중치 적용 XBox 샘플은 평균 확률 기반 전화 조사보다 정확한 추정치를 산출했습니다. W. Wang et al. (2015) , 그림 2와 3을 참조하십시오.

Wang과 동료 연구의 주된 교훈은 두 가지입니다. 첫째, 조정되지 않은 비 확률 표본은 나쁜 추정치로 이어질 수 있습니다. 이것은 많은 연구자들이 전에 들었던 교훈이다. 그러나 두 번째 교훈은 적절히 분석 될 때 비확산 표본이 실제로 좋은 추정치를 산출 할 수 있다는 것입니다. 비 확률 샘플은 문학적 다이제스트 실패와 같은 것으로 자동으로 이어질 필요는 없습니다.

앞으로, 확률 샘플링 접근법과 비 확률 샘플링 접근법을 사용하기로 결정할 때 어려운 선택을해야합니다. 때때로 연구원은 신속하고 엄격한 규칙 (예 : 항상 확률 샘플링 방법 사용)을 원하지만 이러한 규칙을 제공하는 것이 점차 어려워지고 있습니다. 연구원은 실제 사용되는 확률 샘플링 방법 사이에서 선택의 어려움에 직면 해 있습니다. 비용이 많이 들고 비싸고 빠르지 만 친숙하고 다양하지 않은 샘플링 방법을 사용하는 것을 정당화하는 이론 결과와는 거리가 멀습니다. 그러나 확실한 한 가지 사실은 비 확률 샘플 또는 비 대표성 큰 데이터 소스 (2 장을 다시 생각해보십시오)로 작업해야하는 경우 사후 계층화를 사용하여 추정 한 결과를 믿을만한 강력한 이유가 있습니다. 관련 기술은 조정되지 않은 원시 추정보다 낫습니다.