3.3.2 측정

측정이란 응답자가 말하는 것과 생각한 것을 추론하는 것입니다.

표현의 문제 외에도 전체 조사 오류 프레임 워크는 두 번째 주요 오류 원천이 측정 이라는 것을 보여줍니다. 즉 응답자가 질문에주는 대답에서 추론을하는 방법입니다. 우리가받는 답, 따라서 우리가 내리는 추론은 비판적으로, 때로는 놀라운 방법으로 우리가 구하는 방법에 달려 있다는 것을 알게되었습니다. 아마도 Norman Bradburn, Seymour Sudman 및 Brian Wansink (2004) 의 훌륭한 질문 서 질문 에서 농담보다이 중요한 점을 더 잘 보여줄 수는 없습니다.

두 사제하는 도미니카 공화국과 예수회, 연기와 같은 시간에기도하는 죄인지 여부를 논의하고있다. 결론에 도달 실패 후, 각각 자신의 각각의 우수한 상담을 꺼집니다. 도미 니칸은 "당신의 우수한 말을 했는가?"라고

예수회는 "그는 그것을 확실히했다."응답

"그건 재미있다"도미 니칸는 응답 "내 상사는 그것이 죄라고 말했다."

예수회는 "당신은 무엇을 물어나요?"도미니크가 응답, 말했다, "이기도하면서 연기에 확실히 있다면 나는 그에게 물었다." "아"예수회는 말했다, "이 흡연하면서기도 OK 있다면 내가 물었다."

이 특정 농담 이외에, 조사 연구원은 당신이 배우는 것이 당신이 묻는 방법에 달려 있다는 많은 체계적인 방법을 문서화했습니다. 사실,이 농담의 근본 원인 인 문제는 조사 연구 공동체에서 질문 형식 효과 (Kalton and Schuman 1982) 라는 이름을 가지고 있습니다. 질문 형식 효과가 실제 설문 조사에 미치는 영향을 보려면 두 가지 매우 유사한 설문 조사 질문을 고려하십시오.

• "얼마나 당신은 다음과 같은 성명에 동의 : 개인이 국가의 범죄와 불법에 대한 사회적 조건보다 비난이 더 있습니다."
• "당신은 다음 문을 얼마나 동의 : 사회 조건이이 나라에서 범죄와 불법에 대한 개인보다 책임이 더 있습니다."

두 가지 질문이 같은 것을 측정하는 것처럼 보일지라도 실제 설문 조사 실험에서 다른 결과를 산출했습니다 (Schuman and Presser 1996) . 한 가지 방법을 묻는 질문에 응답자 중 약 60 %가 개인 이 범죄 혐의를 더 많이 봤다고 응답했지만 다른 방법을 묻는 경우 약 60 %는 사회 상황 이 더 비난받는 것으로보고했습니다 (그림 3.3). 다른 말로하면,이 두 질문 사이의 작은 차이는 연구자들에게 다른 결론을 가져올 수 있습니다.

그림 3.3 : 연구자가 정확히 어떻게 질문을했는지에 따라 다른 답을 얻을 수 있다는 조사 결과. 응답자의 대다수는 개인이 범죄와 불법에 대한 사회적 조건보다 더 비난 받아야한다고 동의했습니다. 그리고 대다수의 응답자는 반대 의견에 동의했습니다. 즉 사회적 조건이 개인보다 더 책임이 있다는 것입니다. Schuman and Presser (1996) , 표 8.1.

질문의 구조 외에도 응답자는 사용 된 특정 단어에 따라 다른 대답을 줄 수 있습니다. 예를 들어, 정부 우선 순위에 관한 의견을 측정하기 위해 응답자는 다음과 같은 메시지를 읽었습니다.

"우리는 쉽게 또는 저렴하게 해결 될 수 없음있는이 나라에서 많은 문제에 직면하고 있습니다. 나는이 문제를 몇 가지 이름을거야, 그리고 각각에 대해 나는 우리가 그것에 너무 적은 돈을 너무 많은 돈을 지출, 또는 적당한 양에 대해 있다고 생각 여부를 말해 싶습니다. "

그 다음에 응답자의 절반이 "복지"에 대해 질문을 받았고 절반이 "빈곤층을위한 원조"에 대해 질문했습니다. 동일한 결과가 두 가지 다른 문구처럼 보일 수 있지만 매우 다른 결과가있었습니다 (그림 3.4). 미국인들은 "복지" (Smith 1987; Rasinski 1989; Huber and Paris 2013) 보다 "빈곤층에 대한 원조"를 훨씬 더지지한다고보고합니다.

그림 3.4 : 응답자가 "복지"보다는 "빈자를위한 원조"를 훨씬 더지지한다는 설문 조사의 결과. 이것은 연구자가받는 답변이 질문 단어 표현 효과의 한 예이며, 그들의 질문. Huber and Paris (2013) , 표 A1.

질문 형식 효과와 문언 효과에 관한이 예제들이 보여 주듯이, 연구자가받는 대답은 그들이 질문하는 방식에 따라 영향을받을 수 있습니다. 이 예제는 때때로 연구자가 설문 조사 질문에 "올바른"방법을 궁금해하게 만듭니다. 질문을하는 데 분명히 잘못된 방법이 있다고 생각하지만 항상 올바른 길은 하나만 있다고 생각하지 않습니다. 즉, "복지"또는 "가난한 사람들을위한 원조"에 관해 묻는 것이 낫지 않습니다. 이들은 응답자의 태도에 대해 서로 다른 두 가지 점을 측정하는 두 가지 질문입니다. 또한 이러한 예는 연구자가 설문 조사를 사용해서는 안된다는 결론을 내리기도합니다. 불행히도 때로는 선택의 여지가 없습니다. 대신, 나는이 예들로부터 이끌어내는 올바른 교훈은 우리가 신중하게 질문을 구성해야하며 비판적으로 응답을 받아 들여서는 안된다는 것이다.

가장 구체적으로 이는 다른 사람이 수집 한 설문 조사 데이터를 분석하는 경우 실제 설문지를 읽었 음을 의미합니다. 자신의 설문지를 작성하는 경우 네 가지 제안이 있습니다. 첫째, 설문지 디자인에 대한 자세한 내용을 제안합니다 (예 : Bradburn, Sudman, and Wansink (2004) ). 여기에 설명 할 수있는 것보다 더 많은 것이 있습니다. 둘째, 고품질 설문 조사에서 단어 질문을 복사하는 것이 좋습니다. 예를 들어 응답자에게 인종 / 민족을 묻고 싶다면 센서스와 같은 대규모 정부 조사에서 사용되는 질문을 복사 할 수 있습니다. 이것이 표절과 같을 수도 있지만 설문 조사에서 질문을 복사하는 것이 좋습니다 (원래 설문 조사를 인용하는 한). 고품질 설문 조사의 질문을 복사하면 테스트를 거쳤으며 설문 조사에 대한 응답을 다른 설문 조사의 응답과 비교할 수 있습니다. 셋째, 설문지에 중요한 질문 문구 효과 또는 질문 양식 효과가 포함되어 있다고 생각되는 경우 응답자의 절반이 질문을 받고 절반이 다른 버전을받는 설문 조사를 실행할 수 있습니다 (Krosnick 2011) . 마지막으로, 귀하의 프레임 인구의 일부 사람들을 대상으로 질문을 시범 테스트 해 보시기 바랍니다. 조사 연구원들은이 과정을 사전 테스트 라고 부릅니다 (Presser et al. 2004) . 내 경험에 따르면 사전 검사는 매우 유용합니다.