4.1 소개
이 책 - 관찰 행동 (2 장)과 질문 (3 장)에서 지금까지 다루었던 접근법에서 - 조사자는 의도적으로 체계적으로 세상을 변화시키지 않고 데이터를 수집합니다. 이 장에서 다루는 접근 방법 인 실행 실험은 근본적으로 다릅니다. 연구자가 실험을 실행하면 인과 관계에 대한 질문에 답하기에 이상적인 데이터를 생성하기 위해 체계적으로 전 세계에 개입합니다.
원인 및 결과 문제는 사회 연구에서 매우 일반적이며, 예를 들면 다음과 같은 질문이 포함됩니다. 교사 급여가 증가하면 학생 학습이 증가합니까? 최저 임금이 고용률에 미치는 영향은 무엇입니까? 구직 신청자의 인종은 직업을 얻을 수있는 기회에 어떻게 영향을 줍니까? 이러한 명시 적 인과 관계 질문에 더하여 인과 관계에 관한 질문은 일부 성과 척도의 최대화에 대한보다 일반적인 질문에 내포되어 있습니다. 예를 들어, "NGO의 웹 사이트에 어떤 색을 기증해야합니까?"라는 질문은 다양한 버튼 색상이 기부에 미치는 영향에 대한 많은 질문입니다.
원인 및 결과 질문에 대답하는 한 가지 방법은 기존 데이터의 패턴을 찾는 것입니다. 예를 들어 교사 연봉이 학생 학습에 미치는 영향에 대한 질문으로 돌아 가면 교사 연봉이 높은 학교에서 더 많은 것을 배울 수 있습니다. 그러나이 상관 관계는 높은 급여 가 학생들로 하여금 더 많은 것을 배우게한다는 것을 보여줍니까? 당연히 아니지. 교사가 더 많이 벌는 학교는 여러면에서 다를 수 있습니다. 예를 들어 교사 급여가 높은 학교의 학생은 부유 한 가정에서 온 것일 수 있습니다. 따라서 교사의 효과와 같이 보이는 것은 여러 유형의 학생을 비교했을 때 올 수 있습니다. 학생들 사이의 이러한 측정되지 않은 차이를 혼란 매개체 (confounders )라고하며, 일반적으로 혼란스러워하는 사람들은 기존 데이터의 패턴을 찾아 인과 관계의 문제에 답하는 연구자의 능력에 혼란을 가져옵니다.
혼동의 문제에 대한 한 가지 해결책은 그룹 간의 관찰 가능한 차이를 조정하여 공정한 비교를 시도하는 것입니다. 예를 들어 여러 정부 웹 사이트에서 재산세 데이터를 다운로드 할 수 있습니다. 그런 다음 주택 가격은 비슷하지만 교사의 급여가 다른 학교의 학생 성과를 비교할 수 있으며, 교사들이 더 높은 교사 급여를받는 학교에서 더 많은 것을 배울 수 있습니다. 하지만 여전히 많은 혼란을 일으킬 수 있습니다. 어쩌면이 학생들의 학부모는 교육 수준이 다를 수 있습니다. 또는 공공 도서관과의 친밀감이 학교마다 다를 수도 있습니다. 또는 교사 급여가 높은 학교도 교장 선생님의 급여가 높고 교사 급여가 아닌 교장 선생님 급료가 실제로 학생 학습을 늘리는 것입니다. 이러한 요인을 측정하고 조정할 수도 있지만, 가능한 혼란 스러움의 목록은 본질적으로 끝이 없습니다. 많은 상황에서 모든 가능한 혼란을 측정하고 조정할 수는 없습니다. 이 과제에 대한 응답으로 연구원은 비 실험 데이터로부터 인과 관계 추정을하기위한 여러 가지 기술을 개발했습니다. 제 2 장에서 그 중 일부를 논의했지만 특정 종류의 질문에 대해서는 이러한 기술이 제한되어 있으며 실험에서 유망한 대안.
실험을 통해 연구자는 특정 인과 관계 질문에 안정적으로 응답하기 위해 자연 발생 데이터의 상관 관계를 넘어서 이동할 수 있습니다. 아날로그 시대에 실험은 종종 논리적으로 어렵고 비용이 많이 듭니다. 이제 디지털 시대에 물류 제약이 점차 사라지고 있습니다. 과거와 같은 실험을하는 것이 더 쉬울뿐 아니라 이제는 새로운 종류의 실험을 실행할 수 있습니다.
지금까지 작성한 내용에서 제 언어로는 약간 느슨해졌지만 두 가지를 구별하는 것이 중요합니다 : 실험과 무작위 통제 실험. 한 실험 에서 연구원은 세계에 개입 한 다음 결과를 측정합니다. 나는이 방법이 "교란과 관찰"이라고 묘사했다. 무작위 통제 실험 에서 연구자는 어떤 사람들을 위해서가 아니라 다른 사람들을 위해 개입한다. 연구원은 어떤 사람들이 무작위 화 (예 : 동전 던지기)로 중재를 받는지 결정한다. 무작위 통제 실험은 두 그룹 사이의 공정한 비교를 만듭니다. 하나는 개입을 받았고 하나는 그렇지 않은 그룹입니다. 즉, 무작위 통제 실험은 혼란을주는 사람들의 문제에 대한 해결책입니다. 그러나 교란 및 관측 실험에는 개입을받은 단일 그룹 만이 포함되므로 결과는 연구자를 잘못된 결론으로 유도 할 수 있습니다 (곧 설명 하겠지만). 실험과 무작위 통제 실험의 중요한 차이점에도 불구하고 사회 연구자들은 종종이 용어들을 서로 교환하여 사용합니다. 이 규칙을 따르 겠지만, 무작위 추출 및 제어 그룹을 사용하지 않는 실험에 비해 무작위 통제 실험의 가치를 강조하기 위해 협약을 중단 할 것입니다.
무작위 통제 실험은 사회 세계에 대해 배울 수있는 강력한 방법으로 입증되었습니다.이 장에서는 연구에서 어떻게 사용하는지 자세히 보여 드리겠습니다. 4.2 절에서 Wikipedia에 대한 실험의 예를 들어 실험의 기본 논리를 설명 할 것입니다. 그런 다음 4.3 절에서 실험실 실험과 현장 실험의 차이점과 아날로그 실험과 디지털 실험의 차이점에 대해 설명하겠습니다. 또한 디지털 필드 실험은 아날로그 실험실 실험 (타이트 컨트롤) 및 아날로그 필드 실험 (리얼리즘)의 모든 기능을 이전에 불가능했던 수준으로 제공 할 수 있다고 주장 할 것입니다. 다음 4.4 절에서는 풍부한 실험을 설계하는 데 중요한 3 가지 개념, 즉 유효성, 치료 효과의 이질성 및 메커니즘에 대해 설명하겠습니다. 그 배경을 가지고 디지털 실험을 수행하는 두 가지 기본 전략에 관련된 절충점을 설명합니다. 직접 해보거나 강력한 사람과 파트너가됩니다. 마지막으로, 디지털 실험의 진정한 힘 (4.6.1 절)을 활용하고 그 힘과 관련된 책임의 일부를 설명하는 방법에 대한 설계 조언 (4.6.2 절)을 통해 결론을 맺습니다.
