2.4.3 근사 실험

우리는하지 않았거나 할 수없는 실험을 근사 할 수 있습니다. 특히 큰 데이터 소스의 이점을 누리는 두 가지 접근 방법은 자연스러운 실험과 일치입니다.

중요한 과학적 및 정책적 질문은 인과 관계입니다. 예를 들어, 직업 훈련 프로그램이 임금에 미치는 영향은 무엇입니까? 이 질문에 대답하려고하는 연구원은 훈련에 등록한 사람들의 수입을 그렇지 않은 사람들과 비교할 수 있습니다. 그러나 이들 그룹 간의 임금 격차는 훈련으로 인해 얼마나 많은데, 가입하는 사람들과 그렇지 않은 사람들간에 기존의 차이로 인해 얼마나 많은가? 이는 어려운 질문이며 더 많은 데이터로 자동으로 사라지지 않습니다. 즉, 기존의 차이점에 대한 우려는 데이터에 얼마나 많은 직원이 있는지에 관계없이 발생합니다.

많은 경우, 직업 훈련과 같은 일부 치료의 인과 관계 효과를 평가하는 가장 강력한 방법은 연구원이 무작위로 치료를 다른 사람이 아닌 일부 사람에게 제공하는 무작위 통제 실험을 실행하는 것입니다. 4 장 모두를 실험에 사용하겠습니다. 그래서 여기에서 실험적이지 않은 데이터와 함께 사용할 수있는 두 가지 전략에 초점을 맞 춥니 다. 첫 번째 전략은 무작위로 (또는 거의 무작위로) 치료를 다른 사람이 아닌 일부 사람들에게 할당하는 세계에서 일어나는 일을 찾는 데 달려 있습니다. 두 번째 전략은 치료를받지 않은 환자와받지 않은 환자의 기존 차이를 설명하기 위해 비 실험 데이터를 통계적으로 조정하는 것에 달려있다.

회의론자는 두 가지 전략 모두 강력한 가정, 즉 평가하기 어렵고 실제로는 종종 위반되는 가정을 필요로하므로 피해야한다고 주장 할 수 있습니다. 이 주장에 동조하는 동안 나는 그것이 너무 멀다고 생각한다. 비 실험 데이터에서 인과 관계 추정을 신뢰할 수있게 만드는 것이 어렵다는 것은 사실이지만, 결코 시도하지 말아야한다는 것을 의미하지는 않습니다. 특히, 실험적이지 않은 접근법은 물류 제약으로 인해 실험을 수행하지 못하거나 윤리적 제약으로 인해 실험을 실행하지 않을 경우 유용 할 수 있습니다. 또한, 비 실험 접근법은 무작위 통제 실험을 설계하기 위해 이미 존재하는 데이터를 활용하려는 경우 유용 할 수 있습니다.

계속 진행하기 전에 인과 관계 추정은 사회 연구에서 가장 복잡한 주제 중 하나이며 강렬하고 정서적 인 논쟁으로 이어질 수 있다는 점은 주목할 가치가 있습니다. 다음에서는 각 접근 방식에 대한 직관을 구축하기 위해 각 접근 방식에 대한 낙관적 인 설명을 제공 한 다음 해당 접근 방식을 사용할 때 발생하는 몇 가지 문제점을 설명합니다. 각 방법에 대한 자세한 내용은이 장의 마지막 부분에있는 자료를 참조하십시오. 자신의 연구에서 이러한 접근법 중 하나를 사용할 계획이라면, 인과 관계 추론에 관한 많은 훌륭한 책 중 하나를 읽는 것이 좋습니다 (Imbens and Rubin 2015; Pearl 2009; Morgan and Winship 2014) .

비 실험 데이터로부터 인과 관계 추정을하는 한 가지 방법은 무작위로 치료를 다른 사람이 아닌 일부 사람에게 할당 한 이벤트를 찾는 것입니다. 이러한 상황을 자연 실험 이라고합니다. 자연스러운 실험의 가장 명백한 사례 중 하나는 Joshua Angrist (1990) 가 수입에 미치는 군 복무 효과를 측정 한 연구에서 비롯된 것입니다. 베트남 전쟁 중에 미국은 초안을 통해 군대의 규모를 확대했다. 어떤 시민들이 복무 할 것인지 결정하기 위해 미국 정부는 복권을 개최했습니다. 모든 생년월일은 한 장의 종이에 쓰여졌 고, 그림 2.7에서 볼 수 있듯이이 종이는 한 번에 하나씩 선택되어 청남들이 봉사하도록 부름받는 순서를 결정했다. (청녀는 초안에). 그 결과를 토대로, 9 월 14 일에 태어난 남자들이 먼저 불려졌고, 4 월 24 일에 태어난 남자들이 2 등이라고 불렀다. 궁극적으로,이 추첨에서, 171 일에 태어난 남자는 그렇지 않은 반면, 195 일 동안 태어난 남자들이 초안을 만들었습니다.

그림 2.7 : 1969 년 12 월 1 일에 선택 서비스 초안을위한 첫 번째 캡슐을 그린 Alexander Pirnie (R-NY) 하원 의원 Joshua Angrist (1990) 는 군 복무의 영향을 평가하기 위해 Social Security Administration의 수입 데이터 소득에. 이것은 자연적 실험을 사용한 연구의 한 예입니다. 출처 : 미국 선택적 서비스 시스템 (1969) / 위키 미디어 커먼즈 .

즉각적인 것은 아니지만 초안 추첨은 무작위 통제 실험과 매우 유사합니다. 두 경우 모두 참가자는 무작위로 치료를 받도록 지정됩니다. 이 무작위 대우의 효과를 연구하기 위해 Angrist는 상시 고용량 데이터 시스템 인 미국 사회 보장국 (Social Security Administration)을 활용하여 거의 모든 미국 근로 소득 정보를 고용에서 얻습니다. 초안 추첨에서 무작위로 선발 된 사람에 대한 정보와 정부 행정 기록에서 수집 된 수입 데이터를 결합하여 Angrist는 퇴역 군인의 소득이 비교 대상이 아닌 비 퇴역자의 소득보다 약 15 % 낮았다 고 결론지었습니다.

이 예에서 알 수 있듯이 사회, 정치 또는 자연의 힘으로 인해 연구자가 활용할 수있는 방식으로 치료를 할당하는 경우가 있으며 때로는 이러한 치료의 효과가 항상 큰 데이터 소스에 포착됩니다. 이 연구 전략은 다음과 같이 요약 할 수 있습니다 : \[\text{random (or as if random) variation} + \text{always-on data} = \text{natural experiment}\]

디지털 시대의 이러한 전략을 설명하기 위해, 생산성 향상에 도움이되는 생산적인 동료와의 협력 효과를 평가하려는 Alexandre Mas와 Enrico Moretti (2009) 의 연구를 생각해 봅시다. 결과를보기 전에 상충되는 기대감이 있음을 지적하는 것이 좋습니다. 한편으로는 생산적인 동료와 함께 일하면서 근로자가 또래 집단의 압력 때문에 생산성을 높일 것으로 기대할 수 있습니다. 또는 다른 한편으로는, 열심히 일하는 동료를 갖는 것이 어쨌든 동료들에 의해 수행 될 것이기 때문에 일꾼이 벗어날 수 있다고 예상 할 수 있습니다. 생산성에 대한 동료 효과를 연구하는 가장 확실한 방법은 노동자가 서로 다른 생산성 수준의 근로자에게 무작위로 교대 근무하도록 배정 된 무작위 통제 실험이며 결과 생산성은 모든 사람에게 측정됩니다. 그러나 연구원은 실제 비즈니스에서 근로자의 일정을 관리하지 않기 때문에 Mas와 Moretti는 슈퍼마켓에서 계산원과 관련된 자연스러운 실험에 의존해야했습니다.

이 특정 슈퍼마켓에서는 일정 계획이 완료된 방식과 교대 방식이 중첩되는 방식으로 인해 각 점원이 서로 다른 시간대에 서로 다른 동료를 갖게되었습니다. 또한,이 특정 슈퍼마켓에서 계산원 할당은 동료 생산성 또는 상점 사용량과 관련이 없습니다. 다시 말해, 계산원의 스케줄링이 추첨에 의해 결정되지는 않았지만, 마치 근로자가 무작위로 높은 (또는 낮은) 생산성 동료와 일하도록 배정 된 것처럼 보였습니다. 다행히도,이 슈퍼마켓에는 각 캐쉬어가 항상 스캔하고있는 항목을 추적하는 디지털 연령대 체크 아웃 시스템이 있습니다. 이 체크 아웃 로그 데이터를 통해 Mas과 Moretti는 정밀하고 개별적인 상시적인 생산성 측정치 즉, 초당 스캔 된 항목 수를 생성 할 수있었습니다. 마스와 모레티 (Mas and Moretti)는 출납원이 평균보다 10 % 더 생산적인 동료를 배정 받으면 생산성이 1.5 % 증가 할 것이라고 추정했다. . 더구나, 그들은 두 가지 중요한 쟁점, 즉이 효과의 이질성 (어떤 종류의 근로자가 그 효과가 더 큰가?)과 그 효과를 뒷받침하는 메커니즘 (왜 생산성이 높은 동료가 높은 생산성?). 우리는 실험에 대해 더 자세히 논의 할 때 4 장에서이 두 가지 중요한 문제, 즉 치료 효과와 메커니즘의 이질성으로 돌아갈 것입니다.

이 두 연구에서 일반화 한 표 2.3은 이와 동일한 구조를 가진 다른 연구를 요약합니다. 상시 데이터 소스를 사용하여 임의의 변동의 효과를 측정합니다. 실제로 연구자들은 자연 실험을 발견하기 위해 두 가지 전략을 사용합니다. 두 가지 전략 모두 유익 할 수 있습니다. 일부 연구원은 항상 데이터 소스를 사용하고 세계에서 임의의 이벤트를 찾습니다. 다른 사람들은 세계에서 임의의 이벤트를 시작하고 그 영향을 포착하는 데이터 소스를 찾습니다.

지금까지의 자연 실험에 대한 토론에서 중요한 포인트를 빠뜨린 것입니다. 자연이 제공 한 것에서 원하는 것까지가는 것은 때로는 매우 까다로운 작업 일 수 있습니다. 베트남 초안 예제로 돌아가 보겠습니다. 이 경우, Angrist는 수입에 대한 군 복무의 효과를 추정하는 데 관심이있었습니다. 불행히도 군 복무는 무작위로 배정되지 않았습니다. 오히려 무작위로 배정 된 초안이 작성되었습니다. 그러나, 초안을 작성한 모든 사람이 복역 할 수있는 것은 아니며 (면제가 다양 함), 복역 한 사람 모두가 기안되었다 (사람들이 자원 봉사 할 수 있었다). 초안이 무작위로 지정 되었기 때문에 연구원은 초안에있는 모든 남성에 대해 초안 작성의 효과를 추정 할 수 있습니다. 그러나 Angrist는 드래프트되는 효과를 알고 싶지 않았습니다. 그는 군대에서 봉사하는 효과를 알고 싶었습니다. 그러나이 추정을하기 위해서는 추가적인 가정과 합병증이 필요합니다. 첫째, 연구자들은 영향 수익을 초안하고있는 유일한 방법은 군 복무를 통해, 가정은 제외 제한이라고 가정 할 필요가있다. 예를 들어, 초안을 작성한 사람이 봉사를 피하기 위해 더 오랫동안 학교에 머물렀거나 고용주가 초안을 작성한 사람을 고용 할 가능성이 낮 으면이 가정은 잘못 될 수 있습니다. 일반적으로 제외 제한은 중요한 가정이며 일반적으로 확인할 수 없습니다. 배제 제한이 맞다하더라도, 모든 남성에 대한 서비스의 효과를 추정하는 것은 여전히 ​​불가능합니다. 대신, 연구자들은 (Angrist, Imbens, and Rubin 1996) 때 역할을하지만, 초안 작성되지 않을 때는 섬기지 않는 사람) (Angrist, Imbens, and Rubin 1996) 라고 불리는 남성의 특정 하위 집단에 대한 효과 만 평가할 수 있음이 밝혀졌습니다. 그러나 수용자는 원래 관심 대상이 아니 었습니다. 이러한 문제는 초안 추첨의 비교적 깨끗한 경우에도 발생합니다. 신체적 추첨을 통해 치료법을 배정하지 않으면 합병증이 더욱 발생합니다. 예를 들어, Mas와 Moretti의 계산원 연구에서 동료의 배정이 본질적으로 무작위라는 가정에 대한 추가 질문이 제기됩니다. 이 가정이 강력하게 위반되면 추정치에 편향 될 수 있습니다. 결론적으로, 자연 실험은 실험 데이터가 아닌 데이터로부터 인과 관계 추정을하는 강력한 전략이 될 수 있으며 큰 데이터 소스는 자연스러운 실험이 발생했을 때이를 자본화 할 수있는 능력을 향상시킵니다. 그러나, 아마도 자연이 제공 한 것에서 당신이 원하는 견적으로 갈 때 큰주의 (때로는 강한 가정)가 필요할 것입니다.

비 실험 데이터로 인과 추정을하는 것에 대해 이야기하고 싶은 두 번째 전략은 치료를받지 않은 환자와받지 않은 환자 간의 기존 차이를 설명하기 위해 통계적으로 비 실험 데이터를 조정하는 것에 달려 있습니다. 그러한 조정 방법에는 여러 가지가 있지만, 매칭 이라고 하는 것에 집중할 것입니다. 매칭시, 연구자는 실험적이지 않은 데이터를 통해 치료를받은 환자와 그렇지 않은 환자를 제외하고 유사한 환자 쌍을 만듭니다. 일치 과정에서 연구자는 실제로 또한 가지 치기도합니다 . 즉, 명백한 일치가없는 경우를 버리는 것입니다. 따라서이 방법은 더 정확하게 일치 및 잘라내기를 호출하지만 기존 용어 인 일치를 사용합니다.

대규모가 아닌 실험 데이터 소스와 일치하는 전략의 한 가지 예는 Liran Einav 및 동료 (2015) 소비자 행동에 대한 연구에서 비롯된 것입니다. 그들은 eBay에서 일어나는 경매에 관심이 있었고, 자신의 작업에 대해 설명하면서 경매 시작 가격이 판매 가격이나 판매 확률과 같은 경매 결과에 미치는 영향에 초점을 맞 춥니 다.

시작 가격이 판매 가격에 미치는 영향을 추정하는 가장 순진한 방법은 시작 가격이 다른 경매의 최종 가격을 간단히 계산하는 것입니다. 시작 가격이 주어진 판매 가격을 예측하고 싶다면이 방법을 사용하는 것이 좋습니다. 그러나 귀하의 질문이 시작 가격의 효과에 관한 것이라면 공정한 비교에 근거하지 않기 때문에이 접근법은 효과가 없을 것입니다. 시작 가격이 낮은 경매는 출발 가격이 높은 경매와 매우 다를 수 있습니다 (예 : 상품 유형이 다르거 나 판매자 유형이 다를 수 있음).

실험 데이터가 아닌 것으로 인과 관계 추정을 할 때 발생할 수있는 문제에 대해 이미 알고있는 경우, 순진한 접근법을 건너 뛰고 특정 항목 (예 : 골프 클럽)을 판매 할 현장 실험을 고려해 볼 수 있습니다 경매 매개 변수 집합, 예를 들어 2 주 동안 무료 배송 및 경매가 시작되지만 무작위로 지정된 시작 가격이 적용됩니다. 결과적인 시장 결과를 비교함으로써이 현장 실험은 판매 가격에 대한 시작 가격의 효과를 매우 명확하게 측정 할 수 있습니다. 그러나이 측정은 특정 제품 및 경매 매개 변수 집합에만 적용됩니다. 예를 들어, 다른 유형의 제품에 대한 결과는 다를 수 있습니다. 강한 이론이 없다면,이 단일 실험에서 실행 된 가능한 실험의 전체 범위를 외삽하는 것은 어렵습니다. 또한 현장 실험은 충분히 비싸기 때문에 시도하고 싶은 모든 변형을 실행하는 것은 불가능합니다.

순진하고 실험적인 접근 방식과 달리 Einav와 동료는 세 번째 접근법 인 매칭을 택했습니다. 그들의 전략에서 주요 트릭은 이미 eBay에서 발생한 현장 실험과 유사한 것을 발견하는 것입니다. 예를 들어, 그림 2.8은 Taylormade Burner 09 Driver와 정확히 같은 판매자 인 "budgetgolfer"가 판매 한 똑같은 골프 클럽의 31 개 목록 중 일부를 보여줍니다. 그러나이 31 개의 목록에는 약간 다른 특성이 있습니다 가격, 종료일 및 운송료. 다시 말해, 그것은 마치 "budgetgolfer"가 연구자를위한 실험을 실행하는 것처럼 보인다.

"budgetgolfer"에 의해 판매되는 Taylormade Burner 09 Driver의 이러한 목록은 정확한 동일한 판매자가 정확히 동일한 품목을 판매하지만 약간의 특성이 다를 때마다 일치하는 세트 목록의 한 예입니다. eBay의 거대한 통나무에는 수백만 개의 목록이 포함 된 수십만 개의 일치하는 세트가 있습니다. 따라서 모든 경매의 최종 가격을 주어진 시작 가격과 비교하는 대신 Einav와 동료는 일치하는 세트 내에서 비교했습니다. Einav와 동료들은 수십만 개의 일치하는 세트 내에서 비교 결과를 결합하기 위해 시작 가격과 최종 가격을 각 항목의 참조 가격 (예 : 평균 판매 가격)으로 재 표식했습니다. 예를 들어 Taylormade Burner 09 드라이버의 판매가 기준 $ 100 인 경우 10 달러의 시작 가격은 0.1로 표시되고 120 달러의 최종 가격은 1.2로 표시됩니다.

그림 2.8 : 일치하는 세트의 예. 이것은 똑같은 사람 ( "budgetgolfer")이 판매하는 골프 클럽 (Taylormade Burner 09 Driver)과 똑같은 골프 클럽이지만 이러한 판매 중 일부는 다른 조건 (예 : 다른 시작 가격)으로 수행되었습니다. Einav et al. (2015) 허락을 Einav et al. (2015) 재생산 됨 Einav et al. (2015) , 그림 1b.

Einav와 동료는 경매 결과에 대한 시작가의 효과에 관심이 있었음을 상기하십시오. 첫째, 선형 회귀 분석을 사용하여 시동 가격이 높을수록 판매 확률이 낮아지고 시동 가격이 높을수록 최종 판매 가격이 높아진다 (판매 발생 조건). 선형 관계를 설명하고 모든 제품에 대해 평균화 된 이러한 추정치만으로는 그다지 흥미로운 것은 아닙니다. 그런 다음 Einav와 동료들은 엄청난 크기의 데이터를 사용하여 다양한 미묘한 추정치를 작성했습니다. 예를 들어, 다양한 출발 비용에 대해 개별적으로 효과를 추정함으로써, 출발 가격과 판매 가격 간의 관계가 비선형임을 발견했다 (그림 2.9). 특히, 0.05와 0.85 사이의 가격을 시작하는 경우, 시작 가격은 판매 가격에 거의 영향을 미치지 않으며, 이는 첫 번째 분석에서 완전히 놓친 결과입니다. 또한 Einav와 동료들은 모든 항목을 평균하는 대신 23 가지 범주의 항목 (예 : 애완 동물 용품, 전자 제품 및 스포츠 기념품)에 대한 가격 시작의 영향을 추정했습니다 (그림 2.10). 이 견적에 따르면 기념품과 같이 더 특유한 품목의 경우 판매 가격이 판매 확률에 미치는 영향이 작고 최종 판매 가격에 미치는 영향이 더 큽니다. 또한 DVD와 같은 더 많은 상품화 상품의 경우 시작가는 최종 가격에 거의 영향을 미치지 않습니다. 즉, 23 개의 서로 다른 범주의 항목의 결과를 결합한 평균은 이러한 항목 간의 중요한 차이를 숨 깁니다.

그림 2.9 : 경매 시작 가격과 판매 확률 (a) 및 판매 가격 (b) 간의 관계. 시작 가격과 판매 확률 사이에는 대략 선형 관계가 있지만 시작 가격과 판매 가격 간의 비선형 관계가 있습니다. 0.05와 0.85 사이의 가격을 시작하는 경우 시작 가격은 판매 가격에 거의 영향을 미치지 않습니다. 두 경우 모두 관계는 기본적으로 항목 값과 무관합니다. Einav et al. (2015) ,도 4a 및 4b를 참조한다.

도표 2.10 : 품목의 각 종류에서 견적; 솔리드 점은 함께 모아진 모든 범주의 추정치입니다 (Einav et al. 2015) . 이 견적에 따르면 기념품과 같은 더 특유한 품목의 경우 시작 가격은 판매 확률 ( \(x\) 축)에 더 적은 영향을 미치고 최종 판매 가격 ( \(y\) 에 더 큰 영향을 미칩니다. -중심선). Einav et al. (2015) , 그림 8.

특히 이베이에 대한 경매에 관심이 없더라도 그림 2.9와 그림 2.10은 선형 관계를 설명하고 다양한 카테고리의 항목을 결합하는 간단한 추정보다 eBay를 더 잘 이해할 수있는 방법에 감탄해야합니다. 또한 현장 실험을 통해 이러한 미묘한 추정치를 생성하는 것이 과학적으로 가능할지라도 비용은 그러한 실험을 본질적으로 불가능하게 만듭니다.

자연적 실험과 마찬가지로 일치가 나쁜 예상으로 이어질 수있는 여러 가지 방법이 있습니다. 일치하는 견적에 대한 가장 큰 관심사는 일치하는 항목에 사용되지 않은 항목에 의해 편향 될 수 있다는 것입니다. 예를 들어, Einav와 동료들은 주된 결과에서 판매자 ID 번호, 항목 범주, 항목 제목 및 부제의 4 가지 특성을 정확히 일치 시켰습니다. 일치하지 않는 방식으로 항목이 다른 경우 불공정 비교가 발생할 수 있습니다. 예를 들어, "budgetgolfer"가 Taylormade Burner 09 Driver (골프 클럽이 덜 인기있는 경우)의 가격을 인하하면, 시작 가격이 낮 으면 최종 가격이 낮아질 수 있습니다. 실제 최종 가격은 수요의 계절적 변화. 이 문제를 해결하기위한 한 가지 방법은 다양한 종류의 일치를 시도하는 것입니다. 예를 들어, Einav와 동료들은 매칭에 사용 된 시간 창 (매치 된 세트는 1 년 이내에, 1 개월 이내에 그리고 동시에 판매되는 아이템을 포함)을 변화시키면서 분석을 반복했다. 다행히도 모든 시간대에 대해 비슷한 결과를 발견했습니다. 매칭에 대한 추가 관심사는 해석에서 발생합니다. 일치 검색은 일치하는 데이터에만 적용됩니다. 일치시킬 수없는 경우에는 적용되지 않습니다. 예를 들어, 여러 목록이있는 항목으로 연구를 제한함으로써 Einav와 동료는 전문 및 준 전문가 판매자에 초점을 맞추고 있습니다. 따라서, 이러한 비교를 해석 할 때 우리는 eBay의이 하위 집합에만 적용된다는 것을 기억해야합니다.

매칭은 실험적이지 않은 데이터에서 공정한 비교를 찾는 강력한 전략입니다. 많은 사회 과학자들에게 일치감은 실험에있어 두 번째로 우수하다고 느끼지만, 이는 약간 수정할 수있는 신념입니다. 대용량 데이터의 매칭은 (1) 이질성 효과가 중요하고 (2) 매칭에 필요한 중요한 변수가 측정되었을 때 소수의 현장 실험보다 우수 할 수 있습니다. 표 2.4는 큰 데이터 소스에서 어떻게 매칭을 ​​사용할 수 있는지에 대한 몇 가지 다른 예를 제공합니다.

결론적으로, 비 실험 데이터로부터의 인과 적 영향을 추정하는 것은 어렵지만, 자연적 실험 및 통계적 조정 (예 : 매칭)과 같은 접근법이 사용될 수있다. 일부 상황에서는 이러한 접근법이 잘못 될 수는 있지만, 신중하게 배치하면 이러한 접근법이 제 4 장에서 설명한 실험 접근법을 보완하는 데 유용 할 수 있습니다. 또한이 두 가지 접근법은 특히, 에, 큰 데이터 시스템.