4.3 실험의 두 차원 : 실험실 필드 및 아날로그 - 디지털

실험실 실험 현장 실험은 현실감을 제공하며, 디지털 현장 실험은 규모 컨트롤과 리얼리즘을 결합, 제어를 제공합니다.

실험은 다양한 모양과 크기로 왔습니다. 그러나 이러한 차이에도 불구하고, 연구자들은 도움이 실험실 실험과 현장 실험 사이의 연속체를 따라 실험을 구성 할 수 발견했다. 그러나 이제 연구자들은 또한 아날로그 실험과 디지털 실험 사이의 연속체를 따라 실험을 구성해야합니다. 이 2 차원의 디자인 공간은 큰 기회의 영역 (그림 4.1) 장점과 다른 접근 방식의 약점을 이해하고 제시하는 데 도움이됩니다.

그림 4.1 : 실험 설계 공간의 도식. 과거에, 실험은 실험실 필드 사이즈에 따라 변화. 지금, 그들은 또한 아날로그 - 디지털 치수에 따라 다릅니다. 제 생각에는, 가장 큰 기회의 영역은 디지털 분야의 실험이다.

과거에는 연구자가 실험을 구성하는 주요 방법은 실험실 필드 차원을 따라했다. 사회 과학에서의 실험의 대부분은 학부 학생들이 학점을 위해 실험실에서 이상한 작업을 수행하는 실험실 실험입니다. 그것은 사회적 행동에 대한 매우 구체적인 이론을 테스트하기위한 매우 구체적인 치료를 만들기 위해 연구자 수 있기 때문에 실험이 유형의 심리학 연구를 지배하고있다. 특정 문제를 들어, 그러나 무언가는 특이한 설정에서 이러한 특별한 작업을 수행하는 등 특이한 사람들의 인간 행동에 대한 강한 결론을 그리기에 대해 조금 이상한 느낌. 이 문제는 현장 실험을 향한 움직임을 주도하고있다. 필드 실험은 자연 설정에서,보다 일반적인 작업을 수행하는 참가자를보다 잘 나타내는 그룹으로 무작위 통제 실험의 강한 디자인을 결합한다.

어떤 사람들은 방법을 경쟁으로 실험실 및 현장 실험을 생각하지만, 서로 다른 강점과 약점 보완 방법로 생각하는 것이 가장 좋습니다. 예를 들어, Correll, Benard, and Paik (2007) 실험실 실험과의 소스 "어머니 페널티 킥."미국의 경우를 발견하기위한 시도에서 현장 실험을 모두 사용, 어머니는 경우에도 아이가 여자보다 적은 돈을 벌 비슷한 작업에서 작업 비슷한 기술을 가진 비교하는 여자. 가이 패턴에 대한 여러 가지 설명이있다, 하나는 고용주가 어머니에 대해 편향되어 있다는 것입니다. (흥미롭게도, 그 반대가 아버지에 대해 true 것 같다 : 그들은 비교 아이가 남자보다 더 많은 수익을 창출하는 경향이있다). 실험실에서 하나 분야에서 하나의 어머니에 대한 가능한 편견을 평가하기 위해, Correll 연구진은이 실험을 달렸다.

먼저, 실험실 실험에서 Correll와 동료들은 캘리포니아 기반의 시작 통신 회사가 새로운 이스트 코스트 마케팅 부서를 이끌 수있는 사람을위한 취업 검색을 수행 한 것으로, 대학 학부생이었다 참가자를 말했다. 학생들은 회사가 채용 과정에서 그들의 도움을 원하고 여러 후보의 이력서를 검토하고 이러한 작업 그들의 정보, 따뜻함, 그리고 헌신으로 치수의 수에 후보자를 평가했다라고 들었다. 그들은 지원자와 그들이 시작 급여로 추천 채용 추천 할 것입니다 경우 또한, 학생들은했다. 학생들에게 미지 그러나, 이력서 특별히 한 가지를 제외하고 유사하게 구성했다 : 이력서의 일부는 (부모 - 교사 협회의 참여를 나열하여) 어머니를 선언하고 일부는하지 않았다. Correll 학생들이 어머니를 고용하는 것이 좋습니다 덜했고, 그들에게 낮은 시작 급여를 제공하는 것을 발견했다. 또한, 등급 및 고용 관련 의사 결정 모두의 통계적 분석을 통해, Correll는 어머니의 단점이 크게 어머니 능력과 노력의 측면에서 낮은 평가 하였다는 사실에 의해 설명 된 것을 발견했다. 즉, Correll 이러한 특성은 어머니가 불이익을 통과하는 메커니즘입니다 주장한다. 따라서,이 실험실 실험은 인과 효과를 측정하고 그 효과에 대한 가능한 설명을 제공하기 위해 Correll와 동료를 허용했다.

물론, 사람은 아마 말할 것도없고, 풀 타임 일을 없었다 사람을 고용 한 적이 몇 백 학부의 결정에 따라 전체 미국 노동 시장에 대한 결론을 그리기에 대한 회의적인 수 있습니다. 따라서, Correll와 동료들은 또한 보완 현장 실험을 실시했다. 연구진은 가짜 자기 소개서 및 이력서에 전송하여 광고 일자리 수백 반응했다. 학부생에게 표시되는 물질과 마찬가지로, 일부 이력서는 어머니를 선언하고 일부는하지 않았다. Correll와 동료들은 어머니가 동등하게 자격을 갖춘 아이가 여자보다 인터뷰를 다시 호출되는 덜 것으로 나타났다. 즉, 자연 속에서 필연적 의사 결정을 실제 고용주는 많은 학부생처럼 행동했습니다. 그들은 같은 이유로 비슷한 결정을 했습니까? 불행하게도, 우리는 모른다. 연구진은 후보를 평가하거나 의사 결정을 설명하기 위해 고용주에게 문의 할 수 없습니다.

실험이 쌍은 일반적으로 실험실 및 현장 실험에 대해 많은 것을 알 수있다. 실험실 실험은 참가자가 결정을 내릴되는 환경의 총 통제에 가까운 연구자을 제공합니다. 따라서, 예를 들어, 실험실 실험에서, Correll 모든 이력서는 조용한 분위기에서 읽은 것을 확인 할 수 있었다; 현장 실험에서, 이력서의 일부는 읽은하지 않을 수 있습니다. 실험실 설정에서 참가자들이 연구되고 있음을 알고 있기 때문에 또한, 연구자들은 참가자들이 의사 결정을하는 이유를 그들이 이해하는 데 도움이되는 추가 데이터를 수집 할 수 있습니다. 예를 들어, Correll는 다른 차원에서 후보를 평가하기 위해 실험실 실험에서 참가자를 물었다. 프로세스 데이터의 이러한 종류의 연구진은 참가자들이 이력서를 치료하는 방법의 차이 뒤에 메커니즘을 이해하는 데 도움 수 있습니다.

반면에, 난 그냥 장점으로 설명이 동일한 특성은 때때로 단점으로 간주됩니다. 현장 실험을 선호하는 연구자들은 밀접하게 관찰 될 때 실험실 실험에서 참가자가 매우 다르게 행동 할 수 있다고 주장한다. 예를 들어, 실험실에서 실험 참가자들은 연구의 목적을 추측과 편견 나타나지 않도록 자신의 행동을 변경했을 수 있습니다. 또한, 이력서에 그 작은 차이를 주장 할 수있는 현장 실험을 선호하는 연구자는 매우 깨끗하고 무균 실험실 환경에서 눈에 띄는 수있어 실험실 실험은 실제 채용 의사 결정에 어머니의 영향을 과다 추정됩니다. 산업화 교육을 서양,,, 리치에서 주로 학생, 민주 국가 : 마지막으로, 현장 실험의 많은 지지자 이상한 참가자에 실험실 실험 의존 비판 (Henrich, Heine, and Norenzayan 2010) . Correll와 동료에 의해 ​​실험 (2007) 실험실 필드 연속체에있는 두 개의 극단을 보여줍니다. 이 두 극단 사이에서 이러한 실험실로 비 학생을 데려 또는 필드에 갈하지만 여전히 참가자가 특별한 작업을 수행 갖는 등의 방법을 포함하여 하이브리드 다양한 디자인이 있습니다.

아날로그 - 디지털 : 과거에 존재하고 실험실 필드 사이즈 이외에, 디지털 시대 연구자들은 이제 실험 다를 수에 따라 제 2 주 치수를 갖고 있다는 것을 의미한다. 순수 실험실 실험, 순수한 필드 실험 사이에 하이브리드의 다양한 있습니다 것처럼, 순수 아날로그 실험, 순수한 디지털 실험과 하이브리드의 다양한있다. 이 치수의 공식적인 정의를 제공 까다로운이지만 유용한 작업 정의는 완벽한 디지털 실험 참가자를 모집 랜덤, 치료를 제공하고, 결과를 측정하는 디지털 인프라 활용 실험 때문이다. 예를 들어, Restivo 및 밴 드 Rijt의 (2012) 는 다음 단계의 네 디지털 시스템을 사용하기 때문에 barnstars의 연구와 위키 백과는 완전 디지털 실험이었다. 마찬가지로 완전히 아날로그 실험은 이러한 네 단계의 디지털 인프라를 사용하지 않는 실험입니다. 심리학의 고전적인 실험의 대부분은 아날로그 실험이다. 이들 두 극단 사이에 부분적으로 4 단계에 대한 아날로그 및 디지털 시스템들의 조합을 사용하여 디지털 실험있다.

비판적, 기회는 온라인 디지털 실험은하지 실행합니다. 연구자들은 치료를 제공하거나 성과를 측정하기 위해 물리적 세계의 디지털 기기를 이용하여 부분적으로 디지털 실험을 실행할 수 있습니다. 예를 들어, 연구자의 결과를 측정하는 건조 환경에서 치료 또는 센서를 제공하는 스마트 폰을 사용할 수있다. 우리는이 장의 뒷부분에서 살펴 보 겠지만 사실, 연구진은 이미 사회적 규범과 가구의 850 만 관련된 에너지 소비에 대한 실험 결과를 측정하는 홈 파워 미터를 사용했다 (Allcott 2015) . 디지털 기기는 점점 더 사람들의 삶에 통합 될 센서가 내장 된 환경에 통합 될 때, 이러한 기회는 극적으로 증가 할 것이다 물리적 세계에서 부분적으로 디지털 실험을 실행합니다. 즉, 디지털 실험은 실험 온라인 아니다.

디지털 시스템은 어디에서나 실험실 필드 연속체를 따라 실험에 대한 새로운 가능성을 만들 수 있습니다. 순수한 실험실 실험에서, 예를 들어, 연구원들은 참가자들의 행동을 세밀하게 측정을위한 디지털 시스템을 사용할 수있다; 개선 된 이러한 유형의 측정의 일례는 시선의 위치를​​ 정밀하게 연속 측정을 제공 안구 추적 장치이다. 디지털 시대는 온라인 실험실과 같은 실험을 할 수있는 가능성을 만듭니다. 예를 들어, 연구자들은 빠른 속도로 온라인 실험 참가자 (그림 4.2) 모집 아마존 기계 터크 (MTurk)를 채택했다. MTurk는 돈을 위해 그 작업을 완료하려면 "노동자"로 완료해야하는 작업이 "고용주"와 일치합니다. 기존의 노동 시장과는 달리, 그러나, 일반적으로 관련된 작업은 완료하는 데 몇 분 정도를 필요로 고용주와 노동자 사이의 모든 상호 작용은 가상입니다. 전통적인 실험실 실험 지불 사람들의 MTurk 모방 측면은 그들이하지 않을 것입니다 작업을 완료하기 때문에 자유를-자연스럽게 실험의 특정 유형에 적합합니다. 기본적으로 MTurk 참가자-모집의 풀을 관리하고 인간과 연구자들은 참가자의 항상 사용 가능한 풀에 눌러 해당 인프라의 장점을 촬영 한 지불을위한 인프라를 만들었습니다.

그림 4.2 : 논문 아마존 기계 터크 (MTurk)의 데이터를 사용하여 게시 (Bohannon 2016) . MTurk 및 기타 온라인 노동 시장 연구자에게 실험 참가자를 모집 할 수있는 편리한 방법을 제공합니다.

디지털 실험은 현장에서 같은 실험에 대한 더 많은 가능성을 만들 수 있습니다. 디지털 현장 실험 (현장 실험 등) 자연 환경에서 실시간 의사 결정 (실험실 실험 등) 가능한 메커니즘과보다 다양한 참가자를 이해하기 위해 엄격한 제어 및 프로세스 데이터를 제공 할 수 있습니다. 이전 실험 양호한 특성의 조합뿐만 아니라, 디지털 필드 실험 아날로그 실험과 필드 실험 어려웠다 세 기회를 제공한다.

대부분의 아날로그 실험실 및 현장 실험 참가자의 수백 반면 첫째, 디지털 현장 실험 참가자의 수백만을 가질 수 있습니다. 일부 디지털 실험은 제로 가변 비용으로 데이터를 생성 할 수 있기 때문에 규모의 변화이다. 연구원들은 일반적으로 비용이 증가하지 않는 참가자의 수를 증가 실험 인프라를 만든 후에 즉,이다. 100 배 이상 참가자 수의 증가는 단지 정량적 변화없는 것이 실험 (예, 치료 효과의 이질성) 및 (완전히 다른 실험 설계를 실행에서 다른 것을 알아 연구자 수 있기 때문에, 그것은 질적 변화이며 예를 들어, 큰 그룹의 실험). 나는 디지털 실험을 만드는 방법에 대한 조언을 제공 할 때이 점은 매우 중요하다, 나는 장의 끝쪽으로로 돌아갑니다.

대부분의 아날로그 실험과 필드 실험 참가자를 처리하는 반면 제로서 구별 위젯은 디지털 필드 실험들은 연구의 설계 및 해석 단계에서 참가자들에 대한 배경 정보를 사용한다. 그들은 완벽하게 측정 환경에서 일어날 때문에 전처리 정보라고이 배경 정보는 디지털 실험에서 종종 볼 수 있습니다. 예를 들어, 페이스 북 연구원은 학부와 표준 실험실 실험을 설계 연구원보다 훨씬 더 많은 전처리 정보가 있습니다. 이 전처리 정보는 참가자들에게로 구별 위젯을 치료 넘어 연구자 수 있습니다. 보다 구체적으로는, 전처리 정보 차단으로보다 효율적인 실험 등의 디자인을 사용할 수 있도록 (Higgins, Sävje, and Sekhon 2016) 참가자의 대상 모집 (Eckles, Kizilcec, and Bakshy 2016) - 그리고 더 많은 통찰력있는 분석-이러한 이질성의 평가 등을 치료 효과 (Athey and Imbens 2016a) 및 개선 된 정밀 공변량 조정 (Bloniarz et al. 2016) .

많은 아날로그 실험과 필드 실험 시간의 비교적 압축 량으로 치료 및 측정 결과를 제공하는 반면, 세번째, 일부 디지털 필드 실험은 시간에 전달 될 수 있고, 효과가 시간에 따라 측정 될 수있는 치료를 포함한다. 예를 들어, Restivo 및 밴 드 Rijt의 실험은 90 일 매일 측정 한 결과를 가지고 있으며, 실험 중 하나가 나는 약 나중에 장의 말씀 드리죠 (Ferraro, Miranda, and Price 2011) 없이 기본적에서 3 년 동안의 결과를 추적 비용. 이 세 가지 기회 크기, 전처리 정보, 종 치료 및 결과 실험의 상단에 실행할 때 가장 일반적인 데이터-이다 상시 측정 시스템 (상시 측정 시스템에 대한 자세한 내용은 제 2 장 참조).

디지털 필드 실험은 많은 가능성을 제공하지만, 그들은 또한 아날로그 실험실 및 현장 실험 모두 몇 가지 약점을 공유 할 수 있습니다. 예를 들어, 과거의 실험 연구하는데 사용될 수 없으며 만 조작 할 수있는 치료 효과를 추정 할 수있다. 실험은 의심 할 여지없이 정책을 안내하는 데 유용 있지만 또한, 그들이 제공 할 수있는 정확한 지침 때문에 이러한 환경 의존, 규정 준수 문제, 평형 효과 등의 합병증 다소 제한 (Banerjee and Duflo 2009; Deaton 2010) . 마지막으로, 디지털 필드 실험 필드 실험에 의해 작성된, 윤리적 문제를 확대. 현장 실험의 지지자들은 겸손하고 무작위로 수백만의 사람들에 의해 만들어진 결과적인 의사 결정에 개입 할 수있는 능력을 트럼펫. 이러한 기능은 특정 과학적인 장점을 제공하지만, 그들은 또한 (연구자들이 대규모로 "실험실의 쥐"같은 사람을 치료로 생각) 필드 실험은 윤리적으로 복잡 할 수 있습니다. 또한, 참가자들에게 가능한 피해뿐만 아니라, 디지털 현장 실험, 때문에 규모의, 사회적 시스템을 작업의 중단에 대한 우려를 제기 할 수 있습니다 (예를 들어, Restivo과 반 데르 Rijt 너무 많은 barnstars을 준 경우 위키 백과의 보상 시스템을 혼란에 대한 우려) .