4.3 실험의 두 차원 : 실험실 필드 및 아날로그 - 디지털

실험실 실험 현장 실험은 현실감을 제공하며, 디지털 현장 실험은 규모 컨트롤과 리얼리즘을 결합, 제어를 제공합니다.

실험은 다양한 모양과 크기로 이루어집니다. 과거 연구원들은 실험실 실험 과 현장 실험 사이의 연속체를 따라 실험을 구성하는 것이 도움이된다는 것을 발견했습니다. 그러나 이제 연구자들은 아날로그 실험 과 디지털 실험 의 두 번째 연속체를 따라 실험을 구성해야합니다. 이 2 차원 디자인 공간은 다양한 접근 방식의 장단점을 이해하고 가장 큰 기회를 강조하는 데 도움이됩니다 (그림 4.1).

그림 4.1 : 실험을위한 디자인 공간의 도식. 과거에는 실험이 실험실 차원에서 다양했습니다. 이제는 아날로그 - 디지털 차원에 따라 달라집니다. 이 2 차원 디자인 공간은이 장에서 설명하는 4 가지 실험으로 설명됩니다. 제 생각에 가장 큰 기회는 디지털 필드 실험입니다.

실험을 구성 할 수있는 한 차원은 실험실 필드 차원입니다. 사회 과학의 많은 실험 학부 학생들이 학점을 위해 실험실에서 이상한 작업을 수행하는 실험실 실험입니다. 이 유형의 실험은 연구자가 사회 행동에 대한 특정 이론을 정확하게 분리하고 테스트 할 수 있도록 고도로 통제 된 설정을 만들 수 있기 때문에 심리학 연구를 지배합니다. 그러나 특정 문제의 경우 비정상적인 상황에서 이와 같은 비정상적인 작업을 수행하는 비정상적인 사람들로부터 인간의 행동에 대한 강력한 결론을 내리는 것에 다소 이상한 점이 있습니다. 이러한 우려는 현장 실험을 향한 움직임으로 이어졌다. 현장 실험은보다 자연스러운 환경에서보다 일반적인 작업을 수행하는 대표자 그룹과 무작위 통제 실험의 강력한 디자인을 결합합니다.

어떤 사람들은 실험실과 현장 실험을 경쟁 방법으로 생각하지만, 서로 다른 강점과 약점을 가지고 상호 보완적인 것이라고 생각하는 것이 가장 좋습니다. 예를 들어 Correll, Benard, and Paik (2007) 는 실험실 실험과 야외 실험을 모두 사용하여 "모성 형벌"의 출처를 찾아 냈습니다. 미국에서는 어머니가 자식이없는 여성보다 적은 돈을 벌었습니다. 유사한 일을하는 유사한 기술을 가진 여성을 비교합니다. 이 패턴에는 여러 가지 가능한 설명이 있는데, 그 중 하나는 고용주가 어머니에 대해 편견을 갖고 있다는 것입니다. (흥미롭게도, 그 반대는 아버지에게는 사실 인 것처럼 보입니다. 그들은 육아가없는 남성보다 더 많은 것을 얻는 경향이 있습니다.) 어머니에 대한 편견을 평가하기 위해, Correll과 동료는 두 가지 실험을 수행했습니다. 하나는 실험실에서, 다른 하나는 현장에서 실행되었습니다.

첫째, 실험실 실험에서 그들은 대학 학부생이었던 참가자들에게 회사가 새로운 East Coast 마케팅 부서를 이끌고있는 사람에 대한 고용 조사를 실시하고 있다고 말했다. 학생들은 고용 과정에서 회사의 도움이 필요하다는 말을 듣고 여러 후보자의 이력서를 검토하고 지능, 따뜻함, 일의 약속 등 다양한 차원에서 후보자를 평가해야합니다. 또한, 학생들은 지원자를 추천 할 것인지, 그리고 그들이 첫 월급으로 추천 할 것을 물었습니다. 그러나 학생들에게 알려지지 않았지만, 이력서는 한 가지를 제외하고는 유사하게 구성되었습니다 : 그 중 일부는 모성을 나타 냈고 (학부모 - 교사 협회에 참여를 나열함으로써), 그렇지 않은 학생도있었습니다. 코렐 (Correll)과 동료 연구원은 학생들이 엄마 고용을 추천 할 가능성이 낮았으며 최저 임금을 받았다고 밝혔다. 또한 등급 및 고용 관련 결정에 대한 통계 분석을 통해 Correll과 동료들은 능력과 의무면에서 점수가 낮았다는 사실로 인해 어머니의 불이익이 크게 설명된다는 사실을 발견했습니다. 따라서이 실험실 실험을 통해 Correll과 동료는 인과 관계 영향을 측정하고 그 영향에 대한 가능한 설명을 제공 할 수있었습니다.

물론 풀 타임 직업을 전혀 보지 못한 수백 명의 학부생의 결정을 기반으로 미국의 전체 노동 시장에 대한 결론을 도출하는 것에 회의적 일 수 있습니다. 따라서 Correll과 동료들은 보완적인 현장 실험도 수행했습니다. 그들은 가짜 커버 레터와 이력서로 광고 된 일자리 수백 개에 반응했습니다. 학부생에게 보여지는 자료와 마찬가지로 일부는 모성을 신호로 재개하고 일부는 재개하지 않았습니다. 코렐 (Correll)과 동료 연구자들은 평등 한 자격을 갖춘 아이가없는 여성들보다 어머니들이 인터뷰를 요청할 가능성이 적다는 사실을 발견했다. 즉, 자연 환경에서 결과적 결정을 내리는 실제 고용주는 학부생과 매우 유사하게 행동했습니다. 그들은 같은 이유로 비슷한 결정을 했습니까? 불행히도, 우리는 모른다. 연구원은 고용주에게 후보자를 평가하거나 결정을 설명하도록 요청할 수 없었습니다.

이 실험 쌍은 일반적으로 실험 및 현장 실험에 대해 많은 것을 보여줍니다. 실험실 실험은 참가자가 결정을 내리는 환경을 거의 통제하지 못하게합니다. 예를 들어, 실험실 실험에서 Correll과 동료는 모든 이력서가 조용한 환경에서 읽혔는지 확인할 수있었습니다. 현장 실험에서 이력서 중 일부는 읽지 않았을 수도 있습니다. 또한 실험실 환경의 참가자는 연구 대상임을 알고 있기 때문에 연구원은 참가자가 결정을 내리는 이유를 설명하는 데 도움이되는 추가 데이터를 수집 할 수 있습니다. 예를 들어, Correll과 동료는 실험실 참가자에게 서로 다른 차원에서 후보자를 평가하도록 요청했습니다. 이러한 종류의 프로세스 데이터 는 연구자가 이력서를 어떻게 다루는 지에 차이점이있는 메커니즘을 이해하는 데 도움이 될 수 있습니다.

반면에, 내가 방금 이점으로 묘사 한 이러한 똑같은 특성은 때로는 단점으로 간주됩니다. 현장 실험을 선호하는 연구원은 실험실 실험 참가자가 연구 중이라는 것을 알고 있기 때문에 매우 다르게 행동 할 수 있다고 주장합니다. 예를 들어 실험실 실험에서 참가자는 연구 목표를 추측하고 편향된 것처럼 보이지 않도록 행동을 변경했을 수 있습니다. 또한 현장 실험을 선호하는 연구원은 이력서의 작은 차이점은 매우 깨끗하고 멸균 된 실험실 환경에서만 눈에 띄기 때문에 실험실 실험은 실제 고용 결정에 대한 모성의 영향을 과대 평가할 것이라고 주장 할 수 있습니다. 마지막으로, 현장 실험의 많은 지지자들은 실험실 실험이 WEIRD 참가자들에 의존한다고 비판합니다 : 주로 서구, 교육, 산업화, (Henrich, Heine, and Norenzayan 2010a) 및 민주 국가 (Henrich, Heine, and Norenzayan 2010a) 학생들입니다. Correll과 동료 (2007) 의 실험은 실험실 필드 연속체의 두 극단을 보여줍니다. 이 두 극단 사이에는 학생들이 아닌 학생들을 실험실에 들여다 보거나 현장에 나가기와 같은 접근 방식을 포함 해 다양한 종류의 하이브리드 디자인이 있지만 참가자들에게 이상한 작업을 수행하게합니다.

과거에 존재해온 실험실 차원과 더불어 디지털 시대는 연구자가 이제 실험이 달라질 수있는 두 번째 주요 차원 인 아날로그 - 디지털을 의미합니다. 순수 실험실 실험, 순수 필드 실험 및 그 사이의 다양한 하이브리드가있는 것처럼 순수 아날로그 실험, 순수 디지털 실험 및 다양한 하이브리드가 있습니다. 이 차원의 공식적인 정의를 제공 까다 롭습니다하지만 유용한 작업 정의는 완전히 디지털 실험 참가자를 모집 무작위, 치료를 제공하고, 결과를 측정 할 수있는 디지털 인프라의 활용 실험이 있다는 것입니다. 예를 들어 Restouse와 van de Rijt (2012) 의 Barnstars 및 Wikipedia에 대한 연구는 이러한 모든 4 단계에 디지털 시스템을 사용했기 때문에 완전히 디지털 실험이었습니다. 마찬가지로 완전 아날로그 실험 은이 네 가지 단계 중 하나에서 디지털 인프라를 사용하지 않습니다. 심리학의 고전적 실험의 대부분은 완전히 아날로그 실험입니다. 이 두 극단 사이에는 아날로그 시스템과 디지털 시스템의 조합을 사용하는 부분적 디지털 실험 이 있습니다.

디지털 실험을 생각하는 사람들은 온라인 실험을 즉시 생각합니다. 디지털 실험을 실행할 수있는 기회가 온라인이 아니기 때문에 이는 불행한 일입니다. 연구원은 실제 세계에서 디지털 장치를 사용하여 부분적으로 디지털 실험을 실행하여 치료를 제공하거나 결과를 측정 할 수 있습니다. 예를 들어, 연구원은 결과를 측정하기 위해 스마트 폰을 사용하여 내장 된 환경에서 치료 또는 센서를 제공 할 수 있습니다. 실제로이 장의 뒷부분에서 볼 수 있듯이 연구자들은 가정용 전력 계량기를 이미 사용하여 850 만 가구의 에너지 소비에 관한 실험 결과를 측정했습니다 (Allcott 2015) . 디지털 장치가 사람의 삶에 점점 더 통합되고 센서가 내장 된 환경에 통합되면서 물리적 인 환경에서 부분적으로 디지털 실험을 수행 할 수있는 이러한 기회는 극적으로 증가 할 것입니다. 즉, 디지털 실험은 온라인 실험이 아닙니다.

디지털 시스템은 실험실 필드 연속체를 따라 실험을위한 새로운 가능성을 창출합니다. 예를 들어 순수한 실험실 실험에서 연구원은 참가자의 행동을보다 세밀하게 측정하기 위해 디지털 시스템을 사용할 수 있습니다. 이러한 유형의 개선 된 측정의 한 예는 정확하고 지속적인 시선 위치 측정을 제공하는 안구 추적 장비입니다. 디지털 시대는 실험실 같은 실험을 온라인으로 실행할 가능성을 만듭니다. 예를 들어 연구원은 온라인 실험을 위해 참가자를 모집하기 위해 Amazon Mechanical Turk (MTurk)를 신속하게 채택했습니다 (그림 4.2). MTurk는 완료해야 할 작업이있는 "고용주"와 해당 작업을 완료하고자하는 "근로자"를 찾습니다. 그러나 전통적인 노동 시장과는 달리, 관련된 작업은 일반적으로 완료하는 데 단지 몇 분이 소요되며, 고용주와 근로자 간의 전체 상호 작용은 온라인 상태입니다. MTurk은 전통적인 실험실 실험 (사람들이 무료로하지 않을 작업을 완료하는 데 드는 비용)을 모방하기 때문에 자연스럽게 특정 유형의 실험에 적합합니다. 기본적으로 MTurk는 참가자 모집 및 지불 인력 풀 관리 인프라를 구축했으며 연구원은 해당 인프라를 활용하여 항상 사용 가능한 참가자 풀을 활용했습니다.

그림 4.2 : Amazon Mechanical Turk (MTurk)의 데이터를 사용하여 게시 한 논문. MTurk 및 기타 온라인 노동 시장은 연구자에게 실험 참가자를 모집하는 편리한 방법을 제공합니다. Bohannon (2016) 에서 적응.

디지털 시스템은 현장과 같은 실험을위한 더 많은 가능성을 창출합니다. 특히 연구자는 실험실 실험과 관련된 엄격한 제어 및 프로세스 데이터를 실험실 실험과 관련된 다양한 참여자 및보다 자연스러운 설정과 결합 할 수 있습니다. 또한 디지털 필드 실험은 아날로그 실험에 어려움이있는 세 가지 기회를 제공합니다.

첫째, 대부분의 아날로그 실험 및 현장 실험에는 수백 명의 참가자가 있지만 디지털 필드 실험에는 수백만 명의 참가자가 참여할 수 있습니다. 이러한 규모의 변화는 일부 디지털 실험이 변동 비용이 0 인 데이터를 생성 할 수 있기 때문입니다. 즉, 일단 연구자가 실험 기반 시설을 만들면 일반적으로 참여자 수를 늘리는 것이 비용을 증가시키지 않습니다. 참가자 수를 100 배 이상 늘리는 것은 단지 양적 변화가 아닙니다. 연구자가 실험 (예 : 치료 효과의 이질성)에서 다른 것을 배우고 완전히 다른 실험 디자인 (예 : 대규모 그룹 실험)을 실행할 수 있기 때문에 질적 인 변화입니다. 이 요점은 매우 중요합니다. 디지털 실험을 만들 때 조언을 제공 할 때이 장의 마지막 부분으로 돌아가겠습니다.

둘째, 대부분의 아날로그 실험 및 현장 실험은 참가자를 구분할 수없는 위젯으로 취급하지만 디지털 필드 실험은 종종 연구의 설계 및 분석 단계에서 참가자에 대한 배경 정보를 사용합니다. 전처리 정보 라고하는이 배경 정보는 상시 측정 시스템 (2 장 참조) 위에 실행되기 때문에 종종 디지털 실험에서 사용할 수 있습니다. 예를 들어 페이스 북의 연구원은 대학 현장의 연구원이 아날로그 필드 실험에서 사람들에 대해 가지고있는 것보다 디지털 필드 실험에 참여한 사람들에 대한 사전 처리 정보가 훨씬 많습니다. 이 전처리는 차단 (Higgins, Sävje, and Sekhon 2016) 및 참가자 모집 (Eckles, Kizilcec, and Bakshy 2016) 과 같은보다 효율적인 실험 설계를 가능하게하고 치료 효과의 이질성 평가와 같은보다 통찰력있는 분석을 가능하게합니다 (Athey and Imbens 2016a) 및 개선 된 정밀도를위한 공변량 조정 (Bloniarz et al. 2016) .

셋째, 많은 아날로그 실험 및 현장 실험이 비교적 압축 된 시간 내에 처리 및 결과를 제공하지만 일부 디지털 필드 실험은 훨씬 긴 시간 규모에서 발생합니다. 예를 들어, Restivo와 van de Rijt의 실험 결과는 매일 90 일 동안 측정되었으며, 나중에이 장에서 설명 할 실험 중 하나 (Ferraro, Miranda, and Price 2011) 는 기본적으로 3 년 동안의 결과를 추적했습니다. 비용. 크기, 전처리 정보 및 종 방향 처리 및 결과 데이터의 세 가지 기회는 상시 측정 시스템 위에 실험을 수행 할 때 가장 일반적으로 발생합니다 (상시 측정 시스템에 대한 자세한 내용은 2 장 참조).

디지털 필드 실험은 많은 가능성을 제공하지만, 아날로그 랩과 아날로그 필드 실험의 약점도 공유합니다. 예를 들어, 과거를 연구하는 데 실험을 사용할 수 없으며 조작 할 수있는 치료 효과 만 예상 할 수 있습니다. 또한 실험이 정책을 유도하는 데 의심의 여지없이 유용하지만, 환경 의존성, 준수 문제 및 평형 효과와 같은 복잡성으로 인해 제공 할 수있는 정확한 지침은 다소 제한적입니다 (Banerjee and Duflo 2009; Deaton 2010) . 디지털 필드 실험은 현장 실험에 의해 생성 된 윤리적 우려를 확대합니다.이 장의 뒷부분에서 다루게 될 주제는 6 장입니다.