4.5.2 나만의 실험 만들기

자신의 실험을 구축하는 것은 비용이 많이들 수 있습니다, 그러나 당신이 원하는 실험을 만들 수있게된다.

기존 환경 위에 실험을 오버레이하는 것 외에도 자신 만의 실험을 만들 수도 있습니다. 이 방법의 가장 큰 장점은 제어입니다. 실험을 작성하는 경우 원하는 환경과 치료법을 만들 수 있습니다. 이러한 맞춤식 실험 환경은 자연스럽게 발생하는 환경에서 테스트가 불가능한 이론을 테스트 할 기회를 창출 할 수 있습니다. 자신의 실험을 구축 할 때의 주요 단점은 비용이 많이들 수 있으며 생성 할 수있는 환경이 자연 발생 시스템의 사실성을 갖지 않을 수도 있다는 것입니다. 자신의 실험을 만드는 연구원은 참가자 모집을위한 전략이 있어야합니다. 기존 시스템에서 작업 할 때 연구원은 본질적으로 참가자를 대상으로 실험을 진행합니다. 그러나 연구자가 자체 실험을 할 때 참여자가 필요합니다. 다행스럽게도 Amazon Mechanical Turk (MTurk)와 같은 서비스는 연구자에게 참가자를 실험에 참여시킬 수있는 편리한 방법을 제공 할 수 있습니다.

추상적 이론을 테스트하기 위해 맞춤식 환경의 장점을 보여주는 한 가지 예가 Gregory Huber, Seth Hill 및 Gabriel Lenz (2012) 의 디지털 실험실 실험입니다. 이 실험은 민주적 인 거버넌스의 기능에 대한 실질적인 제한을 탐구한다. 이전의 실제 선거에 대한 비 실험적 연구 결과에 따르면 유권자들은 현직 정치인의 성과를 정확하게 평가할 수 없다고 시사했다. 특히, 유권자들은 다음 세 가지 편견으로 고통받는 것처럼 보입니다. (1) 누적 성과보다는 최근 성과에 초점을 맞추고 있습니다. (2) 수사학, 프레임 및 마케팅으로 조작 할 수 있습니다. (3) 지역 스포츠 팀의 성공 및 날씨와 같은 현 재 성과와 무관 한 사건의 영향을받을 수있다. 그러나 이러한 초기 연구에서, 실제적이고 지저분한 선거에서 일어나는 다른 모든 것들과 이들 요소 중 어느 것도 분리하는 것은 어려웠습니다. 따라서 Huber와 동료들은이 세 가지 가능한 편향을 각각 분리하고 실험적으로 연구하기 위해 매우 단순화 된 투표 환경을 만들었습니다.

아래의 실험 설정을 설명 할 때 매우 인공적으로 들리 겠지만 실제 스타일은 실험실 스타일의 실험에서는 목표가 아닙니다. 오히려 목표는 연구하려고하는 과정을 명확하게 분리하는 것이고, 더 현실주의적인 연구에서는 이러한 단단한 격리가 불가능할 수도 있습니다 (Falk and Heckman 2009) . 또한이 특별한 경우에 연구자들은 유권자가 매우 단순화 된 환경에서 성과를 효과적으로 평가할 수 없다면보다 현실적이고 복잡한 환경에서 유권자가 성과를 평가할 수 없을 것이라고 주장했습니다.

Huber와 동료들은 참가자들을 모집하기 위해 MTurk를 사용했습니다. 참가자가 동의서를 제출하고 간단한 테스트를 통과하면 그녀는 32 라운드 경기에 참가하여 실제 돈으로 변환 될 수있는 토큰을 얻고 있다고 들었습니다. 게임을 시작할 때 각 참가자는 매 라운드마다 무료 토큰을 제공하는 "할당 자"를 할당 받았고 일부 할당자는 다른 것보다 관대하다는 말을 들었습니다. 또한, 각 참가자는 그녀가 할당자를 지킬 기회가 있거나 게임 16 라운드 후에 새로운 할당자가 될 것이라고 말했습니다. Huber와 동료의 연구 목표에 대해 알고있는 것을 감안할 때 할당자는 정부를 대표하며이 선택은 선거를 의미하지만 참가자는 연구의 일반적인 목표를 알지 못했음을 알 수 있습니다. Huber와 동료들은 총 4,000 명의 참가자를 모집하여 약 8 분이 소요되는 작업에 대해 약 1.25 달러를 지불했습니다.

이전 연구의 결과 중 하나는 유권자가 현지 스포츠 팀의 성공과 날씨와 같이 자신이 통제 할 수없는 결과를 얻기 위해 재임자를 보상하고 처벌한다는 점이었습니다. Huber와 동료들은 결정 투표에 참여한 참가자가 순전히 무작위적인 사건의 영향을받을 수 있는지 평가하기 위해 실험 시스템에 추첨을 추가했습니다. 8 라운드 또는 16 라운드 (즉, 할당 자 교체 기회 직전) 참가자는 무작위로 복권에 배치되어 일부는 5,000 포인트, 일부는 0 포인트, 그리고 일부는 5,000 포인트를 잃었습니다. 이 추첨은 정치인의 성과와 무관 한 좋은 소식이나 나쁜 소식을 모방하기위한 것이 었습니다. 추첨 결과가 참가자의 결정에 여전히 영향을 미쳤다는 점을 명시 적으로 언급 했음에도 불구하고 추첨 결과는 참가자의 결정에 계속 영향을 미쳤습니다. 추첨을 통해 혜택을 얻은 참가자들은 할당자를 계속 유지할 가능성이 높았으며,이 결정은 라운드 8 (그림 4.15)에서 일어 났을 때보 다 교체 결정 전 16 라운드에서 추첨이 일어 났을 때 더욱 강력 해졌습니다. Huber와 동료들은 단순한 환경에서도 유권자들이 현명한 결정을 내리는 데 어려움을 겪고 있다고 결론지었습니다. 결과는 유권자의 의사 결정에 대한 미래 연구에 영향을 미쳤습니다 (Healy and Malhotra 2013) . Huber와 동료의 실험에 따르면 MTurk는 매우 특정한 이론을 정확하게 테스트하기 위해 실험실 스타일 실험을 위해 참가자를 모집하는 데 사용될 수 있습니다. 그것은 또한 여러분 자신의 실험 환경을 구축하는 가치를 보여줍니다. 다른 환경에서 어떻게 똑같은 프로세스가 그렇게 깔끔하게 분리 될 수 있었는지 상상하기 어렵습니다.

그림 4.15 : Huber, Hill, and Lenz (2012) . 추첨을 통해 혜택을 얻은 참가자는 할당자를 유지할 확률이 높았으며, 교체 결정 전에 라운드 16 번에서 복권이 일어 났을 때보 다이 효과가 강했습니다. 라운드 8에서 발생한 것보다 더 컸습니다. Huber, Hill, and Lenz (2012) , 그림 5.

실험실과 유사한 실험을하는 것 외에도 연구원은보다 현장과 같은 실험을 할 수 있습니다. 예를 들어, Centola (2010) 는 행동의 확산에 대한 소셜 네트워크 구조의 효과를 연구하기 위해 디지털 필드 실험을 구축했습니다. 그의 연구 질문은 다른 소셜 네트워크 구조를 가졌지 만 구별 할 수없는 인구 집단에 퍼져있는 동일한 행동을 관찰 할 것을 요구했습니다. 이 작업을 수행하는 유일한 방법은 맞춤식 맞춤형 실험을 사용하는 것이 었습니다. 이 경우 Centola는 웹 기반 건강 공동체를 구축했습니다.

Centola는 건강 웹 사이트 광고를 통해 약 1,500 명의 참가자를 모집했습니다. 참가자들이 건강한 라이프 스타일 네트워크 (Healthy Lifestyle Network)라는 온라인 커뮤니티에 도착했을 때 그들은 정보에 입각 한 동의를 제공하고 "건강 친구"로 지정되었습니다. Centola가 이러한 건강 친구를 할당 한 방식 때문에 그는 다른 사회 네트워크 구조를 함께 결합 할 수있었습니다. 다른 그룹. 일부 그룹은 무작위 네트워크 (모든 사람이 동등하게 연결될 수있는 곳)를 갖도록 구성되었으며, 다른 그룹은 클러스터 된 네트워크 (연결이보다 국부적으로 밀집된 곳)로 지어졌습니다. 그런 다음 Centola는 각 네트워크에 새로운 동작을 도입했습니다. 추가 건강 정보가있는 새 웹 사이트에 등록 할 수있는 기회입니다. 누구든지이 새 웹 사이트에 가입 할 때마다 그녀의 모든 건강 친구가이 행동을 알리는 이메일을 받았습니다. Centola는 새로운 웹 사이트에 가입하는이 동작이 클러스터 된 네트워크에서 임의의 네트워크보다 더 빠르고 더 빠르게 확산된다는 사실을 발견했습니다.이 발견은 기존의 일부 이론에 위배됩니다.

전반적으로 자신의 실험을 작성하면 훨씬 더 많은 제어가 가능합니다. 그것은 당신이 공부하고 싶은 것을 고립시킬 최상의 환경을 조성 할 수있게 해줍니다. 방금 설명한 두 실험이 이미 기존 환경에서 어떻게 수행되었는지 상상하기 어렵습니다. 또한 자체 시스템을 구축하면 기존 시스템을 실험 할 때 윤리적 우려가 줄어 듭니다. 그러나 자신 만의 실험을 만들면 실험실 실험에서 겪게되는 많은 문제, 즉 참가자 모집 및 사실주의에 대한 우려가 있습니다. 마지막 단점은 이러한 실험에서 Huber, Hill, and Lenz (2012) 의 투표 연구와 같은 비교적 단순한 환경에서 다양한 범위의 실험을 수행 할 수 있지만 자신 만의 실험을 만드는 것은 많은 비용과 시간이 소요될 수 있다는 것입니다. 비교적 복잡한 환경 (예 : Centola (2010) 의 네트워크 및 감염 연구)에 이르기까지 Centola (2010) 합니다.