4.4 간단한 실험을 넘어 이동

간단한 실험을 넘어서자. 세 가지 개념, 즉 유효성, 치료 효과의 이질성, 메커니즘 등 풍부한 실험에 유용합니다.

실험을 처음하는 연구원은 매우 구체적이고 협소 한 질문에 집중합니다.이 치료가 효과가 있습니까? 예를 들어, 자원 봉사자의 전화 통화로 누군가 투표하도록 권유합니까? 웹 사이트 버튼을 파란색에서 녹색으로 변경하면 클릭률이 증가합니까? 불행하게도, "효과가있는"것에 대한 느슨한 표현은 좁게 초점을 맞춘 실험이 치료가 일반적인 의미로 "효과가 있는지"를 말해주지 않는다는 사실을 모호하게 만듭니다. 오히려 집중적으로 집중된 실험은 훨씬 더 구체적인 질문에 대답합니다. 현재이 참가자 집단에 대한이 특정 구현에 대한이 특정 치료의 평균 효과는 무엇입니까? 나는이 좁은 질문에 초점을 맞춘 실험을 간단한 실험으로 부를 것이다.

간단한 실험은 가치있는 정보를 제공 할 수 있지만, 효과가 더 크거나 작은 사람들이 있는지와 같이 중요하고 흥미로운 많은 질문에 답하지 못합니다. 더 효과적인 치료법이 있는지 여부; 이 실험이 더 넓은 사회적 이론과 관련이 있는지 여부.

간단한 실험을 뛰어 넘는 가치를 보여주기 위해 P. Wesley Schultz와 그의 동료들이 사회 규범과 에너지 소비 사이의 관계에 대한 아날로그 현장 실험을 고려해 보자 (Schultz et al. 2007) . Schultz와 동료들은 캘리포니아 주 샌 마르코스에있는 300 세대의 가구에 문을 닫았으며 이러한 문란 거는 에너지 절약을 장려하는 다양한 메시지를 전달했습니다. 그런 다음 Schultz와 동료 연구원은 1 주일 후와 3 주 후에 전력 소비에 대한 이러한 메시지의 영향을 측정했습니다. 실험 설계에 대한 더 자세한 설명은 그림 4.3을 참조하십시오.

그림 4.3 : Schultz et al. (2007) . 현장 실험은 8 주 동안 캘리포니아 주 샌 마르코스에서 약 300 가구를 방문하는 것과 관련이 있습니다. 매번 방문했을 때, 연구자들은 수동으로 집의 파워 미터에서 수치를 읽었습니다. 두 차례의 방문에서 그들은 가정의 에너지 사용에 대한 정보를 제공하는 현관 문을 각 집에 배치했습니다. 연구 질문은이 메시지의 내용이 에너지 사용에 어떻게 영향을 미치는지에 관한 것이 었습니다.

실험에는 두 가지 조건이 있습니다. 첫째, 일반 가정에서는 에너지 절약 팁 (예 : 에어컨 대신 팬 사용)과 에너지 사용량에 대한 정보를 이웃 지역의 평균 에너지 사용량과 비교했습니다. Schultz와 동료들은 이웃에서의 에너지 사용에 대한 정보가 전형적인 행동 (즉, 설명적인 규범)에 대한 정보를 제공했기 때문에 설명 적 규범 조건이라고 불렀다. 슐츠 (Schultz)와 동료 연구자들은이 그룹에서 결과로 얻은 에너지 사용량을 살펴보면 단기간 또는 장기간 효과가없는 것으로 나타났습니다. 다시 말해서 치료가 "효과가있는 것 같지 않다"(그림 4.4).

다행히도 Schultz와 동료들은이 단순한 분석을 해결하지 못했습니다. 실험이 시작되기 전에 평균 이상의 사람들이 소비를 줄이거 나 전기를 많이 쓰지 않는 사람들이 실제로 소비량을 늘릴 수 있다고 생각했습니다. 그들이 데이터를 볼 때, 정확히 그들이 발견 한 것입니다 (그림 4.4). 따라서 효과가없는 치료법처럼 보였던 것은 실제로 두 가지 상쇄 효과가있는 치료법이었습니다. 가벼운 사용자들 사이의 이러한 비생산적인 증가는 부메랑 효과 의 한 예이며 치료가 의도 한 것과 반대 효과를 나타낼 수 있습니다.

그림 4.4 : Schultz et al. (2007) . 패널 (a)는 설명 적 규범 치료가 평균 제로 평균 치료 효과를 가지고 있음을 보여준다. 그러나 패널 (b)는이 평균 치료 효과가 실제로 두 가지 상쇄 효과로 구성되어 있음을 보여줍니다. 무거운 사용자의 경우 치료 사용이 줄어들었지만 경 사용자의 경우 치료 사용이 증가했습니다. 마지막으로, 패널 (c)는 설명 적 및 간접적 인 규범을 사용하는 두 번째 처리가 중량 사용자에 대해 대략 동일한 효과를 가졌지 만 가벼운 사용자에 대한 부메랑 효과를 완화 함을 보여줍니다. Schultz et al. (2007) .

첫 번째 조건과 동시에 Schultz와 동료도 두 번째 조건을 수행했습니다. 두 번째 조건의 가구는 똑같은 치료 - 일반 에너지 절약 요령과 그들의 가족의 에너지 사용에 대한 정보를 이웃에 대한 평균과 비교하여 - 한 가지 작은 추가로 받았다 : 평균 이하의 소비를 가진 사람들을 위해, ) 그리고 평균 이상의 소비를 가진 사람들은 연구자가 금지 표준 이라고 불렀던 것을 유발하도록 설계되었다. 관습적인 규범은 일반적으로 승인되는 (그리고 승인되지 않은) 것에 대한 인식을 말하는 반면 설명 적 규범은 일반적으로 행해지는 것 (Reno, Cialdini, and Kallgren 1993) .

이 작은 이모티콘을 추가함으로써 연구원들은 부메랑 효과를 극적으로 줄였습니다 (그림 4.4). 따라서 추상적 인 사회 심리학 이론 (Cialdini, Kallgren, and Reno 1991) 의해 동기가 된이 간단한 변화를 연구함으로써 연구자들은 일하는 것으로 보이지 않는 프로그램을 전환시킬 수 있었고, 동시에, 그들은 사회 규범이 인간 행동에 어떻게 영향을 미치는지에 대한 일반적인 이해에 기여할 수있었습니다.

그러나이 시점에서이 실험에 대해 조금 다른 점을 발견 할 수 있습니다. 특히, Schultz와 동료의 실험에는 무작위 통제 실험과 같은 방식으로 제어 그룹이 실제로 존재하지 않습니다. 이 디자인과 Restivo 및 van de Rijt의 디자인을 비교하면 두 가지 주요 실험 디자인의 차이점을 알 수 있습니다. Restivo와 van de Rijt와 같은 피험자 간 디자인 에는 치료 그룹과 대조 그룹이 있습니다. 반면에 피험자 내 설계에서 , 참가자의 행동은 치료 전과 후에 비교된다 (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . 피험자 내 실험에서는 마치 각 참가자가 자신의 통제 그룹으로 활동하는 것처럼 보인다. 피험자 간 디자인의 강점은 피험자 내 실험의 강도가 견적의 정확도가 증가하는 반면에 (앞에서 설명했듯이) 혼동에 대한 보호를 제공한다는 것입니다. 마지막으로, 디지털 실험 설계에 대한 조언을 제공 할 때 나중에 나타날 아이디어를 예시하기 위해 _ 혼합 된 디자인 _은 피사체 내 설계의 향상된 정밀도와 피사체 간의 설계를 혼동하지 못하도록 보호합니다 (그림 4.5).

그림 4.5 : 세 가지 실험 설계. 표준 무작위 통제 실험 은 피험자 간 디자인을 사용합니다. 피험자 간 디자인의 한 예가 Restivo와 van de Rijt (2012) 의 Barnstars 실험과 Wikipedia에 대한 기여입니다. 연구원은 참가자를 치료 그룹과 통제 그룹으로 무작위로 나누고, 치료 그룹 참가자에게 헛간을주고, 두 그룹. 두 번째 유형의 디자인은 피사체 내 디자인입니다. Schultz와 동료 연구 (2007) 사회적 규범과 에너지 사용에 대한 두 가지 실험은 피험자 내 설계를 보여줍니다. 연구원은 치료 전과 후에 참가자의 전기 사용을 비교했습니다. 피험자 내 설계는 향상된 통계적 정확성을 제공하지만 가능한 전 (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) (예 : 전처리 및 치료 기간 사이의 날씨 변화)에 (Greenwald 1976; Charness, Gneezy, and Kuhn 2012) . 피사체 내 설계는 반복 측정 설계라고도합니다. 마지막으로 혼합 된 디자인 은 피사체 내 디자인 의 향상된 정밀도와 피사체 간의 디자인을 혼동하는 것을 방지합니다. 혼합 된 디자인에서 연구원은 치료 그룹과 대조군 그룹의 결과 변화를 비교합니다. 많은 디지털 실험 에서처럼 연구자가 전처리 정보를 이미 보유하고있는 경우, 일반적으로 혼합 디자인은 예상 정확도가 향상되기 때문에 피사체 간의 디자인보다 바람직합니다.

전반적으로 슐츠 (2007) Schultz)와 동료 (2007) 의 연구 결과와 설계는 간단한 실험을 넘어서는 가치를 보여줍니다. 다행히도 이와 같은 실험을 설계 할 때 창의적인 천재 일 필요는 없습니다. 사회 과학자들은 (1) 타당성, (2) 치료 효과의 이질성, (3) 메커니즘과 같은보다 풍부한 실험으로 당신을 인도 할 3 가지 개념을 개발했습니다. 즉, 실험을 설계하는 동안이 세 가지 아이디어를 염두에두면 자연스럽게보다 재미 있고 유용한 실험을 만들 수 있습니다. 이 세 가지 개념을 실증적으로 설명하기 위해 Schultz와 동료 (2007) 의 우아한 디자인과 흥미 진진한 결과를 바탕으로 한 부분적으로 디지털 필드 실험을 여러 차례 설명합니다. 보다 세심한 설계, 구현, 분석 및 해석을 통해 알 수 있듯이 간단한 실험을 넘어 설 수 있습니다.