활동

• 어려움의 정도 : 쉬운 , 중간 , 열심히 , 열심히
• 수학이 필요하다. )
• 코딩이 필요함 ( )
• 데이터 수집 ( )
• 내가 좋아하는 것들 ( )

1. [ , ] Berinsky와 동료 (2012) 는 세 가지 고전적 실험을 복제하여 MTurk를 부분적으로 평가했습니다. Tversky and Kahneman (1981) 의 고전적 아시아 질병 틀 실험을 Tversky and Kahneman (1981) . Tversky와 Kahneman의 결과가 일치합니까? 결과가 Berinsky와 동료들과 일치합니까? 무엇이 있다면 - 이것은 MTurk를 측량 실험에 사용하는 것에 관해 우리에게 가르쳐 주는가?

2. [ , ] Schultz et al. (2007) 의 저자 중 한 사람인 사회 심리학자 인 로버트시 알디니 (Robert Cialdini)는 "우리는 해체해야한다 Schultz et al. (2007) 은 교수로서 일찍 퇴임했다. 부분적으로 실험실 실험 (Cialdini 2009) 을 주로 수행하는 분야 (심리학)에서 현장 실험을하기 때문에 어려움을 겪었다. Cialdini의 논문을 읽고 디지털 실험의 가능성에 비추어 자신의 해체를 재고 할 것을 촉구하는 이메일을 그에게 씁니다. 그의 관심사를 다루는 구체적인 연구 사례를 사용하십시오.

3. [ 작은 초기 성공 여부를 확인하기 위해 van de Rijt와 동료 (2014) 는 무작위로 선택한 참가자에게 성공을 부여하는 4 가지 시스템에 개입 한 다음이 임의적 성공의 장기적인 영향을 측정했습니다. 비슷한 실험을 할 수있는 다른 시스템을 생각해 볼 수 있습니까? 이러한 시스템을 과학적 가치, 알고리즘 혼란 (2 장 참조) 및 윤리 문제로 평가하십시오.

4. [ , ] 실험 결과는 참가자에 따라 다를 수 있습니다. 실험을 생성하고 두 가지 다른 채용 전략을 사용하여 MTurk에서 실행하십시오. 결과가 가능한 한 다를 수 있도록 실험 및 채용 전략을 선택하십시오. 예를 들어, 모집 전략은 아침과 저녁 참가자를 모집하거나 고 / 저 임금을받는 참가자를 보충하는 것입니다. 채용 전략의 이러한 종류의 차이는 참가자의 다른 수영장 및 다른 실험 결과로 이어질 수 있습니다. 결과가 어떻게 달라졌습니까? MTurk에 대한 실험을 실행하는 방법은 무엇입니까?

5. [ , , ] 당신이 감정적 인 감염 실험을 계획하고 있다고 상상해보십시오 (Kramer, Guillory, and Hancock 2014) . 각 조건의 참가자 수를 결정하기 위해 Kramer (2012) 의 이전 관측 연구 결과를 사용하십시오. 이 두 연구는 완벽하게 일치하지 않으므로 작성한 모든 가정을 명시해야합니다.

   1. \(\alpha = 0.05\) 및 \(1 - \beta = 0.8\) 하여 Kramer (2012) 의 효과만큼 큰 효과를 감지하는 데 필요한 참가자 수를 결정하는 시뮬레이션을 실행합니다.
   2. 분석적으로 같은 계산을하십시오.
   3. Kramer (2012) 의 결과를 감안할 때 감정적 인 감염 (Kramer, Guillory, and Hancock 2014) (즉, 필요 이상으로 참가자가 많았습니까).
   4. 귀하의 계산에 가장 큰 영향을 미치는 귀하가 만든 가정 중 무엇입니까?

6. [ , , ] 이전 질문에 다시 답하십시오. 그러나 Kramer (2012) 의 초기 관측 연구를 사용하는 대신 이번에는 Lorenzo Coviello et al. (2014) 초기 자연 실험 결과를 사용하십시오 Lorenzo Coviello et al. (2014) .

7. [ Margetts et al. (2011) 및 van de Rijt et al. (2014) 는 청원서에 서명하는 사람들의 과정을 연구하는 실험을 수행했습니다. 이 연구의 설계와 연구 결과를 비교하고 대조하십시오.

8. [ ] Dwyer, Maki, and Rothman (2015) 은 사회적 규범과 환경 친화적 행동 사이의 관계에 관한 두 가지 실험을 실시했다. 여기에 그들의 논문 초록이 있습니다 :

   "환경 친화적 인 행동을 장려하기 위해 어떻게 심리학 적 과학이 활용 될 수 있을까? 두 연구에서 공중 화장실에서 에너지 보존 행동을 촉진하기위한 개입은 설명 적 규범과 개인적 책임의 영향을 조사했습니다. 연구 1에서는 어떤 사람이 비어있는 공중 화장실에 들어가기 전에 조명 상태 (예 : 켜기 또는 끄기)를 조작하여 해당 설정에 대한 설명적인 표준을 알 렸습니다. 참가자들은 입장 할 때 조명을 끄는 경향이 훨씬 컸습니다. 연구 2에서는 빛을 끄는 규범이 동맹국에 의해 증명 된 추가 조건이 포함되었지만 참여자는 스스로를 켜는 책임이 없었다. 개인적인 책임은 행동에 대한 사회적 규범의 영향을 완화시켰다. 참가자들이 빛을 켜야 할 책임이 없을 때, 규범의 영향력은 줄어들었다. 이 결과는 어떻게 기술적 인 규범과 개인적인 책임이 환경 친화적 인 개입의 효율성을 조절할 수 있는지를 보여줍니다. "

   논문을 읽고 스터디 1의 복제물을 디자인하십시오.

9. [ , ] 이전 질문을 바탕으로 이제 디자인을 수행하십시오.

   1. 결과는 어떻게 비교됩니까?
   2. 이러한 차이점을 설명 할 수있는 것은 무엇입니까?

10. [ ] MTurk에서 모집 한 참가자를 대상으로 한 실험에 관해서는 상당한 논쟁이있었습니다. 병행하여, 학부생 집단에서 모집 한 참가자를 대상으로 한 실험에 관해 상당한 논쟁이있었습니다. 연구 참여자로서 투르크 인과 학부생을 비교하고 대조하는 2 쪽짜리 메모를 씁니다. 귀하의 비교에는 과학적 및 논리적 문제에 대한 토론이 포함되어야합니다.

11. [ ] 짐 만지 (Jim Manzi)의 Uncontrolled (2012) Uncontrolled (2012) 책 (2012) 은 사업 실험의 힘을 훌륭하게 소개합니다. 이 책에서 그는 다음과 같은 이야기를 들려 주었다.

    "나는 한때 실험의 힘에 대해 깊이 있고 직관적으로 과소 평가 한 진정한 비즈니스 천재, 자수성 억만 장자와 만남을 가졌습니다. 그의 회사는 재래식 지혜가 말했듯이 소비자를 끌어 들이고 판매량을 늘릴 수있는 훌륭한 매장 창 디스플레이를 만들기 위해 상당한 자원을 소비했습니다. 전문가들은 디자인 후에 디자인을 신중하게 테스트했으며, 수년간의 개별 테스트 검토 세션에서 각 새로운 디스플레이 디자인이 매출에 미치는 중요한 인과 관계를 보여주지 않았습니다. 수석 마케팅 및 머천다이징 임원들은 CEO와 만나 이러한 역사적 테스트 결과를 전체적으로 검토했습니다. 모든 실험 데이터를 발표 한 후 창문 디스플레이가 판매를 유도하지 않는다는 기존의 지혜가 잘못되었다고 결론지었습니다. 그들의 권장 조치는이 분야의 비용과 노력을 줄이는 것이 었습니다. 이것은 실험이 전통적인 지혜를 뒤집을 수 있음을 극적으로 보여주었습니다. CEO의 반응은 간단했습니다. '내 결론은 디자이너가별로 좋지 않다는 것입니다.' 그의 솔루션은 상점 디스플레이 디자인에 대한 노력을 증진시키고 새로운 사람들로 하여금 그렇게하도록 유도하는 것이 었습니다. " (Manzi 2012, 158–9)

    CEO의 관심사는 어떤 유형의 타당성입니까?

12. [ ] 이전 질문을 바탕으로 실험 결과가 논의 된 회의에 있다고 상상해보십시오. 당신이 물을 수있는 4 가지 질문 - 각 유형의 타당성 (통계, 구조, 내부 및 외부)에 대해 하나는 무엇입니까?

13. [ Bernedo, Ferraro, and Price (2014) 는 Ferraro, Miranda, and Price (2011) 에서 설명한 물 절약 개입의 7 년 효과를 연구했다 (그림 4.11 참조). 이 보고서에서 베르네도 (Bernedo)와 동료들은 치료가 시행 된 이후에 이동하지 않은 가정의 행동을 비교함으로써 그 효과의 배경을 이해하려고 노력했습니다. 즉, 대충, 그들은 치료가 집이나 집주인에게 영향을 미치는지 보려고했습니다.

    1. 논문을 읽고 디자인을 설명하고 결과를 요약하십시오.
    2. 그들의 연구 결과가 유사한 개입의 비용 효율성을 평가하는 방법에 영향을 미칩니 까? 그렇다면 왜? 그렇지 않다면 왜 안 되겠습니까?

14. [ ] Schultz et al. (2007) Schultz)와 동료들은 두 가지 상황 (호텔과 시분할 콘도)에서 다른 환경 적 행동 (수건 재사용)에 대한 설명 적 및 금지 기준의 효과에 관한 세 번의 실험을 수행했다 (Schultz, Khazian, and Zaleski 2008) .

    1. 이 세 가지 실험의 설계와 결과를 요약하십시오.
    2. 어떻게하면 Schultz et al. (2007) 해석을 어떻게 바꿀 수 있습니까 Schultz et al. (2007) ?

15. [ ] Schultz et al. (2007) 대한 응답으로 Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) 는 일련의 실험실 실험을 실시하여 전기 요금 청구서의 설계를 연구했습니다. 다음은 추상으로 설명하는 방법입니다.

    설문 조사에 기반한 실험에서 각 참여자는 (a) 역사적 사용, (b) 이웃과의 비교, (c) 기기 고장에 대한 과거 사용에 대한 정보를 다루는 상대적으로 높은 전기 사용량을 가진 가정에 대한 가상의 전기 요금을 보았다. 참가자는 (a) 표, (b) 막대 그래프 및 (c) 아이콘 그래프를 포함한 세 가지 형식 중 하나로 정보 유형을 보았습니다. 우리는 세 가지 주요 결과에 대해보고합니다. 첫째, 테이블이 단순한 포인트 독서를 용이하게하기 때문에, 소비자가 전기 사용 정보의 각 유형을 테이블에서 가장 많이 이해할 수있었습니다. 둘째, 전기를 절약하기위한 환경 설정 및 의도는 형식과 관계없이 역사적인 사용 정보에 대해 가장 강력했습니다. 셋째, 에너지 이해력이 낮은 사람들은 모든 정보를 덜 이해할 수있었습니다. "

    다른 후속 연구와 달리 Canfield, Bruin, and Wong-Parodi (2016) 의 주요 결과는 실제 행동이 아니라 행동으로보고됩니다. 에너지 절약을 촉진하는 광범위한 연구 프로그램에서 이러한 유형의 연구의 강점과 약점은 무엇입니까?

16. [ , Smith and Pell (2003) 은 낙하산의 효과를 보여주는 연구에 대한 풍자적 메타 분석을 발표했다. 그들은 결론을 내렸다.

    "건강을 예방하기위한 많은 개입과 마찬가지로, 낙하산의 효과는 무작위 통제 시험을 사용하여 엄격한 평가를받지 못했습니다. 증거 기반 의학의 옹호론자들은 관측 자료만을 사용하여 평가 한 중재의 채택을 비난했다. 우리는 증거 기반 의학의 가장 급진적 인 주창자들이 이중 맹검, 무작위, 위약 통제, 낙하산의 교차 시험에서 조직되고 참여했다면 모두가 이익을 얻을 것이라고 생각한다 "고 말했다.

    뉴욕 타임즈 와 같은 일반 독자층 신문에 적합한 실험적 증거를 실험적 증거의 물신에 대한 논쟁으로 작성하십시오. 구체적이고 구체적인 예를 제공하십시오. 힌트 : Deaton (2010) 과 Bothwell et al. (2016) .

17. [ , , ] 치료 효과의 차이 차이 산정 값은 평균 차이 추정 값보다 정확할 수 있습니다. 온라인 실험을 실행하기위한 차이점 접근 방식의 가치를 설명하는 초기 소셜 미디어 회사의 A / B 테스트를 담당하는 엔지니어에게 메모를 작성합니다. 이 메모에는 문제에 대한 진술, 차이 차이 측정 도구가 평균 차이 계산 도구보다 우수한 조건에 대한 몇 가지 직관 및 간단한 시뮬레이션 연구가 포함되어야합니다.

18. [ , ] 하버드 비즈니스 스쿨 (Harvard Business School)의 교수였던 게리 러브 먼 (Gary Loveman)은 세계 최대 카지노 회사 인 Harrah 's의 CEO가되었습니다. 그가 Harrah 's로 이사했을 때 Loveman은 고객 행동에 관한 엄청난 양의 데이터를 수집하는 상용 고객 우대 프로그램으로 회사를 변화 시켰습니다. 이 상시 계측 시스템 위에 회사는 실험을 시작했습니다. 예를 들어 특정 도박 패턴을 가진 고객에게 무료 호텔 숙박권 쿠폰의 효과를 평가하기위한 실험을 실행할 수 있습니다. 러브먼이 Harrah의 일상 업무 관행에 대한 실험의 중요성을 설명하는 방법은 다음과 같습니다.

    "당신이 여자를 괴롭히지 않고 도둑질을하지 않고 통제 집단을 확보해야하는 것과 같습니다. 이것은 통제 그룹을 운영하지 않는 Harrah 's에서 직장을 잃을 수있는 일 중 하나입니다. " (Manzi 2012, 146)

    신입 사원에게 왜 Loveman이 통제 그룹을 갖는 것이 중요하다고 생각하는지 설명하는 이메일을 작성하십시오. 당신은 당신의 요점을 설명하기 위해 실재 또는 구성 된 모범을 포함시켜야합니다.

19. [ , ] 새로운 실험은 백신 섭취에 대한 문자 메시지 알림 수신의 효과를 평가하는 것을 목표로합니다. 각 600 명의 자격이있는 환자가있는 150 개의 진료소가 기꺼이 참여할 것입니다. 함께 일하기를 원하는 클리닉마다 $ 100의 고정 비용이 있으며, 보내려는 각 문자 메시지 당 $ 1의 비용이 듭니다. 또한, 귀하가 함께 일하는 클리닉은 결과 (누군가가 예방 접종을 받았는지 여부)를 무료로 측정합니다. $ 1,000의 예산이 있다고 가정하십시오.

    1. 적은 수의 진료소에 어떤 자원을 집중시키는 것이 어떤 조건에서 도움이 될 수 있으며 어떤 조건 하에서 더 넓게 퍼뜨리는 것이 더 좋을 수 있습니까?
    2. 예산으로 확실하게 감지 할 수있는 가장 작은 효과 크기를 결정 짓는 요인은 무엇입니까?
    3. 이러한 장단점을 잠재 고객에게 설명하는 메모를 작성하십시오.

20. [ , ] 온라인 코스의 주요 문제점은 탈락입니다. 코스를 시작하는 많은 학생들은 결국 퇴학을 당합니다. 온라인 학습 플랫폼에서 일하고 있고 플랫폼의 디자이너가 학생들이 코스를 벗어나지 못하도록 막는 시각적 인 진행 바를 만들었다 고 상상해보십시오. 대규모 계산 사회 과학 과정에서 학생들에게 진행률 표시 줄의 효과를 테스트하려고합니다. 실험에서 발생할 수있는 윤리적 문제를 해결 한 후에는 진행률 표시 줄의 효과를 안정적으로 감지 할 수있는 학생이 충분하지 않을 수도 있습니다. 다음 계산에서 학생의 절반이 진행률 막대를 받고 절반은받지 못한다고 가정 할 수 있습니다. 또한 간섭이 없다고 가정 할 수 있습니다. 즉, 참가자는 치료 또는 통제를 받았는지 여부 만 영향을받는다고 가정 할 수 있습니다. 다른 사람들이 치료 또는 통제를 받았는지 여부에 영향을받지는 않습니다 (보다 공식적인 정의는 Gerber and Green (2012) 8 장 참조). 추가로 가정 한 사항을 추적하십시오.

    1. 진행률 표시 줄이 클래스를 끝내는 학생의 비율을 1 % 포인트 높일 것으로 예상된다고 가정합니다. 효과를 안정적으로 감지하는 데 필요한 샘플 크기는 얼마입니까?
    2. 진행률 표시 줄로 수업을 끝내는 학생 비율을 10 % 포인트 높일 것으로 예상된다고 가정 해보십시오. 효과를 안정적으로 감지하는 데 필요한 샘플 크기는 얼마입니까?
    3. 이제 실험을 실행했다고 가정하고 모든 수업 자료를 완료 한 학생은 최종 시험을 보았습니다. 진행률 표시 줄을받은 학생의 최종 시험 점수와 그렇지 않은 학생의 점수를 비교하면 진도 표시 줄을받지 못한 학생이 실제로 더 높은 점수를 얻게됩니다. 이것은 진행률 표시 줄로 인해 학생들이 더 적은 것을 배울 수 있었습니까? 이 결과 데이터에서 무엇을 배울 수 있습니까? (힌트 : Gerber and Green (2012) 7 장 참조)

21. [ , , ] 당신이 기술 회사에서 데이터 과학자로 일하고 있다고 상상해보십시오. 마케팅 부서의 누군가가 새로운 온라인 광고 캠페인에 대한 투자 수익 (ROI)을 측정하기 위해 계획중인 실험을 평가할 때 도움을 요청합니다. ROI는 캠페인의 순익을 캠페인 비용으로 나눈 값입니다. 예를 들어 매출에 영향을주지 않는 캠페인의 투자 수익 (ROI)은 -100 %입니다. 수익이 비용과 동일한 캠페인은 ROI가 0입니다. 이익을 창출 한 이윤이 비용의 두 배가되는 캠페인은 ROI가 200 %입니다.

    실험을 시작하기 전에 마케팅 부서에서는 이전 연구를 토대로 다음 정보를 제공합니다 (실제로이 값은 Lewis and Rao (2015) 에서보고 된 실제 온라인 광고 캠페인의 전형적인 값입니다).

    • 고객 당 평균 매출액은 평균 7 달러이고 표준 편차는 75 달러 인 로그 정규 분포를 따른다.
    • 캠페인 당 매출은 고객 당 0.35 달러 증가 할 것으로 예상되며 이는 고객 당 0.175 달러의 이익 증가에 해당합니다.
    • 실험의 계획 크기는 20 만 명으로 치료군은 절반, 대조군은 절반입니다.
    • 캠페인 비용은 참가자 당 $ 0.14입니다.
    • 캠페인의 예상 ROI는 25 % [ \((0.175 - 0.14)/0.14\) ]입니다. 다시 말해 마케팅 부서는 마케팅에 지출 한 100 달러당 25 달러의 이익을 얻게 될 것이라고 믿습니다.

    이 제안 된 실험을 평가하는 메모를 작성하십시오. 메모는 작성한 시뮬레이션의 증거를 사용해야하며 두 가지 주요 문제를 해결해야합니다. (1)이 실험을 계획대로 시작할 것을 권장합니까? 그렇다면 왜? 그렇지 않다면 왜 안 되겠습니까? 이 결정을 내리는 데 사용하는 기준에 대해 분명히해야합니다. (2)이 실험을 위해 어떤 표본 크기를 권하고 싶습니까? 다시 한번이 결정을 내리는 데 사용하는 기준에 대해 분명히 명심하십시오.

    좋은 메모는이 특별한 경우를 다룰 것입니다. 이 경우 한 가지 방법으로 더 나은 메모를 일반화 할 수 있습니다 (예 : 결정 효과가 캠페인 효과의 크기에 따라 어떻게 변하는 지 표시). 위대한 메모는 완전히 일반화 된 결과를 나타낼 것입니다. 메모는 결과를 설명하는 데 그래프를 사용해야합니다.

    여기에 두 가지 힌트가 있습니다. 첫째, 마케팅 부서에서 불필요한 정보를 제공했을 수 있으며 필요한 정보를 제공하지 못했을 수 있습니다. 둘째, R을 사용하는 경우 rlnorm () 함수가 많은 사람들이 기대하는 방식으로 작동하지 않는다는 점을 알아 두십시오.

    이 활동을 통해 전력 분석, 시뮬레이션 작성 및 결과를 단어 및 그래프와 통신 할 수 있습니다. ROI를 계산하기위한 실험뿐만 아니라 모든 종류의 실험에 대해 전력 분석을 수행하는 데 도움이됩니다. 이 활동은 통계 테스트 및 전력 분석에 대한 경험이있는 것으로 가정합니다. 전력 분석에 익숙하지 않은 분은 Cohen (1992) "A Power Primer"를 읽어 보시기 바랍니다.

    이 활동은 RA Lewis and Rao (2015) 의 멋진 논문에서 영감을 얻어 제작되었습니다.이 실험은 거대한 실험의 기본적인 통계적 한계를 생생하게 보여줍니다. 원래 광고의 반환 가능성을 측정 할 수 없다는 도발적인 제목을 가진이 신문의 논문은 수백만 명의 고객이 참여하는 디지털 실험을 통해 온라인 광고 투자 수익 (ROI)을 측정하는 것이 얼마나 어려운지를 보여줍니다. 보다 일반적으로, RA Lewis and Rao (2015) 는 디지털 시대 실험에서 특히 중요한 통계적 사실을 보여줍니다. 시끄러운 결과 데이터에서 작은 치료 효과를 예측하기는 어렵습니다.

22. [ , ] 이전 질문과 동일하게 수행하십시오. 그러나 시뮬레이션이 아닌 분석 결과를 사용해야합니다.

23. [ , , ] 이전 질문과 동일하게 수행하지만 시뮬레이션 결과와 분석 결과를 모두 사용하십시오.

24. [ , , ] 위에서 설명한 메모를 작성했다고 가정하고 마케팅 부서의 누군가가 한 가지 새로운 정보를 제공한다고 가정합니다. 실험 전후의 매출간에 0.4의 상관 관계가 있다고 가정합니다. 이 메모는 어떻게 메모의 권장 사항을 변경합니까? (평균 차이 차 및 차이 차감 추산 자에 대한 더 자세한 사항은 4.6.2 절 참조).

25. [ , ] 새로운 웹 기반 고용 지원 프로그램의 효과를 평가하기 위해 한 대학에서 1 만 명의 학생이 최종 학년을 마치는 동안 무작위 통제 시험을 실시했습니다. 독창적 인 로그인 정보가 포함 된 무료 구독은 독점적 인 이메일 초대장을 통해 무작위로 선택된 5,000 명의 학생에게 보내졌으며 다른 5,000 명의 학생은 대조 그룹에 있었고 구독하지 않았습니다. 12 개월 후 추적 관찰 (무 반응 없음)은 치료군과 대조군 모두에서 70 %의 학생들이 선택한 분야에서 정규직을 확보했음을 보여주었습니다 (표 4.6). 따라서 웹 기반 서비스는 효과가없는 것으로 보입니다.

    그러나 대학의 현명한 데이터 과학자는 데이터를 좀 더 자세히 살펴본 결과 치료 그룹의 학생 중 20 %만이 이메일을받은 후 계정에 로그인 한 것으로 나타났습니다. 더욱이 놀랍게도 웹 사이트에 로그인 한 사람들 중 60 %만이 선택한 분야에서 정규직을 확보했는데, 로그인하지 않은 사람들의 비율보다 낮았고 사람들의 비율보다 낮은 수치였습니다 (표 4.7).

    1. 일어난 일에 대한 설명을 제공하십시오.
    2. 이 실험에서 치료의 효과를 계산하는 두 가지 다른 방법은 무엇입니까?
    3. 이 결과를 감안할 때,이 서비스를 모든 학생들에게 제공해야합니까? 그냥 분명히하기 위해, 이것은 간단한 대답으로 질문하는 것이 아닙니다.
    4. 그들이 다음에 무엇을해야합니까?

    힌트 :이 질문은이 장에서 다루는 내용을 넘어서는 것이지만 실험에서 일반적인 문제를 다룹니다. 이 유형의 실험 디자인은 참가자가 치료에 참여하도록 권장되기 때문에 때로는 격려 설계 라고합니다. 이 문제는 일방적 인 불이행 의 사례입니다 ( Gerber and Green (2012) 5 장 참조).

26. [ ] 더 자세히 조사한 결과 이전 질문에서 설명한 실험은 훨씬 더 복잡하다는 것이 밝혀졌습니다. 통제 집단에 속한 사람들의 10 %는 서비스에 대한 비용을 지불했고, 고용률은 65 %로 끝났습니다 (표 4.8).

    1. 당신이 생각하는 것을 요약 한 이메일을 작성하고 행동 방침을 추천하십시오.

    힌트 :이 질문은이 장에서 다루는 내용을 넘어서는 것이지만 실험에서 일반적인 문제를 다룹니다. 이 문제는 양면 불이행 의 사례입니다 ( Gerber and Green (2012) 6 장 참조).