활동

키:

• 난이도 : 쉬운 중간 하드 , 열심히
• (수학을 필요로 )
• (코딩이 필요합니다 )
• 데이터 수집 ( )
• 내가 좋아하는 것들 ( )

1. [ , ] Berinsky 및 동료 (2012) 세 고전적인 실험을 복제하여 부분적으로 기계 터크을 평가합니다. 에 의해 고전적인 아시아 질병 프레임 실험 복제 Tversky and Kahneman (1981) . 결과 일치 Tversky와 Kahneman의가 있습니까? 결과 일치 Berinsky와 동료를합니까? 무엇-경우 아무것도-않습니다이 설문 조사 실험 기계 터크를 사용하는 방법에 대해 우리에게 무엇을 가르쳐?

2. [ , ]라는 다소 혀 -에 - 뺨 논문에서 "우리는 헤어 가지고,"사회 심리학자 로버트 치 알디 니의 저자 중 한 Schultz et al. (2007) , 그 때문에 그가 주로 실험실 실험을 실시 학문 (심리학)에서 현장 실험을 수행 직면하고있는 도전의 일부 초기 교수로서 자신의 직업에서 은퇴했다 썼다 (Cialdini 2009) . 치 알디 니의 논문을 읽고, 그에게 디지털 실험의 가능성에 비추어 자신의 해체를 재고하라고 촉구 이메일을 보냅니다. 자신의 문제를 해결 연구의 구체적인 예를 사용합니다.

3. [ ] 멀리 작은 초기 성공 잠금 기능 여부를 결정하거나 퇴색하기 위해, 반 드 Rijt 및 동료 (2014) 무작위로 선택된 참가자에 성공을 주신 네 가지 시스템에 개입 한 다음이 임의의 성공의 장기적 영향을 측정 하였다. 당신은 당신이 유사한 실험을 실행할 수있는 다른 시스템 생각할 수 있습니까? 과학적 가치의 문제의 관점에서 이러한 시스템을 평가, 알고리즘 혼란, 윤리 (제 2 장 참조).

4. [ , ] 실험 결과 참여자에 의존 할 수있다. 실험을 만든 다음 두 개의 서로 다른 모집 전략을 사용하여 아마존 기계 터크 (MTurk)에서 실행합니다. 결과는 가능한 한 다른 될 수 있도록 실험과 채용 전략을 선택하려고합니다. 예를 들어, 모집 전략은 아침과 저녁에 참가자를 모집하거나 높고 낮은 임금 참가자를 보상 할 수 있습니다. 모집 전략의 차이 이러한 종류의 참가자와 다른 실험 결과의 다른 풀에 발생할 수 있습니다. 어떻게 다른 결과가 판명나요? 그 MTurk에 실험을 실행에 대해 무엇을 표시 하는가?

5. [ , , , ] 당신이 감정적 전염 연구를 계획하고 있다고 상상해 (Kramer, Guillory, and Hancock 2014) . 의하여 이전 관찰 연구의 결과를 사용 Kramer (2012) , 각 경우에서의 참가자의 수를 결정. 이 두 연구는 완벽 그래서 명시 적으로하는 모든 가정 사항을 나열해야합니다 일치하지 않습니다 :

   1. 의 효과로 큰 효과를 감지하는 데 필요한되어 얼마나 많은 참가자를 결정하는 시뮬레이션을 실행 Kramer (2012) \와을 (\ 알파 = 0.05 \)와 \ (1 - \ 베타 = 0.8 \).
   2. 분석적으로 같은 계산을 수행합니다.
   3. 의 결과를 감안할 때 Kramer (2012) 정서적 전염되었다 (Kramer, Guillory, and Hancock 2014) (즉, 그것은 필요 이상의 참가자가 않았다) 이상이 구동?
   4. 당신의 계산에 가장 큰 영향을 당신이 만든 가정의?

6. [ , , , ] 위의 질문에 대답, 오히려하여 이전의 관찰 연구 사용하는 것보다 Kramer (2012) 에 의해 이전 자연 실험에서 결과를 사용 Coviello et al. (2014) .

7. [ ]는 모두 Rijt et al. (2014) 및 Margetts et al. (2011) 모두 청원에 서명하는 사람들의 과정을 연구 실험을 수행합니다. 비교 설계 및 이들 연구의 결과를 대비.

8. [ ] Dwyer, Maki, and Rothman (2015) 사회 규범과 proenvironmental 행동 사이의 관계에서 두 개의 필드 실험을 실시했다. 여기에 자신의 논문의 개요는 다음과 같습니다

   "어떻게 심리 과학은 proenvironmental 행동을 장려하기 위해 이용 될 수 있는가? 이 연구에서 공공 화장실에서 에너지 절약 행동을 촉진하기위한 개입은 설명 규범과 개인 책임의 영향을 조사 하였다. 누군가가 그 설정에 대한 설명이 포함 된 표준 신호, 비어있는 공용 화장실을 입력하기 전에 연구 1, 광 상태 (즉, on 또는 off) 조작했다. 참가자들은 입력 할 때이 꺼져 있다면 불을 끄 훨씬 더 많은 것으로 나타났다. 연구 2에서, 추가 조건이되는 빛을 해제의 규범이 동맹에 의해 증명되었다 포함되어 있지만 참가자 전원을 켜기에 대한 책임을 스스로하지 않았다되었다. 개인 책임은 행동에 대한 사회적 규범의 영향을 검토; 참가자가 점등에 대해 책임을지지 않습니다있을 때, 규범의 영향이 감소했다. 이러한 결과는 proenvironmental 간섭의 효과를 조절할 수있는 방법을 설명하는 규범 독자적인 책임 나타낸다. "

   자신의 논문을 읽고 연구 (1)의 복제를 디자인합니다.

9. [ , ] 이전 질문에 구축, 지금 설계를 실시하고 있습니다.

   1. 결과는 어떻게 비교합니까?
   2. 무엇이 이러한 차이를 설명 할 수 있는가?

10. [ ] 아마존 기계 터크에서 모집 참가자를 사용하여 실험에 대해 상당한 논란이 있었다. 병렬로, 또한 학부 학생 인구에서 모집 참가자를 사용하여 실험에 대한 실질적인 논의가 있었다. 비교 연구 참가자로 Turkers 및 학부생 대비 두 페이지 메모를 작성합니다. 귀하의 비교는 과학 및 물류 문제 모두에 대한 논의를 포함해야합니다.

11. [ ] 짐 Manzi는 책 제어되지 않은 (2012) 사업에 실험의 힘으로 멋진 소개합니다. 이 책에서 그는이 이야기를 전달 :

    "나는 진정한 비즈니스 천재, 실험의 힘의 깊은 직관적 과소을 가진 자수성가 억만 장자들과 회의 한 번이었다. 그의 회사는 통념은 그들이해야 말했듯이, 소비자와 증가 판매를 유치 할 좋은 매장 윈도우 디스플레이를 만들려고 상당한 자원을 보냈다. 전문가들은주의 깊게 설계 후 설계, 테스트 및 판매에 대한 각각의 새로운 디스플레이 디자인의 유의 한 인과 효과를 보여주는 유지 년의 기간 동안 개별 테스트 리뷰 세션입니다. 수석 마케팅 및 머천다이징 임원 토토 이러한 역사적 테스트 결과를 검토하기 위해 CEO를 만났다. 실험의 모든 데이터를 제시 후, 그들은 종래의 지혜 잘못, 즉 창이 표시가 판매를 촉진하지 않는다라고 결론을 내렸다. 그들의 권장 조치는이 분야에서 비용과 노력을 줄일 수 있었다. 이 극적으로 상식을 뒤집는 실험의 능력을 보여 주었다. CEO의 반응은 간단했다 : '내 결론은 당신의 디자이너가 매우 좋지 않은 것입니다.' 그의 솔루션은 매장 디스플레이 디자인에 노력을 높이기 위해, 새로운 사람들이 그것을 얻을 것이 었습니다. " (Manzi 2012, 158–9)

    최고 경영자의 관심은 유효 어떤 유형입니까?

12. [ ] 이전 질문에 구축, 당신이 실험의 결과가 논의 된 회의에서 있다고 상상한다. 당신이 질문을 할 수 네 가지 질문, 타당성의 각 유형 (통계, 건설 내부 및 외부) 하나는 무엇인가?

13. [ ] Bernedo, Ferraro, and Price (2014) 에 설명 된 물 절약 개입의 7 년의 효과 연구 Ferraro, Miranda, and Price (2011) (4.10 그림 참조). 본 논문에서는 Bernedo와 동료도 있고 치료가 전달 된 후 이동하지 않은 가구의 행동을 비교하여 효과가 뒤에 메커니즘을 이해하기 위해 노력한다. 즉, 약, 그들은 치료가 가정이나 집주인 영향 여부를 확인하려고합니다.

    1. 용지를 읽고 자신의 디자인을 설명하고 자신의 연구 결과를 요약한다. 비슷한 개입의 비용 효율성을 평가하는 방법 b)는 자신의 연구 결과에 영향을합니까? 그렇다면, 왜? 그렇지 않다면, 왜?

14. [ ]의 후속으로 Schultz et al. (2007) , 슐츠와 동료들은이 컨텍스트 (호텔과 시분할 콘도)에서 다른 환경 행동 (수건 재사용)에 대한 설명 및 금지 명령 규범의 효과에 세 일련의 실험을 수행 (Schultz, Khazian, and Zaleski 2008) .

    1. 이러한 세 가지 실험의 설계 및 결과를 요약한다.
    2. 어떻게, 모든 경우에, 그들은 당신의 해석 변경합니까 Schultz et al. (2007) ?

15. [ ]에 대응 Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) 전기 요금의 디자인을 연구하는 실험실과 같은 일련의 실험을 달렸다. 여기가 추상에 그것을 설명하는 방법은 다음과 같습니다

    "설문 조사 기반의 실험에서, 각 참가자 (b)는 이웃에 대한 비교 및​​ 기기 고장와 (다) 과거 사용, (a)는 과거 사용에 대한 정보를 포함하는, 상대적으로 높은 전기 사용으로 가족을 위해 가상의 전기 요금을 보았다. 참가자들은 (a)를 포함한 테이블 (b)의 막대 그래프, (c) 아이콘 그래프 1 내지 3의 모든 형식의 정보 유형을 보았다. 우리는 세 가지 주요 연구 결과를보고한다. 먼저, 소비자는이 표에 제시 한 경우가 가장 간단한 포인트 테이블 판독을 용이하게하기 때문에 아마도 전력 용 정보의 각 유형을 이해했다. 둘째, 환경 설정 및 전기를 저장하는 의도는, 형식의 독립적 인 역사적인 사용 정보에 대한 강한했다. 셋째, 낮은 에너지 활용 능력과 개인은 덜 모든 정보를 이해했다. "

    다른 후속 연구와는 달리, 관심의 주요 결과 Canfield, Bruin, and Wong-Parodi (2016) 실제 행동을 행동을보고되지 않습니다. 에너지 절감을 촉진 광범위한 연구 프로그램에서 연구의 이러한 유형의 강점과 약점은 무엇인가?

16. [ , ] Smith and Pell (2003) 낙하산의 효과를 입증하는 연구 풍자적 메타 분석이다. 그들은 결론 :

    많은 개입이 건강 악화를 방지하기위한 경우와 마찬가지로 "낙하산의 효과는 무작위 대조 임상 시험을 사용하여 엄격한 평가를 실시하지 않았습니다. 증거 기반 의학의 옹호자는 관측 자료를 이용하여 평가 개입의 채택을 비판했다. 우리는 증거 기반 의학의 가장 급진적 인 주인공이 조직 이중 맹검에 참여하는 경우 모두, 무작위, 위약 제어 낙하산의 크로스 오버 재판 혜택을 누릴 수 있다고 생각합니다. "

    실험 증거들의 취향에 대해 주장, 같은 뉴욕 타임즈와 같은 일반 독자 신문에 적합한 특집을 작성합니다. 특정 구체적인 예를 제공합니다. 힌트 :보기, Bothwell et al. (2016) 과 Deaton (2010)

17. [ , , ] 차분 인스 차이 치료 효과 추정기 차분 인 평균 추정기보다 더 정밀 할 수있다. 온라인 실험을 실행하기위한 차이 -에 - 차이 접근의 가치를 설명하는 스타트 업 소셜 미디어 회사에서 A / B 테스트를 담당하는 엔지니어에게 메모를 작성합니다. 메모는 문제의 성명, 차이 인 차분 추정은 차이 -에 - 평균 추정을 능가 할 조건에 대한 몇 가지 직관, 간단한 시뮬레이션 연구를 포함해야한다.

18. [ , ] 게리 Loveman는 Harrah의의 CEO, 세계에서 가장 큰 카지노 회사 중 하나가되기 전에 하버드 비즈니스 스쿨의 교수였다. 그는 Harrah의 이동 때, Loveman은 고객 행동에 대한 데이터의 엄청난 금액을 수집 자주 전단지와 같은 로열티 프로그램과 함께 회사를 변환. 이 상시 측정 시스템의 상부에, 회사는 실험을 실행했다. 예를 들어, 특정 도박 패턴으로 고객을위한 무료 호텔 밤 쿠폰의 효과를 평가하기위한 실험을 실행할 수 있습니다. 여기 Loveman는 Harrah의 일상적인 비즈니스 관행에 실험의 중요성을 설명하는 방법은 다음과 같습니다

    "그것은 당신이 여성을 희롱하지 않는 것처럼, 당신은 도둑질하지 않습니다, 그리고 당신은 대조군이있어. 이것은 당신이 Harrah's이 아닌 대조군을 실행에 대한 작업을 잃을 수있는 것들 중 하나입니다. " (Manzi 2012, 146)

    Loveman 대조군을하는 것이 중요하다고 생각하는 이유를 설명 신입 사원에 이메일을 보냅니다. 당신은 예를 들어-중 실제 또는 지점을 설명하기까지 제작을 포함하도록 시도해야합니다.

19. [ , ] 새 실험 접종 흡수에 텍스트 알림 메시지를 수신하는 효과를 평가하는 것이다. 150 클리닉, (600) 대상 환자 각각 참여하고자합니다. 이 작업 할 각 병원 100 달러의 고정 비용이며, 그것은 당신이 보낼 각 텍스트 메시지에 대한 1 달러의 요금으로 제공됩니다. 또한, 작업중인 모든 클리닉은 무료 (누군가가 예방 접종을 받았는지 여부) 결과를 측정 할 것이다. 1000 달러의 예산이 있다고 가정합니다.

    1. 어떤 조건에서 더 넓게을 확산하기 위해 더 좋을 수도 병원의 작은 숫자에 어떤 조건에서 자원을 집중하는 것이 더 될 수 있을까요?
    2. 어떤 요인이 안정적 예산으로 감지 할 수있을 것입니다 가장 작은 효과의 크기를 결정하는 것?
    3. 잠재적 인 자금 제공자 이러한 트레이드 오프를 설명하는 메모를 작성합니다.

20. [ , ] 온라인 교육 과정에 큰 문제는 마찰이다 과정을 시작하는 많은 학생들이 떨어지는 아웃을 끝낸다. 당신은 온라인 학습 플랫폼에서 작업하고, 플랫폼에서 디자이너가 그녀는 물론 중퇴 학생들을 예방하는 데 도움이됩니다 생각 시각적 진행률 표시 줄을 만들었다 고 상상해보십시오. 당신은 큰 계산 사회 과학 과정에서 학생들의 진척 바의 효과를 테스트 할 수 있습니다. 실험에 발생할 수있는 윤리적 인 문제를 해결 한 후, 당신과 당신의 동료들은 물론 안정적으로 진척 바의 효과를 감지 할 수있는 충분한 학생이 없을 수도 있다는 걱정. 당신이 아래의 계산에서 진행률 표시 줄과 반하지받을 학생의 절반을 가정 할 수있다. 또한,는 간섭이 없다고 가정 할 수있다. 즉, 참가자는 그들 만이 치료 또는 제어를 받았는지 여부에 의해 영향을받는 것으로 가정 할 수있다; 그들은하지 다른 사람들이 치료 또는 제어를 (더 공식적인 정의를 참조 받았는지 여부에 의해 영향을 받는다 Gerber and Green (2012) , 장. 8). 당신이 만드는 추가 가정을 추적하십시오.

    1. 진행 표시 줄이 1 % 포인트 클래스를 완료 학생의 비율을 증가 할 것으로 예상된다 가정 해, 확실하게 효과를 검출하는 데 필요한 표본 크기는 무엇인가?
    2. 진행 표시 줄이 10 % 포인트 클래스를 완료 학생의 비율을 증가 할 것으로 예상된다 가정 해, 확실하게 효과를 검출하는 데 필요한 표본 크기는 무엇인가?
    3. 이제 모든 교재는 최종 시험을 찍은 완료 한 실험과 학생들을 실행 한 상상. 당신은 진행률 막대를받지 않은 학생들이 실제로 높은 점수 것을, 당신의 놀랍게도 많은, 당신은 찾지 못했습니다 그들에게 진행률 막대를받은 학생의 최종 시험 점수를 비교합니다. 이 진행 표시 줄이 덜 배우는 학생들 발생하는 것을 의미합니까? 이 결과 데이터로부터 무엇을 배울 수 있는가? (힌트 : 참조 Gerber and Green (2012) , 채널 7을.)

21. [ , ] 사랑스러운 논문에서는 Lewis and Rao (2015) 생생하게에도 대규모 실험의 기본 통계 제한을 보여줍니다. 용지 원래 "광고에 반환 측정의 가까이에 - 불가능은"자극적 인 제목을 가지고 그것도 디지털 실험은 수백만 명의 고객을 포함하여, 온라인 광고의 투자 수익을 측정하는 것이 얼마나 어려운 -shows. 보다 일반적으로, 종이 명확 잡음 결과 데이터 속에 작은 치료 효과를 추정하기 어려운 것을 나타낸다. 또는 diffently 언급, 용지가 예상 치료 효과가 큰 신뢰 구간있을 것이라는 점을 보여줍니다 때 충격에 표준 편차 (\ (\ FRAC {\ 델타 \ 바 {Y}} {\ 시그마} \)) 비율이 작다. 이 논문에서 중요한 일반적인 교훈은 작은 충격에 표준 편차의 비율 실험 결과 (예, 광고 캠페인의 ROI)이 만족스럽지 될 것입니다. 당신의 도전은 광고 캠페인의 ROI를 측정하기 위해 계획된 실험을 evaluting 기업의 마케팅 부서의 누군가에게 메모를 작성하는 것입니다. 내 메모는 컴퓨터 시뮬레이션의 결과 그래프를 지원한다.

    여기에 당신이해야 할 수도 있습니다 배경 정보입니다. 이러한 수치는 모두보고 실제 실험의 전형적인 Lewis and Rao (2015) :

    • 투자 수익 (ROI), 온라인 광고 캠페인의 핵심 메트릭은 캠페인의 비용으로 나눈 캠페인 (캠페인의 캠페인을 뺀 비용에서 매출 총 이익)의 순 이익으로 정의된다. -100 %의 투자 수익 (ROI) 및 생성 이익이 0의 ROI를해야 비용과 동일했다 캠페인을해야 판매에 영향을 미치지 않는 캠페인 예를 들어.

    • 고객 당 평균 매출액은 $ 75, 표준 편차 $ 7.

    • 캠페인은 고객 당 $ 0.175의 이익 증가에 해당하는 고객 당 $ 0.35로 판매를 증가 할 것으로 예상된다. 즉, 총 마진은 50 %이다.

    • 실험 계획 크기 200,000 명 대조군 치료군에서 반반이다.

    • 캠페인의 비용은 참가자 당 $ 0.14이다.

    이 실험을 evaluting 메모를 작성합니다. 계획대로이 실험을 시작 추천 하시겠습니까? 그렇다면, 왜? 그렇지 않으면, 당신은 어떤 변화를 추천 할 것입니다?

    좋은 메모이 특정 사건을 해결 것이다; 더 메모 한 방향이 경우 일반화한다 (예를 들면, 표시 방법 충격에 표준 편차의 비율의 함수로서 결정의 변경); 그리고 좋은 메모는 완전히 일반화 된 결과를 발표 할 예정이다.

22. [ , ]은 앞의 질문과 같은 작업을 수행 아니라 시뮬레이션보다 당신은 분석 결과를 사용한다.

23. [ , , ]은 앞의 질문과 같은 작업을 수행하지만, 시뮬레이션 및 분석 결과 모두 사용합니다.

24. [ , , ] 당신이 위의-사용하는 수단 추정의 차이보다는 차이 -에 - 차이 추정을 사용하는 것이 좋습니다 시뮬레이션, 분석 결과, 또는 마케팅 부서에서 모두-누군가를 설명하는 메모를 작성했습니다 상상해 (섹션 4.6.2 참조) . 실험 후 실험 전 영업 및 판매 사이에 0.4 상관 관계가 결론을 변경하는 방법을 설명하는 새로운 짧은 메모를 작성합니다.

25. [ , ] 새로운 웹 기반 경력 서비스의 효과를 평가하기 위해, 대학 진로 서비스 사무실은 학교의 최종 연도를 입력 만 학생들 중에서 무작위 통제 연구를 시행 하였다. 다른 5,000 학생들이 대조군에있는 구독이없는 상태에서 고유 한 로그인 정보와 무료 구독은 무작위로 선택된 학생 5,000 독점 이메일 초대장을 보냈습니다. 십이 개월 후, (아니 비 응답) 후속 조사는 모두 실험군과 대조군에서, 학생의 70 %가 자신이 선택한 분야 (표 4.5)에서 풀 타임 고용을 확보 한 것으로 나타났다. 따라서, 웹 기반 서비스는 영향을 미치지 않았다 보인다.

    그러나 대학에서 영리한 데이터 과학자는 좀 더 밀접하게 데이터를 보았고, 치료 그룹의 학생들의 20 %가 이제까지 이메일을받은 후 계정에 로그인 한 것으로 나타났습니다. 또한, 다소 놀랍게도, 웹 사이트에 로그인 한 사람들 중 60 %가 사람들을위한 속도보다 로그인하지 않은 사람의 비율보다 더 낮은이었다 자신이 선택한 분야에서 풀 타임 고용을 확보했다 제어 조건 (표 4.6).

    1. 일어날 수있는 무엇에 대한 설명을 제공합니다.
    2. 이 실험에서 치료의 효과를 계산하는 두 가지 방법은 무엇입니까?
    3. 이 결과 감안할 때, 대학 진로 서비스는 모든 학생들이 웹 기반 경력 서비스를 제공해야합니까? 그냥 명확하게하기 위해, 이것은 간단한 대답과 질문이 아니다.
    4. 그들은 다음에 무엇을해야합니까?

    힌트 :이 질문은이 장에서 다루는 재료 넘어,하지만 실험에서 일반적인 문제를 해결합니다. 참가자가 치료에 참여하도록 권장하고 있기 때문에 실험적인 디자인의이 유형은 때때로 격려 디자인이라고합니다. 이 문제는 일방적이 아닌 준수 소위의 예이다 ( Gerber and Green (2012) , 채널을. 5)

26. [ 또한 검토 한 결과, 이전 질문에 기재된 실험을 더욱 복잡 것으로 나타났다. 이는 대조군 사람의 10 %가 상기 서비스에 액세스하기위한 지불 그들이 65 % (표 4.7)의 고용률에 끝내 밝혀.

    1. 당신이 일어나고있는 생각과 행동의 과정을 권해 요약 이메일을 보냅니다.

    힌트 :이 질문은이 장에서 다루는 재료 넘어,하지만 실험에서 일반적인 문제를 해결합니다. 이 문제는 양면 불이행 소위의 예이다 ( Gerber and Green (2012) , 채널을. 6)