активности

• степен на тежина: лесно , средно , тешко , многу тешко
• бара математика ( )
• бара кодирање ( )
• собирање на податоци ( )
• Мои фаворити ( )

1. [ , ] Берински и неговите колеги (2012) оценија MTurk делумно со реплицирање на три класични експерименти. Повтори го класичниот експеримент за Tversky and Kahneman (1981) на Азиските болести од Tversky and Kahneman (1981) . Дали вашите резултати се совпаѓаат со Тверски и Канеман? Дали вашите резултати се совпаѓаат со оние Берински и неговите колеги? Што-ако ништо друго - дали ова нè научи за користење на Муркур за експерименти со анкети?

2. [ , ] Во малку хартија за јазик со наслов "Ние треба да се растуриме", социјалниот психолог Роберт Циалдини, еден од авторите на Schultz et al. (2007) , напишал дека рано се пензионирал од својата професорска работа, делумно поради предизвиците со кои се соочил со полевен експеримент во дисциплина (психологија) која главно води лабораториски експерименти (Cialdini 2009) . Прочитајте ја хартијата на Cialdini и напишете му е-мејл барајќи од него да ја преиспита својата распадот во светло на можностите за дигитални експерименти. Користете конкретни примери за истражување кои се однесуваат на неговите грижи.

3. [ ] Со цел да се утврди дали малите почетни успеси се заклучиле или исчезнале, ван де Рит и неговите колеги (2014) интервенирале во четири различни системи што придонесуваат за успех на случајно избраните учесници, а потоа ги мери долгорочните влијанија на овој произволен успех. Можете ли да помислите на други системи во кои би можеле да се кандидира слични експерименти? Оценете ги овие системи во однос на прашања од научна вредност, алгоритамски конфузија (види поглавје 2) и етика.

4. [ , ] Резултатите од експериментот може да зависат од учесниците. Направете експеримент, а потоа стартувајте го на Муркур користејќи две различни стратегии за регрутирање. Обидете се да ги избирате стратегии за експериментирање и регрутирање, така што резултатите ќе бидат што е можно поинакви . На пример, твоите стратегии за вработување би можеле да бидат да регрутирате учесници наутро и вечер или да ги компензирате учесниците со висока и ниска плата. Ваквите разлики во стратегијата за вработување може да доведат до различни групи на учесници и различни експериментални резултати. Колку се разликуваат вашите резултати? Што открива тоа за тековните експерименти на Муррк?

5. [ , , ] Замислете дека го планиравте експериментот за емоционална контагинација (Kramer, Guillory, and Hancock 2014) . Користете ги резултатите од една претходна опсервативна студија од Kramer (2012) да го одредите бројот на учесници во секоја состојба. Овие две студии не се совпаѓаат совршено, па не заборавајте експлицитно да ги наведете сите претпоставки што ги правите:

   1. Стартувај симулација која ќе одлучи колку учесници би биле потребни за да открие ефект толку голем колку ефектот во Kramer (2012) со \(\alpha = 0.05\) и \(1 - \beta = 0.8\) .
   2. Аналитички ја врши истата пресметка.
   3. Со оглед на резултатите од Kramer (2012) беше Емоционалната контагија (Kramer, Guillory, and Hancock 2014) прекумерно напојување (односно дали има повеќе учесници отколку што е потребно)?
   4. Од претпоставките што сте ги направиле, кои имаат најголемо влијание врз вашата пресметка?

6. [ , , ] Одговорете на претходното прашање повторно, но овој пат наместо да ја користите претходната опсервациска студија од Kramer (2012) , искористете ги резултатите од претходниот природен експеримент од Lorenzo Coviello et al. (2014) .

7. [ ] И Margetts et al. (2011) и Ван де Рит и сор. (2014) изведе експерименти кои го проучуваат процесот на потпишување на петицијата. Споредба и контраст на дизајни и наоди од овие студии.

8. [ ] Dwyer, Maki, and Rothman (2015) спроведоа два теренски експерименти за односот меѓу општествените норми и про-еколошкото однесување. Еве го апстрактот на нивниот труд:

   "Како може психолошката наука да се искористи за да се поттикне однесувањето на животната средина? Во две студии, интервенции чија цел е промовирање на однесувањето на енергијата во јавните бањи ги испитуваа влијанијата на описни норми и лична одговорност. Во студијата 1, светлосниот статус (т.е., вклучен или исклучен) бил манипулиран пред некој да влезе во ненаселена јавна бања, сигнализирање на описна норма за тоа поставување. Учесниците беа значително поголеми шанси да ги исклучат светлата ако се исклучија кога влегле. Во студијата 2 беше вклучен дополнителен услов во кој нормата на исклучување на светлината беше демонстрирана од страна на конфедерацијата, но учесниците не беа одговорни за тоа да го вклучат. Личната одговорност го ублажи влијанието на општествените норми врз однесувањето; кога учесниците не беа одговорни за вклучување на светлината, влијанието на нормата беше намалено. Овие резултати укажуваат на тоа како описни норми и лична одговорност може да ја регулираат ефективноста на интервенциите за животна средина. "

   Прочитајте ги своите трудови и дизајнирајте репликација на студијата 1.

9. [ , ] Градење на претходното прашање, сега го спроведувате вашиот дизајн.

   1. Како се споредуваат резултатите?
   2. Што би можело да ги објасни овие разлики?

10. [ ] Имаше значителна дебата во врска со експериментите со користење на учесници регрутирани од MTurk. Паралелно, имаше и значителна дебата за експериментите со користење на учесници регрутирани од додипломски студентски популации. Напишете белешка од две страници споредувајќи ги и спротивставени на Туркерите и додипломците како учесници во истражувањето. Вашата споредба треба да вклучува дискусија за научните и за логистичките прашања.

11. [ ] Книгата на Џим Манци Неконтролирана (2012) е прекрасен вовед во моќта на експериментирање во бизнисот. Во книгата ја пренесе следнава приказна:

    "Бев еднаш на состанок со вистински бизнис гениј, самопроизведен милијардер кој имаше длабоко, интуитивно разбирање за моќта на експериментите. Неговата компанија троши значителни ресурси обидувајќи се да создаде одлични прикази за прозори кои ќе привлечат потрошувачи и ќе ја зголемат продажбата, како што рече конвенционалната мудрост. Експертите внимателно го тестираа дизајнот по дизајнот, и во индивидуалните тестови за проверка на тестот во текот на еден период на години постојано не покажаа значителен причинско-последичен ефект на секој нов дизајн на дисплеј за продажба. Високи директори на маркетинг и малопродажба се сретнаа со извршниот директор за да ги разгледаат овие историски тестови во тото. По презентирањето на сите експериментални податоци, тие заклучија дека конвенционалната мудрост е погрешна - приказот на прозори не води кон продажба. Нивната препорачана акција беше да ги намалат трошоците и напорите во оваа област. Ова драматично ја демонстрираше способноста за експериментирање да ја укине конвенционалната мудрост. Одговорот на извршниот директор беше едноставен: "Мојот заклучок е дека вашите дизајнери не се многу добри". Неговото решение беше да се зголемат напорите во дизајнот на екранот и да се добијат нови луѓе за да го направат тоа " (Manzi 2012, 158–9)

    Кој тип на валидност е грижа на извршниот директор?

12. [ ] Градење на претходното прашање, замислете дека сте биле на состанокот на кој се дискутираше за резултатите од експериментите. Кои се четири прашања што може да ги поставиш - по еден за секој вид на валидност (статистички, конструктивни, внатрешни и надворешни)?

13. [ ] Bernedo, Ferraro, and Price (2014) проучувале седумгодишниот ефект на интервенцијата за заштеда на вода опишана во Ferraro, Miranda, and Price (2011) (види слика 4.11). Во овој труд, Бернедо и неговите колеги исто така се обидоа да го разберат механизмот зад ефектот со споредување на однесувањето на домаќинствата што се и не се преселиле по третманот. Тоа е, грубо, тие се обиделе да видат дали третманот влијаел врз домот или на сопственикот на куќата.

    1. Прочитајте го документот, опишете го нивниот дизајн и сумирајте ги нивните наоди.
    2. Дали нивните наоди влијаат на тоа како треба да ја процените економичноста на слични интервенции? Ако е така, зошто? Ако не, зошто да не?

14. [ ] Во продолжение на Schultz et al. (2007) , Шулц и неговите колеги извршиле серија од три експерименти за ефектот на описни и навредливи норми за различно однесување на околината (повторна употреба на пешкир) во два контекста (хотели и кондоминиум на времетраење) (Schultz, Khazian, and Zaleski 2008) .

    1. Сумирајте го дизајнот и наодите од овие три експерименти.
    2. Како, ако воопшто, дали ја менуваат вашата интерпретација на Schultz et al. (2007) ?

15. [ ] Како одговор на Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) водеа серија лабораториски експерименти за да го проучат дизајнот на електричните сметки. Еве како го опишуваат во апстрактот:

    "Во експеримент базиран на истражување, секој учесник виде хипотетичка сметка за електрична енергија за семејство со релативно висока потрошувачка на електрична енергија, покривајќи информации за (а) историска употреба, (б) споредби со соседите, и (в) историска употреба со дефект на апаратот. Учесниците ги виделе сите типови на информации во еден од трите формати, вклучувајќи (а) табели, (б) графикони, и (в) икони графикони. Ние известуваме за три главни наоди. Прво, потрошувачите најмногу ги разбраа сите информации за користењето на електрична енергија кога беа претставени во табела, можеби затоа што табелите го олеснуваат читањето на точките. Второ, параметрите и намерите за заштеда на електрична енергија беа најсилни за информациите за историска употреба, независно од формат. Трето, лицата со помала енергетска писменост ги разбрале сите информации помалку. "

    За разлика од другите студии за следење, главниот исход од интерес за Canfield, Bruin, and Wong-Parodi (2016) е пријавено однесување, а не однесување. Кои се предностите и слабостите на овој тип студии во една поширока истражувачка програма за заштеда на енергија?

16. [ , ] Smith and Pell (2003) презентираа сатирична мета-анализа на студии кои ја демонстрираа ефикасноста на падобраните. Тие заклучиле:

    "Како и со многу интервенции наменети за спречување на лошо здравје, ефикасноста на падобрани не била подложена на ригорозна евалуација со користење на рандомизирани контролирани испитувања. Застапниците на медицината базирана на докази го критикуваа усвојувањето на интервенции оценети со користење само набљудувачки податоци. Сметаме дека сите би можеле да имаат корист ако најрадикалните протагонисти на медицината базирана на докази организираа и учествуваа во двојно слепа, рандомизирана, плацебо контролирана, вкрстена судењето на падобран. "

    Напишете op-ed погоден за весник за општа публика, како што е Њујорк тајмс , расправајќи се против фетишизацијата на експериментални докази. Дајте конкретни, конкретни примери. Совет: Видете исто така Deaton (2010) и Bothwell et al. (2016) .

17. [ , , ] Оценувачите на разликите во разликите на ефектот на третманот можат да бидат попрецизни отколку разликите во средните проценки. Напишете белешка до инженер задолжен за тестирање на A / B во стартната компанија за социјални медиуми објаснувајќи ја вредноста на пристапот разлики-во-разлики за водење на онлајн експеримент. Меморандумот треба да содржи изјава за проблемот, некоја интуиција за условите под кои разликата-во-разликата ќе ја надмине разликата-во-средната проценка и едноставната студија за симулација.

18. [ , ] Гери Ловман беше професор на Харвард бизнис школата, пред да стане извршен директор на Harrah's, една од најголемите казино компании во светот. Кога се преселил во Хара, Ловеман ја трансформирал компанијата со програма за лојалност слична на чести летачи, која собира огромни количини на податоци за однесувањето на клиентите. На врвот на овој систем за мерење секогаш, компанијата започна со експерименти. На пример, тие би можеле да извршат експеримент за да го оценат ефектот на купонот за бесплатна ноќ во хотел за потрошувачи со специфична шема за коцкање. Еве како Ловман ја опиша важноста на експериментирање со секојдневните деловни практики на Харах:

    "Тоа е како да не ги вознемирувате жените, не крадете и мора да имате контролна група. Ова е една од работите што можеш да ја изгубиш работата за Харах - не управува со контролна група. " (Manzi 2012, 146)

    Напиши е-маил на нов вработен објаснувајќи зошто Ловеман мисли дека е толку важно да има контролна група. Треба да се обидете да вклучите пример - или вистински или направен - за да ја илустрирате вашата поента.

19. [ , ] Новиот експеримент има за цел да го процени ефектот на примање потсетници за текстуални пораки за прифаќање на вакцинацијата. Сто и педесет клиники, секој со 600 подобни пациенти, се подготвени да учествуваат. Постои фиксна цена од 100 долари за секоја клиника со која сакате да работите, и чини $ 1 за секоја текстуална порака што сакате да ја испратите. Понатаму, сите клиники со кои ќе работите ќе го измерат исходот (без разлика дали некој доби вакцинација) бесплатно. Да претпоставиме дека имате буџет од 1.000 долари.

    1. Под кои услови би било подобро да ги фокусирате своите ресурси на мал број на клиники и под кои услови би било подобро да се шират пошироко?
    2. Кои фактори ќе ја одредат најмалата големина на ефектот што ќе можете сигурно да го откриете со вашиот буџет?
    3. Напишете белешка објаснувајќи ги овие размени за потенцијален спонзор.

20. [ , ] Еден од главните проблеми со онлајн курсевите е исцрпување: многу студенти кои почнуваат курсеви завршуваат со напуштање. Замислете дека работите на онлајн платформа за учење, а дизајнер на платформата создаде визуелен бар за напредување што мисли дека ќе помогне да се спречат учениците да се откажат од курсот. Сакате да го тестирате ефектот на лентата за напредок на учениците во голем компјутерски курс за општествени науки. Откако ќе се справите со етичките прашања што може да се појават во експериментот, вие и вашите колеги се загрижени дека курсот можеби нема да има доволно студенти за сигурно да ги детектираат ефектите од лентата за напредок. Во следниве пресметки, може да претпоставиме дека половина од учениците ќе ја добијат лентата за напредок, а половина не. Понатаму, може да се претпостави дека нема мешање. Со други зборови, може да претпоставиме дека учесниците се засегнати само од тоа дали добиле третман или контрола; тие не се остваруваат со тоа дали другите луѓе добиле третман или контрола (за поформална дефиниција, види поглавје 8 од Gerber and Green (2012) ). Следете ги сите дополнителни претпоставки што ги правите.

    1. Да претпоставиме дека од бар за напредок се очекува да го зголеми процентот на ученици кои ја завршуваат класата за 1 процентен поен; што е потребна големина на примерокот за сигурно да се открие ефектот?
    2. Да претпоставиме дека од бар за напредок се очекува да го зголеми процентот на ученици кои ја завршуваат класата за 10 процентни поени; што е потребна големина на примерокот за сигурно да се открие ефектот?
    3. Сега замислете дека го извршивте експериментот, а учениците кои ги завршиле сите материјали на курсот полагаат завршен испит. Кога ќе ги споредите резултатите од завршните испити на учениците кои ја добиле лентата за напредок со резултатите на оние кои не ги изнеле, многумина до вашето изненадување, дека учениците кои не ја добиле лентата за напредок всушност постигнале повисоки резултати. Дали ова значи дека полето за напредок ги натерало учениците помалку да научат? Што можете да научите од овие податоци од исходот? (Совет: Види го поглавјето 7 од Gerber and Green (2012) )

21. [ , , ] Замислете дека работите како научник за податоци во технолошка компанија. Некој од одделот за маркетинг бара вашата помош во оценувањето на експериментот што го планираат за да се измери враќањето на инвестицијата (ROI) за нова онлајн рекламна кампања. ROI е дефинирана како нето добивка од кампањата поделена со цената на кампањата. На пример, кампањата која немаше ефект врз продажбата би имала ROI од -100%; кампања каде генерираната добивка е еднаква на трошоците ќе има ROI од 0; и кампања каде генерираната добивка е двојно поголема, трошокот ќе има ROI од 200%.

    Пред да започнете со експериментот, одделот за маркетинг ви ги обезбедува следните информации врз основа на нивните претходни истражувања (всушност, овие вредности се типични за вистинските онлајн рекламни кампањи пријавени во Луис и Рао (2015) ):

    • Средната продажба по корисник следи нормална дистрибуција со средна вредност од 7 долари и стандардна девијација од 75 долари.
    • Кампањата се очекува да ја зголеми продажбата за 0,35 долари по клиент, што одговара на зголемување на профитот од 0,175 долари по клиент.
    • Планираната големина на експериментот е 200.000 луѓе: половина во групата за третирање и половина во контролната група.
    • Цената на кампањата е 0,14 долари по учесник.
    • Очекуваната ROI за кампањата е 25% [ \((0.175 - 0.14)/0.14\) ]. Со други зборови, одделот за маркетинг верува дека за секој 100 долари потрошени за маркетинг, компанијата ќе заработи дополнителни 25 долари во профит.

    Напишете белешка за оценување на овој предложен експеримент. Вашата белешка треба да користи докази од симулацијата што ја креираш, и треба да се осврне на две главни прашања: (1) Дали би препорачал да го започнете овој експеримент според планираното? Ако е така, зошто? Ако не, зошто да не? Бидете сигурни дека ќе бидете јасни за критериумите што ги користите за да ја донесете оваа одлука. (2) Која големина на примерокот би ја препорачале за овој експеримент? Повторно молам, бидете сигурни дека ќе бидете јасни за критериумите што ги користите за да ја донесете оваа одлука.

    Еден добар меморандум ќе се осврне на овој конкретен случај; подобра меморија ќе се генерализира од овој случај на еден начин (на пример, покажи како одлуката се менува како функција од големината на ефектот на кампањата); и голем меморандум ќе презентира целосно генерализиран резултат. Вашата белешка треба да користи графикони за да помогне во илустрирањето на вашите резултати.

    Еве два навестувања. Прво, одделот за маркетинг може да ви даде некои непотребни информации и можеби не успеале да ви дадат некои потребни информации. Второ, ако користите R, бидете свесни дека функцијата rlnorm () не функционира онака како што многумина очекуваат.

    Оваа активност ќе ви даде практика со анализа на моќ, создавање симулации и комуникација на вашите резултати со зборови и графикони. Тоа треба да ви помогне да спроведете анализа на моќност за било каков вид на експеримент, а не само експерименти дизајнирани да ја проценат ROI. Оваа активност претпоставува дека имате некое искуство со статистичко тестирање и анализа на моќ. Ако не сте запознаени со анализата на моќ, препорачувам да го прочитате "A Power Primer" од Cohen (1992) .

    Оваа активност беше инспирирана од убава хартија на RA Lewis and Rao (2015) , што сликовито го илустрира фундаменталното статистичко ограничување на дури и масивните експерименти. Нивната хартија - која првично имаше провокативен наслов "За речиси невозможноста за мерење на враќањата за рекламирање" - покажува колку е тешко да се измери враќањето на инвестициите на онлајн реклами, дури и со дигитални експерименти кои вклучуваат милиони клиенти. Општо земено, RA Lewis and Rao (2015) илустрираат фундаменталниот статистички факт што е особено важен за експериментите со дигитална возраст: тешко е да се проценат малите ефекти на третманот во услови на бучни резултати од исходот.

22. [ , ] Направете го истото како и претходното прашање, но, наместо симулација, треба да користите аналитички резултати.

23. [ , , ] Направете го истото како и претходното прашање, но користете и симулациски и аналитички резултати.

24. [ , , ] Замислете дека ја напишавте меморандумот опишан погоре, а некој од одделот за маркетинг дава едно парче нови информации: тие очекуваат 0.4 корелација помеѓу продажбата пред и по експериментот. Како ова ги менува препораките во вашата меморандум? (Совет: видете го делот 4.6.2 за повеќе за проценката на разликите на средствата и проценката на разликите во разликите.)

25. [ , ] Со цел да се оцени ефективноста на новата програма за помош при вработување на интернет, универзитетот спроведе рандомизирано контролно испитување меѓу 10.000 студенти кои влегуваат во последната година од школувањето. Бесплатна претплата со единствени влезни информации беше испратена преку ексклузивна покана за е-пошта до 5.000 од случајно избраните студенти, додека другите 5.000 студенти беа во контролната група и немаа претплата. Дванаесет месеци подоцна, последователна анкета (без никакво одговарање) покажа дека и кај лекувањето и во контролните групи, 70% од учениците имале обезбедено полно работно време во одбраната (табела 4.6). Така, се чинеше дека веб-базирани услуга немаше ефект.

    Сепак, умен научник за податоци на универзитетот погледнал во податоците малку поблиску и сфатил дека само 20% од учениците во лек групата некогаш се пријавиле на сметката по добивањето на е-поштата. Понатаму, и малку изненадувачки, меѓу оние што се пријавиле на веб-страницата, само 60% имале обезбедено работно време со полно работно време во одбраната област, што е пониско од стапката за луѓе кои не се пријавиле и пониски од стапката за луѓето во контролна состојба (табела 4.7).

    1. Обезбедете објаснување за тоа што може да се случи.
    2. Кои се два различни начини за пресметување на ефектот на третманот во овој експеримент?
    3. Со оглед на овој резултат, дали треба да ја обезбеди оваа услуга на сите ученици? Само за да биде јасно, ова не е прашање со едноставен одговор.
    4. Што треба да направат следно?

    Забелешка: Ова прашање го надминува материјалот опфатен во ова поглавје, но ги опфаќа прашањата што се вообичаени во експериментите. Овој тип на експериментален дизајн понекогаш се нарекува охрабрувачки дизајн бидејќи учесниците се охрабруваат да се вклучат во третманот. Овој проблем е пример за тоа што се нарекува еднострана неусогласеност (види поглавје 5 од Gerber and Green (2012) ).

26. [ ] По понатамошно испитување, се покажа дека експериментот опишан во претходното прашање беше уште покомплициран. Се покажа дека 10% од луѓето во контролната група платиле за пристап до услугата, а завршиле со стапка на вработеност од 65% (табела 4.8).

    1. Напишете ја е-поштата во која се сумирани она што мислите дека се случува и препорачуваме акција.

    Забелешка: Ова прашање го надминува материјалот опфатен во ова поглавје, но ги опфаќа прашањата што се вообичаени во експериментите. Овој проблем е пример за тоа што се нарекува двострано непочитување (види поглавје 6 од Gerber and Green (2012) ).