aktivnosti

кеи:

• степен тежине: лако , средњи , тешко , Веома тешко
• захтева математику ( )
• захтева кодирање ( )
• прикупљање података ( )
• моји фаворити ( )

1. [ , ] Берински и колеге (2012) Мецханицал Турк делом реплицира три класичних експеримената. Поновити класичну Азије болест кадрирања експерименту Tversky and Kahneman (1981) . Да ли ваши резултати утакмица Тверски и Канеман је? Да ли ваши резултати утакмица Берински и колеге? Шта-ако ништа друго-да ли то нас уче о коришћењу Мецханицал Турк за експерименте анкете?

2. [ , ] У нешто језик-у-образ папира под називом "Морамо да Бреак Уп", друштвени психолог Роберт Циалдини, један од аутора Schultz et al. (2007) , написао да је у пензију раније с посла као професор, делимично због изазова са којима се суочавају се ради експерименте на терену у дисциплини (Псицхологи) који се углавном врши лабораторијске експерименте (Cialdini 2009) . Реад Циалдини је папир, и напише му мејл позивајући га да поново размотри своју распад у светлу могућности дигиталних експеримената. Користити конкретне примере истраживања који се баве своју забринутост.

3. [ ] Да би се утврдило да ли мале првих успеха лоцк-у или нестати, комби де Ријт и и колеге (2014) у четири различите системе даровања успех на насумично одабраних учесника, а затим мери дугорочне последице ове произвољне успеха. Можете ли се сетити других система у којима сте могли покренути сличне експерименте? Процените ове системе у погледу питања научне вредности, Алгоритхмиц збуњујући (видети поглавље 2) и етику.

4. [ , ] Резултати експеримента могу зависи од учесника. Направи експеримент, а затим га покренути на Мецханицал Турк (МТурк) помоћу две различите стратегије запошљавања. Покушајте да изабере експеримента и запошљавање стратегије, тако да су резултати ће бити другачије могуће. На пример, ваша стратегија запошљавања може бити да регрутује учесника ујутро и увече, или да надокнади учесника са високим и ниским платама. Овакве разлике у стратегији запошљавања може да доведе до различитих базена учесника и различитим експерименталним резултатима. Како другачије су ваши резултати испало? Шта да открива о покретању експерименте на МТурк?

5. [ , , , ] Замислите да сте планирали Емоционална Цонтагион студију (Kramer, Guillory, and Hancock 2014) . Користи резултате из ранијег опсервационој студији Kramer (2012) одлучује број учесника у свакој стању. Ове две студије се не поклапају сасвим тако бити сигурни да експлицитно наведе све претпоставке које чине:

   1. Покренути симулацију који ће одредити колико учесници би било потребно да се открије ефекат као велики као последица у Kramer (2012) \ (\ алпха = 0.05 \) и \ (1 - \ бета = 0.8 \).
   2. Да ли исти прорачун аналитички.
   3. С обзиром на резултате из Kramer (2012) Емоционално Цонтагион (Kramer, Guillory, and Hancock 2014) (тј, да ли то има више учесника него што је потребно)?
   4. Претпоставки које сте направили, који имају највећи утицај на прорачуна?

6. [ , , , ] Одговорите на питање изнад, али уместо да користе раније опсервационих студију Kramer (2012) резултате из ранијег природног експерименту Coviello et al. (2014) .

7. [ ] Оба Rijt et al. (2014) Margetts et al. (2011) обавља експерименте који студирају процес људи потписивањем петиције. Упоредите и контраст дизајн и налаза ових студија.

8. [ ] Dwyer, Maki, and Rothman (2015) два експерименте на терену на однос између друштвених норми и проенвиронментал понашања. Овде је апстрактно њиховог рада:

   "Како би психолошки наука може користити за подстицање проенвиронментал понашање? У две студије, интервенције чији је циљ унапређење енергетске понашање конзервацију у јавним купатилима испитали утицаје описне норми и личне одговорности. У студији 1, светло статуса (тј, он или офф) манипулисало пре неко ушао једне ненасељене јавни купатило, сигнализација описне норму за ту поставку. Учесници су били знатно већа вероватноћа да искључите светла када су се када су ушли. У студији 2, додатни услов је био укључен у којој је норма искључивањем светла је показано Конфедерације, али учесници нису били сами одговорни за укључивања. Лична одговорност модератор утицај друштвених норми о понашању; када учесници нису били одговорни за укључивање светла, утицај норме је смањена. Ови резултати показују како описни норме и лична одговорност може регулисати ефикасност проенвиронментал интервенција. "

   Реад свој рад и дизајн репликацију студије 1.

9. [ , ] Ослањајући се на претходно питање, сада спроводе свој дизајн.

   1. Како се резултати упоредити?
   2. Шта би могло да објасни ове разлике?

10. [ ] Постоје знатни расправа о експериментима који користе учесника регрутовани из Мецханицал Турк. У исто време, такође је значајан расправа о експериментима који користе учесника регрутовани из Апсолвент популације. Напишите две стране запис односу и контраст Туркерс и студентима као учесника истраживаче. Ваш поређење треба да садржи дискусију о оба научних и логистичка питања.

11. [ ] Јим Манзи књига Неконтролисана (2012) диван увод у руке експериментисања у пословању. У књизи је пренео ову причу:

    "Једном сам био на састанку са правом пословном генија, милијардера селф-маде који је дубоко, интуитивно занемаривање о моћи експеримената. Његова компанија потрошила значајна средства покушавају да створе велике продавнице излозима које би привукле потрошаче и повећава продају, као конвенционална мудрост каже да би требало. Стручњаци пажљиво тестирани дизајн након дизајна, а у појединим Тест прегледа сесија током периода од неколико година води показује значајну узрочну ефекат сваког новог дизајна приказа на продају. Виши маркетинг и трговање руководиоци састао са директором за преглед ових резултата историјски тест ин тото. Након представљања свих експерименталних података, закључили су да је конвенционална мудрост је погрешно да приказује прозор не возим продају. Њихова препоручена акција је била да смањи трошкове и напоре у овој области. Ово драматично показала способност експериментисања да поништи конвенционалну мудрост. Генерални директор одговор је једноставан: "Мој закључак је да ваши дизајнери нису баш добри." Његово решење је да се повећа напоре у дизајну продавница екрана, и да се нови људи да то уради. " (Manzi 2012, 158–9)

    Који тип важења је брига директора?

12. [ ] Ослањајући се на претходно питање, замислите да сте били на састанку на којем се расправљало су резултати експеримената. Шта су четири питања која бисте могли да питате, један за сваку врсту важења (статистички, изградње, унутрашње и спољно)?

13. [ ] Bernedo, Ferraro, and Price (2014) утицај интервенције уштеде воде описана у седам година Ferraro, Miranda, and Price (2011) (погледати слику 4.10). У овом раду, Бернедо и колеге настоје да разумеју механизам иза ефекта упоређивањем понашање домаћинстава која имају и нису одселили након изрицања третман. То јест, отприлике, они покушавају да видимо да ли је третман утицао на дом или власнику куће.

    1. Читам новине, описују свој дизајн, а сумирају своје налазе. б) Да ли су њихови налази утиче како треба да процени исплативост сличних интервенција? Ако је тако, зашто? Ако не, зашто не?

14. [ ] У фоллов-уп Schultz et al. (2007) , Сцхултз и колеге обављају низ од три експеримента о утицају дескриптивне и ослобађајуће норми на другом животне средине понашања (пешкир поновно коришћење) у два контекста (хотел и тимесхаре стамбеним) (Schultz, Khazian, and Zaleski 2008) .

    1. Резимирамо дизајн и налазе ова три експеримента.
    2. Како, ако уопште, они променити интерпретацију Schultz et al. (2007) ?

15. [ ] Као одговор на Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) низ лабораторијских попут експеримената да студира дизајн електричних рачуна. Ево како то описују у апстрактно:

    "У експерименту је истраживање засновано, сваки учесник видео хипотетички рачун за струју за породице са релативно високим коришћења електричне енергије, која покрива информације о (а) историјског употребу, (б) поређења са суседима, и (ц) историјски употреба са апарата квара. Учесници видели све врсте информација на једном од три формата, укључујући (а) столовима, (б) графиконе бар, и (ц) ицон графиконе. Ми смо извештај о три главна налаза. Прво, потрошачи разумети сваку врсту информација електричне намене највише када је представљен у табели, можда зато што столови омогућити једноставно тачке читање. Друго, склоности и намере за штедњу електричне енергије су најјачи на историјским подацима коришћења, независно од формата. Треће, особе са нижим енергије писмености разумети све информације мање. "

    За разлику од других пратећих студија, главни резултат интересовања за Canfield, Bruin, and Wong-Parodi (2016) пријавио понашање није стварно понашање. Које су предности и недостаци ове врсте студија у ширем истраживачком програму који промовише уштеде енергије?

16. [ , ] Smith and Pell (2003) сатирично мета-анализа студија који показују ефикасност падобрана. Они закључују:

    "Као и многи интервенције за циљ да спречи лошег здравља, ефикасност падобрана није била подвргнута строгој евалуацији помоћу рандомизираних контролисаних студија. Заговорници доказа медицине засноване су критиковали усвајање интервенција процењен помоћу само осматрачких података. Мислимо да сви могу имати користи ако су најрадикалнији протагонисти доказа медицине засноване организовао и учествовао у двоструко слепо, рандомизирана, плацебо контролисано, испитивање скретница падобрана. "

    Напишите оп-ед погодно за општу читалачкој публици новина, као што су Тхе Нев Иорк Тимес, тврдећи против фетишизација експерименталног доказа. Пружи конкретне, конкретне примере. Хинт: Види такође, Bothwell et al. (2016) Deaton (2010)

17. [ , , ] Разлика-у-разлика естиматорима ефекат третмана може бити прецизнији од разлика-у-средње естиматора. Напишите допис инжењер задужен за А / Б тестирање у друштвене медијске куће старт-уп објашњава вредност приступа разлика-у-разлике за покретање онлине експеримент. У допису треба да садржи изјаву о проблему, мало интуиције о условима под којима ће разлика-у-разлици процењивач надмаши разлика-у-средње естиматор и једноставно испитивање симулацијом.

18. [ , ] Гери Ловеман је био професор на Харвард Бусинесс Сцхоол пре постане генерални директор Харрах, један од највећих казино компанија у свету. Када се преселио у Харрах, Ловеман трансформисао компанију са честим програм лојалности пилот-тако прикупљене огромне количине података о понашању потрошача. На врху ове увек на мерног система, компанија је почела ради експерименте. На пример, они могу покренути експеримент да процени ефекте купон за бесплатну хотел ноћи за купце са одређеном обрасцу коцкање. Ево како Ловеман описао је важност експериментисања са свакодневним пословним обичајима Харрах:

    "То је као да не малтретирају жене, не краду, и мораш да има контролну групу. То је једна од ствари које можете изгубити посао за на Харрах'с-не ради контролну групу. " (Manzi 2012, 146)

    Напишите емаил новог радника објашњава зашто Ловеман сматра да је важно имати контролну групу. Требало би да покушате да укључите пример-ни прави или састављен-да илуструје поенту.

19. [ , ] Нови експеримент има за циљ да процени утицај примања текстуалне поруке подсетника на вакцинације упијања. 150 клинике, сваки са 600 квалификованих пацијената, су спремни да учествују. Постоји фиксни трошак од 100 долара за сваку клинику желите да радите са, и кошта 1 долар за сваку текстуалну поруку коју желите да пошаљете. Даље, било клинике да раде са ће мерити исход (да ли је неко примио вакцину) за бесплатно. Претпоставимо да имате буџет од 1000 долара.

    1. Под којим условима би било боље да се фокусирају своје ресурсе на малом броју клиника и под којим условима би могло бити боље њихово ширење шире?
    2. Који фактори ће одредити најмању ефекат величине које ће бити у могућности да поуздано да открију са буџетом?
    3. Напишите белешку која објашњава ове уступке потенцијалном донатору.

20. [ , ] Главни проблем са онлине курсева је исцрпљивање; многи студенти који почињу курсеви заврше Напуштање. Замислите да радите на платформи за учење на мрежи, и дизајнер на платформи је визуелни прогресс бар да мисли да ће спречити студенте из напуштање курса. Желите да тестирате ефекат бар на студенте напредак у великој рачунарску друштвених наука, наравно. Након обраћања било етичка питања која се могу појавити у експерименту, ви и ваше колеге се бринем да курс не може имати довољно студената да поуздано откривање ефекте траку тока. У прорачунима испод можете претпоставити да пола студената ће добити траку тока и пола не. Даље, можете претпоставити да нема сметњи. Другим речима, можете претпоставити да су учесници утиче само по томе да ли су примили третман или контроле; нису извршена по томе да ли други људи добили третман или контролу (за више формалне дефиниције, види Gerber and Green (2012) , Цх. 8). Молимо Вас да пратите све додатне претпоставке које чине.

    1. Претпоставимо да је бар напредак се очекује да се повећа проценат ученика који заврше разред за 1 процентни поен, што је величина узорка треба да поуздано да открију ефекат?
    2. Претпоставимо да је бар напредак се очекује да се повећа проценат ученика који заврше разред за 10 процентних поена, што је величина узорка треба да поуздано да открију ефекат?
    3. Сада замислите да сте покренули експеримент и студенти који су завршили сви материјали са предавања су узели завршни испит. Када се упореди завршног испита мноштво ученика који су добили траку тока за оне који нису, ви пронађете, много је на твоје изненађење, да студенти који нису добили траку тока заправо имали боље. Да ли то значи да је прогрес бар изазвао студенте да уче мање? Шта можете научити из овог исхода података? (Савет: Погледајте Gerber and Green (2012) , Цх 7.)

21. [ , ] У дивној папир, Lewis and Rao (2015) илуструју суштинску статистички ограничење чак масивним експеримената. У раду-који је првобитно имао провокативног назива "На скоро немогућности Мерење повратак на рекламирање" -сховс колико је тешко да се измери поврат инвестиције у онлине оглашавању, чак и са дигиталним експерименти који укључује милионе купаца. Уопштено говорећи, у раду јасно показује да је тешко проценити мали ефекат лечења усред бучних података исхода. Или је навео диффентли, у раду показује да ће ефекти процијењена третман имају интервале велике поверења када је утицај-у-стандардне девијације (\ (\ фрац {\ Делта \ бар {И}} {\ сигма} \)) однос је мали. Важно општи лекција из овог рада је да су резултати из експеримената са малим односом утицај-то-стандардне девијације (нпр РОИ рекламне кампање) ће бити незадовољавајући. Ваш изазов ће бити да напише допис неко у маркетингу ваше компаније евалутинг планирани експеримент за мерење РОИ огласну кампању. Белешка треба да буде подржан са графова резултатима рачунарских симулација.

    Ево неке информације позадина које можда требати. Све ове нумеричке вредности су типични примери стварних експеримената пријављених у Lewis and Rao (2015) :

    • Повраћај, кључни показатељ за онлине рекламне кампање, се дефинише нето добит од кампање (бруто добит од кампања минус трошкова кампање) подељеној са трошковима кампање. На пример, кампања која је имала никаквог ефекта на продају ће имати РОИ од -100% и кампању у којој добит остварена били једнаки трошковима би имао РОИ 0.

    • средње продаје по потрошачу је $ 7 са стандардним одступањем од $ 75.

    • кампања се очекује да повећа продају за $ 0.35 по жељи који одговара повећању профита од $ 0,175 по кориснику. Другим речима, бруто маржа је 50%.

    • планирано величина експеримента је 200.000 људи, пола у третираној групи и пола у контролној групи.

    • трошкови кампање је $ 0.14 по учеснику.

    Напишите белешку евалутинг овај експеримент. Да ли бисте препоручили покретање овај експеримент како је планирано? Ако је тако, зашто? Ако не, какве промене бисте препоручили?

    Добар меморандум ће се бавити овом конкретном случају; боље меморандум ће генерализовати из овог случаја на један начин (нпр показати како се одлука промени у функцији односа утицаја-на-стандардне девијације); и велики меморандум ће представити потпуно опсти резултат.

22. [ , ] Да ли исто као претходног питања, али пре него симулација треба да користите аналитичке резултате.

23. [ , , ] Да ли исто као претходног питања, али користе и симулацију и аналитичке резултате.

24. [ , , ] Замислите да сте написали допис описан горе коришћењем или симулације, аналитичке резултате, или обоје-а некога из одељења маркетинга препоручује коришћење разлика-у-разлика за процену пре него разлика у средствима естиматором (видети поглавље 4.6.2) . Напишите нови краће белешке објашњава како би 0,4 корелација између продаје пре експеримента и продаје након експеримента мењају свој закључак.

25. [ , ] Да би се испитала ефикасност новог веб-басед сервиса каријере, канцеларија услуге универзитетску каријеру је спровео рандомизед триал контроле међу 10.000 студената који улазе у завршну годину школе. Слободно претплата са јединственим информацијама за пријављивање је послат кроз ексклузивном емаил позива на 5.000 насумично изабраних студената, док су остали 5.000 студенти су у контролној групи и немају претплату. Дванаест месеци касније, наставак истраживање (без без одговора) показује да је у оба третман и контролне групе, 70% ученика је обезбедио стално запослење у својој одабраној области (Табела 4.5). Тако, чини се да је веб базирани сервис није имала никаквог ефекта.

    Међутим, паметан научник подаци на универзитету погледао података мало ближе и утврдио да само 20% ученика у групи за третман икада пријављени на рачуну након пријема е-маил. Даље, и помало изненађујуће, међу онима који су пријављени на сајту само 60% је обезбедила запослење са пуним радним временом у својој одабраној области, која је нижа од стопе за људе који не пријавите и нижа од стопе за људе у контрола услов (Табела 4.6).

    1. Пружи објашњење за оно што се могло догодити.
    2. Који су два различита начина израчунавања ефекат третмана у овом експерименту?
    3. С обзиром на овај резултат, треба услуга универзитет каријера обезбеди ову веб-басед каријеру услугу свим студентима? Само да буде јасно, ово није питање са једноставним одговором.
    4. Шта треба да урадите следеће?

    Хинт: Ово питање превазилази материјала садржана у овом поглављу, али бави питањима заједничке у експериментима. Ова врста експерименталног дизајна се понекад назива охрабрење дизајн јер учесници се подстичу да се укључе у лечењу. Овај проблем је пример онога што се назива једностраним непоштовање (види Gerber and Green (2012) , Цх. 5)

26. [ ] Након даљег испитивања, испоставило се да је експеримент описан у претходном питању била још компликованија. Испоставило се да је 10% људи у контролној групи платио за приступ служби, и они су завршили са стопом запослености од 65% (табела 4.7).

    1. Напиши е-маил сумира шта мислиш што се дешава и препоручити ток акције.

    Хинт: Ово питање превазилази материјала садржана у овом поглављу, али бави питањима заједничке у експериментима. Овај проблем је пример онога што се назива двострано непоштовање (види Gerber and Green (2012) , Цх. 6)