активности

клуч:

• степен на тежина: лесни , средни , тешко , многу тешко
• бара математика ( )
• бара кодирање ( )
• собирање на податоци ( )
• Мои фаворити ( )

1. [ , ] Berinsky и колеги (2012) оценува Машински Турк во дел од реплицира три класични експерименти. Идентични класичен азиски кадрирање болести експеримент со Tversky and Kahneman (1981) . Се совпаѓаат со твоето резултати Tversky и Канеман е? Се совпаѓаат со твоето резултати Berinsky и колеги? Што, ако ништо друго, учиме за користење на Машински Турк за експерименти анкета?

2. [ , ] Во еден документ малку јазик-во-образ со наслов "Ние мора да раскинеме", социјалниот психолог Роберт Cialdini, еден од авторите на Schultz et al. (2007) , пишува дека тој се повлекува на почетокот од својата работа како професор, делумно поради тоа што на предизвиците со кои се соочуваат прави полето експерименти во една дисциплина (психологија) кои главно се врши лабораториски експерименти (Cialdini 2009) . Прочитај хартија Cialdini, и го напишете е-порака барајќи од него да ја преиспита својата распадот во однос на можностите за дигитални експерименти. Користете конкретни примери од истражувања кои се однесуваат на неговите проблеми.

3. [ ] Со цел да се утврди дали мали почетни успеси брава-во или исчезнат, ван де Rijt и и колеги (2014) интервенираше во четири различни системи за доделување успех на случајно избрани учесници, а потоа се мери на долгорочните ефекти од оваа произволна успех. Можете да мислам на други системи во кои може да се кандидира слични експерименти? Оценка на овие системи во однос на прашања од научна вредност, алгоритамски изненадувачките (види Глава 2) и етика.

4. [ , ] Резултатите од експериментот може да зависи од учесниците. Креирајте експеримент, а потоа се пушта и на Амазон Машински Турк (MTurk) со користење на две различни стратегии за регрутирање. Обидете се да ги стратегиите за експеримент и вработување, така што резултатите ќе бидат различни како е можно. На пример, вашиот стратегии за вработување може да биде да се регрутирање на учесници во утринските часови и во вечерните часови или за да се компензира учесниците со високи и ниски плати. Овие видови на разлики во стратегијата за вработување може да доведе до различни базени на учесниците и различни експериментални резултати. Како различни се вашите резултати испаднат? Што значи дека се открие за трчање експерименти врз MTurk?

5. [ , , , ] Замислете дека сте биле планирање емоционална зараза студија (Kramer, Guillory, and Hancock 2014) . Користете ги резултатите од претходната набљудување студија од страна на Kramer (2012) да одлучува за бројот на учесници во секоја состојба. Овие две студии не одговара совршено, така бидете сигурни да експлицитно наведете ги сите претпоставки дека ќе се направи:

   1. Се кандидира на симулација која ќе одлучи колку учесниците би биле потребни за да се открие ефект како голем како на сила во Kramer (2012) со \ (\ alpha = 0.05 \) и \ (1 - \ beta = 0.8 \).
   2. Направете го истото и пресметка на аналитички.
   3. Со оглед на резултатите од Kramer (2012) беше емотивен зараза (Kramer, Guillory, and Hancock 2014) над-напон (на пример, го имаат учесници повеќе од потребно)?
   4. Од претпоставките дека сте го направиле, кои имаат најголемо влијание за пресметка ти?

6. [ , , , ] Одговори на прашањето погоре, но, наместо користење на претходно набљудување студија од страна на Kramer (2012) ги користат резултатите од претходната природен експеримент со Coviello et al. (2014) .

7. [ ] И Rijt et al. (2014) и Margetts et al. (2011) и извршување на експерименти, кои учат на процесот на луѓе потпишување на петицијата. Споредете и контрастот на дизајнот и резултатите од овие истражувања.

8. [ ] Dwyer, Maki, and Rothman (2015) спроведена на две теренски експерименти врз односите меѓу социјалните норми и proenvironmental однесување. Тука е апстрактна на нивниот труд:

   "Како може да се искористи за психолошки науки, да се поттикне proenvironmental однесување? Во две студии, интервенции во насока на промовирање на однесување за заштеда на енергија во јавните бањи испитува влијанието на описни норми и лична одговорност. Во студија 1, светло статус (на пример, или исклучите) бил манипулиран пред некој влезе ненаселени јавни бања, сигнализирајќи описни норма за тоа поставување. Учесниците беа значително поголема веројатност да го вклучите светлата и ако тие беа исклучени кога тие влегле. Во студијата 2, дополнителен услов беше вклучен во која норма на исклучување на светлината е докажано од страна на Конфедерацијата, но учесниците не беа самите одговорни за да го вклучите. Лична одговорност модерирани влијание на општествените норми на однесување; кога учесниците не биле одговорни за претворање на светлината, влијанието на норма беше намалена. Овие резултати укажуваат на тоа како описни норми и лична одговорност може да се регулира на ефикасноста на proenvironmental интервенции. "

   Прочитајте нивните хартија и дизајн на репликација на студии 1.

9. [ , ] Градење на претходното прашање, сега ги извршуваат својата дизајн.

   1. Како да се споредат резултатите?
   2. Што може да се објасни овие разлики?

10. [ ] Постигнат е значителен дебата за експерименти со користење на учесниците регрутирани од Амазон Машински Турк. Паралелно со ова, постои исто така, е суштинска дебата за експерименти со користење на учесниците регрутирани од додипломски студент население. Напиши две страници Меморандум за споредување и спротивставени Turkers и студенти како истражувачи учесници. вашиот споредба треба да вклучи дискусија за научни и логистички прашања.

11. [ Книга] Џим Manzi е Неконтролирана (2012) е прекрасен вовед во моќта на експериментирање во бизнисот. Во книгата што ја пренел оваа приказна:

    "Еднаш бев на состанок со вистински бизнис гениј, само-направени милијардер кој имаше длабоко, интуитивен разбираат моќта на експерименти. Неговата компанија потроши значителни средства се обидува да создаде голема продавница на излози која ќе ги привлече корисниците и продажбата се зголемува, како и конвенционалната мудрост вели што треба. Експертите внимателно тестирани дизајн по дизајн, и во индивидуални сесии за тестирање преглед во текот на еден период од неколку години се појавува во оваа нема значително причинска влијанието на секој нов дизајн приказ на продажба. Високи маркетинг и малопродажба на директори се сретна со извршниот директор за да ги видиш овие историски резултатите од тестот во ТОТО. По претставувањето на сите експериментални податоци, тие заклучија дека конвенционалната мудрост не е во ред, дека излози не се вози на продажбата. Им препорачува акција беше да се намалат трошоците и напори во оваа област. Ова драматично покажа способност на експериментирање за укинување конвенционалната мудрост. Одговорот на извршен директор е едноставен: "Мојот заклучок е дека вашата дизајнери не се многу добри." Неговото решение е да се зголемат напорите во продавница дисплеј дизајн, и да се добијат нови луѓе за да го направи тоа. " (Manzi 2012, 158–9)

    Кој тип на важноста е загриженоста на извршниот директор на?

12. [ ] Градење на претходното прашање, замислете дека сте биле на средба, на која се дискутираше за резултатите од експериментите. Кои се четири прашања кои што може да побара, по една за секој тип на важност (статистички, изградба, внатрешна и надворешна)?

13. [ ] Bernedo, Ferraro, and Price (2014) ги проучува седумгодишниот ефект на интервенцијата на заштеда на вода што е опишано во Ferraro, Miranda, and Price (2011) (види Графикон 4.10). Во овој труд, Bernedo и неговите колеги, исто така, се обидуваат да разберат механизмот зад ефект со споредување на однесувањето на домаќинствата кои имаат и не се преселиле по третманот е доставен. Тоа е, грубо, тие се обидуваат да се види дали третманот влијание на домот или на сопственици.

    1. Чита весник, го опишуваат нивниот дизајн, и ги сумира своите наоди. б) Дали нивните наоди влијаат на тоа како треба да се оцени исплатливоста на слични интервенции? Ако е така, зошто? Ако не, зошто не?

14. [ ] Во продолжение на Schultz et al. (2007) , Шулц и неговите колеги се изврши серија на три експерименти врз ефектот на описни и привремени мерки норми на различни животната средина однесување (крпа повторна употреба) во два контексти (хотел и негово користење владение) (Schultz, Khazian, and Zaleski 2008) .

    1. Резимира дизајн и наодите од овие три експерименти.
    2. Како, ако воопшто, тие промени вашето толкување на Schultz et al. (2007) ?

15. [ ] Како одговор на Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) имаше серија на лабораториски експерименти како да ја проучува дизајнот на сметки за струја. Еве како тие го опишуваат во апстрактни:

    "Во еден експеримент со истражување-базирани, секој учесник видел предлог-закон хипотетички електрична енергија за семејство со релативно високи употреба на електрична енергија, што ги опфаќа информации за (а) историска употреба, (б) споредби со соседите, и (в) историска употреба со апаратот дефект. Учесниците беа сите видови на информации во една од три формати, вклучувајќи (а) маси, (б), бар графикони, и (в) icon графикони. Ние извештај на три главни наоди. Прво, потрошувачите се разбере секој вид на информации електрична енергија употреба најмногу кога беше презентирана во табела, можеби затоа маси олесни едноставни точка читање. Второ, желби и намери да заштедите електрична енергија беа најсилните историски информации на употреба, независно од формат. Трето, лица со пониска потрошувачка на енергија писменост сфати сите информации помалку. "

    За разлика од другите следење студии, главната исходот од интерес за Canfield, Bruin, and Wong-Parodi (2016) се пријавени однесување не фактичкото однесување. Кои се предностите и слабостите на овој тип на студии во пошироко истражување програма за промоција заштеда на енергија?

16. [ , ] Smith and Pell (2003) е сатиричен мета-анализа на студии демонстрирањето на ефикасноста на падобрани. Тие се заклучи:

    "Како и со многу интервенции наменети за спречување на лошо здравје, ефективноста на падобрани не биле подложени на ригорозни евалуација со користење на рандомизирани контролирани испитувања. Застапниците на медицина заснована на докази, го критикуваше донесувањето на интервенции оценува само со користење на податоци од набљудувањата. Сметаме дека секој може да имаат корист ако најрадикалните протагонисти на медицина заснована на докази организира и учествува во двојно слепа, контролирана рандомизирана, плацебо, кросовер судењето на падобран. "

    Напиши колумна соодветна за весникот читателска публика, како што се The New York Times, тврдејќи против фетишизацијата на експериментални докази. Обезбеди специфични, конкретни примери. Совет: Исто така, види Bothwell et al. (2016) и Deaton (2010)

17. [ , , ] Разликата-во-разлики проценители на ефектот на третманот може да биде попрецизно отколку разликата во-значи проценители. Напише белешки на инженерот задолжен за тестирање A / B на start-up компанија социјалните медиуми објаснувајќи вредноста на пристап разликата-во-разлики за водење на онлајн експеримент. Во меморандумот треба да содржи изјава за проблемот, некои интуиција за условите под кои пресметувач разликата-во-разликата ќе се надминуваат на проценка разлика во-значи, и едноставна студија симулација.

18. [ , ] Гери Loveman работел како професор на Харвард бизнис школата, пред да стане извршен директор на Harrah е, еден од најголемите казино компании во светот. Кога се преселил во Harrah е, Loveman трансформира компанијата со чести Експрес-како лојалност програма што се собираат огромни количини на податоци во врска со однесувањето на клиентите. На врвот на ова секогаш на системот за мерење, компанијата почна да работи експерименти. На пример, тие би можеле да направиме експеримент за да се оцени ефектот на забава за бесплатно хотелско ноќ за клиенти со специфичен модел коцкање. Еве како Loveman опиша значењето на експериментирање со секојдневниот бизнис практики Harrah е:

    "Тоа е како да не малтретира жените, да не краде, и имаш да имаат контролна група. Ова е една од работите што можете да изгубите вашата работа за во Harrah's, а не водење на контролната група. " (Manzi 2012, 146)

    Напиши е-маил на нов вработен објаснувајќи зошто Loveman смета дека тоа е толку важно да имаат контролна група. Треба да се обидете да го вклучите пример-реална или составен, за да се илустрира својата точка.

19. [ , ] Новиот експеримент има за цел да се процени ефектот на приемот потсетници текстуална порака на навлегувањето вакцинација. 150 клиники, секоја со 600 пациенти имаат право, се подготвени да учествуваат. Постои фиксна цена од 100 долари за секоја клиника која сакате да работите со, и тоа не чини 1 долар за секоја порака што сакате да ја пратите. Понатаму, секој клиники кои ќе се работи со ќе се мери на исходот (дали некој доби вакцинација) бесплатно. Да претпоставиме дека имате буџет од 1.000 долари.

    1. Под кои услови може да биде подобро да се фокусира на вашите ресурси на мал број на клиники и под кои услови може да биде подобро да ги шири пошироко?
    2. Кои фактори ќе се утврди најмалата големина на тоа дека ќе бидете во можност да сигурно детектира со вашиот буџет?
    3. Напишете белешка објаснувајќи овие размени на потенцијален финансиер.

20. [ , ] Главен проблем со онлајн курсеви е осипување; многу студенти кои се одржуваат курсеви заврши намалувањето надвор. Замислете дека сте работи во онлајн платформа за учење, и дизајнер на платформа создаде визуелна прогрес бар дека таа мисли дека ќе помогне да се спречи студентите од напуштање на курсот. Сакате да ги тестираат на ефектот на лентата за напредок на студентите во голем компјутерската општествените науки разбира. По решавањето на сите етички прашања кои можат да произлезат во експериментот, вие и вашите колеги се загрижени дека курсот не може да има доволен број на ученици со сигурност да се детектираат ефекти од лентата за напредок. Во пресметките подолу може да се претпостави дека половина од студентите ќе добијат лентата за напредок и половина не. Освен тоа, може да се претпостави дека не постои мешање. Со други зборови, може да се претпостави дека учесниците се погодени само од тоа дали тие добиле третман или контрола; тие не се под влијание на тоа дали другите луѓе добиле третман или контрола (за повеќе формална дефиниција, види Gerber and Green (2012) , гл. 8). Ве молиме да ги пратите на било какви дополнителни претпоставки што ќе направи.

    1. Да претпоставиме дека на лентата за напредок, се очекува да се зголеми процентот на студенти кои завршиле на класа за 1 процентен поен, што е големината на примерокот се потребни за да со сигурност се открие ефектот?
    2. Да претпоставиме дека на лентата за напредок, се очекува да се зголеми процентот на студенти кои завршиле во класата за 10 процентни поени, што е големината на примерокот се потребни за да со сигурност се открие ефектот?
    3. Сега замислете дека сте ја стартувате експериментот и студентите кои имаат завршено сите наставни материјали се е завршен испит. Кога ќе се споредат завршен испит резултати на студентите кои доби лентата за напредок на оние кои не се, ќе најдете, многу да ги изненади, дека студентите кои не примиле прогрес бар, всушност, повисоки резултати. Дали ова значи дека лентата за напредок предизвикани студентите да научат помалку? Што можеш да научиш од овој исход податоци? (Совет: Види Gerber and Green (2012) , Поглавје 7).

21. [ , ] Во една прекрасна хартија, Lewis and Rao (2015) пластично илустрира основните статистички ограничување на уште масовно експерименти. Хартија која првично имаше провокативен наслов "На речиси невозможно за мерење на враќање на рекламирање" -shows колку е тешко е да се измери враќање на инвестицијата на онлајн реклами, дури и со дигитални експерименти со милиони корисници. Поопшто, на хартија, јасно покажува дека е тешко да се процени мал ефект третман среде бучни податоци за резултатите. Или, пак, изјави diffently, весникот дека проценетите ефекти третман ќе имаат големи интервали на доверба кога стандардна девијација влијание-на-(\ (\ frac {\ делта \ бар {y}} {\ sigma} \)) сооднос е мал. Важно општа лекција од овој труд е дека резултатите од експериментите со мал сооднос влијание-на-стандардна девијација (на пример, враќање на инвестицијата на рекламните кампањи) ќе бидат непријатни. Вашиот предизвик ќе биде да напишете белешка со некој во одделот за маркетинг на вашата компанија evaluting планиран експеримент за мерење на рентабилност на рекламна кампања. Вашиот меморандум треба да бидат поддржани со графикони на резултатите на компјутерски симулации.

    Еве некои основни информации што ви требаат. Сите овие нумерички вредности се типични за вистински експерименти пријавени во Lewis and Rao (2015) :

    • Рентабилност, клучен показател за онлајн рекламирање кампањи, е дефиниран да биде нето добивката од кампањата (бруто добивка од кампањата минус цената на кампањата) поделено со трошоците на кампањата. На пример на кампања, која немаше ефект врз продажбата ќе имаат рентабилност на 100% и кампања, каде што добивката генерирана биле еднакви на трошоците ќе има рентабилност на 0.

    • средната вредност на продажбата на клиентот е $ 7 со стандардно отстапување од 75 $.

    • кампањата се очекува да се зголеми продажбата на 0,35 $ за клиентите што одговара на зголемување на профит од $ 0,175 по желба на клиентот. Со други зборови, бруто маргина е 50%.

    • планираната големина на експериментот е 200.000 луѓе, половина во групата на третман, а половина во контролната група.

    • на трошоците на кампањата е $ 0,14 учесник.

    Напишете белешка evaluting овој експеримент. Дали ви препорачуваме лансирање на овој експеримент, како што беше планирано? Ако е така, зошто? Ако не, што промени ќе ги препорачувате?

    Еден добар Меморандумот ќе се соочиме со овој конкретен случај; подобра Меморандумот ќе се генерализира од овој случај на еден начин (на пример, покажуваат колку промени одлуката како функција од соодносот на влијание-на-стандардна девијација); и голем меморандум ќе се претстави со целосно генерализирана резултат.

22. [ , ] Стори истото како и кај претходното прашање, но наместо симулација треба да го користите аналитички резултати.

23. [ , , ] Стори истото како и кај претходното прашање, но користите симулација и аналитички резултати.

24. [ , , ] Замислете дека сте го напишале во меморандумот што е опишано погоре користење или симулација, аналитички резултати, или и двете, и некој од одделот за маркетинг се препорачува користење на проценка разлика-во-разлики отколку разликата во средствата за оценка (види Дел 4.6.2) . Напиши нова пократок белешка објаснувајќи како 0,4 корелација помеѓу продажбата пред експериментот и продажба по експериментот ќе ја смени вашиот заклучок.

25. [ , ] Со цел да се оцени ефикасноста на нова веб-базирани кариера услуги, канцеларија универзитет кариера услуги спроведе рандомизирана студија контрола кај 10.000 студенти кои влегуваат во последната година на училиште. Бесплатна претплата со уникатен Пријави информации бил испратен преку ексклузивни e-mail покана за 5.000 од случајно избрани студенти, а другите 5.000 студенти се во контролната група и немаат претплата. Дванаесет месеци подоцна, истражувањето на следење (без неодговор) покажува дека и во третманот и контролната група, 70% од учениците имаат обезбедено вработување со полно работно време во областа на одбраната (Табела 4.5). Така, се чини дека на веб-базирани услуги немаше ефект.

    Сепак, умен научник податоци на универзитетот погледна податоците малку поблиску и покажа дека само 20% од учениците во третманот група некогаш сте најавени на сметка по добивањето на e-mail. Понатаму, и изненадувачки, меѓу оние кои се најавите на веб-сајт само 60% беа обезбедени полно работно време во областа на одбраната, која беше пониска од стапката за луѓе кои не се најавите и пониска од стапката за луѓето во состојба на контрола (Табела 4.6).

    1. Даде објаснување за тоа што би можело да се случи.
    2. Кои се два различни начини за да се пресмета ефектот од третманот, во овој експеримент?
    3. Имајќи го предвид ова резултат на тоа, треба да се кариера услуги на универзитетот обезбеди овој веб-базирани кариера услуги за сите студенти? Само да биде јасно, ова не е прашање со едноставен одговор.
    4. Она што тие треба да правите следно?

    Забелешка: Ова прашање оди подалеку од материјал се опфатени во ова поглавје, но се однесува на прашања кои се заеднички во експериментите. Овој тип на експериментален дизајн е понекогаш се нарекува дизајн охрабрување, бидејќи учесниците се охрабруваат да се вклучат во третманот. Овој проблем е пример на она што се нарекува едностран неусогласеност (види Gerber and Green (2012) , гл. 5)

26. [ ] По понатамошно испитување, излегува дека експериментот е опишано во претходното прашање беше уште покомплицирана. Излегува дека 10% од луѓето во контролната група платени за пристап до услугата, и тие завршија со стапка на вработеност од 65% (табела 4.7).

    1. Напиши е-маил сумирање она што мислите дека се случува и да препорача курс на дејствување.

    Забелешка: Ова прашање оди подалеку од материјал се опфатени во ова поглавје, но се однесува на прашања кои се заеднички во експериментите. Овој проблем е пример на она што се нарекува двостран неусогласеност (види Gerber and Green (2012) , гл. 6)