aktivity

• stupeň obtížnosti: snadné , médium , tvrdé , velmi obtížné
• vyžaduje matematiku ( ).
• vyžaduje kódování ( ).
• sběr dat ( ).
• můj oblíbený ( ).

1. [ , ] Berinsky a kolegové (2012) vyhodnotili MTurk částečně replikací tří klasických experimentů. Replikujte experiment klasického asijského onemocnění Tversky and Kahneman (1981) . Dochází vaše výsledky s Tverskym a Kahnemanovým? Dochází vaše výsledky k těm Berinským a kolegům? Co když něco - to nás naučí, abychom použili MTurk pro průzkumné experimenty?

2. [ , ] Na papíře s názvem "Musíme se rozbít", v sociálním psychologi Robertem Cialdinim, jedním z autorů Schultz et al. (2007) napsal, že předčasně odešel z funkce profesora, částečně kvůli výzvám, kterým čelil v terénních experimentech v oboru (psychologie), který provádí především laboratorní experimenty (Cialdini 2009) . Přečtěte si článek Cialdiniho a napište mu e-mail, v němž ho vyzývá, aby znovu zvážil rozpad v souvislosti s možnostmi digitálních experimentů. Použijte konkrétní příklady výzkumu, který řeší jeho obavy.

3. [ ] Aby se zjistilo, zda se malé počáteční úspěchy zablokují nebo ztrácejí, intervenovali van de Rijt a kolegové (2014) ve čtyřech různých systémech, které udělali úspěch náhodně vybraným účastníkům, a pak změřily dlouhodobé dopady tohoto libovolného úspěchu. Můžete myslet na další systémy, ve kterých byste mohli provádět podobné experimenty? Vyhodnoťte tyto systémy v otázkách vědecké hodnoty, algoritmického zmatení (viz kapitola 2) a etiky.

4. [ , ] Výsledky experimentu mohou záviset na účastnících. Vytvořte experiment a spusťte ho na MTurk pomocí dvou různých strategií náboru. Pokuste se vybrat strategii experimentu a náboru, aby výsledky byly co nejrůznější . Například vaše náborové strategie by mohly být nábor účastníků ráno a večer nebo kompenzace účastníků s vysokými a nízkými platy. Tyto rozdíly ve strategii náboru by mohly vést k různým skupinám účastníků a různým experimentálním výsledkům. Jak se vaše výsledky ukázaly jinak? Co to ukazuje při běhu experimentů na MTurku?

5. [ , , ] Představte si, že jste plánovali experiment Emocionální nákazy (Kramer, Guillory, and Hancock 2014) . Využijte výsledky dřívější observační studie Kramer (2012) abyste rozhodli o počtu účastníků v jednotlivých podmínkách. Tyto dvě studie neodpovídají dokonale, takže nezapomeňte explicitně uvést všechny předpoklady, které uděláte:

   1. Spusťte simulaci, která rozhodne, kolik účastníků by bylo zapotřebí k odhalení efektu takového, jaký má vliv v Kramer (2012) s \(\alpha = 0.05\) a \(1 - \beta = 0.8\) .
   2. Proveďte stejný výpočet analyticky.
   3. Kvůli výsledkům Kramer (2012) byla emoční nákaza (Kramer, Guillory, and Hancock 2014) nadměrně napájena (tj. Má více účastníků, než je potřeba)?
   4. Z předpokladů, které jste provedli, které mají největší vliv na váš výpočet?

6. [ , , ] Odpověď na předchozí otázku znovu, ale tentokrát spíše než pomocí dříve observační studii Kramer (2012) , použití výsledků z dřívější přirozeného experimentu Lorenzo Coviello et al. (2014) .

7. [ ] Oba Margetts et al. (2011) a van de Rijt a kol. (2014) provedli experimenty, které zkoumaly proces podpisu petice. Porovnejte a kontrastujte návrhy a zjištění těchto studií.

8. [ ] Dwyer, Maki, and Rothman (2015) provedli dva pokusy o vztazích mezi sociálními normami a ekologickým chováním. Zde je jejich abstrakt:

   "Jak by psychologická věda mohla být využita k podpoře proenvironmentálního chování? Ve dvou studiích byly intervence zaměřené na podporu chování při zachování energie ve veřejných koupelnách zkoumány vlivy popisných norem a osobní odpovědnosti. Ve studii 1 byl stav světla (tj. Zapnutý nebo vypnutý) manipulován předtím, než někdo vstoupil do neobsazené veřejné koupelny, signalizující popisnou normu pro toto nastavení. Účastníci měli významně větší pravděpodobnost, že zhasnou světla, pokud byli při vstupu do provozu. Ve Studiu 2 byla zahrnuta dodatečná podmínka, ve které byla norma vypnutí světla demonstrována konfederátem, ale účastníci nebyli zodpovědní za jeho zapnutí. Osobní odpovědnost zmírnila vliv sociálních norem na chování; kdy účastníci nebyli zodpovědní za zapnutí světla, vliv normy byl snížen. Tyto výsledky ukazují, jak popisné normy a osobní odpovědnost mohou regulovat účinnost proenvironmentálních intervencí. "

   Přečtěte si článek a navrhneme replikaci studie 1.

9. [ , ] V návaznosti na předchozí otázku nyní proveďte svůj design.

   1. Jak se porovnávají výsledky?
   2. Co by mohlo vysvětlit tyto rozdíly?

10. [ ] Byla provedena značná diskuse o experimentech s využitím účastníků z MTurk. Souběžně probíhala také rozsáhlá debata o experimentech s využitím účastníků, kteří byli přijati z populace vysokoškoláků. Napište dvoustránkovou poznámku, která porovnává a kontrastuje turisty a vysokoškoláky s účastníky výzkumu. Vaše srovnání by mělo zahrnovat diskusi o vědeckých i logistických otázkách.

11. [ ] Jim Manziho kniha Uncontrolled (2012) je úžasný úvod do síly experimentování v podnikání. V knize předával následující příběh:

    "Jednou jsem byl na schůzce s opravdovým podnikatelským géniem, vlastním miliardářem, který měl hluboké a intuitivní podcenění síly pokusů. Jeho společnost vynaložila značné prostředky na to, aby vytvořila skvělé vitríny v obchodě, které by přitahovaly spotřebitele a zvyšovaly prodej, jak říkali konvenční moudrosti. Odborníci pečlivě otestovali design po návrhu a v jednotlivých zkouškách zasedání po dobu několika let neustále vykazovaly žádný významný kauzální efekt každého nového designu displeje na prodej. Vedoucí marketingové a merchandisingové pracovníci se setkali s generálním ředitelem, aby přezkoumali výsledky historických testů v tomto roce. Po předložení všech experimentálních údajů dospěli k závěru, že konvenční moudrost je špatná - okna s displeji nevedou k prodeji. Jejich doporučením bylo snížit náklady a úsilí v této oblasti. To dramaticky demonstrovalo schopnost experimentování převrátit konvenční moudrost. Reakce generálního ředitele byla jednoduchá: "Můj závěr je, že tvůrci nejsou moc dobří." Jeho řešením bylo zvýšit úsilí v designu obchodního displeje a získat nové lidi, aby to udělali. " (Manzi 2012, 158–9)

    Který typ platnosti je záležitostí generálního ředitele?

12. [ ] Na základě předchozí otázky si představte, že jste byli na setkání, kde byly diskutovány výsledky experimentů. Co jsou čtyři otázky, které byste se mohli zeptat - jeden pro každý typ platnosti (statistický, konstruktivní, interní a externí)?

13. [ ] Bernedo, Ferraro, and Price (2014) studovali sedmiletý účinek úsporné intervence popsané ve Ferraro, Miranda, and Price (2011) (viz obrázek 4.11). V tomto příspěvku se Bernedo a jeho kolegové také snažili porozumět mechanismu, který ovlivňuje tento efekt, porovnáním chování domácností, které se po léčbě vyskytly a neuspěly. To znamená, že zhruba se pokoušeli zjistit, zda léčba ovlivnila domov nebo majitele domů.

    1. Přečtěte si článek, popište jeho návrh a shrňte jeho nálezy.
    2. Dochází jejich zjištění k tomu, jak byste měli posoudit efektivitu nákladů podobných zásahů? Pokud ano, proč? Pokud ne, proč ne?

14. [ ] V návaznosti na Schultz et al. (2007) (Schultz, Khazian, and Zaleski 2008) provedli Schultz a kolegové řadu tří pokusů o vlivu popisných a přísných norem na různé environmentální chování (opakované použití (Schultz, Khazian, and Zaleski 2008) ) ve dvou kontextech (hotel a časově vymezené kondominium (Schultz, Khazian, and Zaleski 2008) .

    1. Shrnout návrh a zjištění těchto tří experimentů.
    2. Jak, pokud vůbec, změní vaše interpretace Schultz et al. (2007) ?

15. [ ] V reakci na Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) provedli řadu laboratorních experimentů ke studiu návrhu elektrických účtů. Zde je popis v abstraktní podobě:

    "V experimentu založeném na průzkumu každý účastník viděl hypotetický účet za elektřinu pro rodinu s relativně vysokou spotřebou elektřiny, zahrnující informace o (a) historickém použití, (b) srovnávání se sousedy a (c) historické použití se členěním zařízení. Účastníci viděli všechny typy informací v jednom ze tří formátů včetně (a) tabulek, (b) sloupcových grafů a (c) ikonových grafů. Zpráva o třech hlavních zjištěních. Nejprve spotřebitelé pochopili nejčastěji všechny typy informací o spotřebě elektřiny, když byly uvedeny v tabulce, snad proto, že tabulky usnadňují jednoduché čtení. Za druhé, přednosti a záměry šetření elektřiny byly pro informace o historickém použití nejsilnější, nezávisle na formátu. Za třetí, lidé s nižší energetickou gramotností chápali všechny informace méně. "

    Na rozdíl od ostatních následných studií je hlavním výsledkem zájmu o Canfield, Bruin, and Wong-Parodi (2016) hlášené chování, nikoliv skutečné chování. Jaké jsou silné a slabé stránky tohoto typu studie v rámci širšího výzkumného programu na podporu úspor energie?

16. [ , ] Smith and Pell (2003) představili satirickou metaanalýzu studií demonstruujících účinnost padáků. Došli k závěru:

    "Stejně jako u mnoha zásahů určených k prevenci špatného zdravotního stavu, účinnost padáků nebyla podrobena důkladnému hodnocení použitím randomizovaných kontrolovaných studií. Advokáti medicíny založené na důkazech kritizovali přijetí intervencí, které byly vyhodnoceny pouze pomocí pozorovacích údajů. Domníváme se, že všichni by mohli mít prospěch, pokud by nejradikálnější protagonisté medicíny založené na důkazech uspořádali a podíleli se na dvojitě zaslepené, randomizované, placebem kontrolované křížové studii padáku. "

    Napište op-ed vhodný pro noviny pro všeobecné čtenáře, jako například New York Times , který argumentuje proti fetišizaci experimentálních důkazů. Uveďte konkrétní konkrétní příklady. Tip: Viz také Deaton (2010) a Bothwell et al. (2016) .

17. [ , , ] Odhady rozdílu v rozdílech účinku léčby mohou být přesnější než odhadové odchylky v průměru. Napište poznámku inženýrovi, který má na starosti testování A / B u začínající společnosti sociálních médií vysvětlující hodnotu přístupu rozdílných rozdílů pro provozování online experimentu. Poznámka by měla obsahovat vyjádření problému, určitou intuici o podmínkách, za kterých bude odhadovač rozdílných rozdílů překonávat rozdíl v odhadu a jednoduchou simulační studii.

18. [ , ] Gary Loveman byl profesorem na Harvard Business School předtím, než se stal generálním ředitelem Harrah's, jedné z největších kasinových společností na světě. Když se přestěhoval do společnosti Harrah's, Loveman přeměnil společnost na věrnostní program, který se podobal častým letcům a shromažďoval obrovské množství údajů o chování zákazníků. Vedle tohoto neustále se rozvíjejícího systému začala společnost provádět experimenty. Mohli by například spustit experiment, který vyhodnotí vliv kuponu na bezplatnou hotelovou noc pro zákazníky s určitým herním vzorem. Zde je, jak Loveman popsal důležitost experimentování Harrahových každodenních obchodních praktik:

    "Je to, jako byste neobtěžoval ženy, neukradnete a musíte mít kontrolní skupinu. To je jedna z věcí, které můžete přijít o Harrahovu práci - neběží kontrolní skupina. " (Manzi 2012, 146)

    Napište e-mail novému zaměstnanci, který vysvětluje, proč Loveman myslí, že je tak důležité mít kontrolní skupinu. Měli byste se pokusit zahrnout příklad - buď skutečný, nebo provedený - abyste ilustrovali váš bod.

19. [ , ] Nový experiment usiluje o odhad vlivu přijímání upozornění na textové zprávy o očkování. Sto padesát klinik, z nichž každý má 600 způsobilých pacientů, je ochotno se zúčastnit. Existuje pevná cena 100 USD za každou kliniku, s níž chcete pracovat, a za každou textovou zprávu, kterou chcete odeslat, stojí 1 dolar. Kliniky, s nimiž pracujete, dále vyhodnotí výsledek (zda někdo obdržel očkování) zdarma. Předpokládejme, že máte rozpočet 1000 dolarů.

    1. Za jakých podmínek by mohlo být lepší zaměřit své zdroje na malý počet klinik a za jakých podmínek by bylo lepší lépe je šířit?
    2. Jaké faktory by určovaly nejmenší velikost efektu, kterou budete spolehlivě rozpoznat s rozpočtem?
    3. Napište poznámku vysvětlující tyto kompromisy potenciálnímu finančníkovi.

20. [ , ] Hlavním problémem s on-line kurzy je únava: mnoho studentů, kteří začínají kurzy, skončí. Představte si, že pracujete v on-line učební platformě, a návrhář na platformě vytvořil vizuální pokrok, o kterém si myslí, že pomůže zabránit tomu, aby studenti vyřadili z kurzu. Chcete testovat účinek panelu pokroku na studenty ve velkém výpočetním společensko-vědním kurzu. Poté, co řešíte jakékoli etické problémy, které by mohly vzniknout v experimentu, vy a vaši kolegové se obáváte, že kurz nemusí mít dostatek studentů, aby spolehlivě zjistili účinky panelu pokroku. V následujících výpočtech můžete předpokládat, že polovina studentů obdrží ukazatel průběhu a polovinu ne. Dále můžete předpokládat, že nedochází k žádnému rušení. Jinými slovy, můžete předpokládat, že účastníci jsou ovlivňováni pouze tím, zda dostali léčbu nebo kontrolu; nejsou ovlivněny tím, zda ostatní lidé obdrželi léčbu nebo kontrolu (pro formálnější definici viz kapitola 8, Gerber and Green (2012) ). Sledujte další předpoklady, které uděláte.

    1. Předpokládejme, že se otevírací prvek zvýší podíl studentů, kteří dokončí třídu o 1 procentní bod; jaká je velikost vzorku potřebná k spolehlivému zjištění efektu?
    2. Předpokládejme, že se otevírací prvek zvýší podíl studentů, kteří dokončí třídu o 10 procentních bodů; jaká je velikost vzorku potřebná k spolehlivému zjištění efektu?
    3. Představte si, že jste experiment provedli a studenti, kteří dokončili všechny předměty, absolvovali závěrečnou zkoušku. Když srovnáváte závěrečnou zkoušku studentů, kteří obdrželi tabulku pokroku s počtem těch, kteří to neudělali, zjistíte, velmi překvapivě, že studenti, kteří neobdrželi průběžný panel, skutečně dosáhli vyššího skóre. Znamená to, že ukazatel pokroku způsobil, že se studenti učí méně? Co se můžete dozvědět z těchto výsledků? (Tip: Viz kapitola 7 z Gerber and Green (2012) )

21. [ , , ] Představte si, že pracujete jako vědecký pracovník v technologické společnosti. Někdo z marketingového oddělení požádá o pomoc při hodnocení experimentu, který plánuje, aby změřil návratnost investic (ROI) pro novou online reklamní kampaň. ROI je definována jako čistý zisk kampaně vydělený cenou kampaně. Například kampaň bez vlivu na prodej by měla návratnost investic -100%; kampaň, kdy získané zisky byly stejné jako náklady, by měla návratnost investic 0; a kampaň, kdy získané zisky byly dvojnásobné, by měla návratnost investic o 200%.

    Před zahájením experimentu vám marketingové oddělení poskytne následující informace založené na jejich dřívějším výzkumu (ve skutečnosti jsou tyto hodnoty typické pro skutečné online reklamní kampaně hlášené v Lewis a Rao (2015) ):

    • Průměrný prodej na zákazníka sleduje log-normální distribuci v průměru 7 USD a standardní odchylku 75 USD.
    • Očekává se, že kampaň zvýší tržby o 0,35 USD na zákazníka, což odpovídá zvýšení zisku 0,175 USD na zákazníka.
    • Plánovaná velikost experimentu je 200 000 lidí: polovina v léčené skupině a polovina v kontrolní skupině.
    • Náklady na kampaň jsou 0,14 USD na účastníka.
    • Očekávaná návratnost investic pro kampaň je 25% [ \((0.175 - 0.14)/0.14\) ]. Jinými slovy, marketingové oddělení se domnívá, že za každých 100 dolarů vynaložených na marketing bude společnost získávat zisk dalších 25 dolarů.

    Napište poznámku hodnotící tento navrhovaný experiment. Vaše poznámka by měla používat důkazy ze simulace, kterou vytvoříte, a měla by se zabývat dvěma hlavními otázkami: (1) Doporučil byste, aby byl tento experiment zahájen podle plánu? Pokud ano, proč? Pokud ne, proč ne? Ujistěte se, že máte jasno ohledně kritérií, která používáte k rozhodnutí. (2) Jakou velikost vzorku byste doporučil pro tento experiment? Znovu se ujistěte, že máte jasno ohledně kritérií, která používáte pro rozhodnutí.

    Dobrá poznámka se bude zabývat tímto konkrétním případem; lepší poznámka se z tohoto případu zobecní jedním způsobem (např. ukažte, jak se rozhodnutí mění v závislosti na velikosti účinků kampaně); a velká poznámka bude představovat plně zobecněný výsledek. Vaše poznámka by měla používat grafy, které vám pomohou ilustrovat vaše výsledky.

    Zde jsou dva tipy. Za prvé, marketingové oddělení vám mohlo poskytnout některé zbytečné informace a možná vám neposkytly potřebné informace. Za druhé, pokud používáte R, uvědomte si, že funkce rlnorm () nefunguje tak, jak očekává mnoho lidí.

    Tato aktivita vám umožní procvičovat analýzu výkonu, vytvářet simulace a sdělovat výsledky pomocí slov a grafů. Mělo by vám pomoci provádět analýzu výkonu pro jakýkoli druh experimentu, a ne pouze experimenty navržené k odhadnutí návratnosti investic. Tato činnost předpokládá, že máte zkušenosti se statistickým testováním a analýzou výkonu. Pokud nejste obeznámeni s analýzou napájení, doporučuji, abyste si přečetli "Power Primer" od Cohen (1992) .

    Tato aktivita byla inspirována krásným papírem od RA Lewis and Rao (2015) , který živě ilustruje základní statistické omezení dokonce masivních experimentů. Jejich papír - který původně měl provokativní titul "O bližší neuskutečnitelnosti měření návratů do reklamy" - ukazuje, jak obtížné je měřit návratnost investic online reklam, a to i s digitálními experimenty zahrnujícími miliony zákazníků. Obecněji, RA Lewis and Rao (2015) ilustrují základní statistickou skutečnost, která je obzvláště důležitá pro experimenty v digitálním věku: je těžké odhadnout malé efekty léčby uprostřed hlučných výsledků.

22. [ , ] Stejně jako předchozí otázka, ale spíše než simulace byste měli použít analytické výsledky.

23. [ , , ] Postupujte stejně jako předchozí otázka, ale použijte simulační i analytické výsledky.

24. [ , , ] Představte si, že jste napsali poznámku popsanou výše a někdo z marketingového oddělení poskytuje jednu novou informaci: očekávají 0,4 korelaci mezi prodejem před a po experimentu. Jak to změní doporučení v poznámce? (Pokyny: více v odhadu rozdílů prostředků a v odhadu rozdílů rozdílů naleznete v části 4.6.2.)

25. [ , ] Za účelem vyhodnocení účinnosti nového webového programu pomoci při zaměstnávání provedla univerzita randomizovanou kontrolní studii mezi 10.000 studenty, kteří vstoupili do posledního ročníku školy. Bezplatné předplatné s unikátními přihlašovacími údaji bylo odesláno prostřednictvím exkluzivní e-mailové pozvánky na 5000 náhodně vybraných studentů, zatímco dalších 5 000 studentů bylo v kontrolní skupině a nemělo předplatné. O dvanáct měsíců později následný průzkum (bez odezvy) ukázal, že jak v léčbě, tak v kontrolních skupinách bylo 70% studentů zajištěno zaměstnání na plný úvazek ve vybrané oblasti (tabulka 4.6). Zdálo se tedy, že webová služba nemá žádný účinek.

    Chytrý vědec v oblasti informací na univerzitě se však podrobněji podíval na údaje a zjistil, že po obdržení e-mailu se na účet přihlásilo pouze 20% studentů ve skupině léčených pacientů. Dále, a poněkud překvapivě, mezi těmi, kteří se přihlásili na webovou stránku, pouze 60% získalo zaměstnání na plný úvazek ve vybrané oblasti, což bylo nižší než míra pro osoby, které se nezaregistrovaly, a nižší, než je míra pro lidi v kontrolním stavu (tabulka 4.7).

    1. Vysvětlete, co se mohlo stát.
    2. Jaké jsou dva různé způsoby výpočtu účinku léčby v tomto experimentu?
    3. Vzhledem k tomuto výsledku by měla poskytovat tuto službu všem studentům? Jen aby bylo jasné, není to otázka s jednoduchou odpovědí.
    4. Co by měli dělat dál?

    Tip: Tato otázka přesahuje materiál obsažený v této kapitole, ale řeší problémy běžné v experimentech. Tento typ experimentálního návrhu je někdy nazýván povzbuzením, protože účastníci jsou vyzýváni, aby se zapojili do léčby. Tento problém je příkladem toho, co se nazývá jednostranný nesoulad (viz kapitola 5 Gerber and Green (2012) ).

26. [ ] Po dalším zkoumání se ukázalo, že experiment popsaný v předchozí otázce byl ještě komplikovanější. Ukázalo se, že 10% lidí v kontrolní skupině zaplatilo za přístup k službě a skončilo s mírou zaměstnanosti 65% (tabulka 4.8).

    1. Napište e-mail, který shrne, co si myslíte, že se děje, a doporučte postup.

    Tip: Tato otázka přesahuje materiál obsažený v této kapitole, ale řeší problémy běžné v experimentech. Tento problém je příkladem toho, co se nazývá obousměrný nesoulad (viz kapitola 6 z Gerber and Green (2012) ).