dejavnosti

Legenda:

• stopnja težavnosti: lahka , srednje , trda , zelo težko
• zahteva matematike ( )
• zahteva kodiranje ( )
• Zbiranje podatkov ( )
• moji najljubši ( )

1. [ , ] Berinsky in sodelavci (2012) ocenjuje Mechanical Turk v delu, ki ga posnema treh klasičnih poskusov. Posnema klasično azijske bolezni snemanja eksperiment z Tversky and Kahneman (1981) . Ali vaši rezultati tekma Tversky in Kahneman je? Ali vaši rezultati tekem Berinsky in kolegi? Kaj, če sploh kaj, se to nas učijo o uporabi Mechanical Turk za raziskave poskusov?

2. [ , ] V dokumentu nekoliko jezika-v-lice z naslovom "Moramo se Break Up," socialni psiholog Robert Cialdini, eden od avtorjev Schultz et al. (2007) , je zapisal, da je bil upokojil predčasno iz svoje delo kot profesor, deloma zaradi izzivov, je s katerimi se soočajo dela na terenu poskuse v disciplini (psihologija), ki v glavnem vodi laboratorijske poskuse (Cialdini 2009) . Preberite papir Cialdini je, in mu napisati e-ga pozval, naj ponovno pretehta svojo razpadu v luči možnosti digitalnih poskusov. Uporabite posebne primere raziskav, ki obravnavajo svojo zaskrbljenost.

3. [ ] Da bi ugotovili, ali majhne začetne uspehe zaklepanje, ali izginilo, van de Rijt in sodelavci (2014) posegla v štiri različne sisteme dodajali uspeh na naključno izbranih udeležencev, in nato izmeri dolgoročne posledice te samovoljne uspeha. Lahko si misliš o drugih sistemih, v katerih bi lahko vodijo podobne poskuse? Vrednotenje teh sistemov v zvezi z vprašanji znanstvene vrednosti, algoritmično zavajajoče (glej poglavje 2), in etiko.

4. [ , ] Rezultati eksperimenta more biti odvisna od udeležencev. Ustvari poskus, nato pa jih predvajajo na Amazon Mechanical Turk (MTurk) z uporabo dveh različnih strategij zaposlovanja. Poskusite izbrati strategije poskusne in zaposlovanja, tako da bodo rezultati tako drugačen, kot je mogoče. Na primer, lahko vaše strategije zaposlovanja se zaposliti udeležence zjutraj in zvečer ali nadomestilo udeležence z visoko in nizko plačo. Tovrstne razlike v strategiji zaposlovanja lahko privedejo do različnih bazenih udeležencev in različnih eksperimentalnih rezultatov. Kako različne so vaši rezultati izkazali? Kaj to povedo teče poskuse na MTurk?

5. [ , , , ] Predstavljajte si, da ste bili načrtovanje čustveno škodljiv vpliv študijo (Kramer, Guillory, and Hancock 2014) . Uporabiti rezultate iz prejšnje opazovalne študije Kramer (2012) , da določi število udeležencev v vsakem stanju. Obe raziskavi se ne ujemajo popolnoma, tako se prepričajte, da izrecno navesti vse predpostavke, ki ste jih naredili:

   1. Run simulacijo, ki bo odločil, koliko udeležencev bi bile potrebne za odkrivanje vpliva tako veliko, kot je učinek v Kramer (2012) s \ (\ alpha = 0.05 \) in \ (1 - \ beta = 0,8 \).
   2. Ali isto izračun analitično.
   3. Glede na rezultate iz Kramer (2012) je bila Emotional škodljiv vpliv (Kramer, Guillory, and Hancock 2014) kot pogon (tj, ni imela več udeležencev, kot je potrebno)?
   4. Predpostavk, ki ste jih naredili, ki imajo največji vpliv na vaše izračun?

6. [ , , , ] Odgovor na vprašanje zgoraj, temveč kot z prejšnjo opazovalno študijo Kramer (2012) uporabi rezultate iz prejšnjega naravni eksperiment, ki ga Coviello et al. (2014) .

7. [ ] Oba Rijt et al. (2014) in Margetts et al. (2011) tako opravljajo poskuse, ki preučujejo proces ljudi podpis peticijo. Primerjati in oblikovanje in ugotovitve teh študij.

8. [ ] Dwyer, Maki, and Rothman (2015) izvedla dva terenu poskuse na odnosu med družbenimi normami in proenvironmental vedenja. Tukaj je povzetek njihovega papirja:

   "Kako bi bilo mogoče uporabiti psihološka znanost spodbujati proenvironmental vedenje? V dveh študijah, intervencije, namenjene spodbujanju vedenja ohranjanja energije v javnih kopalnic preučila vplive opisnih norm in osebne odgovornosti. V študiji 1 je lučka stanja (tj vklop ali izklop) manipulira, preden nekdo vnesli brez oseb javnega kopalnico, signalizacijo opisno normo za to nastavitev. Udeleženci so bili precej bolj verjetno, da ugasnejo luči, če so bili off, ko so vstopili. V študiji 2, je bil dodaten pogoj iz katere je bila norma izklopu luči razvidno iz Konfederacije, vendar udeleženci niso sami odgovorni za to, da vklopite. Osebna odgovornost umirila vpliv družbenih norm na vedenje; ko udeleženci niso bili odgovorni za vklop luči, se je zmanjšal vpliv norm. Ti rezultati kažejo, kako opisno norme in osebna odgovornost lahko urejajo učinkovitost proenvironmental posegov. "

   Preberite svoj papir in oblikovanje replikacijo študiji 1.

9. [ , ] Na podlagi prejšnje vprašanje, zdaj opravlja svoje zasnove.

   1. Kako rezultati primerjate?
   2. Kaj lahko pojasnite te razlike?

10. [ ] Je bil dosežen znaten razprava o poskusi z udeleženci zaposleni iz Amazon Mechanical Turk. Vzporedno s tem je prišlo tudi precejšnja razprava o poskusi z udeleženci zaposleni iz dodiplomskih študentov populacije. Napisati dve strani beležke je primerjala in kontrastne z Turkers in dodiplomskih kot udeleženci raziskovalcev. Tvoja primerjava bi morala vključevati tudi razpravo o obeh znanstvenih in logističnih vprašanj.

11. [ Book] Jim MANZI je Nenadzorovano (2012) je čudovit uvod v moč eksperimentiranja v poslovanju. V knjigi je poslane to zgodbo:

    "Bil sem enkrat v srečanju s pravo poslovno genija, self-made milijarder, ki je imel globoko, intuitivno Prenizka o moči eksperimentov. Njegovo podjetje porabila veliko sredstev poskušajo ustvariti velike trgovina okno prikaže, da bi pritegnili potrošnike in rast prodaje, kot konvencionalna modrost pravi, da bi morala. Strokovnjaki skrbno preizkušena zasnova po zasnovi in ​​v posameznih sejah preizkus pregled v obdobju let vodi razvidno, ni pomembno vzročni učinek vsakega novega modela zaslona prodaje. Višji trženje in trgovanje z blagom vodstvo srečal z CEO za pregled teh zgodovinskih rezultatov preizkusa v toto. Po predstavitvi vseh eksperimentalnih podatkov, so sklenili, da je konvencionalna modrost narobe, da se prikaže okno ne vozite prodaje. Njihova priporočeni ukrep je bil zmanjšati stroške in prizadevanja na tem področju. To dramatično pokazal sposobnost eksperimentiranja, da ovržejo modrosti. Odziv predsednika uprave je bil preprost: "Moja ugotovitev je, da so vaši oblikovalci niso zelo dobro." Njegova rešitev je bila, da povečajo napore pri oblikovanju trgovina zaslona, in da bi dobili nove ljudi, da to storite. « (Manzi 2012, 158–9)

    Kateri tip veljavnosti je skrb CEO?

12. [ ] Na podlagi prejšnje vprašanje, si predstavljajte, da ste bili na sestanku, na katerem so razpravljali o rezultatih poskusov. Kaj so štiri vprašanja, ki lahko zaprosijo, enega za vsako vrsto veljavnosti (statistično, gradnjo, notranje in zunanje)?

13. [ ] Bernedo, Ferraro, and Price (2014) preučuje sedemletni učinek posredovanja za varčevanje z vodo, opisanem v Ferraro, Miranda, and Price (2011) (glej sliko 4.10). V tem dokumentu, Bernedo in kolegi prav tako skušajo razumeti mehanizem, ki je učinek, ki ga primerjamo obnašanje gospodinjstev, ki imajo in niso preselil po tem, ko je bila izdana zdravljenje. To pomeni, grobo, skušajo ugotoviti, ali je zdravljenje vplivalo na dom ali homeowner.

    1. Preberite papir, opiše svojo obliko, in povzema svoje ugotovitve. b) Ali njihove ugotovitve vplivajo, kako bi morali oceniti stroškovno učinkovitost podobnih posegov? Če je tako, zakaj? Če ne, zakaj ne?

14. [ ] Pri spremljanju Schultz et al. (2007) , Schultz in sodelavci opravljajo niz treh poskusov o učinku opisnih in prepovedi na norme na različnih okoljskih vedenja (brisačo ponovno uporabo) v dveh kontekstih (hotel in o časovnem zakupu kondominij) (Schultz, Khazian, and Zaleski 2008) .

    1. Povzema obliko in ugotovitve teh treh poskusih.
    2. Kako, če sploh, so morali spremeniti svoje razlage Schultz et al. (2007) ?

15. [ ] V odgovor na Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) vodil vrsto laboratorijskih podobnih poskusov, da preuči načrtovanje električnih računov. Tukaj je, kako so ga opisali v teoriji:

    "V poskusu, ki temelji na raziskavi, vsak udeleženec videl hipotetično račun za električno energijo za družine z relativno visoke porabe električne energije, ki zajema podatke o: (a) zgodovinski uporabi, (b) primerjave do sosedov, in (c) pretekle uporaba z okvare aparata. Udeleženci videli vse vrste informacij v eno od treh oblikah, vključno z (a) tabele, (b) bar grafi, in (c) ikona grafi. Poročamo o treh glavnih ugotovitev. Prvič, potrošniki razumejo posamezne vrste informacij električne energije v rabi najbolj, ko je bila predstavljena v tabeli, morda zato, ker mize omogoča preprosto točke branje. Po drugi strani so bile želje in namere za varčevanje z električno energijo najmočnejši za informacije o zgodovinskih uporabe, neodvisno od formata. Tretjič, posamezniki z nižjo energetsko pismenost razume vse informacije manj. "

    Za razliko od drugih nadaljnjih študijah, je glavni rezultat zanimanja Canfield, Bruin, and Wong-Parodi (2016) je poročal vedenje ni dejansko vedenje. Kakšne so prednosti in slabosti tovrstne študije v širšem raziskovalnem programu za spodbujanje varčevanja z energijo?

16. [ , ] Smith and Pell (2003) je satirična meta-analiza študij, ki dokazujejo učinkovitost padala. Iz tega sklepajo:

    "Kot pri namenjene številne intervencije za preprečevanje slabega zdravja, učinkovitost padala ni bila podvržena strogemu ocenjevanju s pomočjo randomiziranih kontroliranih poskusov. Zagovorniki z dokazi podprte medicine so kritizirali sprejetje intervencij samo z opazovalne podatke ovrednoteni. Menimo, da bi vsak imel koristi, če najradikalnejši protagonisti z dokazi podprte medicine organizirali in sodelovali v dvojno slepi, randomizirani, s placebom kontrolirana, crossover sojenje padala. "

    Napišite op-ed primeren za splošno bralcev časopisa, kot so The New York Times, z utemeljitvijo, proti fetišizacije eksperimentalnega dokaza. Zagotoviti posebne, konkretne primere. Namig: glej tudi, Bothwell et al. (2016) in Deaton (2010)

17. [ , , ] Razlika-v-razlikah lahko cenilke za učinek zdravljenja bolj natančna kot razlika-v-srednja ocenjevalcev. Napišite beležko za inženirja, zadolžen za testiranje A / B na start-up social media družba, ki pojasnjuje vrednost pristopa razlika-v-razlikah za vodenje spletne eksperiment. Memo mora vsebovati izjavo o problemu, nekaj intuicije o pogojih, pod katerimi bo cenilka razlika-v-razliki prekašajo cenilke razlika-v-sredina in preprost študijo simulacije.

18. [ , ] Gary Loveman bil profesor na Harvard Business School, preden je postal predsednik uprave Harrah je, eno največjih igralniških družb na svetu. Ko se je preselil v Harrah je, Loveman preoblikoval podjetje v programu zvestobe podobnih zvestobe, ki zbranih ogromno podatkov o vedenju kupcev. Na vrhu tega vedno, na merilnem sistemu, je podjetje začelo teče poskusov. Na primer, lahko zaženete preizkus za oceno učinka kupon za brezplačno hotela noč za stranke z določenim vzorcem iger na srečo. Takole Loveman opisal pomen eksperimentiranja na vsakdanjih poslovnih praks Harrah je:

    "To je kot, da ne nadlegujejo ženske, da ne kradejo, in moraš imeti kontrolno skupino. To je ena od stvari, ki jih lahko izgubijo službo, za na Harrah's-ne teče kontrolno skupino. « (Manzi 2012, 146)

    Napišite e-poštno sporočilo na novo zaposlenega, ki pojasnjuje, zakaj Loveman meni, da je tako pomembno, da imajo kontrolno skupino. Morate poskusiti vključiti zgled-bodisi resnične ali sestavljeno, za ponazoritev svoje točke.

19. [ , ] Je nov poskus za ocenjevanje vpliva prejemanja opomnikov sporočil SMS na privzem cepljenja. 150 klinike, vsak s 600 primernih bolnikov, so pripravljeni sodelovati. Obstaja fiksni stroški 100 dolarjev za vsako kliniko želite delati, in stane 1 dolar za vsakega sporočila, ki ga želite poslati. Poleg tega bodo vse klinike, ki jo delajo z merjenje izidov (ali je nekdo prejel cepljenje) brezplačno. Predpostavimo, da imate proračun 1000 dolarjev.

    1. Pod kakšnimi pogoji bi bilo bolje, da se osredotoči svoje vire na majhno število klinik in pod kakšnimi pogoji bi bilo morda bolje, da jih širijo bolj pogosto?
    2. Kateri dejavniki bi določili najmanjšo velikost učinka, ki ga bo lahko zanesljivo zaznati s svojim proračunom?
    3. Napišite beležko te kompromise, ki pojasnjuje, da potencialnega financerja.

20. [ , ] Velik problem s spletnimi tečaji je neuspeha; veliko študentov, ki se začnejo tečaji končajo spuščanje-out. Predstavljajte si, da delate na spletni učne platforme, in oblikovalec na ploščadi je ustvaril vizualno vrstico napredka, ki je misli bo pomagalo preprečiti študentom iz opuščanje tečaja. Si želite preizkusiti učinek baru na študente napredku v veliki računski družboslovja seveda. Po obravnavanje vseh etična vprašanja, ki bi lahko nastale pri poskusu, vi in ​​vaši kolegi dobili v skrbeh, da seveda ne bi imeli dovolj študentov za zanesljivo zaznavanje učinkov napredek bar. V izračunih v nadaljevanju vas lahko sklepamo, da je polovica študentov bodo prejeli vrstico napredovanja in pol ne. Poleg tega lahko domnevamo, da ni motenj. Z drugimi besedami, lahko domnevamo, da so udeleženci vpliva le po tem, ali so prejeli zdravljenje ali nadzor; se ne izvede po tem, ali drugi ljudje prejeli zdravljenje ali nadzor (za bolj formalno opredelitev glej Gerber and Green (2012) , pogl. 8). Prosimo slediti kakršnih koli dodatnih predpostavk, ki ste jih naredili.

    1. Recimo, se pričakuje, da bo vrstica napredka, da bi povečali delež študentov, ki končajo razred za 1 odstotno točko, kar je velikost vzorca je potrebno zanesljivo zaznati učinek?
    2. Recimo, se pričakuje, da bo vrstica napredka, da bi povečali delež študentov, ki končajo v razredu za 10 odstotnih točk, kar je velikost vzorca je potrebno zanesljivo zaznati učinek?
    3. Zdaj pa si predstavljajte, da ste preizkus izvajal in študente, ki so opravljene vse seveda materiali so sprejeli zaključni izpit. Ko primerjajo končne rezultate na izpitih študentov, ki so prejeli vrstico napredka na tiste, ki niso, boste našli veliko na svoj presenečenje, da študenti, ki niso prejeli vrstico napredovanja dejansko dosegel višje. Ali to pomeni, da je napredek bar povzročil študente, da se naučimo manj? Kaj se lahko naučimo iz teh podatkov o učinkih? (Namig: glej Gerber and Green (2012) , Ch 7).

21. [ , ] V lepo papirja, Lewis and Rao (2015) nazorno prikazujejo temeljno statistično omejitev celo množične eksperimentov. V članku, ki je prvotno imela provokativen naslov "Na skoraj nezmožnosti Merjenje Vrnitev oglaševanje" -shows, kako težko je meriti donosnost naložb spletnih oglasov, tudi z digitalnimi poskusi vključujejo milijone kupcev. Na splošno pa je tudi jasno kaže, da je težko oceniti majhen učinek zdravljenja sredi hrupnih podatkov o učinkih. Ali navedeno diffently, papir kaže, da bo ocenjeni učinki zdravljenja velike intervale zaupanja, ko je standardno odstopanje vpliva-to-(\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) razmerje je majhna. Pomembna lekcija iz tega članka je, da rezultati poskusov z majhnim razmerjem vpliv-to-standardne deviacije (npr ROI oglaševalske akcije) bodo nezadovoljivo. Vaš izziv bo napisati beležko z nekom v marketinški oddelek v vašem podjetju evaluting načrtovano poskus za merjenje ROI za oglaševalsko akcijo. Beležka je treba podpreti z grafi rezultati računalniških simulacij.

    Tukaj je nekaj osnovnih informacij, ki jih morda potrebujete. Vse te številčne vrednosti so značilne dejanskih poskusov poročali v Lewis and Rao (2015) :

    • ROI, ključno merilo za spletne oglaševalske akcije, ki je opredeljen kot dobiček iz kampanje (bruto dobiček iz stroškov minus akcija kampanje), deljeno s stroški kampanje. Na primer akcija, ki ni imela nobenega vpliva na prodajo bi imele ROI -100% in akcijo, v kateri so bili dobički ustvarjeni enaki stroškom, bi imeli ROI 0.

    • srednji prodaja na stranko, je 7 $ s standardnim odklonom 75 $.

    • Kampanja naj bi se povečali prodajo za 0,35 $ na stranko, ki ustreza povečanju dobička za 0.175 $ na stranko. Z drugimi besedami, je bruto marža je 50%.

    • načrtovano velikost poskusa je 200.000 ljudi, polovica v skupini zdravljenja in pol v kontrolni skupini.

    • stroški kampanje je 0,14 $ na udeleženca.

    Napišite beležko evaluting tega poskusa. Bi priporočili uvedbo tega eksperimenta kot je bilo načrtovano? Če je tako, zakaj? Če ne, kakšne spremembe bi priporočili?

    Dober memo bo obravnavala to posebno zadevo; boljši memo bo posplošiti iz tega primera na en način (npr pokazati, kako se sprejemajo spremembe v odvisnosti od razmerja učinek-to-standardne deviacije); in velik memo bo predstavil popolnoma posplošeno rezultat.

22. [ , ] Ali isto kot prejšnje vprašanje, ampak kot simulacija morate uporabiti analitične rezultate.

23. [ , , ] Ali isto kot prejšnje vprašanje, vendar uporabljajo tako simulacijo in analitične rezultate.

24. [ , , ] Predstavljajte si, da ste napisali beležke zgoraj z uporabo bodisi simulacijo, analitične rezultate, ali tako-in nekdo iz marketinškega oddelka priporoča uporabo cenilec razlika-v-razlikah in ne razlike v sredstvo cenilke opisan (glej oddelek 4.6.2) . Napišite novo krajši dopis, ki pojasnjuje, kako bi 0,4 korelacija med prodajo pred poskusom in prodajo po poskusu spremeniti svoj sklep.

25. [ , ] Da bi ocenili učinkovitost novega spletnega kariernega storitve, univerza poklicne storitve urad za izvedli randomizirano kontrolno preskušanje med 10.000 študentov, ki vstopajo v zaključno leto šole. Prost naročnina z edinstvenim log-in podatke je bila poslana z izključnim e-vabilo na 5.000 naključno izbranih študentov, medtem ko so ostale 5.000 študentov, so v kontrolni skupini in nimajo naročnino. Dvanajst mesecev kasneje, raziskava nadaljevanje (brez neodzivnosti), kaže, da je v obeh skupinah zdravljenja in nadzora, 70% dijakov so si zagotovili zaposlitev za polni delovni čas v svojem izbranem področju (tabela 4.5). Tako se zdi, da je spletna storitev, nobenega učinka.

    Vendar pa pameten podatki znanstvenik na univerzi malo bolj natančno pogledal podatke in ugotovila, da le 20% študentov v skupini zdravljenja vedno prijavljeni v račun po prejemu e-pošte. Nadalje, in nekoliko presenetljivo, med tistimi, ki so prijavljeni na spletno stran je le 60% zavarovane zaposlitev s polnim delovnim časom na svojem izbranem področju, ki je bila nižja od stopnje za ljudi, ki se niste prijavili, in nižja kot za ljudi v kontrolna naprava (tabela 4,6).

    1. Predloži pojasnila o tem, kaj bi se lahko zgodilo.
    2. Kaj sta dva različna načina za izračun učinka zdravljenja v tem poskusu?
    3. Glede na ta rezultat, mora univerza kariere storitev zagotoviti to spletno kariere storitev za vse študente? Samo, da bo jasno, da to ni vprašanje z enostavnim odgovorom.
    4. Kaj bi morali storiti?

    Namig: To vprašanje presega materiala, za katere je v tem poglavju, vendar pa obravnava vprašanja, skupna v poskusih. Ta vrsta zasnove poskusa se ​​včasih imenuje oblikovanje spodbudo, saj se udeležence spodbuja, da sodelujejo pri zdravljenju. Ta problem je primer tega, kar se imenuje enostranska neskladnost (glej Gerber and Green (2012) , Ch. 5)

26. [ ] Po nadaljnji pregled, se izkaže, da je bil poskus je opisano v prejšnjem vprašanju še bolj zapleteno. Izkazalo se je, da je 10% ljudi v kontrolni skupini plača za dostop do storitve in so končali s stopnjo v višini 65% (tabela 4.7) zaposlenosti.

    1. Napišite e-poštno sporočilo, ki povzema tisto, kar misliš, da se dogaja, in priporočamo postopanje.

    Namig: To vprašanje presega materiala, za katere je v tem poglavju, vendar pa obravnava vprašanja, skupna v poskusih. Ta problem je primer tega, kar se imenuje obojestransko neskladnost (glej Gerber and Green (2012) , Ch. 6)