Starfsemi

Key:

• hversu erfitt: auðvelt , miðlungs , erfitt , mjög erfitt
• krefst stærðfræði ( )
• krefst erfðaskrá ( )
• gagnasafn ( )
• mín uppáhalds ( )

1. [ , ] Berinsky og samstarfsmenn (2012) metur Mechanical Turk í hluta af afrit þrjá klassíska tilraunir. Endurtaka klassískt Asíu Disease grind tilraun með Tversky and Kahneman (1981) . Gera niðurstöður þínar passa Tversky og Kahneman er? Gera niðurstöður þínar passa Berinsky og samstarfsmenn? Hvað-ef eitthvað-lærum um notkun Mechanical Turk fyrir tilraunir könnun?

2. [ , ] Í nokkuð tungu-í-kinn pappír heitir "Við verðum að brjóta upp," félagslega sálfræðingur Robert Cialdini, einn af höfundum Schultz et al. (2007) , skrifaði að hann var hættur snemma úr starfi sínu sem prófessor, að hluta til vegna þess að viðfangsefni hann frammi að gera sviði tilraunir í fræðigrein (Psychology) sem aðallega stundar Lab tilraunir (Cialdini 2009) . Lesa blaðið Cialdini er, og skrifa honum tölvupóst hvetja hann til að endurskoða sína brjóta upp í ljósi möguleikum stafrænna tilraunum. Nota tiltekin dæmi um rannsóknir sem takast áhyggjum sínum.

3. [ ] Í því skyni að ákvarða hvort lítill fyrstu Árangur læsa-í eða hverfa burt, van de Rijt og samstarfsmenn (2014) skarst í fjóra mismunandi kerfum bestowing árangri á handahófi valinna þátttakenda, og þá mældi langtíma áhrif af þessum handahófskennt árangri. Getur þú hugsa um önnur kerfi þar sem þú gætir keyrt svipaða tilraunir? Meta þessi kerfi í skilmálar af málefnum vísindalegu gildi, lausnarleiðar truflandi (sjá kafla 2) og siðfræði.

4. [ , ] Niðurstöður tilraunar geta treyst á þátttakendum. Búa tilraun og þá hlaupa það á Amazon Mechanical Turk (MTurk) með tveimur mismunandi aðferðir nýliðun. Reyndu að velja tilraunir og nýliðun aðferðir þannig að niðurstöður verði eins mismunandi eins og kostur er. Til dæmis, nýliðun áætlanir þínar gætu verið að ráða þátttakendur í morgun og kvöld eða til að bæta þátttakendum við háu og lágu launum. Þessar tegundir af mismunandi nýliðun stefnu gæti leitt til mismunandi laugar þátttakenda og mismunandi tilrauna niðurstöðum. Hvernig mismunandi gerði niðurstöðurnar snúa út? Hvað þýðir það í ljós um að keyra tilraunir á MTurk?

5. [ , , , ] Ímyndaðu þér að þú varst að skipuleggja Emotional smiti rannsókn (Kramer, Guillory, and Hancock 2014) . Nota niðurstöður úr fyrri observational rannsókn Kramer (2012) til að ákveða fjölda þátttakenda í hverri ástandi. Þessar tvær rannsóknir passa ekki fullkomlega svo að vera viss um að beinlínis telja allar forsendur sem þú gerir:

   1. Keyra eftirlíkingu sem mun ákveða hversu margir þátttakendur hefðu verið nauðsynleg til að greina áhrif eins og stór eins efnis í Kramer (2012) með \ (\ alfa = 0,05 \) og \ (1 - \ beta = 0.8 \).
   2. Gera sömu útreikninga efnagreiningu.
   3. Í ljósi þess að niðurstöður úr Kramer (2012) var Emotional Contagion (Kramer, Guillory, and Hancock 2014) yfir-máttur (þ.e., gerði það hafa fleiri þátttakendur en nauðsynleg)?
   4. Af forsendunum sem þú gerðir, sem hafa stærsta áhrif á útreikningnum?

6. [ , , , ] Svaraðu spurningunni hér að ofan, heldur en að nota fyrri áhorfsrannsókn með Kramer (2012) nota niðurstöður úr fyrri náttúrulega tilraun með Coviello et al. (2014) .

7. [ ] Bæði Rijt et al. (2014) og Margetts et al. (2011) , bæði að framkvæma tilraunir sem rannsaka ferlið fólks undirrita beiðni. Bera saman og andstæða hönnun og niðurstöður þessara rannsókna.

8. [ ] Dwyer, Maki, and Rothman (2015) hélt tvær sviði tilraunir á tengslin milli félagslegum viðmiðum og proenvironmental hegðun. Hér er ágrip af grein sinni:

   "Hvernig getur sálfræðileg vísindi að nýta til að hvetja proenvironmental hegðun? Í tveimur rannsóknum, inngrip ætlað að stuðla að varðveislu orku hegðun á almennum baðherbergi kannað áhrif á lýsandi viðmiðum og ábyrgðarkennd. Í rannsókn 1, ljósið stöðu (þ.e. eða slökkva á) var handleika áður en einhver kom Ónotaður opinber baðherbergi, merkja lýsandi norm fyrir þeirri stillingu. Þátttakendur voru marktækt líklegri til að slökkva ljósin og ef þeir voru burt þegar þeir komu inn. Í rannsókn 2 var til viðbótar ástand með þar sem norm slökkva ljósið var sýnt fram á með Confederate, en þátttakendur voru ekki sjálfir ábyrgir fyrir því að snúa henni á. Persónulega ábyrgð stjórnað áhrif félagslegum viðmiðum um hegðun; þegar þátttakendur voru ekki ábyrgir fyrir að snúa á ljósi, áhrif norm var minnkað. Þessar niðurstöður gefa til kynna hversu lýsandi viðmið og persónuleg ábyrgð má innleiða skilvirkni proenvironmental inngrip. "

   Lesa blaðið sitt og hanna eftirmyndun rannsókn 1.

9. [ , ] Uppbygging á fyrri spurningu, nú framkvæma hönnun.

   1. Hvernig gera niðurstöður saman?
   2. Hvað gæti útskýrt þennan mun?

10. [ ] Það hefur verið mikil umræða um tilraunir með þátttakendur ráðnir frá Amazon Mechanical Turk. Samhliða hefur einnig verið umtalsverð umræða um tilraunir með þátttakendur ráðnir frá grunnnámi íbúa nemenda. Skrifaðu tveggja blaðsíðna minnisblað samanburður og andstæður Turkers og háskólastúdent sem vísindamenn þátttakenda. Samanburður þín ætti að innihalda umfjöllun um bæði vísinda og skipulagningar málefni.

11. [ Bók] Jim Manzi er Stjórnlaus (2012) er dásamlegt kynning í krafti tilraunir í viðskiptum. Í bókinni er hann gengi þessa sögu:

    "Ég var einu sinni á fundi með sönnum fyrirtæki snillingur, sjálf-liðinu milljarðamæringur sem hafði djúpa, leiðandi understating af krafti tilraunum. fyrirtæki hans eyddi umtalsvert fjármagn að reyna að búa til frábær verslun gluggi sýnir sem myndi laða neytendur og eykur sölu, eins og venjulegur speki segir þeir ættu. Sérfræðingar vandlega prófuð hönnun eftir hönnun, og í einstökum fundum próf endurskoðun yfir a tímabil af árum haldnar engin marktæk orsakatengsl áhrif hverri nýrri sýna hönnun á sölu. Eldri markaðssetningu og merchandising stjórnendur hitti bankastjóra til að endurskoða þessar sögulegar niðurstöður próf í Toto. Eftir að sýna allar tilrauna gögn, að þeirri niðurstöðu að þeir sem venjulegur speki var rangt, að glugga birtir ekki aka sölu. Mælt aðgerð þeirra var að draga úr kostnaði og fyrirhöfn á þessu sviði. Þetta sýndi verulega getu tilraunir til að kollvarpa hefðbundinni visku. Viðbrögð forstjóra var einfalt: "Niðurstaða mín er sú að hönnuðir eru ekki mjög góð." Lausnin hans var að auka átak í hönnun verslun sýna, og til að fá nýtt fólk til að gera það. " (Manzi 2012, 158–9)

    Hvaða tegund af gildi er áhyggjuefni forstjóra?

12. [ ] Uppbygging á fyrri spurningu, ímynda sér að þú varst á fundinum þar sem niðurstöður tilrauna voru rædd. Hvað eru fjórar spurningar sem þú gætir spurt, einn fyrir hverja gerð gildi (tölfræðilegar, smíða, innri og ytri)?

13. [ ] Bernedo, Ferraro, and Price (2014) rannsóknir á sjö ára áhrif á vatnssparandi íhlutun sem lýst er í Ferraro, Miranda, and Price (2011) (sjá mynd 4.10). Í þessari grein, Bernedo og samstarfsmenn leitast einnig að skilja Orsakir áhrif með því að bera saman hegðun einstaklinga sem hafa og hafa ekki flutt eftir að meðferð var afhent. Það er, um það bil, reyna þeir að sjá hvort meðferðin hafði áhrif á heimili eða húseigandi.

    1. Lesið blaðið, lýsa hönnun þeirra, og draga saman niðurstöður sínar. b) Ekki niðurstöður þeirra hafa áhrif hvernig þú ættir að meta hagkvæmni svipuðum inngrip? Ef svo er, hvers vegna? Ef ekki, hvers vegna ekki?

14. [ ] Í framhaldi Schultz et al. (2007) , Schultz og samstarfsmenn framkvæma röð af þremur tilraunum á áhrifum lýsandi og sú aðgerð viðmiðum á mismunandi umhverfismálum hegðun (handklæði endurnýta) í tveimur samhengi (a hotel og skiptileigugrunni sameiginlegt yfirráðasvæði) (Schultz, Khazian, and Zaleski 2008) .

    1. Dragðu hönnun og niðurstöður þessara þriggja tilrauna.
    2. Hvernig, ef yfirleitt, gera þeir breyta túlkun þinni á Schultz et al. (2007) ?

15. [ ] Sem svar við Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) hljóp röð Lab-eins tilraunir til að rannsaka hönnun rafmagns reikninga. Hér er hvernig þeir lýsa því í ágripi:

    "Í könnun sem byggir tilraun, hver þátttakandi sá ímyndaðri rafmagnsreikninginn fyrir fjölskyldu með notkun tiltölulega mikilli raforku, nær upplýsingar um (a) sögulegu notkun, (b) samanburður við nágranna, og (c) sögulegar notkun með tæki sundurliðun. Þátttakendur sá allar upplýsingar gerðir í einu af þremur sniðum þar á meðal (a) töflum, (b) bar gröf, og (c) icon gröf. Við skýrslu á þremur helstu niðurstöðum. Fyrst, neytendur skilið hverja tegund upplýsinga rafmagn-nota mest þegar það var kynnt í töflu, kannski vegna þess að töflur auðvelda einfaldan punkt lestur. Í öðru lagi, óskir og fyrirætlanir til að spara rafmagn væri sterkasta fyrir sögulegum upplýsingum notkun, óháð formi. Í þriðja lagi, einstaklingar með lægri orku læsi skilið allar upplýsingar minna. "

    Ólíkt öðrum framhaldsrannsóknir, helstu niðurstöður áhuga á Canfield, Bruin, and Wong-Parodi (2016) er greint frá hegðun ekki raunverulegt hegðun. Hverjir eru styrkleikar og veikleikar þessa tegund af rannsókn á víðtækari markáætlun kynna orkusparnaðar?

16. [ , ] Smith and Pell (2003) er satirical Safngreining á rannsóknum sem sýna fram á virkni fallhlífar. Þeir álykta:

    "Eins og með marga inngrip ætlað að koma í veg fyrir vanheilsu, skilvirkni fallhlífar hefur ekki verið tekið til ströngum mat með því að nota slembuðum samanburðarrannsóknum. Talsmenn niðurstöðum rannsókna hafa gagnrýnt samþykkt íhlutun metin með því að nota aðeins observational gögn. Við teljum að allir gætu gagnast ef róttækustu sögupersóna niðurstöðum rannsókna skipulagt og tekið þátt í tvíblindri, slembaðri, samanburðarrannsókn með lyfleysu, víxluð rannsókn á fallhlíf. "

    Skrifaðu Op-Ed hentugur fyrir almenna lesenda blaðsins, svo sem New York Times, með þeim rökum gegn fetishization tilrauna sönnunargögn. Gefðu, steypu dæmi. Hint: Sjá einnig, Bothwell et al. (2016) og Deaton (2010)

17. [ , , ] Mismunur-í-mismun metla af a áhrif meðferðarinnar getur verið nákvæmari en munurinn-á-meina metlunum. Skrifa orðsending til verkfræðingur í umsjá A / B prófun á byrjun-upp félagslega fjölmiðla fyrirtæki útskýra gildi mismunar-í-mismun nálgun til að keyra á netinu tilraun. Í minnisblaði skal fela í sér yfirlýsingu af vandamálinu, sumir innsæi um þau skilyrði sem munurinn-í-mismun reiknar mun betur en munurinn-á-meðal- reiknar og uppgerð rannsókn einföld.

18. [ , ] Gary Loveman var prófessor við Harvard Business School áður verða forstjóri Harrah, einn af stærstu spilavíti fyrirtæki í heiminum. Þegar hann flutti til Harrah er, Loveman umbreytt fyrirtæki með tíð flier eins hollusta program sem safnað gríðarlega magn af gögnum um hegðun viðskiptavina. Ofan á þetta alltaf-á mælikerfi, sem fyrirtækið byrjaði að keyra tilraunir. Til dæmis, að þeir gætu keyrt tilraun til að meta áhrif afsláttarmiða fyrir ókeypis hóteli nótt fyrir viðskiptavini með ákveðna fjárhættuspil mynstur. Hér er hvernig Loveman lýst mikilvægi tilraunir daglegu viðskiptahætti Harrah er:

    "Það er eins og þú ekki áreita ekki konur, þú skalt ekki stela, og þú hefur fengið að hafa samanburðarhóp. Þetta er einn af þeim hlutum sem þú getur missa starf þitt að minnsta Harrah's-ekki keyra samanburðarhóp. " (Manzi 2012, 146)

    Skrifa tölvupóst til nýs starfsmanns útskýrir hvers vegna Loveman telur það er svo mikilvægt að hafa samanburðarhóp. Þú ættir að reyna að fela dæmi, annaðhvort raunveruleg eða gert upp til að sýna lið þitt.

19. [ , ] Ný tilraun miðar að því að meta áhrif að fá textaskeyti áminningar á upptöku bólusetningar. 150 heilsugæslustöðvar, hver með 600 sjúklingum rétt, eru tilbúnir til að taka þátt. Það er fastur kostnaður við 100 dollara fyrir hverja heilsugæslustöð þú vilt vinna með, og það kostar 1 dollar fyrir hvern textaskilaboð sem þú vilt senda. Ennfremur allir heilsugæslustöðvar sem þú ert að vinna með mun mæla útkomuna (hvort einhver fengið bólusetningu) fyrir frjáls. Gerum ráð fyrir að þú ert með fjárhagsáætlun 1000 dollara.

    1. Undir hvaða kringumstæðum gæti það verið betra að einbeita sér auðlindir þínar á fáeinum heilsugæslustöðvar og þá við hvaða aðstæður gæti það verið betra að dreifa þeim víðar?
    2. Hvaða þættir myndi ákvarða minnstu áhrif stærð sem þú verður að vera fær um að áreiðanlegum uppgötva með fjárhagsáætlun?
    3. Skrifa orðsending útskýrir þessar málamiðlanir til hugsanlegra Funder.

20. [ , ] Stórt vandamál með online námskeiðum sem er attrition; margir nemendur sem byrja námskeið endað sleppa út. Ímyndaðu þér að þú ert að vinna á netinu læra vettvang, og hönnuður á vettvang hefur skapað sjón framfarir bar sem hún hugsar mun koma í veg fyrir nemendum úr detta út úr námskeiðinu. Þú vilt prófa áhrif framvindusúlan á nemendum í stórum computational félagsvísinda sjálfsögðu. Eftir takast allir siðferðileg málefni sem gætu komið upp í tilrauninni, þú og samstarfsfólk þitt fá áhyggjur að sjálfsögðu gæti ekki hafa nóg nemendum að áreiðanlegum greina áhrif framvindusúlan. Í útreikningum hér fyrir neðan geturðu gert ráð fyrir að helmingur nemenda fái framfarir bar og helmingur ekki. Ennfremur er hægt að gera ráð fyrir að það er engin truflun. Með öðrum orðum, getur þú gert ráð fyrir að þátttakendur eru aðeins áhrif hvort þeir fengu meðferð eða stjórna; þeir eru ekki fram með hvort annað fólk fékk meðferð eða eftirlit (fyrir meira formleg skilgreining, sjá Gerber and Green (2012) , Ch. 8). Vinsamlegast halda utan um þær forsendur sem þú framkvæmir.

    1. Segjum er gert ráð fyrir framfarir bar til að auka hlutfall nemenda sem klára bekknum um 1 prósentu, hvað er úrtakið þarf að áreiðanlegum greina áhrif?
    2. Segjum er gert ráð fyrir framfarir bar til að auka hlutfall nemenda sem klára bekknum um 10 prósentustig, hvað er úrtakið þarf að áreiðanlegum greina áhrif?
    3. Nú ímynda sér að þú hefur keyrt tilraunina og nemendur sem hafa lokið öllum Námsefni hafa tekið burtfararpróf. Þegar þú bera saman lokapróf skorar á nemendur sem fengu framfarir bar til þeirra sem ekki, þú finnur mikið til koma á óvart þinn, að nemendur sem ekki fá framfarir bar raun skoruðu hærra. Þýðir þetta að framfarir bar olli nemendum að læra minna? Hvað getur þú lært af þessari niðurstöðu gögnum? (Hint: Sjá Gerber and Green (2012) , Ch 7.)

21. [ , ] Í fallegum pappír, Lewis and Rao (2015) skær sýna grundvallar tölfræðileg takmörkun jafnvel stórfellda tilraunum. Í ritgerðinni-sem upphaflega hafði ögrandi titilinn "On the Near-ómögulega að mæla skilar að auglýsingar" -birtir hversu erfitt það er að mæla arðsemi af online auglýsingar, jafnvel með stafrænum tilraunir með þátttöku milljónir viðskiptavina. Almennt, pappírinn sýnir greinilega að það er erfitt að meta litlu meðferðaráhrif innan hávær gögnum árangur. Eða fram diffently, pappírinn sýnir að áætluð áhrif meðferðar mun hafa stór öryggisbil þegar áhrif til staðall-frávik (\ (\ frac {\ S \ bar {y}} {\ sigma} \)) hlutfallið er lítill. The mikilvægur Almennt lexíu frá þessari grein er að niðurstöður úr tilraunum með litlum áhrif-á-staðall-frávik hlutfall (td ROI auglýsingaherferðir) verður unsatisfying. áskorunin verður að skrifa orðsending við einhvern í markaðssetningu deild fyrirtækisins evaluting fyrirhugaða tilraun til að mæla arðsemi af auglýsingaherferð. Minnir ætti að vera studd með gröf niðurstöður uppgerð tölva.

    Hér er sumir bakgrunnur upplýsingar sem þú gætir þurft. Allar þessar töluleg gildi eru dæmigerð alvöru tilraunir tilkynnt í Lewis and Rao (2015) :

    • ROI, lykill mæligildi fyrir auglýsingaherferðir, er skilgreint að vera hagnaður af herferð (framlegðar frá herferð mínus kostnað herferðarinnar) deilt með kostnaði af herferðinni. Til dæmis herferð sem hafði engin áhrif á sölu hefði arðsemi -100% og herferð þar hagnaður mynda voru jöfn kostnaði hefði arðsemi af 0.

    • meðaleinkunnir á hvern viðskiptavin er $ 7 með staðalfrávik 75 $.

    • Gert er ráð fyrir herferð til að auka sölu með $ 0,35 á hvern viðskiptavin sem samsvarar aukningu í hagnaði á $ 0,175 á hvern viðskiptavin. Með öðrum orðum, framlegð er 50%.

    • fyrirhuguð stærð tilraunarinnar er 200.000 manns, helmingur í meðferðarhópnum og hálft í samanburðarhópnum.

    • kostnaður af herferðinni er $ 0,14 á hvern þátttakanda.

    Skrifa orðsending evaluting þessa tilraun. Vilt þú mæla með að hefja þessa tilraun eins og áætlað? Ef svo er, hvers vegna? Ef ekki, hvaða breytingar myndir þú mæla með?

    Góð orðsending mun taka á þessu tiltekna tilfelli; betri orðsending mun alhæfa út frá þessu tilfelli á einhvern hátt (td sýna hvernig ákvörðunin breytist sem fall af áhrifum-til-staðall-frávik hlutfall); og mikill orðsending mun kynna fullkomlega almenn niðurstöðu.

22. [ , ] Gera það sama og fyrri spurningu, heldur en uppgerð þú ættir að nota greinandi árangur.

23. [ , , ] Gera það sama og fyrri spurningu, en nota bæði uppgerð og greinandi árangur.

24. [ , , ] Ímyndaðu þér að þú hefur skrifað orðsending lýst er hér að ofan, með því að nota annaðhvort uppgerð, greinandi árangur, eða bæði-og einhver frá markaðssetningu deild mælir með a mismunur-í-mismun reiknar fremur en Munur á meðaltali reiknar (sjá kafla 4.6.2) . Skrifa nýja styttri orðsending útskýra hvernig 0.4 fylgni milli sölu fyrir tilraunina og sölu eftir tilraunina myndi breyta niðurstöðu þína.

25. [ , ] Í því skyni að meta árangur af a nýr vefur-undirstaða feril þjónustu, háskóla feril þjónustu skrifstofu gerð slembiraðaðri Control prufa meðal 10,000 nemendur inn lokaári í skólanum. A frjáls áskrift með einstaka log-inn upplýsingar var send með sérstakri boðsbréfið 5.000 valdir eru af handahófi nemendur, en hinir 5000 nemendur eru í samanburðarhópnum og hafa ekki áskrift. Tólf mánuðum síðar, fylgt könnun (án brottfalls) sýnir að í bæði meðferð og samanburðarhópa, 70% nemenda hafa tryggt fullt starf í valinn sínu sviði (tafla 4.5). Þannig virðist sem vefur-undirstaða þjónusta hafði engin áhrif.

    Hins vegar snjall gögn vísindamaður við háskólann horfði á gögnum dálítið nánar og komist að því að aðeins 20% nemenda í meðferðarhópnum alltaf skráður inn á reikninginn eftir að hafa fengið tölvupóst. Frekar og nokkuð furðu meðal þeirra sem hafa skráð inn á vefsíðu einungis 60% höfðu tryggt fullt starf í valinn sínu sviði, sem var lægra en hlutfall fyrir fólk sem ekki inn og lægra en hlutfall fyrir fólk í stjórn ástand (Tafla 4.6).

    1. Veita skýringu á hvað gæti hafa gerst.
    2. Hvað eru tvær mismunandi leiðir til að reikna út áhrif af meðferðinni í þessari tilraun?
    3. Í ljósi þessa niðurstöðu, ætti háskóla feril þjónustu veita þessa vefur-undirstaða feril þjónustu við alla nemendur? Bara að vera skýr, þetta er ekki spurning með einföldu svari.
    4. Hvað ættu þeir að gera næst?

    Ábending: Þessi spurning gengur út efni sem fellur í þessum kafla, en fjallar algeng í tilraunum. Þessi tegund af tilrauna hönnun er stundum kölluð hvatning hönnun vegna þátttakendur eru hvattir til að taka þátt í meðferð. Þetta vandamál er dæmi um það sem kallað er einhliða vanefndir (sjá Gerber and Green (2012) , Ch. 5)

26. [ ] Eftir frekari athugun kemur í ljós að tilraun sem lýst er í fyrri spurningu var enn flóknari. Það kemur í ljós að 10% af fólki í samanburðarhópnum greitt fyrir aðgang að þjónustunni, og þeir enduðu með atvinnuþátttaka um 65% (Tafla 4.7).

    1. Skrifaðu tölvupóst teknar hvað þér finnst er að gerast og mæla með námskeið um aðgerðir.

    Ábending: Þessi spurning gengur út efni sem fellur í þessum kafla, en fjallar algeng í tilraunum. Þetta vandamál er dæmi um það sem kallað er tveggja hliða vanefndir (sjá Gerber and Green (2012) , Ch. 6)