toimet

Key:

• Vaikeusaste: helppo , keskipitkän , kova , tosi kovasti
• vaatii matematiikka ( )
• vaatii koodaus ( )
• tiedonkeruu ( )
• suosikkini ( )

1. [ , ] Berinsky ja työtovereiden (2012) arvioi Mechanical Turk osittain jäljittelevän kolme klassista kokeita. Toistavat klassinen Aasian Disease kehystys kokeilun Tversky and Kahneman (1981) . Tee tulokset vastaavat Tversky ja Kahneman n? Tee tulokset vastaavat Berinsky ja työtovereiden? Mitä-jos mitään-tämä opettaa meille käyttää Mechanical Turk tutkimus kokeita?

2. [ , ] Vuonna hieman kieli poskessa kirjassaan "Meidän Täytyy Break Up," sosiaalinen psykologi Robert Cialdini, yksi laatijat Schultz et al. (2007) , kirjoitti, että hän oli eläkkeelle varhain työnsä professori, osittain siksi, että haasteet hän kohtasi tekee kenttäkokeissa kurinalaisuutta (psykologia), joka pääasiassa tekee laboratoriokokeissa (Cialdini 2009) . Lue Cialdini paperi-, ja kirjoittaa hänelle sähköpostia kehottavan häntä harkitsemaan hänen break-up valossa mahdollisuuksia digitaalisten kokeiluja. Käytä konkreettisia esimerkkejä tutkimusta, joissa käsitellään hänen huolenaiheita.

3. [ ] Sen määrittämiseksi, onko pieni alkumenestyksen lukko-in tai kuihtuu, van de Rijt ja ja kollegat (2014) puuttui neljään eri järjestelmiin bestowing menestys satunnaisesti valittujen osanottajien, ja sitten mitataan pitkän aikavälin vaikutuksia tämän mielivaltaisen menestyksen. Keksitkö muita järjestelmiä, joissa et voi käyttää samanlaisia ​​kokeita? Arvioi näiden järjestelmien kysymysten tieteellistä arvoa, algoritmeihin sekoittavia (katso luku 2), ja etiikka.

4. [ , ] Tulokset kokeesta voi riippua osallistujille. Luo kokeilu ja suorita se sitten Amazon Mechanical Turk (MTurk) kahdella eri rekrytointistrategiaa. Yrittää poimia kokeen ja rekrytointistrategiaa jotta tulokset ovat niin erilaisia ​​kuin mahdollista. Esimerkiksi rekrytointi strategioita voitaisiin rekrytoida osallistujia aamulla ja illalla tai kompensoida osallistujille korkea ja matala palkka. Tällaiset erot Rekrytointistrategian voivat johtaa erilaisiin altaita osallistujien ja erilaisia ​​kokeellisia tuloksia. Miten eri ei tulokset osoittautua? Mitä tämä paljastaa noin kokeiluja MTurk?

5. [ , , , ] Kuvittele, että suunnittelimme Emotional Contagion tutkimuksessa (Kramer, Guillory, and Hancock 2014) . Käytä tulokset aikaisemmasta havainnointitutkimuksessa vuoteen Kramer (2012) päättää osallistujien lukumäärän kussakin kunnossa. Näissä kahdessa tutkimuksessa eivät vastaa täydellisesti niin varmasti nimenomaisesti luetella kaikkia oletuksia, jotka teet:

   1. Aja simulaatio, joka päättää, kuinka monta osallistujaa olisi tarvittu havaita vaikutusta niin suuri kuin vaikutus Kramer (2012) kanssa \ (\ alpha = 0.05 \) ja \ (1 - \ beta = 0,8 \).
   2. Tee sama laskelma analyyttisesti.
   3. Koska tulokset Kramer (2012) oli emotionaalinen Contagion (Kramer, Guillory, and Hancock 2014) yli-powered (eli sillä ollut enemmän osallistujia kuin tarvitaan)?
   4. Oletusten että teit, mikä on suurin vaikutus omaan laskentaan?

6. [ , , , ] Vastaa kysymykseen edellä, mutta sen sijaan käyttää aiemmin havainnointitutkimuksessa vuoteen Kramer (2012) käyttää tuloksia aiemmasta luonnollinen kokeilun Coviello et al. (2014) .

7. [ ] Molemmat Rijt et al. (2014) ja Margetts et al. (2011) sekä suorittaa kokeita, joissa tutkitaan prosessi ihmiset allekirjoittamalla vetoomuksen. Vertailemaan ja suunnitteluun ja näiden tutkimusten tuloksista.

8. [ ] Dwyer, Maki, and Rothman (2015) teki kaksi kenttäkokeissa suhteesta sosiaalisten normien ja proenvironmental käyttäytymistä. Tässä on tiivistelmä niiden paperin:

   "Kuinka voisi psykologinen tiede käyttää edistämään proenvironmental käyttäytymistä? Kahdessa tutkimuksessa, joiden tavoitteena on edistää energiansäästöä käyttäytymistä julkisissa kylpyhuoneissa tutki vaikutteita kuvaileva normien ja henkilökohtainen vastuu. Tutkimuksessa 1, valo tila (eli päälle tai pois) oli manipuloida ennen kuin joku tuli tyhjillään julkinen kylpyhuone, signalointi kuvailevaa normi että asetusta. Osallistujat olivat huomattavasti todennäköisemmin sammuttaa valot jos ne pois, kun he tulivat. Tutkimuksessa 2, lisäehto sisällytettiin jossa normi sammuttamalla valo osoitettiin liittolaisena, mutta osallistujat eivät itse vastuussa sen käynnistämistä. Henkilökohtainen vastuu valvottu vaikutuksen sosiaalisia normeja käyttäytymiseen; kun osanottajat eivät ole vastuussa sytyttämällä valo, vaikutus normin väheni. Nämä tulokset osoittavat, kuinka kuvaileva normit ja henkilökohtaisen vastuun voi säädellä tehoa proenvironmental toimia. "

   Lue heidän paperi ja suunnitella replikointi tutkimuksen 1.

9. [ , ] Pohjalta edelliseen kysymykseen, nyt suorittaa suunnittelua.

   1. Miten tulokset vertailla?
   2. Mikä voisi selittää nämä erot?

10. [ ] On ollut merkittävää keskustelua kokeiden avulla osallistujat rekrytoitiin Amazon Mechanical Turk. Samanaikaisesti on myös ollut merkittävä keskustelu kokeiden avulla osallistujat rekrytoitiin perusopiskelijaksi populaatiot. Kirjoita kahden sivun muistio jossa verrataan Turkers ja opiskelijaa tutkijoina osallistujaa. Your vertailu olisi liittyy keskustelua sekä tieteellisiä logistisia kysymyksiä.

11. [ ] Jim Manzi kirja Hallitsematon (2012) on loistava kulkeutumisen voima kokeiluihin liiketoimintaa. Kirjassa hän välittää tämä tarina:

    "Olin kerran kokouksessa todellinen liike nero, omatekoinen miljardööri, joka oli syvä, intuitiivinen aliarviointi voiman kokeita. Hänen yhtiö käytti huomattavia resursseja yrittää luoda suuria tallentaa näyteikkunahyllyt joka houkuttelee kuluttajia ja lisää myyntiä, koska perinteisen viisauden sanoi niiden pitäisi. Asiantuntijat huolellisesti testattu muotoilu jälkeen suunnittelu ja testi- tarkastelun istuntojen aikana vuoden pidetty ei ilmene merkittävää syy vaikutusta jokaisen uuden näytön suunnittelu myyntiin. Senior markkinoinnin ja myynnin johtajat tapasivat toimitusjohtajan tarkistaa nämä historialliset testitulokset toto. Esittämisen jälkeen kaikki kokeelliset tiedot, he päättelivät, että perinteisen viisauden oli väärä, että ikkuna näytöt eivät kasvattaa myyntiä. Heidän suositeltava toimenpide oli vähentää kustannuksia ja vaivaa tällä alueella. Tämä dramaattisesti osoitti kykyä kokeilu kaataa perinteisen viisauden. Toimitusjohtajan vastaus oli yksinkertainen: "Johtopäätökseni on, että suunnittelijat eivät ole kovin hyviä." Hänen ratkaisunsa oli lisätä vaivaa tallentaa näytön suunnittelu, ja saada uusia ihmisiä tekemään sen. " (Manzi 2012, 158–9)

    Minkä tyyppinen voimassaoloaika on huolissaan toimitusjohtajan?

12. [ ] Pohjalta edelliseen kysymykseen, kuvitella, että olit kokouksessa, jossa kokeiden tulokset keskusteltiin. Mitkä ovat neljä kysymystä, jotka voit pyytää, yksi kutakin voimassaoloaikaa (tilastollinen, rakentaa, sisäinen ja ulkoinen)?

13. [ ] Bernedo, Ferraro, and Price (2014) tutkitaan seitsemän vuoden vaikutus veden säästäminen intervention kuvattu Ferraro, Miranda, and Price (2011) (katso kuva 4.10). Tässä asiakirjassa, Bernedo ja työtovereiden myös pyrkiä ymmärtämään mekanismia taustalla vaikutus vertaamalla käyttäytymistä kotitalouksien on ja ei ole muuttanut käsittelyn jälkeen toimitettiin. Eli karkeasti, he yrittävät nähdä, onko hoito vaikutti kotona tai asunnonomistaja.

    1. Lukea lehteä, kuvata niiden suunnittelu, ja yhteenveto tuloksista. b) Älä havaintonsa vaikuttaa miten pitäisi arvioida kustannustehokkuutta vastaavien interventioiden? Jos on, miksi? Jos ei, miksi ei?

14. [ ] Vuonna seurannan Schultz et al. (2007) , Schultz ja työtovereiden suorittaa sarjan kolme kokeita vaikutuksesta kuvaileva ja kieltokanteita normien erilaiseen ympäristöön käyttäytyminen (pyyhe uudelleenkäyttö) kahdella alueella (hotelli ja osa-aikaista taloyhtiöiden) (Schultz, Khazian, and Zaleski 2008) .

    1. Yhteenveto suunnittelu ja havainnot näistä kolmesta kokeesta.
    2. Miten, jos ollenkaan, ne vaihda tulkintaa Schultz et al. (2007) ?

15. [ ] Vastauksena Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) juoksi sarjan lab kaltaisia ​​kokeita tutkia suunnitteluun sähkölaskua. Näin ne kuvaavat sitä tiivistelmä:

    "Eräässä tutkimuksessa perustuva kokeilu, jokainen osallistuja näki hypoteettisen sähkölasku perheen suhteellisen korkea sähkön käyttö, joka kattaa tiedot (a) historiallinen käyttö, (b) vertailuja naapureille, ja (c) historiallinen käytettäväksi laitteen jakautuminen. Osallistujat näkivät kaikki tietotyypit yhteen kolmesta formaatteja kuten (a) taulukot, (b) bar kaavioita, ja (c) -kuvaketta kuvaajia. Raportoimme kolme havainnoista. Ensinnäkin kuluttajat ymmärtää kunkin sähkön käytön tietoa eniten, kun se esiteltiin taulukossa, ehkä siksi pöydät helpottaa yksinkertaisen asian käsittelyssä. Toiseksi, mieltymykset ja aikomukset säästää sähköä oli vahvin historiallista käyttöön tiedot, riippumatta muodossa. Kolmanneksi yksilöiden vähemmän energiaa lukutaito ymmärretään kaikki tieto vähemmän. "

    Toisin kuin muut seurantatutkimukset, päätuloksia kiinnostusta Canfield, Bruin, and Wong-Parodi (2016) raportoidaan käyttäytyminen ei todellisen käyttäytymisen. Mitä vahvuuksia ja heikkouksia tällaisen tutkimuksen laajemmassa tutkimusohjelmassa edistämään energiansäästöä?

16. [ , ] Smith and Pell (2003) on satiirinen meta-analyysi tutkimusten tehokkuuden osoittamiseksi laskuvarjoja. Ne päättelevät:

    "Kuten monet interventiot estää sairastumista, tehokkuus laskuvarjot ei tehty tiukkaa arviointia käyttämällä satunnaistetuissa kontrolloiduissa kokeissa. Puolestapuhujat näyttöön perustuva lääketiede ovat arvostelleet hyväksymisen interventioiden arvioitiin käyttämällä vain havaintoaineistoa. Mielestämme jokainen voisi hyötyä jos radikaalein päähenkilöt näyttöön perustuva lääketiede järjestetty ja osallistui kaksoissokkoutettu, satunnaistettu, lumelääkekontrolloitu, crossover oikeudenkäynti laskuvarjo. "

    Kirjoita op-ed sopii yleiselle lukijakunnalle sanomalehti, kuten The New York Times, väitti vastaan ​​fetishization on kokeellista näyttöä. Antaa erityisiä, konkreettisia esimerkkejä. Vihje: Katso myös, Bothwell et al. (2016) ja Deaton (2010)

17. [ , , ] Ero-in-erot arviotekijöitä hoidon vaikutus voi olla tarkempi kuin ero-in-keskiarvon estimaattorit. Kirjoita muistion insinööri vastaa A / B-testausta start-up sosiaalisen median yhtiö selittää eron arvo-in-eroja lähestymistapaa käynnissä online kokeilu. Muistion tulisi sisältää selvitys ongelman, jotkut intuitio siitä, millä edellytyksillä ero-in-ero estimaattori outperform ero-in-keskiarvoestimaattorin, ja yksinkertainen simulointi tutkimus.

18. [ , ] Gary Loveman oli professori Harvard Business School ennen tulossa toimitusjohtaja Harrah, yksi suurimmista kasino yrityksiä maailmassa. Kun hän muutti Harrah, Loveman muuttanut yritys, jolla on kanta-asiakasohjelmaa kaltainen kanta keränneen valtavia määriä tietoa asiakkaiden käyttäytymistä. Tämän päälle aina käytössä mittausjärjestelmä, yhtiö alkoi kokeiluja. Esimerkiksi ne saattavat kokeilun arvioida vaikutusta kuponki vapaa hotelli yö asiakkaille tietyn uhkapeli malli. Näin Loveman kuvattu tärkeyttä kokeilu Harrah jokapäiväisessä toimintatapoja:

    "Se on kuin et ahdistella naisia, et varastaa, ja sinun täytyy olla kontrolliryhmään. Tämä on yksi niistä asioista, joita voit menettää työpaikan at Harrah's-ole käynnissä vertailuryhmällä. " (Manzi 2012, 146)

    Kirjoita sähköpostia uudelle työntekijälle miksi Loveman mielestä on niin tärkeää saada kontrolliryhmään. Sinun pitäisi yrittää sisällyttää esimerkki-joko todellinen tai koostuu-havainnollistaa viestisi.

19. [ , ] Uusi koe tarkoituksena arvioida vaikutus vastaanottavan tekstiviestin muistutuksia rokotuskattavuuden. 150 klinikoita, joissa jokaisessa on 600 sopivaa potilasta, ovat halukkaita osallistumaan. On kiinteät kustannukset 100 dollaria jokaista klinikan haluat työskennellä, ja se maksaa 1 dollari jokaista tekstiviesti, jonka haluat lähettää. Toisaalta kaikkia klinikoiden olet työskennellyt mittaa tuloksen (onko joku saanut rokotuksen) ilmaiseksi. Oletetaan, että sinulla on budjetti 1000 dollaria.

    1. Millä edellytyksillä se voisi olla parempi keskittää resurssit muutamiin klinikoiden ja millä ehdoilla se voisi olla parempi levittää niitä laajemmalle?
    2. Mitkä tekijät määrittävät pienimmän vaikutuksen kokoa että pystyt luotettavasti havaita budjetti?
    3. Kirjoita muistio selittää nämä kompromissit mahdolliselle rahoittajalle.

20. [ , ] Merkittävä ongelma verkkokursseilla on poistuman; monet opiskelijat, jotka alkavat kurssien päätyä pudottamalla-out. Kuvittele, että olet töissä online oppimisalusta, ja suunnittelija laiturilla on luonut visuaalisen edistymispalkki, että hänen mielestään auttaa estämään opiskelijat putoamasta ulos kurssin. Haluatko testata vaikutusta etenemispalkki opiskelijoiden suuri laskennallinen yhteiskuntatieteissä kurssi. Otettuaan mitään eettisiä kysymyksiä, jotka voivat syntyä kokeessa, sinä ja kollegasi huolestua, että kurssi ei ehkä ole tarpeeksi oppilaita luotettavasti havaita vaikutuksia etenemispalkki. Laskelmissa Alla voit olettaa, että puolet opiskelijat saavat edistymispalkkia ja puoli ei. Edelleen, voit olettaa, että ei ole mitään häiriöitä. Toisin sanoen, voit olettaa, että osallistujat vain vaikuttavat ne saivat hoitoa tai valvontaa; ne eivät ole aikaan onko muita ihmisiä sai hoitoa tai ohjaus (entistä formaali, katso Gerber and Green (2012) , Ch. 8). Pidä kirjaa muita oletuksia, jotka teet.

    1. Oletetaan etenemispalkki odotetaan kasvavan opiskelijoiden osuus, jotka lopuksi luokan 1 prosenttiyksikön, mikä on näytteen käsialan luotettavasti havaita vaikutusta?
    2. Oletetaan etenemispalkki odotetaan kasvavan opiskelijoiden osuus, jotka lopuksi luokan 10 prosenttiyksikköä, mikä on näytteen käsialan luotettavasti havaita vaikutusta?
    3. Nyt kuvitella, että olet suorittanut kokeen ja opiskelijat, jotka ovat suorittaneet kaikki kurssin materiaalit ovat tehneet lopullisen tentti. Kun vertaa tentti tulokset opiskelijat, jotka saivat etenemispalkista jotka eivät, löydät paljon omaan yllätys, että opiskelijat, jotka eivät saaneet edistymispalkkia todella sijoitettiin suurempi. Tarkoittaako tämä, että edistymispalkki aiheutti opiskelijoita oppimaan vähemmän? Mitä voit oppia tästä tuloksesta tiedot? (Vihje: katso Gerber and Green (2012) , Ch. 7)

21. [ , ] Vuonna ihana paperi, Lewis and Rao (2015) elävästi kuvaavat perustavanlaatuinen tilastollinen rajoittaminen jopa massiiviset kokeet. Paperi-, joka alun perin oli provosoiva otsikko "On Lähi-mahdottomuus mittaaminen Paluu Advertising" -shows miten vaikeaa on mitata sijoitetun pääoman tuotto online-mainoksia, vaikka digitaalinen kokeista, joissa miljoonia asiakkaita. Yleisemmin paperi osoittaa selvästi, että on vaikea arvioida pienten hoitovaikutusta keskellä meluisa lopputulokseen tiedot. Tai totesi diffently, paperi osoittaa, että arvioitu hoito vaikutuksia on suuri luottamusvälit kun isku--to-standardin-poikkeama (\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) suhde on pieni. Tärkeä yleinen opetus tämä paperi on, että tuloksia kokeista, joissa pieni vaikutus-to-standardin-poikkeama suhde (esim ROI of mainoskampanjat) on epätyydyttävä. Your haasteena on kirjoittaa muistion joku markkinointiosasto oman yrityksen evaluting suunnitellun kokeen mitata ROI mainoskampanjan. Muistiosi olisi tuettava kuvaajat tulosten tietokonesimulaatioiden.

    Tässä taustatietoa, jota saatat tarvita. Kaikki nämä numeeriset arvot ovat tyypillisiä todellisia kokeiluja raportoitu Lewis and Rao (2015) :

    • ROI, keskeinen mittari verkkomainoskampanjoita, määritellään olevan nettotuloksen kampanjan (bruttokate kampanja miinus kustannukset kampanja) jaettuna kustannukset kampanjan. Esimerkiksi kampanja, joka ei ollut vaikutusta myyntiin olisi ROI -100% ja kampanjan, jossa voittojen vastasivat kustannukset olisivat ROI 0.

    • keskimääräinen myynti asiakasta kohti on $ 7 keskihajonta $ 75.

    • kampanja odotetaan kasvavan myyntiä $ 0,35 asiakasta mikä vastaa kasvua voittoa $ 0,175 per asiakas. Toisin sanoen, myyntikate on 50%.

    • suunniteltua koko kokeen on 200000 ihmistä, puolet hoitoryhmässä ja puoli kontrolliryhmässä.

    • kustannukset kampanja on $ 0,14 osallistujaa.

    Kirjoita muistio evaluting tässä kokeessa. Haluatko suositella käynnistää tämä koe suunnitellusti? Jos on, miksi? Jos ei, mitä muutoksia suosittelisitte?

    Hyvä muistio käsitellään tässä nimenomaisessa tapauksessa; parempi muistio tulee yleistää Tällöin yhdellä tavalla (esim osoittavat miten päätös muuttuu funktiona vaikutuksista-to-standardin-poikkeaman suhteen); ja suuri muistio esittelee täysin yleisen tuloksen.

22. [ , ] Tee sama kuin edelliseen kysymykseen, mutta sen sijaan simulointi kannattaa käyttää analyyttisiä tuloksia.

23. [ , , ] Tee sama kuin edelliseen kysymykseen, mutta käyttää sekä simuloinnin ja analyyttisiä tuloksia.

24. [ , , ] Kuvittele, että olet kirjoittanut muistio kuvattu edellä käyttäen joko simuloinnin, analyyttisiä tuloksia, tai molemmat-ja joku markkinointiosasto suosittelee eroa-in-erot estimaattori sijaan ero välineet estimaattori (katso kohta 4.6.2) . Kirjoita uusi lyhyempi muistio selvitetään, miten 0,4 korrelaatio myynti ennen koetta ja myynti kokeilun jälkeen muuttaisi johtopäätös.

25. [ , ] Jotta voitaisiin arvioida tehokkuutta uuden web-pohjainen ura palvelu, yliopiston rekrytointipalveluiden toimistossa toteutettiin satunnaistetussa valvontakoe joukossa 10000 opiskelijaa päätösvaiheeseen vuoden koulun. Ilmainen tilaus ainutlaatuinen log-in tiedot lähetetään yksinoikeudella sähköpostitse kutsun 5000 satunnaisesti valittua opiskelijoita, kun taas muut 5000 opiskelijat ovat kontrolliryhmässä ja ei ole tilausta. Kaksitoista kuukautta myöhemmin seurannan tutkimus (ilman kato) osoittaa, että sekä hoitoon ja kontrolliryhmissä, 70% opiskelijoista on turvattu kokoaikatyössä valitsemiinsa (taulukko 4.5). Näyttää siis siltä, ​​että web-pohjainen palvelu ei ollut vaikutusta.

    Kuitenkin taitava data tutkija yliopistossa katsoi data hieman tarkemmin ja todettiin, että vain 20% opiskelijoista hoitoryhmässä koskaan kirjautunut tilille saatuaan sähköpostin. Edelleen, ja hieman yllättäen, niiden joukossa, jotka ovat kirjautuneet verkkosivuilla vain 60% oli varmistettu kokoaikatyössä valitsemiinsa, joka oli alhaisempi kuin korko ihmisille, jotka eivät kirjautua sisään ja alhaisempi kuin ihmisille ohjaus ehto (taulukko 4.6).

    1. Antaa selityksen siitä, mitä olisi voinut tapahtua.
    2. Mitkä ovat kaksi eri tapaa laskea hoidon vaikutuksesta tässä kokeessa?
    3. Koska tämä tulos, mikäli yliopistouralle palvelun tarjoavat tätä web-pohjainen ura palvelua kaikille opiskelijoille? Vain olla selvää, tämä ei ole kysymys kanssa yksinkertaista vastausta.
    4. Mitä he tekevät seuraavaksi?

    Vihje: Tämä kysymys ylittää materiaali tässä luvussa, mutta korjaa ongelmia yhteinen kokeissa. Tämäntyyppinen koesuunnitelmia kutsutaan joskus rohkaisuna suunnittelu koska osallistujia kannustetaan osallistumaan hoitoon. Tämä ongelma on esimerkki siitä, mitä kutsutaan yksipuolinen noudattamatta jättämisestä (ks Gerber and Green (2012) , Ch. 5)

26. [ ] Kun lisätutkimuksia, käy ilmi, että koe on kuvattu edellisessä kysymyksessä oli vieläkin monimutkaisempi. On käynyt ilmi, että 10% ihmisistä kontrolliryhmän maksetaan palvelujen saamiselle, ja ne päätyneet työllisyysaste 65% (taulukko 4.7).

    1. Kirjoita sähköpostia yhteenveto mitä luulet tapahtuu ja suositella toimintatapa.

    Vihje: Tämä kysymys ylittää materiaali tässä luvussa, mutta korjaa ongelmia yhteinen kokeissa. Tämä ongelma on esimerkki siitä, mitä kutsutaan kaksipuolinen noudattamatta jättämisestä (ks Gerber and Green (2012) , Ch. 6)