Tegevused

Võti:

• raskusaste: kerge , keskmise kõva , väga raske
• nõuab matemaatika ( )
• nõuab kodeerimine ( )
• andmete kogumine ( )
• minu lemmikud ( )

1. [ , ] Berinsky ja tema kolleegid (2012) hindab Mehhaaniline Turk osaliselt imitatsiooniga kolm klassikalist eksperimente. Paralleelsed klassikaline Aasia Disease kujundamist eksperiment Tversky and Kahneman (1981) . Kas teie tulemusi mängu Tversky ja Kahneman on? Kas teie tulemusi mängu Berinsky ja kolleegidega? Mis-kui midagi-õpetab see meile mehaaniliste Turk ülevaatuse eksperimendid?

2. [ , ] Mõnevõrra mittetõsine raamatus "Me peame lõhkuda," sotsiaalne psühholoog Robert Cialdini, üks autoritest Schultz et al. (2007) , kirjutas, et ta oli ennetähtaegselt pensionile oma tööd nagu professor, osalt väljakutsetele ta silmitsi tehes eksperimente distsipliini (psühholoogia), mis teostab peamiselt laboris katseid (Cialdini 2009) . Loe Cialdini paberi ja kirjutan ta talle kutsudes teda uuesti oma break-up, pidades silmas võimalusi digitaalse eksperimente. Kasutage konkreetseid näiteid teadus, mis on suunatud tema mured.

3. [ ] Selleks, et teha kindlaks, kas esialgne väike edu lukustada või hajuvad, van de Rijt ja kolleegidega (2014) astus nelja erinevat süsteemi andes edu juhuslikult valitud osalejate ja seejärel mõõdetakse pikaajalise mõjuga see meelevaldne edu. Kas te arvate, teised süsteemid, kus võid joosta sarnaseid katseid? Hinnake neid süsteeme nii küsimusi ja teadusliku väärtusega Algoritmilise segavate (vt peatükk 2), ja eetika.

4. [ , ] Tulemused Katse võib sõltuda osalejad. Loo eksperimendi ja seejärel käivitage see Amazon Mechanical Turk (MTurk) kahe erineva Värbamisstrateegiad. Proovige valida eksperimenti ja Värbamisstrateegiad nii, et tulemused on nii erinevad, kui võimalik. Näiteks oma Värbamisstrateegiad võiks värvata osalejaid hommikul ja õhtul või kompenseerida osalejate kõrge ja madala palgaga. Sellised erinevused värbamisstrateegia võib põhjustada eri basseinid osalejate ja erinevaid eksperimentaalseid tulemusi. Kuidas erinevad ei oma tulemus osutub? Mida see paljastada umbes töötab katseid MTurk?

5. [ , , , ] Kujutage ette, et teil oli plaanis Emotsionaalne Nakkus uuring (Kramer, Guillory, and Hancock 2014) . Kasutage tulemusi varasema vaatlusuuringut poolt Kramer (2012) , et otsustada, osalejate arv igas seisukorras. Need kaks uuringut ei kattu täiesti seda kindlasti selgesõnaliselt loetleda kõik eeldused, et sa teed:

   1. Käivita simulatsioon, mis otsustab, kui palju osalejaid oleks vaja tuvastada mõju nii suur kui mõju Kramer (2012) koos \ (\ alpha = 0.05 \) ja \ (1 - \ beta = 0,8 \).
   2. Kas sama arvutus analüütiliselt.
   3. Arvestades tulemusi Kramer (2012) oli emotsionaalne Nakkus (Kramer, Guillory, and Hancock 2014) üle võimsusega (st, ei see on rohkem osalejaid kui vaja)?
   4. Eeldustest, et sa tegid, mis on suurim mõju oma arvutamine?

6. [ , , , ] Vastus küsimusele eespool, kuid selle asemel et kasutada varasema vaatlusuuringut poolt Kramer (2012) tulemusi kasutada varasemast loomulik eksperiment Coviello et al. (2014) .

7. [ ] Nii Rijt et al. (2014) ja Margetts et al. (2011) nii eksperimente, et uurida protsessi inimesi petitsiooni allkirjastamist. Võrrelda ja vastandada disaini ja nende uuringute tulemusi.

8. [ ] Dwyer, Maki, and Rothman (2015) läbi kaks eksperimente seoste kohta sotsiaalsete normide ja proenvironmental käitumist. Siin on abstraktne oma raamatus:

   "Kuidas võiks psühholoogiline teaduse kasutada, et julgustada proenvironmental käitumist? Kahes uuringus, sekkumised, mille eesmärk on edendada energiasäästu käitumise avalikes vannitubades uurida mõjutusi kirjeldav normide ja isikliku vastutuse. Uuringus 1, valgus staatuse (st, sees või väljas) oli manipuleeritud, enne kui keegi sisenes sisustamata avaliku vannituba, signalisatsiooni kirjeldava normiks, et seade. Osalejad olid oluliselt suurema tõenäosusega lülitavad valgustuse välja, kui nad olid ära, kui nad sisenesid. Uuringus 2, lisatingimus kanti, kus norm välja lülitada valgust näitas Konföderatsiooni, kuid osalejad ei olnud ise vastutavad selle sisselülitamist. Isiklik vastutus modereeritud mõju sotsiaalsete normide käitumist; kui osalejad ei ole süüdi sisselülitamist valguse mõju norm oli vähenenud. Need tulemused näitavad, kuidas kirjeldavad normid ja isiklik vastutus võib reguleerida tõhusust proenvironmental sekkumist. "

   Loe oma paber- ja disain replikatsiooni Uuringu 1.

9. [ , ] Tuginedes eelnevale küsimusele, nüüd teostada oma disaini.

   1. Kuidas need tulemused võrrelda?
   2. Mis võib olla põhjuseks, neid erinevusi?

10. [ ] Seal on olnud märkimisväärne arutelu eksperimentide abil osalejad tööle Amazon Mechanical Turk. Samal ajal on olnud ka olulise arutelu eksperimentide abil osalejad tööle tudeng ja populatsioonides. Kirjutage kahel leheküljel memo võrrelda ja vastandades Turkers ja üliõpilastele teadlased osalejad. Teie võrdlemine peaks sisaldama arutelu nii teadus- ja logistika küsimustes.

11. [ ] Jim Manzi raamat Kontrollimatu (2012) on suurepärane sissetoomise võimu eksperimenteerimise äri. Raamatus ta vahendada see lugu:

    "Olin kord kohtumine tõeline äri geenius, omatehtud miljardär, kes oli sügav, intuitiivne mõistmine võimu eksperimente. Tema firma kulutatud märkimisväärseid ressursse üritavad luua suure kaupluse vaateaknaid, mis meelitaks tarbijatele ning suurendab müüki, kuna tavapäraste tarkust ütles, et nad peaksid. Eksperdid hoolikalt testitud disaini pärast disain ja test-toimuvad kohtumised jooksul aastaid hoitud ei näita olulist põhjuslikku mõju iga uus ekraan disaini müük. Senior turundus ja kaubandus juhid kohtusid tegevjuht vaadata need ajaloolised testitulemuste toto. Pärast esitades kõik katseandmed, nad järeldusele, et tavapäraste tarkust oli vale-akna-ekraan ei suurendada müüki. Nende soovituslik tegevus oli vähendada kulusid ja vaeva selles valdkonnas. See dramaatiliselt demonstreerinud eksperimenteerimise ümber lükata tavasuhtumise. Tegevjuht vastus oli lihtne: "Minu järeldus on see, et oma disainerid ei ole väga hea." Tema lahendus oli suurendada jõupingutusi kauplus kuva disaini ja saada uusi inimesi seda teha. " (Manzi 2012, 158–9)

    Millist tüüpi kehtivus on mure tegevjuht?

12. [ ] Tuginedes eelnevale küsimusele, kujutan ette, et sa olid koosolekul, kus katsete tulemused arutati. Mis on neli küsimust, mida võiks küsida, üks iga kehtivusaasta (statistika, ehitada, sise- ja välis)?

13. [ ] Bernedo, Ferraro, and Price (2014) uurib seitsmeaastane mõju vee säästmine sekkumine kirjeldatud Ferraro, Miranda, and Price (2011) (vt joonis 4.10). Selles raamatus, Bernedo ja tema kolleegid püüavad ka aru toimemehhanism võrreldes majapidamiste, mis on ja ei ole liikunud pärast ravi tehti. See tähendab, et ligikaudu nad proovida, et näha, kas ravi mõjutanud kodus või majaomanik.

    1. Loe paber, kirjeldada oma disaini ja kokku oma leiud. b) teha oma järeldusi mõjutada kuidas peaks hindama kuluefektiivsus sarnane sekkumine? Kui jah, siis miks? Kui ei, siis miks?

14. [ ] Aastal järelmeetmete Schultz et al. (2007) , Schultz ja tema kolleegid sooritada kolmest katseid mõju kirjeldav ja keelavaid norme erineva keskkonna käitumist (rätik taaskasutamist) kahes kontekstis (hotell ja puhkuseosakute Korterelamu) (Schultz, Khazian, and Zaleski 2008) .

    1. Tihe disaini ja järeldused nendest kolmest katsest.
    2. Kuidas, kui üldse, nad muuta oma tõlgendust Schultz et al. (2007) ?

15. [ ] Vastuseks Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) jooksis seeria lab moodi katseid, et uurida disain elektri arved. Siin on, kuidas nad seda kirjeldada abstraktselt:

    "In uuringupõhise eksperiment, iga osaleja nägi hüpoteetiline elektriarve perele, kus on suhteliselt kõrge elektri kasutamine, mis hõlmab informatsiooni (a) ajaloolised kasutamine, (b) võrrelda naabritega, ja (c) ajaloolise kasutamiseks seadme rikke. Osalejad nägi kogu teabe liigid üks kolmest formaate, sealhulgas (a) lauad, (b) tulpi ja (c) ikoon graafikud. Me aruande kolmel peamisi järeldusi. Esiteks, tarbijad aru iga liiki elektrit kasutada informatsiooni kõige, kui see oli esitatud tabelis, võib-olla sellepärast, lauad hõlbustada lihtsa punkti lugemist. Teiseks, eelistusi ja kavatsusi säästa elektrit oli tugevaim ajaloolise kasutada informatsiooni, mis ei sõltu formaadis. Kolmandaks, üksikisikute madalam energia kirjaoskuse aru kõik andmed vähem. "

    Erinevalt teistest järelkontroll uuringute peamine tulemus huvi Canfield, Bruin, and Wong-Parodi (2016) on teatatud käitumine ei tegelikku käitumist. Mis on tugevad ja nõrgad küljed seda tüüpi uuring laiemas uurimisprogrammi energiasäästu edendamise?

16. [ , ] Smith and Pell (2003) on satiiriline meta-analüüsi uuringud näitavad tõhusust langevarjud. Nad järeldavad:

    "Nagu paljud sekkumiste eesmärk on vältida haigestumisi, tõhususe langevarjud ei ole läbinud range hindamine abil randomiseeritud kontrollitud uuringutest. Toetab tõenduspõhiste meditsiinis on kritiseerinud vastuvõtmine sekkumist hinnata, kasutades ainult vaatlusandmed. Me arvame, et igaüks võib saada, kui kõige radikaalsem peategelased tõenduspõhiste meditsiini organiseeritud ja osales topeltpimedas, randomiseeritud, platseebokontrolliga, crossover uuringus langevarju. "

    Kirjutage op-ed sobivad laiale lugejaskonnale ajalehes, nagu The New York Times, väites vastu fetishization eksperimentaalse tõendeid. Anda konkreetseid näiteid konkreetsetest. Vihje: Vt ka Bothwell et al. (2016) ja Deaton (2010)

17. [ , , ] Erinevus-in-erinevused hinnanguväärtuste ravi efekt võib olla täpsem kui vahe-in-keskmine hinnangfunktsioonide. Kirjutage memo insener vastutav A / B testimist start-up sotsiaalse meedia ettevõte, mis selgitab väärtuse vahe-in-erinevused lähenemine töötab online-eksperimendis. Memo peab sisaldama avaldust probleemi, mõned intuitsiooni, millistel tingimustel vahe-in-erinevus prognoosija edestama vahe-in-keskmine prognoosija ja lihtsa simulatsiooni uuring.

18. [ , ] Gary Lovemani oli professor Harvard Business School, enne muutumas tegevjuht Harrah'se, üks suurimaid kasiino ettevõtteid maailmas. Kui ta kolis Harrah'se, Lovemani muutnud firma sagedase lendaja moodi lojaalsusprogrammi kogunud tohutu hulga andmeid kliendi käitumist. Selle peale alati-mõõtesüsteemi hakkas firma töötab eksperimente. Näiteks, nad võivad seda katseliselt mõju hindamiseks kupongi vaba hotell öö klientidele konkreetse hasartmängu muster. Siin on, kuidas Lovemani kirjeldatud kui oluline on eksperimentaalselt Harrah igapäevase äritegevuse:

    "See on nagu sa ei ahista naisi, sa ei tohi varastada, ja sul on kontrollgrupiga. See on üks asju, mida võib kaotada oma töö juures Harrah's-ei tööta kontrollrühmal. " (Manzi 2012, 146)

    Kirjutage talle uue töötaja selgitab, miks Lovemani arvab, et see on nii oluline, et kui kontrollrühmal. Sa peaksid püüdma kuuluvad näiteks-kas reaalne või koosnevad-illustreerida oma punkti.

19. [ , ] Uus eksperimendi eesmärk on hinnata mõju saavad tekstisõnumi meeldetuletusi vaktsiini kasutuselevõtu. 150 kliinikud, igaüks 600 sobivatele patsientidele on valmis osalema. On fikseeritud hinnaga 100 dollarit iga kliinikus soovite töötada, ja see maksab 1 dollar iga teksti sõnum, mida soovite saata. Lisaks tahes kliinikud, et te töötate koos mõõdab tulemuse (kas keegi vaktsineeritud) tasuta. Oletame, et teil on eelarve 1000 dollarit.

    1. Millistel tingimustel võib see olla parem keskenduda oma ressursse väike arv kliinikud ja millistel tingimustel võib see olla parem jaotada neid laiemalt?
    2. Millised tegurid oleks kindlaks väikseim mõju suurus, mis siis saab usaldusväärselt tuvastada oma eelarvet?
    3. Kirjutada memo, mis selgitab neid kompromisse potentsiaalne rahastaja.

20. [ , ] Probleemiks online-kursused on murenemise; paljud õpilased, et alustada kursused lõpuks väljalangemine. Kujutage ette, et te töötate e-õppe platvormi ja disainer platvormi loonud edenemisriba, et ta mõtleb aitab ennetada õpilaste väljalangemist käigus. Tahad testida mõju edenemistulp õpilasi mahukas sotsiaalteaduslike muidugi. Pärast käsitledes eetilisi probleeme, mis võivad tekkida eksperiment, sina ja su kolleegid murelikuks, et loomulikult ei pruugi olla piisavalt õpilasi usaldusväärselt tuvastada mõju edenemisribal. Arvutustes allpool võite eeldada, et pooled õpilased saavad edenemisribal ja pool mitte. Lisaks saab eeldada, et puudub häireid. Teisisõnu, sa ei saa eeldada, et osalejad on vaid mõjutab see, kas nad said ravi või kontrolli; nad ei teostatakse kas teised inimesed saanud ravi või tõrje (rohkem formaalne definitsioon, vaata Gerber and Green (2012) , Ch. 8). Palun jälgida täiendavaid eeldusi, mis sa teed.

    1. Oletame edenemisribal kasvab õpilaste osakaalu, kes lõpetab klassi 1 protsendipunkti võrra, mis on valimi suurus vaja usaldusväärselt tuvastada mõju?
    2. Oletame edenemisribal kasvab õpilaste osakaalu, kes lõpetab klassi 10 protsendi võrra, mis on valimi suurus vaja usaldusväärselt tuvastada mõju?
    3. Kujutlege, et teil on käivitada eksperimendi ja üliõpilased, kes on täitnud kõik õppematerjalid on võtnud lõpueksami. Kui võrrelda lõpueksami hinded üliõpilased, kes said edenemisribal neile, kes ei, siis leiavad, palju oma üllatuseks, et õpilased, kes ei saanud edenemisribal tegelikult viskas kõrgem. Kas see tähendab, et edenemisribal põhjustatud õpilasi õppima vähem? Mida saab õppida seda tulemust andmed? (Vihje: Vaata Gerber and Green (2012) , Ch. 7)

21. [ , ] In armas paber, Lewis and Rao (2015) elavalt illustreerida põhilised statistilised piiramist isegi suuri eksperimente. Paber-, mis algselt oli provokatiivne pealkiri "On peaaegu võimatu mõõtmine Pöördub Reklaam" -shows kui raske on mõõta investeeringute tasuvust online reklaame, isegi digitaalset eksperimente ja miljoneid kliente. Üldisemalt paber näitab selgelt, et see on raske hinnata väike raviefekti keset lärmakas tulemuse andmeid. Või märkis diffently, paber näitab, et hinnanguliselt ravi mõju on suur usaldusvahemikud kui mõju-to-standard-kõrvalekalle (\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) suhe on väike. Oluline üldisema õppetunni selles raamatus on, et tulemusi eksperimendid väike mõju-to-standard-kõrvalekalle suhe (nt ROI reklaamikampaaniad) on ebaküllaldane. Sinu ülesanne on kirjutada memo keegi turundusosakonna firma evaluting planeeritud katses mõõta ROI reklaamikampaania. Teie memo tuleks toetada graafikute tulemuste arvutisimulatsioon.

    Siin on mõned taustal informatsiooni, mida võib vaja minna. Kõik need numbrilised väärtused iseloomustavad tõeline eksperimendid teatas Lewis and Rao (2015) :

    • ROI, peamine metric online reklaamikampaaniad, määratletakse olla puhaskasum kampaania (brutokasumit kampaania miinus kulu kampaania) jagatud kampaania kulusid. Näiteks kampaania, mis ei mõjutanud müüki oleks ROI -100% ja kampaania, kus kasum oli võrdne kulud on ROI 0.

    • keskmine müük kliendi kohta on $ 7 standardhälve $ 75.

    • Kampaania kasvab müüki $ 0.35 klient, mis vastab tõusu kasumit $ 0,175 per klient. Teisisõnu, brutomarginaal on 50%.

    • planeeritud suurus katse on 200.000 inimest, pool katserühma ja pool kontrollgrupis.

    • maksumus kampaania on $ 0,14 per osaleja.

    Kirjutada memo evaluting selles eksperimendis. Kas te soovitate käivitada seda eksperimenti nagu plaanitud? Kui jah, siis miks? Kui mitte, siis mida soovitaksite?

    Hea memo käsitletakse kõnealusel juhul; parem memo siis üldistusi sel juhul ühel viisil (nt näidata, kuidas otsus muutusi sõltuvalt mõju-to-standard-kõrvalekalle suhe); ja suur memo esitab täielikult üldistatud tulemus.

22. [ , ] Kas sama eelmisele küsimusele, kuid mitte simulatsiooni siis tuleks kasutada analüütilisi tulemusi.

23. [ , , ] Kas sama eelmisele küsimusele, kuid kasutada nii simulatsiooni ja analüütilise tulemusi.

24. [ , , ] Kujutage ette, et olete kirjutanud memo kirjeldatud eespool, kasutades kas simulatsioon, analüütilise tulemusi või nii-ja keegi turundusosakonna soovitab kasutada vahe-in-erinevused prognoosija mitte vahet vahenditega prognoosija (vt punkt 4.6.2) . Kirjutage uus lühem memo, mis selgitab, kuidas 0,4 korrelatsioon müük enne eksperimendi ja müügi pärast katset muudaksid oma järeldust.

25. [ , ] Selleks, et hinnata efektiivsust uue veebipõhise karjääri teenuse ülikooli karjääriteenuste kontor läbi randomiseeritud kontroll kohtuprotsessi hulgast 10.000 õpilased sisenevad nende viimast aastat koolis. Tasuta liitumine unikaalse log-in teavet saadeti läbi eksklusiivse meilikutse 5000 juhuslikult valitud õpilased, samal ajal kui teine ​​5000 õpilased on kontrollgrupis ja ei ole tellimust. Kaksteist kuud hiljem, järelmeetmete uuring (ilma vastamata jätmise) näitab, et nii ravi grupis ja kontrollgrupis 70% õpilastest on tagatud täistööajaga oma valitud valdkonnas (tabel 4.5). Seega tundub, et veebipõhine teenus ei mõjutanud.

    Kuid tark andmed teadlane ülikoolis vaatasid andmeid natuke lähemalt ja leidis, et ainult 20% õpilastest katserühma kunagi sisse loginud konto pärast e-posti. Edasine ning mõnevõrra üllatav, nende seas, kes on sisse loginud kodulehel ainult 60% oli tagatud täistööajaga oma valitud valdkonnas, mis oli madalam kui inimesed, kes ei saa sisse logida ja madalam kui inimestele kontrolli tingimus (tabel 4.6).

    1. Anda selgitus, mida oleks võinud juhtuda.
    2. Mis on kaks erinevat võimalust arvutada ravitoime selles eksperimendis?
    3. Selle tulemuse alusel peaks ülikooli karjääri teenust pakkuda seda veebipõhine karjääri teenus kõigile õpilastele? Lihtsalt olla kindel, et see ei ole küsimus koos lihtne vastus.
    4. Mida nad peaksid tegema edasi?

    Vihje: Sellele küsimusele ületab materjali Käesolevas peatükis, kuid tegeleb küsimustega levinud eksperimente. Seda tüüpi eksperimentaalse projekteerimise nimetatakse mõnikord julgustuseks disain, sest osalejaid julgustatakse osalema ravi. See probleem on näide sellest, mida nimetatakse ühekülgne mittevastavus (vt Gerber and Green (2012) , Ch. 5)

26. [ ] Pärast edasist uurimist, selgub, et eksperiment on kirjeldatud eelmises küsimuses oli veelgi keerulisem. Selgub, et 10% inimestest, kontrollgrupi makstud teenuse kättesaadavuse ja siis said nad tööhõive määr 65% (tabel 4.7).

    1. Kirjutage talle kokkuvõtte, mida sa arvad juhtub ja soovitada teguviis.

    Vihje: Sellele küsimusele ületab materjali Käesolevas peatükis, kuid tegeleb küsimustega levinud eksperimente. See probleem on näide nn kahepoolne mittevastavus (vt Gerber and Green (2012) , Ch. 6)