aktiwiteite

sleutel:

• moeilikheidsgraad: maklik , medium , hard , baie hard
• vereis wiskunde ( )
• vereis kodering ( )
• data-insameling ( )
• my Gunstelinge ( )

1. [ , ] Berinsky en kollegas (2012) evalueer Meganiese Turk gedeeltelik deur replicerende drie klassieke eksperimente. Herhaal die klassieke Asiatiese Disease opstel eksperiment deur Tversky and Kahneman (1981) . Doen jou resultate wedstryd Tversky en Kahneman se? Doen jou resultate wedstryd Berinsky en kollegas? What-if enigiets-leer dit ons oor die gebruik van Meganiese Turk vir opname eksperimente?

2. [ , ] In 'n ietwat tong-in-die-kies papier getiteld "Ons het om te breek," het die sosiale sielkundige Robert Cialdini, een van die skrywers van Schultz et al. (2007) , skryf dat hy vroeg uit sy werk as 'n professor is uittredende, deels as gevolg van die uitdagings wat hy in die gesig gestaar doen veldeksperimente in 'n dissipline (sielkunde) wat hoofsaaklik voer laboratorium eksperimente (Cialdini 2009) . Lees Cialdini se papier, en skryf vir hom 'n e-pos aandring dat hy sy break-up in die lig van die moontlikhede van digitale eksperimente te heroorweeg. Gebruik spesifieke voorbeelde van navorsing wat sy bekommernisse aan te spreek.

3. [ ] Ten einde vas te stel of klein aanvanklike suksesse uitsluiting in of verdwyn, van die Rijt en en kollegas (2014) ingegryp in vier verskillende stelsels skenk sukses op lukraak gekies deelnemers, en dan gemeet die langtermyn impak van hierdie arbitrêre sukses. Kan jy dink aan ander stelsels waarin jy soortgelyke eksperimente kan hardloop? Evalueer hierdie stelsels in terme van kwessies van wetenskaplike waarde, algoritmiese confounding (sien Hoofstuk 2), en etiek.

4. [ , ] Die resultate van 'n eksperiment kan afhang van die deelnemers. Skep 'n eksperiment en dan loop dit op Amazon Meganiese Turk (MTurk) met behulp van twee verskillende werwingstrategieë. Probeer om die eksperiment en werwingstrategieë te tel sodat die resultate as ander moontlik sal wees. Byvoorbeeld, kan jou werwingstrategieë wees om deelnemers in die oggend en die aand te werf of om deelnemers met 'n hoë en 'n lae salaris vergoed. Hierdie soort verskille in werwingstrategie kan lei tot verskillende poele van deelnemers en verskillende eksperimentele uitkomste. Hoe anders het jou resultate uitdraai? Wat beteken dat openbaar oor die uitvoer van eksperimente op MTurk?

5. [ , , , ] Verbeel jou dat jy van plan was om die emosionele Contagion studie (Kramer, Guillory, and Hancock 2014) . Gebruik die resultate van 'n vroeëre waarneming studie deur Kramer (2012) om die aantal deelnemers besluit in elke toestand. Hierdie twee studies stem nie ooreen nie perfek so seker wees om uitdruklik n lys van al die aannames wat jy maak:

   1. Begin 'n simulasie wat sal besluit hoeveel deelnemers sou nodig gewees het om 'n effek so groot soos die effek in spoor Kramer (2012) met \ (\ alpha = 0.05 \) en \ (1 - \ beta = 0.8 \).
   2. Doen dieselfde berekening analities.
   3. Gegewe die resultate van Kramer (2012) is Emosionele Contagion (Kramer, Guillory, and Hancock 2014) oor-aangedrewe (dit wil sê, het dit meer deelnemers as wat nodig is)?
   4. Van die aannames wat gemaak dat wat die grootste invloed op jou berekening hê?

6. [ , , , ] Beantwoord die vraag hierbo nie, maar eerder as die gebruik van die vroeëre waarneming studie deur Kramer (2012) gebruik die resultate van 'n vroeëre natuurlike eksperiment deur Coviello et al. (2014) .

7. [ ] Beide Rijt et al. (2014) en Margetts et al. (2011) sowel voer eksperimente wat die proses van mense ondertekening van 'n petisie te bestudeer. Vergelyk en kontrasteer die ontwerp en bevindinge van hierdie studie.

8. [ ] Dwyer, Maki, and Rothman (2015) het twee veldeksperimente op die verhouding tussen sosiale norme en proenvironmental gedrag. Hier is die opsomming van hul papier:

   "Hoe kan sielkundige wetenskap gebruik word om proenvironmental gedrag aan te moedig? In twee studies, ingrypings wat gerig is op die bevordering van energie bewaring gedrag in die openbaar badkamers ondersoek die invloede van beskrywende norme en persoonlike verantwoordelikheid. In Studie 1, die lig status (dit wil sê, op of af) is gemanipuleer voordat iemand geloop 'n verlate openbare badkamer, 'n teken van die beskrywende norm vir daardie instellings. Deelnemers was aansienlik meer geneig om die ligte af te skakel as hulle af wanneer hulle aangegaan. In Studie 2, is 'n bykomende voorwaarde ingesluit waarin die norm van die aanskakel van die lig is gedemonstreer deur 'n Konfederale, maar deelnemers was self nie verantwoordelik vir die draai dit op. Persoonlike verantwoordelikheid gemodereer die invloed van sosiale norme op gedrag; wanneer deelnemers nie verantwoordelik vir die draai op die lig was, die invloed van die norm is verminder. Hierdie resultate dui daarop hoe beskrywende norme en persoonlike verantwoordelikheid kan die doeltreffendheid van proenvironmental ingrypings te reguleer. "

   Lees hulle papier en ontwerp 'n herhaling van studie 1.

9. [ , ] Die bou op die vorige vraag, nou uit te voer jou ontwerp.

   1. Hoe kan die resultate te vergelyk?
   2. Wat kan hierdie verskille te verduidelik?

10. [ ] Daar het aansienlike debat oor eksperimente uit deur deelnemers gewerf from Amazon Meganiese Turk. In parallel, daar is ook aansienlike debat oor eksperimente uit deur deelnemers gewerf voorgraadse student bevolkings het. Skryf 'n twee-bladsy memorandum vergelyk en kontrasteer die Turkers en voorgraadse as navorsers deelnemers. Jou vergelyking moet 'n bespreking van beide wetenskaplike en logistieke probleme.

11. [ ] Jim Manzi se boek Onbeheerde (2012) is 'n wonderlike inleiding tot die krag van eksperimentering in besigheid. In die boek oorgedra hy hierdie storie:

    "Ek was een keer in 'n vergadering met 'n ware besigheid genie, 'n selfgemaakte miljardêr wat 'n diep, intuïtief understating van die krag van eksperimente het. Sy maatskappy het aansienlike hulpbronne probeer om 'n groot venster winkel uitstallings wat verbruikers en verhogings verkope sou trek, as konvensionele wysheid het gesê hulle moet skep. Kenners versigtig getoets ontwerp na ontwerp, en in individuele toets hersiening sessies oor 'n tydperk van jare het wat aandui dat geen beduidende oorsaaklike uitwerking van elke nuwe vertoning ontwerp op verkope. Senior bemarking en merchandising bestuurders het met die uitvoerende hoof van hierdie historiese toetsuitslae in toto hersien. Na die aanbieding van al die eksperimentele data, tot die gevolgtrekking gekom wat die konvensionele wysheid was verkeerd dat vensteruitstallings nie verkope ry. Hul aanbeveel aksie was om die koste en moeite in hierdie gebied te verminder. Dit dramaties gedemonstreer die vermoë van eksperimentering met konvensionele wysheid ongedaan te maak. reaksie van die uitvoerende hoof se was eenvoudig: "My gevolgtrekking is dat jou ontwerpers is nie baie goed nie." Sy oplossing was om moeite in die winkel vertoon ontwerp verhoog, en om te kry nuwe mense om dit te doen. " (Manzi 2012, 158–9)

    Watter tipe geldigheid is die kommer van die hoof uitvoerende beampte?

12. [ ] Die bou op die vorige vraag, voorstel dat jy by die vergadering waar die resultate van die eksperimente is bespreek. Wat is vier vrae geantwoord wat jou kan vra, een vir elke tipe geldigheid (statistiese, bou, interne en eksterne)?

13. [ ] Bernedo, Ferraro, and Price (2014) bestudeer die sewe-jaar-effek van die water besparing ingryping in beskryf Ferraro, Miranda, and Price (2011) (sien Figuur 4.10). In hierdie vraestel, Bernedo en kollegas ook poog om die meganisme agter die uitwerking te verstaan ​​deur dit te vergelyk die gedrag van huishoudings wat en het nie verskuif na die behandeling gelewer. Dit wil sê, min of meer, hulle probeer om vas te stel of die behandeling beïnvloed die huis of die huiseienaar.

    1. Lees die koerant, hul ontwerp te beskryf, en 'n opsomming van hul bevindinge. b) Moet hul bevindinge impak hoe jy die koste-effektiwiteit van soortgelyke ingrypings moet beoordeel? Indien wel, hoekom? Indien nie, hoekom nie?

14. [ ] In 'n opvolg na Schultz et al. (2007) , Schultz en kollegas uit te voer 'n reeks van drie eksperimente op die effek van beskrywende en injunctive norme op 'n ander omgewing gedrag (handdoek hergebruik) in twee kontekste ( 'n hotel en 'n tyddeel condominium) (Schultz, Khazian, and Zaleski 2008) .

    1. Maak 'n opsomming van die ontwerp en bevindinge van hierdie drie eksperimente.
    2. Hoe, indien enigsins, het hulle jou interpretasie van verandering Schultz et al. (2007) ?

15. [ ] In reaksie op Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) het 'n reeks van laboratorium-agtige eksperimente om die ontwerp van die elektriese rekeninge te bestudeer. Hier is hoe dit beskryf dit in die opsomming:

    "In 'n opname wat gebaseer eksperiment, elke deelnemer het 'n hipotetiese elektrisiteitsrekening vir 'n gesin met 'n relatief hoë gebruik van elektrisiteit, wat inligting oor (a) historiese gebruik, (b) vergelykings om bure, en (c) historiese gebruik met toestel afbreek. Deelnemers het al die inligting tipes in een van die drie formate, insluitend (a) tafels, (b) staafgrafieke, en (c) ikoon grafieke. Ons verslag te doen oor drie belangrikste bevindinge. In die eerste plek verbruikers verstaan ​​elke tipe elektrisiteit-gebruik inligting die mees wanneer dit in 'n tabel, miskien omdat tafels eenvoudige punt lesing te fasiliteer. Tweede, voorkeure en oogmerke om elektrisiteit te bespaar was die sterkste vir die historiese inligting gebruik, onafhanklik van formaat. Derde, individue met 'n laer energie geletterdheid verstaan ​​al die inligting minder. "

    In teenstelling met ander opvolg studies, die belangrikste uitkoms van belangstelling in Canfield, Bruin, and Wong-Parodi (2016) is aangemeld nie gedrag nie werklike gedrag. Wat is die sterk- en swakpunte van hierdie tipe studie in 'n breër navorsingsprogram bevordering energiebesparing?

16. [ , ] Smith and Pell (2003) is 'n satiriese meta-analise van studies toon die doeltreffendheid van valskerms. Hulle gevolgtrekking:

    "Soos met baie ingrypings wat bedoel is om swak gesondheid te voorkom, die doeltreffendheid van valskerms is nie onderworpe aan streng beoordeling te hanteer deur ewekansige gekontroleerde proewe. Voorstanders van bewese medisyneverbruik het die aanvaarding van ingrypings geëvalueer deur die gebruik van slegs waarneming data gekritiseer. Ons dink dat almal kan baat vind indien die mees radikale voorstanders van bewese medisyneverbruik georganiseer en het deelgeneem aan 'n dubbel-blinde, ewekansige, placebo-beheerde, crossover verhoor van die valskerm. "

    Skryf 'n opinie wat geskik is vir 'n algemene koerantleserskap, soos die New York Times, met die argument teen die fetishization van eksperimentele bewyse. Verskaf spesifieke, konkrete voorbeelde. Wenk: Sien ook, Bothwell et al. (2016) en Deaton (2010)

17. [ , , ] Verskil-in-verskille beramers van 'n behandeling effek meer akkuraat is as verskil-in-gemiddelde beramers kan wees. Skryf 'n memorandum aan 'n ingenieur in beheer van A / B-toets teen 'n start-up sosiale media maatskappy verduidelik die waarde van die verskil-in-verskille benadering vir die uitvoer van 'n aanlyn-eksperiment. Die memorandum moet insluit 'n verklaring van die probleem, sommige intuïsie oor die omstandighede waaronder die verskil-in-verskil beramer die verskil-in-gemiddelde beraming sal oortref, en 'n eenvoudige simulasie studie.

18. [ , ] Gary Loveman was 'n professor by Harvard Business School voordat hy die hoof uitvoerende beampte van Harrah se, een van die grootste casino maatskappye in die wêreld. Toe hy na Harrah se Loveman omskep die maatskappy met 'n gereelde vlieg-agtige lojaliteit program wat geweldige hoeveelhede data oor die gedrag van kliënte wat ingesamel. Op die top van hierdie altyd-op meting stelsel, die maatskappy het begin hardloop eksperimente. Byvoorbeeld, kan hulle 'n eksperiment om die effek van 'n koepon vir 'n gratis hotel nag vir kliënte met 'n spesifieke dobbel patroon evalueer hardloop. Hier is hoe Loveman beskryf die belangrikheid van eksperimentering om alledaagse sakepraktyke Harrah se:

    "Dit is soos jy nie vroue teister, het jy mag nie steel nie, en jy het 'n kontrole groep het. Dit is een van die dinge wat jy jou werk kan verloor vir ten Harrah's-nie hardloop 'n kontrole groep. " (Manzi 2012, 146)

    Skryf 'n e-pos aan 'n nuwe werknemer verduidelik waarom Loveman dink dit is so belangrik om 'n kontrole groep het. Jy moet probeer om 'n voorbeeld-of werklike of up-to jou punt te illustreer sluit.

19. [ , ] 'N nuwe eksperiment het ten doel om die uitwerking van die ontvangs van SMS-boodskap aanmanings op inenting opname skat. 150 klinieke, elk met 600 in aanmerking kom pasiënte, bereid is om deel te neem. Daar is 'n vaste koste van 100 dollar vir elke kliniek wat jy wil om te werk met, en dit kos 1 dollar per SMS-boodskap wat jy wil stuur. Verder sal enige klinieke wat jy besig is met die uitkoms te meet (of iemand het 'n inenting) gratis. Aanvaar dat jy 'n begroting van 1000 dollar.

    1. Onder watter omstandighede is dit dalk beter wees om jou hulpbronne te fokus op 'n klein aantal klinieke en onder watter omstandighede is dit dalk beter wees om hulle meer wyd versprei?
    2. Watter faktore sal die kleinste effekgrootte dat jy in staat is om 'n betroubare spoor met jou begroting sal wees bepaal?
    3. Skryf 'n memorandum verduidelik hierdie kompromieë aan 'n potensiële befondser.

20. [ , ] 'N groot probleem met aanlyn-kursusse is uitvloei; baie studente wat kursusse begin uiteindelik val-out. Stel jou voor dat jy besig is op 'n aanlyn-leer-platform, en 'n ontwerper by die platform het 'n visuele progress bar wat sy dink sal help om te verhoed dat studente van die val uit die kursus geskep. Jy wil die effek van die progress bar op studente in 'n groot computational sosiale wetenskap natuurlik toets. Na die aanspreek van enige etiese kwessies wat mag ontstaan ​​in die eksperiment, jy en jou kollegas te kry bekommerd dat die kursus nie genoeg studente om 'n betroubare spoor die gevolge van die progress bar kan hê. In die berekeninge hieronder kan jy die helfte van die studente aanvaar sal die progress bar en 'n half nie ontvang. Verder kan jy aanvaar dat daar geen inmenging. Met ander woorde, kan jy aanvaar dat deelnemers net geraak word deur of hulle ontvang die behandeling of beheer; hulle nie in werking gestel deur of ander mense ontvang die behandeling of beheer (vir 'n meer formele definisie, sien Gerber and Green (2012) , Ch. 8). Hou tred met enige addisionele aannames wat jy maak.

    1. Veronderstel die progress bar sal na verwagting die verhouding van studente wat die klas voltooi met 1 persentasiepunt verhoog, wat is die steekproefgrootte wat nodig is om die uitwerking betroubaar spoor?
    2. Veronderstel die progress bar sal na verwagting die verhouding van studente wat die klas voltooi met 10 persentasiepunte verhoog, wat is die steekproefgrootte wat nodig is om die uitwerking betroubaar spoor?
    3. Stel jou nou voor dat jy die eksperiment en studente wat voltooi al die kursusmateriaal het 'n finale eksamen geneem het uit te voer. As jy vergelyk die eindeksamen tellings van studente wat die progress bar om diegene wat nie, het vind jy baie van jou verbasing ontvang, dat studente wat nie die progress bar ontvang het nie eintlik behaal hoër. Beteken dit dat die progress bar veroorsaak studente om minder te leer? Wat kan jy leer uit hierdie uitkoms data? (Wenk: Kyk Gerber and Green (2012) , Hoofstuk 7.)

21. [ , ] In 'n pragtige papier, Lewis and Rao (2015) beleef illustreer 'n fundamentele statistiese beperking van selfs massiewe eksperimente. Die papier-wat oorspronklik moes die uitdagende titel "Op die nabye onmoontlikheid van meting van die opbrengs aan Advertising" -shows hoe moeilik dit is om die opbrengs op belegging van aanlyn-advertensies te meet, selfs met 'n digitale eksperimente waarby miljoene kliënte. Meer in die algemeen, die papier toon duidelik dat dit moeilik is om klein behandeling effek skat te midde van lawaaierige uitkoms data. Of diffently vermeld, die papier toon dat geraamde behandeling effekte groot vertrouensintervalle sal hê wanneer die impak-tot-standaard-afwyking (\ (\ frac {\ Delta \ bar {y}} {\ sigma} \)) verhouding is klein. Die belangrikste algemene les uit hierdie vraestel is dat die resultate van eksperimente met 'n klein impak-tot-standaard-afwyking verhouding (bv ROI van advertensie veldtogte) sal onbevredigend wees. Jou uitdaging is om 'n memorandum te skryf aan iemand in die bemarking afdeling van jou maatskappy evaluting n beplande eksperiment om die ROI van 'n advertensie veldtog te meet. Jou memorandum moet ondersteun word met grafieke van die resultate van rekenaarsimulasies.

    Hier is 'n bietjie agtergrond inligting wat jy dalk nodig het. Al hierdie numeriese waardes is tipies van die werklike eksperimente berig in Lewis and Rao (2015) :

    • ROI, 'n belangrike maatstaf vir aanlyn advertensie veldtogte, word gedefinieer om die netto wins van die veldtog (bruto wins uit veldtog minus koste van die veldtog), gedeel deur die koste van die veldtog. Byvoorbeeld 'n veldtog wat geen uitwerking op verkope sal 'n ROI van -100% en 'n veldtog waar winste gegenereer gelyk aan die koste sou 'n ROI van 0 het was gehad het.

    • Intussen verkope per kliënt is $ 7 met 'n standaardafwyking van $ 75.

    • die veldtog sal na verwagting verkope deur $ 0,35 per kliënt wat ooreenstem met 'n toename in wins van $ 0,175 per kliënt te verhoog. Met ander woorde, die bruto marge is 50%.

    • die beplande grootte van die eksperiment is 200,000 mense, die helfte in die behandeling groep en 'n half in die kontrole groep.

    • die koste van die veldtog is $ 0,14 per deelnemer.

    Skryf 'n memorandum evaluting hierdie eksperiment. Sou jy aanbeveel launch hierdie eksperiment soos beplan? Indien wel, hoekom? Indien nie, watter veranderinge sal jy aanbeveel?

    'N Goeie memorandum sal hierdie spesifieke geval te spreek; 'n beter memorandum sal veralgemeen van hierdie geval in een manier (bv, wys hoe die besluit veranderinge as 'n funksie van die impak-tot-standaard-afwyking verhouding); en 'n groot memorandum sal 'n ten volle veralgemeen gevolg te bied.

22. [ , ] Doen dieselfde as die vorige vraag, maar eerder as simulasie moet jy analitiese resultate te gebruik.

23. [ , , ] Doen dieselfde as die vorige vraag, maar gebruik beide simulasie en analitiese resultate.

24. [ , , ] Stel jou voor dat jy die bogenoemde gebruik van óf simulasie, analitiese resultate, of albei-en iemand uit die bemarking afdeling beveel die gebruik van 'n verskil-in-verskille beramer eerder as 'n verskil in gemiddeldes beramer beskryf memorandum geskryf (sien Afdeling 4.6.2) . Skryf 'n nuwe korter memo verduidelik hoe 'n 0.4 korrelasie tussen verkope voor die eksperiment en verkope na die eksperiment jou gevolgtrekking sal verander.

25. [ , ] Ten einde die doeltreffendheid van 'n nuwe web-gebaseerde loopbaan diens te evalueer, 'n kantoor universiteitsloopbaan dienste het 'n ewekansige beheer verhoor onder 10,000 studente wat met hulle finale jaar van die skool. 'N gratis inskrywing met 'n unieke log-in inligting is gestuur deur 'n eksklusiewe e-pos uitnodiging na 5000 van die lukraak gekies studente, terwyl die ander 5000 studente is in die kontrole groep en doen 'n inskrywing nie. Twaalf maande later, 'n opvolg-opname (met geen nie-reaksie) toon dat in beide die behandeling en beheer groepe, 70% van die studente het voltyds in diens verseker in hul gekose veld (Tabel 4.5). So, blyk dit dat die web-gebaseerde diens het geen effek gehad.

    Maar 'n slim data wetenskaplike by die Universiteit gekyk na die data 'n bietjie nader en bevind dat slegs 20% van die studente in die behandeling groep ooit in die rekening aangeteken nadat hy die e-pos. Verdere, en 'n bietjie verrassend, onder diegene wat aangeteken is in die webwerf net 60% het voltyds in diens verseker in hul gekose veld, wat laer is as die koers vir mense wat nie aanmeld en laer as die koers vir mense in was die beheer toestand (Tabel 4.6).

    1. Gee 'n verduideliking vir wat kon gebeur het.
    2. Wat is twee verskillende maniere om die uitwerking van die behandeling in hierdie eksperiment te bereken?
    3. Gegewe hierdie resultaat, moet die universiteit loopbaan diens te lewer hierdie web-gebaseerde loopbaan diens aan alle studente? Net om duidelik te wees, dit is nie 'n vraag met 'n eenvoudige antwoord.
    4. Wat moet hulle doen?

    Wenk: Hierdie vraag gaan verder as die materiaal wat in hierdie hoofstuk, maar kwessies algemeen in eksperimente. Hierdie tipe eksperimentele ontwerp word soms 'n aanmoediging ontwerp omdat deelnemers word aangemoedig om betrokke te raak in die behandeling. Hierdie probleem is 'n voorbeeld van wat genoem word eensydig nie-nakoming (sien Gerber and Green (2012) , Ch. 5)

26. [ ] Na verdere ondersoek, dit blyk dat die in die vorige vraag beskryf eksperiment was selfs meer ingewikkeld. Dit blyk dat 10% van die mense in die kontrole groep betaal vir toegang tot die diens, en hulle het uiteindelik met 'n indiensneming koers van 65% (Tabel 4.7).

    1. Skryf 'n e-pos op te som wat jy dink gebeur en beveel 'n plan van aksie.

    Wenk: Hierdie vraag gaan verder as die materiaal wat in hierdie hoofstuk, maar kwessies algemeen in eksperimente. Hierdie probleem is 'n voorbeeld van wat genoem word twee kante nie-nakoming (sien Gerber and Green (2012) , Ch. 6)