Aktiviteter

• sværhedsgrad: let , medium , hårdt , meget hård
• kræver matematik ( )
• kræver kodning ( )
• dataindsamling ( )
• Mine favoritter ( )

1. [ , ] Berinsky og kolleger (2012) evaluerede MTurk delvis ved at kopiere tre klassiske eksperimenter. Replicere det klassiske asiatiske sygdomsrammeeksperiment af Tversky and Kahneman (1981) . Sammenlign dine resultater med Tversky og Kahneman? Stemmer dine resultater overens med de berinsky og kollegaer? Hvad-hvis noget - lærer det os om at bruge MTurk til undersøgelseseksperimenter?

2. [ , ] I en noget tung-i-kind papir med titlen "Vi må bryde op", socialpsykologen Robert Cialdini, en af ​​forfatterne til Schultz et al. (2007) , skrev, at han tidligt var gået fra sin stilling som professor, dels på grund af de udfordringer han havde i at udføre felteksperimenter i en disciplin (psykologi), der primært udfører laboratorieforsøg (Cialdini 2009) . Læs Cialdinis papir og skriv ham en email, der opfordrer ham til at genoverveje sin opbrydning i lyset af mulighederne for digitale eksperimenter. Brug specifikke eksempler på forskning, der omhandler hans bekymringer.

3. [ ] For at afgøre, om små indledende succeser låser ind eller falmer væk, indgik van de Rijt og kolleger (2014) ind i fire forskellige systemer, der gav succes til tilfældigt udvalgte deltagere og derefter målte de langsigtede virkninger af denne vilkårlig succes. Kan du tænke på andre systemer, hvor du kunne køre lignende eksperimenter? Evaluere disse systemer med hensyn til spørgsmål af videnskabelig værdi, algoritmisk confounding (se kapitel 2) og etik.

4. [ , ] Resultaterne af et forsøg kan afhænge af deltagerne. Opret et eksperiment og kør det på MTurk ved hjælp af to forskellige rekrutteringsstrategier. Prøv at vælge eksperimentet og rekrutteringsstrategierne, så resultaterne bliver så forskellige som muligt. For eksempel kan dine rekrutteringsstrategier være at rekruttere deltagere om morgenen og om aftenen eller for at kompensere deltagere med høj og lav løn. Disse forskelle i rekrutteringsstrategien kan føre til forskellige puljer af deltagere og forskellige eksperimentelle resultater. Hvor forskellige har dine resultater vist sig? Hvad afslører det om at køre eksperimenter på MTurk?

5. [ , , ] Forestil dig, at du planlagde eksperimentet med følelsesmæssig smitte (Kramer, Guillory, and Hancock 2014) . Brug resultaterne fra en tidligere observationsstudie af Kramer (2012) til at bestemme antallet af deltagere i hver tilstand. Disse to undersøgelser passer ikke perfekt sammen, så vær sikker på at eksplicit opregne alle de antagelser, du laver:

   1. Kør en simulering, der bestemmer, hvor mange deltagere der ville have været nødvendige for at opdage en effekt, der er så stor som effekten i Kramer (2012) med \(\alpha = 0.05\) og \(1 - \beta = 0.8\) .
   2. Gør den samme beregning analytisk.
   3. På baggrund af resultaterne fra Kramer (2012) var Emotional Contagion (Kramer, Guillory, and Hancock 2014) overdrevne (dvs. havde det flere deltagere end nødvendigt)?
   4. Af de antagelser, du lavede, som har den største effekt på din beregning?

6. [ , , ] Besvar det forrige spørgsmål igen, men denne gang i stedet for at bruge den tidligere observatoriske undersøgelse af Kramer (2012) , brug resultaterne fra et tidligere naturligt eksperiment af Lorenzo Coviello et al. (2014) .

7. [ ] Både Margetts et al. (2011) og van de Rijt et al. (2014) udførte eksperimenter, der studerede processen med at underskrive et andragende. Sammenlign og kontrast designet og resultaterne af disse undersøgelser.

8. [ ] Dwyer, Maki, and Rothman (2015) gennemførte to feltforsøg på forholdet mellem sociale normer og miljømæssig adfærd. Her er abstraktet af deres papir:

   "Hvordan kan psykologi udnyttes til at fremme miljømønstre? I to undersøgelser undersøgte indgreb til fremme af energibesparelsesadfærd i offentlige badeværelser indflydelsen af ​​beskrivende normer og personligt ansvar. I undersøgelse 1 blev lysstatus (dvs. til eller fra) manipuleret, før nogen kom ind i et ledigt offentligt badeværelse, der signaliserede den beskrivende norm for den pågældende indstilling. Deltagerne var betydeligt mere tilbøjelige til at slukke lysene, hvis de var slukket, da de kom ind. I undersøgelse 2 blev der indføjet en yderligere betingelse, hvor normen for at slukke lyset blev demonstreret af en confederate, men deltagerne ikke selv var ansvarlige for at tænde det. Personligt ansvar modererede indflydelsen af ​​sociale normer på adfærd; da deltagerne ikke var ansvarlige for at tænde lyset, blev indflydelsen af ​​normen formindsket. Disse resultater indikerer, hvordan beskrivende normer og personligt ansvar kan regulere effektiviteten af ​​miljømæssige indgreb. "

   Læs deres papir og udform en replikation af undersøgelse 1.

9. [ , ] Udfør det foregående spørgsmål, udfør nu dit design.

   1. Hvordan sammenligner resultaterne?
   2. Hvad kan forklare disse forskelle?

10. [ ] Der har været en betydelig debat om eksperimenter ved hjælp af deltagere rekrutteret fra MTurk. Parallelt har der også været en betydelig debat om eksperimenter ved hjælp af deltagere rekrutteret fra bachelorstuderendepopulationer. Skriv et to-siders memo, der sammenligner og kontrasterer tyrkere og undervisere som forskningsdeltagere. Din sammenligning skal indeholde en diskussion af både videnskabelige og logistiske spørgsmål.

11. [ ] Jim Manzis bog Ukontrolleret (2012) er en vidunderlig introduktion til kraften i eksperimenter i erhvervslivet. I bogen relayede han følgende historie:

    "Jeg var engang i et møde med et ægte forretningsmiljø, en selvfremstillet milliardær, der havde en dyb, intuitiv understating af eksperimentets kraft. Hans firma brugte betydelige ressourcer, der forsøger at skabe store vinduesdisplays, der ville tiltrække forbrugere og øge salget, som konventionelle visdom sagde, at de skulle. Eksperter omhyggeligt testet design efter design, og i individuelle test review sessioner over en årrække holdt ikke nogen signifikant årsagseffekt af hvert nyt display design på salg. Senior marketing og merchandising ledere mødtes med administrerende direktør for at gennemgå disse historiske testresultater i toto. Efter at have præsenteret alle de eksperimentelle data konkluderede de, at den konventionelle visdom var forkert - at vinduesdisplays ikke kører salg. Deres anbefalede handling var at reducere omkostninger og indsats i dette område. Dette demonstrerede dramatisk evnen af ​​eksperimenter til at forstyrre konventionel visdom. Koncernchefens svar var simpelt: "Min konklusion er, at dine designere ikke er meget gode." Hans løsning var at øge indsatsen i butiksskærmdesign og at få nye mennesker til at gøre det. " (Manzi 2012, 158–9)

    Hvilken type gyldighed er den administrerende direktør?

12. [ ] På baggrund af det foregående spørgsmål kan du forestille dig at du var på mødet, hvor resultaterne af eksperimenterne blev diskuteret. Hvad er fire spørgsmål, du kan spørge-en for hver type gyldighed (statistisk, konstruktiv, intern og ekstern)?

13. [ ] Bernedo, Ferraro, and Price (2014) studerede den syv-årige effekt af den vandbesparende intervention beskrevet i Ferraro, Miranda, and Price (2011) (se figur 4.11). I dette papir forsøgte Bernedo og kolleger også at forstå mekanismen bag effekten ved at sammenligne husholdningers adfærd, der har og ikke har flyttet efter behandlingen blev leveret. Det er groft sagt, at de forsøgte at se, om behandlingen påvirker hjemmet eller boligen.

    1. Læs papiret, beskriv deres design og opsummer deres resultater.
    2. Har deres resultater indflydelse på, hvordan du skal vurdere omkostningseffektiviteten af ​​lignende indgreb? Hvis ja, hvorfor? Hvis ikke, hvorfor ikke?

14. [ ] I en opfølgning af Schultz et al. (2007) udførte Schultz og kolleger en serie af tre eksperimenter om effekten af ​​beskrivende og injunctive normer på en anden miljøadfærd (håndklædegenbrug) i to sammenhænge (et hotel og en timeshare-ejerlejlighed) (Schultz, Khazian, and Zaleski 2008) .

    1. Sammenfatte design og resultater af disse tre eksperimenter.
    2. Hvordan ændrer de i det hele taget din fortolkning af Schultz et al. (2007) ?

15. [ ] Som svar på Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) løb en række lab-lignende eksperimenter for at studere design af elektriske regninger. Sådan beskrives det i abstrakt:

    "I et undersøgelsesbaseret eksperiment så hver deltager en hypotetisk elregning for en familie med relativt høj elforbrug, der dækker information om (a) historisk brug, (b) sammenligninger med naboer og (c) historisk brug med nedbrydning af apparater. Deltagerne så alle informationstyper i et af tre formater, herunder (a) tabeller, (b) bargrafer og (c) ikongrafer. Vi rapporterer om tre hovedresultater. For det første forstod forbrugerne hver form for elbrugsoplysninger mest, da de blev præsenteret i et bord, måske fordi tabeller letter simpel punktlæsning. For det andet var præferencer og hensigter om at spare elektricitet den stærkeste for den historiske brugsinformation, uafhængig af format. For det tredje forstod enkeltpersoner med lavere energikendskab alle oplysninger mindre. "

    I modsætning til andre opfølgningsundersøgelser er det vigtigste resultat af interesse i Canfield, Bruin, and Wong-Parodi (2016) rapporteret adfærd, ikke egentlig adfærd. Hvad er styrken og svaghederne i denne type undersøgelse i et bredere forskningsprogram, der fremmer energibesparelser?

16. [ , ] Smith and Pell (2003) præsenterede en satirisk meta-analyse af undersøgelser, der demonstrerede effektiviteten af ​​faldskærme. De konkluderede:

    "Som med mange interventioner, der har til formål at forebygge dårligt helbred, har paradisserens effektivitet ikke været genstand for en streng evaluering ved hjælp af randomiserede kontrollerede forsøg. Advokater af bevisbaseret medicin har kritiseret vedtagelsen af ​​interventioner evalueret ved kun at anvende observationsdata. Vi tror, ​​at alle kan være til gavn, hvis de mest radikale hovedpersoner af bevisbaseret medicin organiserede og deltog i en dobbeltblind, randomiseret, placebo-kontrolleret, crossover-prøve af faldskærmen. "

    Skriv et op-ed, der er egnet til en generel læsers avis, som New York Times , og argumenterer mod fetishisering af eksperimentelle beviser. Giv konkrete konkrete eksempler. Tip: Se også Deaton (2010) og Bothwell et al. (2016) .

17. [ , , ] Forskelle i forskelle estimatorer af en behandlingseffekt kan være mere præcise end forskelle i gennemsnit estimatorer. Skriv et notat til en ingeniør, der har ansvaret for A / B-testning hos et socialt firma, der starter med at forklare værdien af ​​forskellen i forskelle til at køre et online-eksperiment. Notatet skal indeholde en erklæring om problemet, en vis intuition om de betingelser, hvor forskellen i forskellen estimatoren vil overgå forskellen i gennemsnit estimatoren og en simpel simuleringsundersøgelse.

18. [ , ] Gary Loveman var professor ved Harvard Business School, før han blev administrerende direktør for Harrahs, et af verdens største casino selskaber. Da han flyttede til Harrah, forvandlede Loveman selskabet med et hyppigt-flierlignende loyalitetsprogram, der samlede enorme mængder data om kundeadfærd. Ud over dette kontinuerlige målesystem begyndte virksomheden at køre eksperimenter. For eksempel kan de køre et eksperiment for at evaluere effekten af ​​en kupon til en gratis hotelnat for kunder med et bestemt spilmønster. Sådan beskrev Loveman betydningen af ​​eksperimentering med Harrahs dagligdags forretningspraksis:

    "Det er som om du ikke chikanerer kvinder, du stjæler ikke, og du skal have en kontrolgruppe. Dette er en af ​​de ting, du kan miste dit job for, når Harrah's ikke kører en kontrolgruppe. " (Manzi 2012, 146)

    Skriv en email til en ny medarbejder, der forklarer hvorfor Loveman mener, at det er så vigtigt at have en kontrolgruppe. Du bør forsøge at inkludere et eksempel - enten ægte eller sammensat - for at illustrere dit punkt.

19. [ , ] Et nyt forsøg sigter mod at estimere virkningen af ​​at modtage SMS-beskeder på vaccinationsoptagelse. Et hundrede og halvtreds klinikker, hver med 600 berettigede patienter, er villige til at deltage. Der er en fast pris på $ 100 for hver klinik, du vil arbejde med, og det koster $ 1 for hver tekstbesked, du vil sende. Endvidere vil eventuelle klinikker, du arbejder med, måle udfaldet (om nogen har modtaget en vaccination) gratis. Antag at du har et budget på $ 1.000.

    1. Under hvilke forhold kan det være bedre at fokusere dine ressourcer på et lille antal klinikker, og under hvilke forhold kan det være bedre at sprede dem mere bredt?
    2. Hvilke faktorer vil bestemme den mindste effektstørrelse, som du vil kunne pålideligt opdage med dit budget?
    3. Skriv et notat, der forklarer disse afvejninger til en potentiel fonde.

20. [ , ] Et stort problem med online kurser er nedslidning: mange studerende, der starter kurser, slutter at slippe ud. Forestil dig at du arbejder på en online læringsplatform, og en designer på platformen har oprettet en visuel fremdriftslinje, som hun mener vil hjælpe med til at forhindre, at eleverne falder ud af kurset. Du vil teste effekten af ​​fremdriftslinjen på eleverne i et stort samfundsøkonomisk kursus. Efter at have behandlet ethiske problemer, der måtte opstå i eksperimentet, bliver du og dine kolleger bekymrede for, at kurset måske ikke har nok studerende til pålideligt at opdage virkningerne af statuslinjen. I de følgende beregninger kan du antage, at halvdelen af ​​eleverne får fremdriftslinjen og halvdelen ikke. Derudover kan man antage, at der ikke er nogen indblanding. Med andre ord kan man antage, at deltagerne kun påvirkes af, om de har modtaget behandlingen eller kontrollen. de er ikke påvirket af, om andre mennesker modtog behandlingen eller kontrollen (for en mere formel definition, se kapitel 8 i Gerber and Green (2012) ). Hold øje med eventuelle yderligere antagelser, du laver.

    1. Antag, at fremdriftslinjen forventes at øge andelen af ​​elever, der afslutter klassen med 1 procentpoint; Hvad er den stikprøvestørrelse, der er nødvendig for at pålidelige effekten kan påvises?
    2. Antag, at fremdriftslinjen forventes at øge andelen af ​​elever, der afslutter klassen med 10 procentpoint; Hvad er den stikprøvestørrelse, der er nødvendig for at pålidelige effekten kan påvises?
    3. Forestil dig nu, at du har kørt eksperimentet, og studerende, der har gennemført alle kursusmaterialer, har aflagt en afsluttende eksamen. Når du sammenligner de endelige eksamenskonkurrencer af elever, der har fået fremdriftslinjen med scorerne af dem, der ikke gjorde det, finder du meget til din overraskelse, at de studerende, der ikke modtog fremdriftslinjen, faktisk scorede højere. Betyder det at fremdriftslinjen har fået eleverne til at lære mindre? Hvad kan du lære af disse resultater data? (Hint: Se kapitel 7 i Gerber and Green (2012) )

21. [ , , ] Forestil dig at du arbejder som datavidenskabsmand ved et teknologisk firma. Nogen fra marketingafdelingen beder om hjælp til at evaluere et eksperiment, som de planlægger for at måle investeringsafkastet (ROI) for en ny onlineannoncekampagne. Afkast er defineret som nettoresultatet fra kampagnen divideret med kampagnens omkostninger. For eksempel ville en kampagne, der ikke havde nogen effekt på salget, have et ROI på -100%; en kampagne, hvor overskuddet var lig med omkostningerne, ville have et afkast på 0; og en kampagne, hvor overskuddet blev dobbelt, ville prisen have en ROI på 200%.

    Før du starter eksperimentet, giver marketingafdelingen dig følgende oplysninger baseret på deres tidligere forskning (faktisk er disse værdier typiske for de virkelige onlineannoncekampagner, der er rapporteret i Lewis og Rao (2015) ):

    • Det gennemsnitlige salg pr. Kunde følger en log-normal distribution med et gennemsnit på $ 7 og en standardafvigelse på $ 75.
    • Kampagnen forventes at øge salget med 0,35 dollar pr. Kunde, hvilket svarer til en stigning i resultatet på $ 0.175 pr. Kunde.
    • Projektets planlagte størrelse er 200.000 personer: Halvdelen i behandlingsgruppen og halvdelen i kontrolgruppen.
    • Kostprisen for kampagnen er $ 0,14 pr. Deltager.
    • Det forventede investeringsafkast for kampagnen er 25% [ \((0.175 - 0.14)/0.14\) ]. Markedsafdelingen mener med andre ord, at for hver 100 dollars brugt på marketing, vil selskabet tjene yderligere 25 dollar i fortjeneste.

    Skriv et notat, der evaluerer dette foreslåede eksperiment. Dit notat skal bruge beviser fra en simulering, som du opretter, og den bør omhandle to hovedproblemer: (1) Vil du anbefale at lancere dette eksperiment som planlagt? Hvis ja, hvorfor? Hvis ikke, hvorfor ikke? Vær sikker på at være klar over de kriterier, du bruger til at træffe denne beslutning. (2) Hvilken prøvestørrelse vil du anbefale til dette eksperiment? Igen skal du være sikker på at være klar over de kriterier, du bruger til at træffe denne beslutning.

    Et godt notat vil tage fat på denne særlige sag; et bedre notat vil generalisere sig fra denne sag på en måde (fx vise hvordan beslutningen ændres som en funktion af størrelsen af ​​kampagnens effekt); og et stort notat vil præsentere et fuldt generaliseret resultat. Dit notat skal bruge grafer til at illustrere dine resultater.

    Her er to tips. For det første kan marketingafdelingen have givet dig nogle unødvendige oplysninger, og de har muligvis ikke givet dig nogle nødvendige oplysninger. For det andet, hvis du bruger R, være opmærksom på, at funktionen rlnorm () ikke virker som mange mennesker forventer.

    Denne aktivitet vil give dig øve med strømanalyse, skabe simuleringer og kommunikere dine resultater med ord og grafer. Det skal hjælpe dig med at foretage strømanalyse til enhver form for eksperiment, ikke kun eksperimenter designet til at estimere afkast. Denne aktivitet forudsætter, at du har erfaring med statistisk test og strømanalyse. Hvis du ikke er bekendt med strømanalyse, anbefaler jeg at du læser "En Power Primer" af Cohen (1992) .

    Denne aktivitet blev inspireret af et dejligt papir af RA Lewis and Rao (2015) , som levende illustrerer en grundlæggende statistisk begrænsning af selv massive eksperimenter. Deres papir - som oprindeligt havde den provokerende titel "På det næsten umulige at måle tilbagevenden til reklame" - viser, hvor svært det er at måle afkastet på investering af onlineannoncer, selv med digitale eksperimenter, der involverer millioner af kunder. Mere generelt illustrerer RA Lewis and Rao (2015) en grundlæggende statistisk kendsgerning, der er særlig vigtig for digitale alderseksperimenter. Det er svært at vurdere små behandlingseffekter blandt støjende udfaldsdata.

22. [ , ] Gør det samme som det foregående spørgsmål, men i stedet for simulering skal du bruge analytiske resultater.

23. [ , , ] Gør det samme som det foregående spørgsmål, men brug både simulerings- og analyseresultater.

24. [ , , ] Forestil dig at du har skrevet notatet beskrevet ovenfor, og en person fra marketingafdelingen giver et nyt nyt: De forventer en 0,4 sammenhæng mellem salg før og efter eksperimentet. Hvordan ændrer dette anbefalingerne i dit notat? (Hint: se afsnit 4.6.2 for mere om estimatoren for forskellen mellem midler og forskellen i forskellen).

25. [ , ] For at vurdere effektiviteten af ​​et nyt web-baseret beskæftigelsesassistentprogram udførte et universitet et randomiseret kontrolforsøg blandt 10.000 elever, der trådte ind i deres sidste skoleår. Et gratis abonnement med unik log-in information blev sendt via en eksklusiv email invitation til 5.000 af de tilfældigt udvalgte studerende, mens de andre 5.000 studerende var i kontrolgruppen og ikke havde abonnement. Tolv måneder senere viste en opfølgningsundersøgelse (uden nonresponse), at i både behandlings- og kontrolgrupper havde 70% af eleverne sikret fuldtidsbeskæftigelse på deres valgte område (tabel 4.6). Det syntes således, at den webbaserede tjeneste ikke havde nogen virkning.

    En smart datavidenskabsmand ved universitetet kiggede imidlertid lidt nærmere på dataene og fandt, at kun 20% af eleverne i behandlingsgruppen nogensinde logget ind på kontoen efter modtagelsen af ​​e-mailen. Yderligere og noget overraskende blandt dem, der logger ind på hjemmesiden, havde kun 60% sikret fuldtidsbeskæftigelse på deres valgte område, hvilket var lavere end prisen for folk, der ikke loggede ind og var lavere end prisen for folk i kontroltilstanden (tabel 4.7).

    1. Giv en forklaring på, hvad der kunne være sket.
    2. Hvad er to forskellige måder at beregne effekten af ​​behandlingen i dette eksperiment på?
    3. I betragtning af dette resultat, bør den levere denne service til alle elever? Bare for at være klar er dette ikke et spørgsmål med et simpelt svar.
    4. Hvad skal de gøre næste gang?

    Tip: Dette spørgsmål går ud over det materiale, der er omfattet af dette kapitel, men omhandler problemer, der er almindelige i forsøg. Denne type eksperimentelt design kaldes nogle gange et opmuntringsdesign, fordi deltagerne opfordres til at deltage i behandlingen. Dette problem er et eksempel på, hvad der kaldes ensidig manglende overensstemmelse (se kapitel 5 i Gerber and Green (2012) ).

26. [ ] Efter yderligere undersøgelse viste det sig, at eksperimentet beskrevet i det foregående spørgsmål var endnu mere kompliceret. Det viste sig, at 10% af befolkningen i kontrolgruppen betalte for adgang til tjenesten, og de endte med en beskæftigelsesgrad på 65% (tabel 4.8).

    1. Skriv en email, der opsummerer, hvad du synes, sker og anbefaler et handlingsforløb.

    Tip: Dette spørgsmål går ud over det materiale, der er omfattet af dette kapitel, men omhandler problemer, der er almindelige i forsøg. Dette problem er et eksempel på, hvad der kaldes tosidet manglende overensstemmelse (se kapitel 6 i Gerber and Green (2012) ).