djelatnost

Key:

• stupanj težine: lako , srednji , teško , vrlo teško
• zahtijeva matematike ( )
• zahtijeva kodiranje ( )
• prikupljanje podataka ( )
• moji omiljeni ( )

1. [ , ] Berinsky i kolege (2012) ocjenjuje Mehanički Turk dijelom replicira tri klasične eksperimente. Repliciraju klasične azijske bolesti drvenom eksperiment Tversky and Kahneman (1981) . Da li rezultate utakmica Tversky i Kahneman je? Da li rezultate utakmica Berinsky i kolege? Što-ako ništa drugo-da li to nas uče o korišćenju Mehanički Turk za eksperimente anketu?

2. [ , ] U radu donekle jezik-u-obraz pod nazivom "Moramo Break Up", socijalni psiholog Robert Cialdini, jedan od autora Schultz et al. (2007) , napisao je da je on u penziju rano iz svoj ​​posao kao profesor, dijelom zbog izazova sa kojima se susreće radi eksperimente na terenu u disciplini (psihologije) koji se uglavnom obavlja laboratorijske eksperimente (Cialdini 2009) . Pročitajte Cialdini je papira, i pisati mu e-mail pozivajući ga da preispita svoju raspada u svjetlu mogućnosti digitalne eksperimenata. Koristite konkretne primjere istraživanja koji se odnose na svoju zabrinutost.

3. [ ] Da bi se utvrdilo da li je mali početni uspjeh lock-u ili nestati, Van de Rijt i i kolege (2014) intervenirala u četiri različita sistema daruje uspjeh na nasumično odabranih učesnika, a zatim mjerena dugoročni uticaj ove proizvoljne uspjeha. Možete li se sjetiti drugih sistema u kojem bi mogao pokrenuti slične eksperimente? Procijenite ovih sistema u pogledu pitanja naučnih vrijednosti, algoritamski zbunjujući (vidi Poglavlje 2), i etika.

4. [ , ] Rezultati eksperiment može zavisiti od učesnika. Napravite eksperiment, a zatim ga pokrenuti na Amazon Mechanical Turk (MTurk) pomoću dvije različite strategije zapošljavanja. Pokušajte izabrati strategije eksperiment i zapošljavanja, tako da će rezultati biti drugačiji moguće. Na primjer, vaša strategija zapošljavanja može biti da regrutuju učesnici u jutarnjim i večernjim satima ili da nadoknadi učesnicima visoke i niske plate. Ovakve razlike u strategiji zapošljavanja moglo dovesti do različitih bazena učesnika i različitih eksperimentalnih rezultata. Kako drugačije da li rezultate ispalo? Šta to otkriva o pokretanju eksperimente na MTurk?

5. [ , , , ] Zamislite da ste planirali emocionalnom Contagion studija (Kramer, Guillory, and Hancock 2014) . Koristite rezultata iz ranijih posmatranja studija Kramer (2012) da odlučuje broj učesnika u svakom stanju. Ove dvije studije se ne poklapaju savršeno pa budite sigurni da eksplicitno navesti sve pretpostavke da se:

   1. Pokrenuti simulaciju koja će odlučiti koliko učesnici bi bilo potrebno da se otkrije efekat velika kao efekat u Kramer (2012) s \ (\ alpha = 0,05 \) i \ (1 - \ beta = 0,8 \).
   2. Da li isti obračun analitički.
   3. S obzirom na rezultate iz Kramer (2012) je Emotional Contagion (Kramer, Guillory, and Hancock 2014) preko pogon (tj, da li to ima više učesnika nego što je potrebno)?
   4. Od pretpostavke koje ste napravili, koje imaju najveći utjecaj na vaš proračun?

6. [ , , , ] Odgovorite na pitanje gore, ali umjesto da koristi ranije opservacijske studije koje Kramer (2012) koristiti rezultate iz ranijih prirodnih eksperiment Coviello et al. (2014) .

7. [ ] Oba Rijt et al. (2014) i Margetts et al. (2011) i obavlja eksperimente koji proučavaju proces ljudi potpisivanja peticije. Usporedite i kontrast dizajn i nalaza ove studije.

8. [ ] Dwyer, Maki, and Rothman (2015) sproveo dva polja eksperimente na odnos između društvenih normi i proenvironmental ponašanja. Evo sažetak njihovog rada:

   "Kako se Psychological Science može iskoristiti da se podstakne proenvironmental ponašanje? U dvije studije, intervencije čiji je cilj promovisanje očuvanja ponašanje energije u javnim kupatilima ispitali utjecaje deskriptivne normi i ličnu odgovornost. U Studiji 1, svjetlo statusa (tj, na ili isključivanje) je manipulisao pred neko ušao u prazan javno kupatilo, signalizirajući opisni norma za tu postavku. Učesnici su bili znatno češće isključite svetla ako su off kad su ušli. U Studiji 2, dodatni uslov je uključena u kojima je norma isključivanja svjetlo je pokazalo Konfederacije, ali učesnici nisu bili sami odgovorni za uključivanja. Ličnu odgovornost moderirala utjecaj društvenih normi na ponašanje; kada su učesnici nisu bili odgovorni za uključivanje svjetlo, uticaj norma je umanjena. Ovi rezultati pokazuju koliko je opisni norme i ličnu odgovornost može regulirati efikasnost proenvironmental intervencija. "

   Pročitajte svom radu i osmisliti replikaciju studija 1.

9. [ , ] Nadovezujući se na prethodno pitanje, sada obavljaju svoj dizajn.

   1. Kako se rezultati uporediti?
   2. Ono što bi moglo objasniti te razlike?

10. [ ] Bilo je značajna rasprava o eksperimentima pomoću učesnika regrutirao iz Amazon Mechanical Turk. Istovremeno, došlo je značajan rasprava o eksperimentima pomoću učesnika regrutirao od osnovnih studentske populacije. Napišite dva-stranicu dopis u odnosu i kontrastne su Turkers i studenata kao učesnici istraživači. Vaš odnosu treba da sadrži raspravu o naučnim i logistička pitanja.

11. [ ] Jim Manzi knjige Nekontrolirano (2012) je prekrasan uvod u moć eksperimenata u poslovanju. U knjizi je prenio ovu priču:

    "Bio sam jednom na sastanku sa pravi poslovni genije, self-made milijarder koji je imao duboko, intuitivno potcjenjivanja moći eksperimenata. Njegova kompanija je proveo značajna sredstva pokušavaju stvoriti veliki izlog prikazuje da će privući potrošače i rast prodaje, kao i konvencionalna mudrost, rekao je kako bi trebalo. Stručnjaci pažljivo testiran dizajn nakon dizajn, i u pojedinačnim test pregled sesije u periodu od godina čuvaju ne pokazuje značajne uzročne efekat svakog novog dizajna prikaz na prodaju. Viši marketing i merchandising rukovodioci sastanku s izvršnim direktorom za komentar ove rezultate istorijski testa u toto. Nakon predstavljanja svih eksperimentalnih podataka, oni su zaključili da je konvencionalna mudrost nije u redu-da izlozima ne voze prodaje. Njihova preporučuje akcije bio je da se smanje troškovi i napor u ovoj oblasti. Ovo dramatično pokazao sposobnost eksperimentisanja da poništi konvencionalne mudrosti. odgovor Direktor je bio jednostavan: "Moj zaključak je da je vaša dizajneri nisu baš dobro. ' Njegovo rješenje je da se poveća napore u Design Store ekranu, i da biste dobili nove ljude da to uradi. " (Manzi 2012, 158–9)

    Koji tip valjanosti je zabrinutost direktora?

12. [ ] Nadovezujući se na prethodno pitanje, zamislite da ste bili na sastanku na kojem se razgovaralo o rezultatima eksperimenata. Koje su četiri pitanja koja biste mogli pitati, po jedan za svaki tip važenja (statističke, izgraditi, unutrašnje i spoljno)?

13. [ ] Bernedo, Ferraro, and Price (2014) proučava sedam godina efekat intervencije štednje vode je opisano u Ferraro, Miranda, and Price (2011) (vidi sliku 4.10). U ovom radu, Bernedo i kolege također tražiti da shvate mehanizam iza efekat u odnosu na ponašanje domaćinstva koja imaju i nisu preselili nakon tretmana je isporučen. To jest, otprilike, oni pokušavaju da se vidi da li je tretman uticalo na kući ili vlasnika kuće.

    1. Pročitati novine, opisuju njihov dizajn, i sumiraju svoje nalaze. b) Da li svoja saznanja utiču kako treba procijeniti isplativost sličnih intervencija? Ako je tako, zašto? Ako ne, zašto ne?

14. [ ] U nastavak Schultz et al. (2007) , Schultz i kolege obavljaju niz od tri eksperimenta o uticaju deskriptivne i izricanje privremene norme na drugačije ponašanje okoliša (ručnik ponovno korištenje) u dva konteksta (hotel i timeshare etažiranje) (Schultz, Khazian, and Zaleski 2008) .

    1. Sumiraju dizajn i nalazima ova tri eksperimenta.
    2. Kako, ako na sve, oni promenite tumačenje Schultz et al. (2007) ?

15. [ ] Kao odgovor na Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) objavio je niz eksperimenata Lab-kao da studira dizajn račune za struju. Evo kako su opisali u apstraktno:

    "U eksperimentu istraživanje na bazi, svaki učesnik video hipotetički račun za električnu energiju za obitelj s relativno visokim korištenje električne energije, koja pokriva informacije o (a) istorijski upotrebu, (b) poređenja sa susjedima, i (c) istorijski korištenje s uređajem slom. Učesnici vidio sve vrste informacija u jednom od tri formata, uključujući (a) tablice, (b) bar grafikone, i (c) ikona grafikona. Mi izvještavaju o tri glavna nalaza. Prvo, potrošači shvatiti svaku vrstu informacija električne energije upotrebu najviše kada je predstavljen u tabeli, možda zato što stolovi olakšavaju jednostavno čitanje trenutku. Drugo, sklonosti i namjere da se uštede električne energije bili su najjači za informacije istorijski upotrebu, nezavisno od formata. Treće, osobe s nižim energije pismenost shvatiti sve informacije manje. "

    Za razliku od drugih follow-up studija, glavni ishod interesa u Canfield, Bruin, and Wong-Parodi (2016) je prijavljeno ponašanje nije stvarno ponašanje. Koje su prednosti i slabosti ove vrste studija u širem istraživačkog programa promovisanje uštede energije?

16. [ , ] Smith and Pell (2003) je satirična meta-analiza studija pokazuje efikasnost padobrana. Oni zaključuju:

    "Kao i kod mnogih intervencija kojima je cilj sprečavanje lošeg zdravlja, efikasnost padobrana nije podvrgnuta rigoroznim evaluacije pomoću randomizirane kontrolirane studije. Zagovornici evidence based medicine kritikovali usvajanje intervencija ocjenjuje korištenjem samo posmatranja podataka. Mislimo da svi mogu imati koristi ako je najradikalniji protagonista evidence based medicine u organizaciji i učestvovali u dvostruko slijepa, randomizirana, placebo kontrolisana, crossover suđenje padobrana. "

    Napišite kolumni pogodan za opšte čitalaca, kao što su The New York Times, tvrdeći protiv fetišizacija eksperimentalnih dokaza. Pružaju specifične, konkretne primjere. Hint: Vidi također, Bothwell et al. (2016) i Deaton (2010)

17. [ , , ] Razlika-u-razlike procjenitelji efekta tretmana može biti precizniji od procjenitelji razlika-u-srednje. Napišite dopis inženjer zadužen za A / B testiranje na start-up društvenim mrežama kompanija objašnjava vrijednost pristupa razlika-u-razlike za pokretanje online eksperiment. Dopis treba da sadrži izjavu o problemu, neke intuicije o uslovima pod kojima će procjenitelj razlika-u-razlika nadmaši procjenitelja razlika-u-srednje, i jednostavan studija simulacije.

18. [ , ] Gary Loveman je bio profesor na Harvard Business School prije nego je postao direktor Harrah, jedan od najvećih kazina kompanija u svijetu. Kada se preselio u Harrah, Loveman transformisao kompanija sa čestim pilot-poput program lojalnosti koji prikupljaju ogromne količine podataka o ponašanju kupaca. Na vrhu ove uvijek na mjerenje sistema, kompanija je počela radi eksperimente. Na primjer, mogli bi pokrenuti eksperiment za procjenu efekta kupon za besplatnu hotel noć za korisnike sa posebnim kockanje obrazac. Evo kako Loveman opisao važnost eksperimenata u svakodnevnom poslovnom praksom Harrah:

    "To je kao da ne uznemiravati žene, ne kradu, a morate imati kontrolnu grupu. Ovo je jedna od stvari koje možete izgubiti svoj posao na Harrah's-ne radi kontrolnu grupu. " (Manzi 2012, 146)

    Napišite email novog radnika objašnjava zašto Loveman misli da je toliko važno imati kontrolnu grupu. Trebalo bi pokušati uključiti primjer-ili pravi ili su up-to ilustrovao svoje.

19. [ , ] Novi eksperiment ima za cilj da se procijeni učinak primanja tekstualne poruke podsjetnika na vakcinacije uzimanja. 150 klinike, svaki sa 600 podobni pacijenata, su spremni da učestvuju. Tu je fiksni trošak od 100 dolara za svaku kliniku želite raditi sa, i to košta 1 dolar za svaku tekstualnu poruku koju želite poslati. Nadalje, bilo klinikama koje radite sa će mjeriti ishod (da li je neko primio vakcinu) za besplatno. Pretpostavimo da imate budžet od 1.000 dolara.

    1. Pod kojim uvjetima bi moglo biti bolje da se usredotočite svoje resurse na mali broj klinika i pod kojim uvjetima može biti bolje da ih više široko rasprostranjena?
    2. Koji faktori će odrediti najmanju veličinu efekta da ćete biti u mogućnosti da pouzdano otkriti sa vašim budžetom?
    3. Napišite dopis objašnjava ove kompromise potencijalnom donatoru.

20. [ , ] Glavni problem sa online kurseva je trenje; mnogi studenti koje počinju kursevi završiti pada-out. Zamislite da radite na online platformi za učenje, i dizajner na platformi je napravio napredak bar vizuelni da ona misli da će pomoći spriječiti studenata iz napuštanja kursa. Želite testirati efekat bar na studente napredak u velikom računarske društvenih nauka, naravno. Nakon obraćanja bilo etička pitanja koja bi mogla nastati u eksperimentu, vi i vaše kolege se brinem da naravno možda neće imati dovoljno studenata da pouzdano otkriti efekte traku napretka. U proračunima ispod možete pretpostaviti da je polovina studenti će dobiti bar napredak i pola ne. Osim toga, možete pretpostaviti da nema smetnji. Drugim riječima, možete pretpostaviti da učesnici su pogođeni samo po tome da li su dobili tretman ili kontrole; nisu izvršena po tome da li drugi ljudi dobili tretman ili kontrolu (za više formalne definicije, pogledajte Gerber and Green (2012) , Ch. 8). Molimo vas pratiti sve dodatne pretpostavke da napravite.

    1. Pretpostavimo da je bar napredak se očekuje da će povećati broj učenika koji završe u klasi do 1 postotni bod, što je potrebno da se pouzdano otkriti učinak veličine uzorka?
    2. Pretpostavimo da je bar napredak se očekuje da će povećati broj učenika koji završe razred za 10 procentnih poena, što je potrebno da se pouzdano otkriti učinak veličine uzorka?
    3. Sada zamislite da ste pokrenuli eksperiment i studenata koji su završili sve materijale toku su se završni ispit. Kada se uporede završni rezultati ispita studenata koji su dobili traku napretka na one koji nisu, možete pronaći mnogo na iznenađenje, da studenti koji nisu dobili bar napredak zapravo postigao veći. Da li to znači da je bar napredak izazvao studente da uče manje? Šta možete naučiti iz ovog ishoda podataka? (Hint: Pogledajte Gerber and Green (2012) , Ch 7.)

21. [ , ] U lijepom papiru, Lewis and Rao (2015) slikovito ilustriraju osnovni statistički ograničenje čak masivne eksperimenata. U radu-što je prvobitno imala provokativan naslov "Na Bliskom-nemogućnost Mjerenje povratak u oglašavanju" Pokazuje koliko je teško mjeriti povrat na investiciju online oglasa, čak i sa digitalnim eksperimentima koji uključuju milijune kupaca. Općenitije, papir jasno pokazuje da je teško procijeniti mali efekt tretmana usred bučnih podataka ishod. Ili je naveo diffently, papir pokazuje da će procijenjeni efekti tretmana imaju velike intervale povjerenja kada je udar na standard-devijacija (\ (\ frac {\ Delta \ bar {y}} {\ sigma} \)) odnos je mala. Važna general lekciju iz ovog rada je da su rezultati iz eksperimenata s malim odnos utjecaj-to-standardne devijacije (npr ROI oglasa kampanje) će biti nezadovoljavajući. Vaš izazov će biti da napiše dopis nekome u marketingu vaše kompanije evaluting planiranog eksperimenta za mjerenje ROI ad kampanje. Vaš dopis treba podržati sa grafikonima rezultata kompjuterske simulacije.

    Evo nekih osnovnih informacija koje ćete možda trebati. Sve ove numeričke vrijednosti su tipične za pravi eksperimenata iskazani u Lewis and Rao (2015) :

    • ROI, ključni metričkih za online reklamne kampanje, se definiše da je neto dobit iz kampanje (bruto dobit od kampanje minus troškova kampanje) podijeljena troškove kampanje. Na primjer kampanje koja je imala nikakvog efekta na prodaju će imati ROI od -100% i kampanju u kojoj dobit formirana su jednaki troškovi će imati ROI od 0.

    • srednja prodaje po kupcu je $ 7 sa standardnom devijacijom od 75 $.

    • kampanja se očekuje da će povećati prodaju za 0,35 $ po klijentu što odgovara povećanju dobiti od 0,175 $ po klijentu. Drugim riječima, bruto marža je 50%.

    • planirane veličine eksperimenta je 200.000 ljudi, polovina u grupi tretman i pola u kontrolnoj grupi.

    • troškove kampanje je $ 0.14 po učesniku.

    Napišite dopis evaluting ovaj eksperiment. Da li biste preporučili pokrećete eksperiment kako je planirano? Ako je tako, zašto? Ako ne, šta promene biste preporučili?

    Dobar memo će se baviti ovom konkretnom slučaju; bolje dopis će generalizovati iz ovog predmeta na jedan način (npr, pokazuju kako je odluka promjene kao funkcija odnosa utjecaj-to-standardno odstupanje); i veliki dopis će predstaviti potpuno generalizirani rezultat.

22. [ , ] Da li je isti kao i na prethodno pitanje, ali prije nego simulacija treba koristiti analitički rezultati.

23. [ , , ] Da li je isti kao i na prethodno pitanje, ali koriste i simulacija i analitičke rezultate.

24. [ , , ] Zamislite da ste napisali dopis opisano gore koristeći simulacije, analitički rezultati, ili oboje-i neko iz marketinga odjela preporučuje radije koristite procjenitelj razlika-u-razlike od razlika u sredstvima procjenitelja (vidi odjeljak 4.6.2) . Napišite novi kraći dopis objašnjavajući kako je 0,4 korelacija između prodaje prije eksperimenta i prodaje nakon eksperimenta bi mijenjati svoj zaključak.

25. [ , ] Kako bi se ocijeniti djelotvornost novog web-based servis karijere, a ured usluge univerzitetske karijere provela randomizirane kontrolne suđenje među 10.000 studenata upisati njihove završne godine škole. Besplatnu pretplatu sa jedinstvenim informacija log-u je poslan putem ekskluzivnog e-mail poziv na 5.000 slučajno odabranih studenata, dok su ostale 5.000 studenata su u kontrolnoj grupi i nemaju pretplatu. Dvanaest mjeseci kasnije, istraživanje praćenje (bez ne-odgovor) pokazuje da je u obje grupe liječenje i kontrolu, 70% učenika su osigurana stalno zaposlenje u struci (Tabela 4.5). Stoga, čini se da je usluga web-based imalo nikakvog efekta.

    Međutim, pametan naučnik podataka na univerzitetu pogledao podatke malo bliže i otkrio da je samo 20% učenika u grupi tretman ikada prijavljeni na račun nakon primanja e-pošte. Nadalje, i pomalo iznenađujuće, među onima koji su prijavljeni na sajtu Samo 60% je osigurao stalno zaposlenje u struci, što je niže od stope za ljude koji nisu prijavite i niže od stope za ljude u kontrolu stanja (Tabela 4.6).

    1. Dati objašnjenje za ono što se moglo dogoditi.
    2. Koji su dva različita načina da se izračuna efekta tretmana u ovom eksperimentu?
    3. S obzirom na ovaj rezultat, treba servis karijeru univerziteta pružiti ovu karijeru uslugu web-based za sve studente? Samo da bude jasno, ovo nije pitanje sa jednostavan odgovor.
    4. Ono što bi trebalo da rade dalje?

    Hint: Ovo pitanje nadilazi materijal pokriven u ovom poglavlju, ali se bavi pitanjima zajedničkog u eksperimentima. Ova vrsta eksperimentalnog dizajna se ponekad naziva dizajn ohrabrenje jer učesnici su ohrabreni da se uključe u tretman. Ovaj problem je primjer onoga što se zove jednostran neusklađenosti (vidi Gerber and Green (2012) , Ch. 5)

26. [ ] Nakon daljnjeg ispitivanja, ispostavilo se da je eksperiment opisan u prethodnom pitanju bila još složenija. Ispostavilo se da je 10% ljudi u kontrolnoj grupi platio za pristup servisu, a oni završili sa stopom zaposlenosti od 65% (Tabela 4.7).

    1. Napišite e-mail sumira ono što mislite što se dešava i preporučiti pravac djelovanja.

    Hint: Ovo pitanje nadilazi materijal pokriven u ovom poglavlju, ali se bavi pitanjima zajedničkog u eksperimentima. Ovaj problem je primjer onoga što se zove dvostrano neusklađenosti (vidi Gerber and Green (2012) , Ch. 6)