Activitati

• gradul de dificultate: ușor , mediu , greu , foarte greu
• necesită matematică ( )
• necesită codificare ( )
• colectare de date ( )
• preferatele mele ( )

1. [ . ] Berinsky și colegii (2012) evaluat MTurk în parte prin replicarea a trei experimente clasice. Replicați experimentul de încadrare a bolii clasice asiatice de către Tversky and Kahneman (1981) . Rezultatele dvs. se potrivesc cu Tversky și Kahneman? Rezultatele dvs. se potrivesc cu acei Berinsky și colegi? Ce-ar fi dacă ceva - ne învață despre utilizarea MTurk pentru experimentele de sondaj?

2. [ . ] Într-o hârtie oarecum în limba vorbită intitulată "Trebuie să ne despărțim", psihologul social Robert Cialdini, unul dintre autorii lui Schultz et al. (2007) scris că se retrage mai devreme de la profesia de profesor, în parte din cauza provocărilor pe care le-a întâmpinat în a face experimente pe teren într-o disciplină (psihologie) care desfășoară în principal experimente de laborator (Cialdini 2009) . Citiți lucrarea lui Cialdini și scrieți-i un e-mail prin care îl îndemna să-și reconsidere descompunerea în lumina posibilităților de experimentare digitală. Utilizați exemple specifice de cercetare care să răspundă preocupărilor sale.

3. [ ] Pentru a determina dacă succesele inițiale mici se blochează, van de Rijt și colegii săi (2014) intervenit în patru sisteme diferite care au dat naștere succesului participanților aleși la întâmplare și apoi au măsurat impactul pe termen lung al acestui succes arbitrar. Vă puteți gândi la alte sisteme în care ați putea derula experimente similare? Evaluați aceste sisteme în ceea ce privește aspectele de valoare științifică, confuzia algoritmică (a se vedea capitolul 2) și etica.

4. [ . ] Rezultatele unui experiment pot depinde de participanți. Creați un experiment și apoi executați-l pe MTurk folosind două strategii diferite de recrutare. Încercați să selectați strategiile de experiment și de recrutare, astfel încât rezultatele să fie cât mai diferite posibil. De exemplu, strategiile dvs. de recrutare ar putea fi recrutarea de participanți dimineața și seara sau compensarea participanților cu salarii mari și mici. Aceste tipuri de diferențe în strategia de recrutare ar putea conduce la diferite grupuri de participanți și la diferite rezultate experimentale. Cât de diferiți s-au produs rezultatele dvs.? Ce dezvăluie acest lucru despre rularea experimentelor pe MTurk?

5. [ . . ] Imaginați-vă că ați planificat experimentul Emoțional Contagion (Kramer, Guillory, and Hancock 2014) . Utilizați rezultatele dintr-un studiu observat anterior efectuat de Kramer (2012) pentru a decide numărul de participanți în fiecare condiție. Aceste două studii nu se potrivesc perfect, deci asigurați-vă că listați în mod explicit toate ipotezele pe care le faceți:

   1. Rulați o simulare care va decide cât de mulți participanți ar fi fost necesari pentru a detecta un efect la fel de mare ca efectul lui Kramer (2012) cu \(\alpha = 0.05\) și \(1 - \beta = 0.8\) .
   2. Faceți același calcul analitic.
   3. Având în vedere rezultatele obținute de Kramer (2012) Contawionul Emoțional (Kramer, Guillory, and Hancock 2014) supra-alimentat (adică, a avut mai mulți participanți decât este necesar)?
   4. Dintre ipotezele pe care le-ai făcut, care au cel mai mare efect asupra calculului tău?

6. [ . . ] Răspundeți din nou la întrebarea anterioară, dar de această dată, mai degrabă decât utilizând studiul observațional anterioare efectuat de Kramer (2012) , utilizați rezultatele unui experiment natural anterior efectuat de Lorenzo Coviello et al. (2014) .

7. [ ] Atât Margetts et al. (2011) și van de Rijt et al. (2014) efectuat experimente care studiau procesul de semnare a unei petiții. Comparați și contrastați desenele și constatările acestor studii.

8. [ ] Dwyer, Maki, and Rothman (2015) efectuat două experimente de teren privind relația dintre normele sociale și comportamentul pro-ecologic. Iată rezumatul lucrării:

   "Cum ar putea fi folosită știința psihologică pentru a încuraja comportamentul proenvironmental? În două studii, intervențiile care vizează promovarea comportamentului de conservare a energiei în băile publice au examinat influențele normelor descriptive și ale responsabilității personale. În studiul 1, statutul de lumină (de exemplu, pornit sau oprit) a fost manipulat înainte ca cineva să intre într-o baie publică neocupată, semnalizând norma descriptivă pentru acea setare. Participanții au avut mult mai multe șanse de a dezactiva luminile dacă au fost oprite când au intrat. În studiul 2, a fost inclusă o condiție suplimentară în care norma de oprire a luminii a fost demonstrată de un confederat, dar participanții nu erau ei înșiși responsabili pentru ao transforma. Responsabilitatea personală a moderat influența normelor sociale asupra comportamentului; când participanții nu au fost responsabili pentru activarea luminii, influența normei a fost diminuată. Aceste rezultate indică modul în care normele descriptive și responsabilitatea personală pot reglementa eficacitatea intervențiilor proenvironmentale. "

   Citiți lucrarea și creați o replicare a studiului 1.

9. [ . ] Pe baza întrebării anterioare, efectuați acum proiectarea.

   1. Cum se compară rezultatele?
   2. Ce ar putea explica aceste diferențe?

10. [ ] Au fost dezbateri substanțiale despre experimente folosind participanții recrutați din MTurk. În paralel, a existat, de asemenea, o dezbatere substanțială despre experimente folosind participanții recrutați din populațiile de studenți. Scrieți o notă de două pagini care compară și contrastează pe turci și studenți ca participanți la cercetare. Comparația dvs. ar trebui să includă o discuție atât a aspectelor științifice, cât și a aspectelor logistice.

11. [ ] Cartea lui Jim Manzi Uncontrolled (2012) este o introducere minunată a puterii de experimentare în afaceri. În cartea a relatat următoarea poveste:

    "Am fost o dată într-o întâlnire cu un adevărat geniu de afaceri, un miliardar auto-făcut, care a avut o înțelegere profundă și intuitivă a puterii experimentelor. Compania sa a cheltuit resurse semnificative încercând să creeze vitrine mari ale magazinelor care ar atrage consumatori și vor spori vânzările, așa cum au spus înțelepții convenționali. Experții au testat cu atenție design-ul după proiectare și în sesiunile individuale de analiză a testelor pentru o perioadă de ani păstrate fără nici un efect cauzal semnificativ al fiecărui nou design de afișare pe vânzări. Senior directori de marketing și merchandising s-au întâlnit cu directorul executiv pentru a revizui aceste rezultate ale testelor istorice în acest moment. După ce au prezentat toate datele experimentale, au ajuns la concluzia că înțelepciunea convențională a fost greșită - afișajul ferestrei nu conduce vânzări. Acțiunea lor recomandată a fost de a reduce costurile și eforturile în acest domeniu. Acest lucru a demonstrat dramatic capacitatea experimentării de a răsturna înțelepciunea convențională. Răspunsul CEO-ului a fost simplu: "Concluzia mea este că designerii tăi nu sunt foarte buni". Soluția sa a fost de a crește efortul în designul magazinelor de afișare și de a atrage noi oameni să o facă " (Manzi 2012, 158–9)

    Ce tip de valabilitate este preocuparea directorului executiv?

12. [ ] Pe baza întrebării anterioare, imaginați-vă că ați participat la întâlnirea în care au fost discutate rezultatele experimentelor. Care sunt cele patru întrebări pe care le puteți întreba - una pentru fiecare tip de validitate (statistică, constructură, internă și externă)?

13. [ ] Bernedo, Ferraro, and Price (2014) studiat efectul de șapte ani al intervenției de economisire a apei descrisă de Ferraro, Miranda, and Price (2011) (a se vedea figura 4.11). În această lucrare, Bernedo și colegii, de asemenea, au căutat să înțeleagă mecanismul care stă la baza efectului prin compararea comportamentului gospodăriilor care au și nu s-au mutat după ce tratamentul a fost livrat. Aceasta este, aproximativ, au încercat să vadă dacă tratamentul a afectat casa sau proprietarul casei.

    1. Citiți hârtia, descrieți designul acestora și rezumați concluziile lor.
    2. Constatările lor influențează modul în care ar trebui să evaluați eficiența costurilor intervențiilor similare? Dacă da, de ce? Dacă nu, de ce nu?

14. [ ] Într-un follow-up la Schultz et al. (2007) (Schultz, Khazian, and Zaleski 2008) , Schultz și colegii lui au efectuat o serie de trei experimente privind efectul normelor descriptive și injunctive asupra unui comportament diferit de mediu (reutilizarea prosopului) în două contexte (un hotel și un condominiu pe durată limitată (Schultz, Khazian, and Zaleski 2008) .

    1. Rezumați concepția și constatările acestor trei experimente.
    2. Cum, dacă vă schimbați interpretarea de la Schultz et al. (2007) ?

15. [ ] Ca răspuns la Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) efectuat o serie de experimente de laborator pentru a studia proiectarea facturilor electrice. Iată cum o descriu în abstract:

    "Într-un experiment bazat pe sondaj, fiecare participant a văzut o factură ipotetică privind energia electrică pentru o familie cu consum relativ ridicat de electricitate, acoperind informații despre (a) utilizarea istorică, (b) comparații cu vecinii și (c) utilizarea istorică cu defalcarea aparatului. Participanții au văzut toate tipurile de informații într-unul din cele trei formate, inclusiv (a) tabele, (b) grafice de bare și (c) grafice de pictograme. Prezentăm trei constatări principale. În primul rând, consumatorii au înțeles cel mai mult fiecare tip de informație despre consumul de energie electrică atunci când au fost prezentați într-un tabel, probabil deoarece tabelele facilitează citirea punctului simplu. În al doilea rând, preferințele și intențiile de economisire a energiei electrice au fost cele mai puternice pentru informațiile de utilizare istorică, independente de format. În al treilea rând, indivizii cu o alfabetizare energetică mai mică au înțeles toate informațiile mai puțin.

    Spre deosebire de alte studii de urmărire, principalul rezultat al interesului pentru Canfield, Bruin, and Wong-Parodi (2016) este comportamentul raportat, nu comportamentul real. Care sunt punctele forte și punctele slabe ale acestui tip de studiu într-un program mai amplu de cercetare care promovează economiile de energie?

16. [ . ] Smith and Pell (2003) prezentat o meta-analiză satirică a studiilor care demonstrează eficacitatea parașutelor. Ei au concluzionat:

    "Ca și în cazul multor intervenții destinate prevenirii bolilor, eficacitatea parașutelor nu a fost supusă unei evaluări riguroase prin utilizarea unor studii controlate randomizate. Avocații medicamentelor bazate pe dovezi au criticat adoptarea intervențiilor evaluate folosind doar date observaționale. Credem că toată lumea ar putea beneficia dacă cei mai radicali protagoniști ai medicamentelor bazate pe dovezi au organizat și au participat la un studiu paralel dublu-orb, randomizat, controlat cu placebo.

    Scrieți un exemplar potrivit pentru un ziar de cititor general, cum ar fi New York Times , care se opune fetișizării probelor experimentale. Furnizați exemple concrete și concrete. Sugestie: Vezi și Deaton (2010) și Bothwell et al. (2016) .

17. [ . . ] Estimatoarele diferenței în diferențe ale unui efect de tratament pot fi mai precise decât estimatorii diferenței în medie. Scrieți un memoriu unui inginer care se ocupă de testarea A / B la o companie social media de pornire, explicând valoarea abordării diferenței diferențiale pentru a rula un experiment online. Notă ar trebui să includă o declarație a problemei, o anumită intuiție cu privire la condițiile în care estimatorul de diferență-diferență va depăși estimatorul diferenței în medie și un simplu studiu de simulare.

18. [ . ] Gary Loveman a fost profesor la Harvard Business School înainte de a deveni CEO al Harrah's, una dintre cele mai mari companii de cazinouri din lume. Când sa mutat la Harrah's, Loveman a transformat compania într-un program de loialitate asemănător frecvent care colecta cantități extraordinare de date despre comportamentul clienților. Pe lângă acest sistem de măsurare întotdeauna, compania a început să experimenteze. De exemplu, s-ar putea să ruleze un experiment pentru a evalua efectul unui cupon pentru o noapte gratuită de cazare pentru clienții care au un model specific de jocuri de noroc. Iată cum a descris Loveman importanța experimentării în practicile de zi cu zi ale lui Harrah:

    "Este ca și cum nu hărțuiți femeile, nu furați și trebuie să aveți un grup de control. Acesta este unul dintre lucrurile pe care le puteți pierde slujba de la Harrah - fără a conduce un grup de control. " (Manzi 2012, 146)

    Scrieți un e-mail unui nou angajat care explică de ce Loveman crede că este atât de important să aveți un grup de control. Ar trebui să încercați să includeți un exemplu - fie real, fie făcut pentru a ilustra punctul dumneavoastră.

19. [ . ] Un nou experiment are scopul de a estima efectul primirii memento-urilor de mesaje text privind absorbția vaccinului. O sută cincizeci de clinici, fiecare cu 600 de pacienți eligibili, sunt dispuși să participe. Există un cost fix de $ 100 pentru fiecare clinică cu care doriți să lucrați și costă 1 $ pentru fiecare mesaj text pe care doriți să-l trimiteți. Mai mult, orice clinică cu care lucrați va măsura rezultatul (dacă cineva a primit o vaccinare) gratuit. Să presupunem că aveți un buget de 1.000 de dolari.

    1. În ce condiții ar fi mai bine să vă concentrați resursele pe un număr mic de clinici și în ce condiții ar fi mai bine să le răspândiți mai mult?
    2. Ce factori ar determina cea mai mică dimensiune a efectului pe care o veți putea detecta în mod fiabil cu bugetul dvs.?
    3. Scrieți un memoriu care explică aceste compromisuri unui potențial finanțator.

20. [ . ] O problemă majoră cu cursurile online este uzura: mulți studenți care încep cursurile se sfârșesc. Imaginați-vă că lucrați la o platformă de învățare online și că un designer de pe platformă a creat un bar de progres vizual, despre care crede că va ajuta la împiedicarea abandonului de curs. Doriți să testați efectul barei de progres asupra elevilor într-un curs computational de științe sociale. După ce ați abordat problemele etice care ar putea apărea în cadrul experimentului, dvs. și colegii dvs. vă faceți griji că este posibil ca cursul să nu aibă studenți suficienți pentru a detecta în mod fiabil efectele barei de progres. În următoarele calcule, puteți presupune că jumătate dintre studenți vor primi bara de progres și jumătate nu. Mai mult, puteți presupune că nu există interferențe. Cu alte cuvinte, puteți presupune că participanții sunt afectați numai dacă au primit tratamentul sau controlul; acestea nu sunt efectuate prin faptul că alte persoane au primit tratamentul sau controlul (pentru o definiție mai formală, a se vedea capitolul 8 al lui Gerber and Green (2012) ). Urmăriți orice presupuneri suplimentare pe care le faceți.

    1. Să presupunem că bara de progres este de așteptat să mărească proporția studenților care termină clasa cu 1 punct procentual; care este dimensiunea eșantionului necesară pentru a detecta fiabil efectul?
    2. Să presupunem că bara de progres este de așteptat să mărească proporția studenților care termină clasa cu 10 puncte procentuale; care este dimensiunea eșantionului necesară pentru a detecta fiabil efectul?
    3. Acum, imaginați-vă că ați condus experimentul, iar studenții care au absolvit toate materialele de curs au luat un examen final. Când comparați scorurile finale ale examenelor studenților care au primit bara de progres cu scorurile celor care nu au făcut acest lucru, veți găsi, spre surprinderea dvs., că elevii care nu au primit bara de progres au înregistrat, de fapt, mai mult. Acest lucru înseamnă că bara de progres a determinat elevii să învețe mai puțin? Ce puteți învăța din aceste date despre rezultate? (Sugestie: Vezi capitolul 7 din Gerber and Green (2012) )

21. [ . . ] Imaginați-vă că lucrați ca om de știință la o companie de tehnologie. Cineva din departamentul de marketing vă cere ajutorul dvs. în evaluarea unui experiment pe care îl planifică pentru a măsura rentabilitatea investiției (ROI) pentru o nouă campanie de anunțuri online. ROI este definită ca profitul net din campanie împărțit la costul campaniei. De exemplu, o campanie care nu avea niciun efect asupra vânzărilor ar avea un ROI de -100%; o campanie în care profiturile generate ar fi egale cu costurile ar avea un ROI de 0; și o campanie în care profiturile generate ar fi dublu față de cost ar avea un ROI de 200%.

    Înainte de lansarea experimentului, departamentul de marketing vă oferă următoarele informații pe baza cercetărilor lor anterioare (de fapt, aceste valori sunt tipice campaniilor reale de anunțuri online raportate în Lewis și Rao (2015) ):

    • Vânzările medii pe client urmează o distribuție log-normală cu o medie de 7 USD și o deviație standard de 75 USD.
    • Campania este așteptată să crească vânzările cu 0,35 USD per client, ceea ce corespunde unei creșteri a profitului de 0,175 USD per client.
    • Dimensiunea planificată a experimentului este de 200.000 de persoane: jumătate din grupul de tratament și jumătate din grupul de control.
    • Costul campaniei este de 0,14 USD per participant.
    • ROI așteptat pentru campanie este de 25% [ \((0.175 - 0.14)/0.14\) ]. Cu alte cuvinte, departamentul de marketing consideră că pentru fiecare 100 de dolari cheltuit pe marketing, compania va câștiga un profit suplimentar de 25 de dolari.

    Scrieți un comentariu care evaluează acest experiment propus. Notele dvs. ar trebui să utilizeze dovezi dintr-o simulare pe care o creați și ar trebui să abordeze două probleme majore: (1) Vă recomandăm să lansați acest experiment conform planului? Dacă da, de ce? Dacă nu, de ce nu? Asigurați-vă că sunteți clari cu privire la criteriile pe care le utilizați pentru a lua această decizie. (2) Ce mărimea eșantionului ați recomanda pentru acest experiment? Din nou, asigurați-vă că sunteți clară cu privire la criteriile pe care le utilizați pentru a lua această decizie.

    O notă bună va aborda acest caz specific; o notă mai bună va generaliza din acest caz într-un fel (de exemplu, arătați cum se schimbă decizia în funcție de mărimea efectului campaniei); și un memoriu mare va prezenta un rezultat complet generalizat. Nota dvs. ar trebui să utilizeze grafice pentru a ilustra rezultatele dvs.

    Iată două sugestii. În primul rând, departamentul de marketing ți-ar fi oferit câteva informații inutile și s-ar fi putut să nu-ți dea niște informații necesare. În al doilea rând, dacă utilizați R, rețineți că funcția rlnorm () nu funcționează așa cum se așteaptă mulți oameni.

    Această activitate vă va oferi practică cu analiza puterii, crearea de simulări și comunicarea rezultatelor cu cuvinte și grafice. Ar trebui să vă ajute să efectuați analize de putere pentru orice tip de experiment, nu doar experimente concepute pentru a estima ROI. Această activitate presupune că aveți o experiență în ceea ce privește testarea statistică și analiza puterii. Dacă nu sunteți familiarizat cu analiza puterii, vă recomand să citiți "A Power Primer" de Cohen (1992) .

    Această activitate a fost inspirată de o lucrare minunată de RA Lewis and Rao (2015) , care ilustrează viu o limitare statistică fundamentală a unor experimente chiar masive. Hârtia lor - care inițial avea titlul provocator "Cu privire la imposibilitatea de a măsura întoarcerea la publicitate" - arată cât de dificilă este măsurarea rentabilității investiției anunțurilor online, chiar și cu experimente digitale care implică milioane de clienți. Mai general, RA Lewis and Rao (2015) ilustrează un fapt statistic fundamental care este deosebit de important pentru experimentele de vârstă digitală: este dificil să se estimeze efectele mici ale tratamentului în mijlocul datelor cu privire la rezultatul zgomotos.

22. [ . ] Faceți același lucru cu întrebarea anterioară, dar, mai degrabă decât simulare, ar trebui să utilizați rezultatele analitice.

23. [ . . ] Faceți același lucru cu întrebarea anterioară, dar utilizați atât rezultate de simulare, cât și rezultate analitice.

24. [ . . ] Imaginați-vă că ați scris nota descrisă mai sus și cineva din departamentul de marketing oferă o singură informație nouă: se așteaptă o corelație între vânzările înainte și după experiment. Cum modifică aceasta recomandările din memo? (Sugestie: a se vedea secțiunea 4.6.2 pentru mai multe despre estimatorul diferenței de mijloace și estimatorul diferenței diferențiale).

25. [ . ] Pentru a evalua eficiența unui nou program de asistență la locul de muncă bazat pe web, o universitate a efectuat un studiu randomizat de control între 10.000 de studenți care au intrat în ultimul an de școală. Un abonament gratuit cu informații de conectare unice a fost trimis printr-o invitație exclusivă prin e-mail către 5000 de studenți aleși în mod aleatoriu, în timp ce ceilalți 5000 de studenți se aflau în grupul de control și nu aveau abonament. Douăsprezece luni mai târziu, un sondaj de urmărire (fără nici un răspuns) a arătat că atât în ​​grupurile de tratament, cât și în grupurile de control, 70% dintre elevi au obținut un loc de muncă cu normă întreagă în domeniul ales (tabelul 4.6). Astfel, se părea că serviciul bazat pe web nu a avut niciun efect.

    Cu toate acestea, un om de știință inteligent la universitate a analizat datele mai atent și a constatat că numai 20% din studenții din grupul de tratament au intrat vreodată în cont după primirea e-mailului. În plus, și în mod surprinzător, printre cei care au accesat site-ul web, doar 60% au obținut un loc de muncă cu normă întreagă în domeniul ales, ceea ce a fost mai mic decât rata pentru persoanele care nu s-au logat și mai mică decât rata pentru oameni în starea de control (tabelul 4.7).

    1. Oferiți o explicație pentru ceea ce s-ar fi putut întâmpla.
    2. Care sunt două modalități diferite de a calcula efectul tratamentului în acest experiment?
    3. Având în vedere acest rezultat, ar trebui să furnizeze acest serviciu tuturor studenților? Doar pentru a fi clar, aceasta nu este o întrebare cu un simplu răspuns.
    4. Ce ar trebui să facă ulterior?

    Sugestie: Această întrebare depășește materialul acoperit în acest capitol, dar abordează chestiuni comune în experimente. Acest tip de proiect experimental este denumit uneori un design de încurajare deoarece participanții sunt încurajați să se angajeze în tratament. Această problemă este un exemplu de ceea ce se numește necomunicare unilaterală (a se vedea capitolul 5 din Gerber and Green (2012) ).

26. [ ] După o examinare ulterioară, sa dovedit că experimentul descris în întrebarea anterioară era și mai complicat. Sa constatat că 10% din persoanele din grupul de control au plătit pentru accesul la serviciu și au ajuns la o rată de ocupare de 65% (tabelul 4.8).

    1. Scrieți un e-mail care rezumă ceea ce credeți că se întâmplă și recomandați un curs de acțiune.

    Sugestie: Această întrebare depășește materialul acoperit în acest capitol, dar abordează chestiuni comune în experimente. Această problemă este un exemplu de ceea ce se numește necomunicare față-verso (vezi capitolul 6 al lui Gerber and Green (2012) ).