aktivitetet

• shkalla e vështirësisë: e lehtë , të mesme , e vështirë , shume e veshtire
• kërkon matematikë ( )
• kërkon kodim ( )
• Mbledhja e të dhënave ( )
• te Preferuarat e mia ( )

1. [ , ] Berinsky dhe kolegët (2012) vlerësuan MTurk pjesërisht duke përsëritur tre eksperimente klasike. Përsëritni eksperimentin klasik të incizimit të Sëmundjeve Aziatike nga Tversky and Kahneman (1981) . A përputhen rezultatet tuaja me Tversky dhe Kahneman? A përputhen rezultatet tuaja me ato Berinsky dhe kolegët? Çfarë-nëse diçka-a na mëson kjo në lidhje me përdorimin e MTurk për eksperimentet e anketës?

2. [ , ] Në një letër disi të folur me titull "Duhet të shkëputemi", psikologu social Robert Cialdini, një nga autorët e Schultz et al. (2007) , shkruan se ai po tërhiqej herët nga puna e tij si profesor, pjesërisht për shkak të sfidave me të cilat ballafaqohej duke bërë eksperimente në terren në një disiplinë (psikologji) që kryen kryesisht eksperimente laboratorike (Cialdini 2009) . Lexoni letrën e Cialdinit dhe i shkruani një email duke i kërkuar atij të rishqyrtojë shpërbërjen e tij në dritën e mundësive të eksperimenteve dixhitale. Përdorni shembuj specifik të hulumtimit që adresojnë shqetësimet e tij.

3. [ ] Në mënyrë që të përcaktohet nëse sukseset e vogla fillestare mbyllen ose zhduken, van de Rijt dhe kolegët (2014) ndërhynë në katër sisteme të ndryshme që i dhanë sukses pjesëmarrësve të përzgjedhur rastësisht dhe pastaj matën impaktet afatgjata të këtij suksesi arbitrar. A mund të mendoni për sisteme të tjera në të cilat mund të kryeni eksperimente të ngjashme? Vlerësoni këto sisteme në aspektin e çështjeve me vlerë shkencore, konfuzion algoritmike (shih kapitullin 2) dhe etikën.

4. [ , ] Rezultatet e një eksperimenti mund të varen nga pjesëmarrësit. Krijo një eksperiment dhe pastaj drejtoje atë në MTurk duke përdorur dy strategji të ndryshme të rekrutimit. Mundohuni të zgjidhni eksperimentet dhe strategjitë e rekrutimit në mënyrë që rezultatet të jenë sa më të ndryshme . Për shembull, strategjitë tuaja të rekrutimit mund të jenë për të rekrutuar pjesëmarrësit në mëngjes dhe mbrëmje ose për të kompensuar pjesëmarrësit me pagesë të lartë dhe të ulët. Këto lloj dallimesh në strategjinë e rekrutimit mund të çojnë në grupe të ndryshme pjesëmarrësish dhe rezultate të ndryshme eksperimentale. Sa të ndryshojnë rezultatet tuaja? Çfarë tregon kjo për drejtimin e eksperimenteve në MTurk?

5. [ , , ] Imagjinoni që po planifikonit eksperimentin e ngjitjes emocionale (Kramer, Guillory, and Hancock 2014) . Përdorni rezultatet nga një studim i mëparshëm vëzhgues nga Kramer (2012) për të vendosur numrin e pjesëmarrësve në çdo kusht. Këto dy studime nuk përputhen në mënyrë të përkryer, kështu që sigurohuni që në mënyrë eksplicite të shënoni të gjitha supozimet që bëni:

   1. Drejtoni një simulim që do të vendosë se sa pjesëmarrës do të ishin të nevojshme për të zbuluar një efekt aq të madh sa efekti në Kramer (2012) me \(\alpha = 0.05\) dhe \(1 - \beta = 0.8\) .
   2. Bëni të njëjtën llogaritje analitikisht.
   3. Duke pasur parasysh rezultatet e Kramer (2012) ishte Infeksioni Emocional (Kramer, Guillory, and Hancock 2014) mbi-powered (dmth, a kishte më shumë pjesëmarrës se sa e nevojshme)?
   4. Nga supozimet që keni bërë, të cilat kanë efektin më të madh në llogaritjen tuaj?

6. [ , , ] Përgjigju përsëri pyetjes së mëparshme, por këtë herë, në vend që të përdorni studimin e mëparshëm vëzhgues nga Kramer (2012) , përdorni rezultatet nga një eksperiment i mëparshëm natyral nga Lorenzo Coviello et al. (2014) .

7. [ ] Të dy Margetts et al. (2011) dhe van de Rijt et al. (2014) kryen eksperimente duke studiuar procesin e njerëzve që nënshkruan një peticion. Krahaso dhe kontrast hartat dhe gjetjet e këtyre studimeve.

8. [ ] Dwyer, Maki, and Rothman (2015) kryen dy eksperimente në fushën e marrëdhënieve midis normave shoqërore dhe sjelljes pro-mjedisore. Këtu është abstrakti i letrës së tyre:

   "Si mund të përdoret shkenca psikologjike për të inkurajuar sjelljen proenvironmental? Në dy studime, ndërhyrjet që synonin nxitjen e sjelljes së ruajtjes së energjisë në banjat publike, shqyrtuan ndikimet e normave përshkruese dhe përgjegjësisë personale. Në Studimin 1, statusi i dritës (dmth. Në ose jashtë) u manipulua përpara se dikush të hyjë në një banjo publike të pabanuar, duke sinjalizuar normën përshkruese për atë mjedis. Pjesëmarrësit ishin dukshëm më shumë të prirur për të fikur dritat nëse ata ishin jashtë kur ata hynë. Në Studimin 2, një kusht shtesë ishte përfshirë në të cilën norma e fikjes së dritës u demonstrua nga një konfederatë, por pjesëmarrësit nuk ishin vetë përgjegjës për ta kthyer atë. Përgjegjësia personale moderon ndikimin e normave shoqërore në sjellje; kur pjesëmarrësit nuk ishin përgjegjës për ndezjen e dritës, ndikimi i normës u zvogëlua. Këto rezultate tregojnë se si normat përshkruese dhe përgjegjësia personale mund të rregullojnë efektivitetin e ndërhyrjeve pro-mjedisore. "

   Lexoni letrën e tyre dhe dizajnoni një përsëritje të studimit 1.

9. [ , ] Duke u bazuar në pyetjen e mëparshme, tani kryejini dizajnin tuaj.

   1. Si krahasohen rezultatet?
   2. Çfarë mund t'i shpjegojë këto dallime?

10. [ ] Ka pasur debate të konsiderueshme në lidhje me eksperimentet duke përdorur pjesëmarrësit e rekrutuar nga MTurk. Paralelisht, ka pasur gjithashtu një debat të konsiderueshëm në lidhje me eksperimentet duke përdorur pjesëmarrësit e rekrutuar nga studentët e studentëve universitarë. Shkruani një memo prej dy faqesh që krahason dhe kontrast Turkers dhe studentë si pjesëmarrës në hulumtim. Krahasimi juaj duhet të përfshijë një diskutim për çështjet shkencore dhe logjistike.

11. [ ] Libri i Jim Manzit Uncontrolled (2012) është një hyrje e mrekullueshme për fuqinë e eksperimentimit në biznes. Në librin ai transmetonte historinë e mëposhtme:

    "Isha një herë në një takim me një gjeni biznesi të vërtetë, një miliarder vetë-bërë që kishte një nënkuptim të thellë dhe intuitiv të fuqisë së eksperimenteve. Kompania e tij kaloi burime të rëndësishme duke u përpjekur për të krijuar shfaqje të mëdha të dritareve të dyqaneve që do të tërheqin konsumatorët dhe rrit shitjet, pasi mençuria konvencionale tha se duhet. Ekspertët kanë testuar me kujdes projektimin pas dizajnit dhe në seancat e shqyrtimit individual të testeve gjatë një periudhe vjetësh nuk kanë treguar efekt të rëndësishëm shkakor të çdo dizajni të ri të ekranit në shitje. Drejtuesit e lartë të marketingut dhe shitjes u takuan me CEO për të shqyrtuar këto rezultate historike të testimit në toto. Pas paraqitjes së të gjitha të dhënave eksperimentale, ata arriti në përfundimin se mençuria konvencionale ishte e gabuar - kjo dritare tregon nuk nxit shitjet. Veprimi i tyre i rekomanduar ishte zvogëlimi i shpenzimeve dhe përpjekjeve në këtë fushë. Kjo demonstroi në mënyrë dramatike aftësinë e eksperimentimit për të përmbysur mençurinë konvencionale. Përgjigjja e CEO ishte e thjeshtë: 'Përfundimi im është se dizajnerët tuaj nuk janë shumë të mirë'. Zgjidhja e tij ishte të rriste përpjekjet në dizajnin e ekranit të dyqaneve dhe të merrte njerëz të rinj për ta bërë këtë. " (Manzi 2012, 158–9)

    Cili lloj i vlefshmërisë është shqetësimi i CEO-së?

12. [ ] Duke u bazuar në pyetjen e mëparshme, imagjinoni se keni qenë në takimin ku u diskutuan rezultatet e eksperimenteve. Cilat janë katër pyetje që mund të kërkoni - një për çdo lloj vlefshmëria (statistikore, konstruktuese, e brendshme dhe e jashtme)?

13. [ ] Bernedo, Ferraro, and Price (2014) studiojnë efektin shtatëvjeçar të ndërhyrjes së kursimit të ujit të përshkruar në Ferraro, Miranda, and Price (2011) (shih figurën 4.11). Në këtë punim, Bernedo dhe kolegët gjithashtu kërkuan të kuptojnë mekanizmin pas efektit duke krahasuar sjelljen e familjeve që kanë dhe nuk kanë lëvizur pas trajtimit. Kjo është, përafërsisht, ata u përpoqën për të parë nëse trajtimi ndikoi në shtëpi ose pronari i shtëpisë.

    1. Lexoni letër, përshkruani dizajnin e tyre dhe përmblidhni gjetjet e tyre.
    2. A ndikojnë gjetjet e tyre se si duhet të vlerësoni kosto-efektivitetin e ndërhyrjeve të ngjashme? Nëse po, pse? Nëse jo, pse jo?

14. [ ] Në një vazhdim të Schultz et al. (2007) (Schultz, Khazian, and Zaleski 2008) , Schultz dhe kolegët kryen një sërë tri eksperimash mbi efektin e normave përshkruese dhe urdhëruese për një sjellje të ndryshme mjedisore (ripërdorimi i peshqirëve) në dy kontekste .

    1. Përmblidhni dizajnin dhe gjetjet e këtyre tri eksperimenteve.
    2. Si, nëse në të gjitha, a ndryshojnë interpretimin tuaj të Schultz et al. (2007) ?

15. [ ] Në përgjigje të Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) zhvilluan një seri eksperimentesh laboratorike për të studiuar dizajnin e faturave elektrike. Ja se si e përshkruajnë atë në mënyrë abstrakte:

    "Në një eksperiment të bazuar në studim, secili pjesëmarrës ka parë një faturë hipotetike të energjisë elektrike për një familje me përdorim relativisht të lartë të energjisë elektrike, duke mbuluar informacion rreth përdorimit historik, (b) krahasimeve me fqinjët, dhe (c) përdorimit historik me ndarjen e pajisjes. Pjesëmarrësit panë të gjitha llojet e informacionit në një nga tre formatet duke përfshirë (a) tabelat, (b) grafikët e bareve, dhe (c) grafikët e ikonave. Ne raportojmë për tri gjetje kryesore. Së pari, konsumatorët kuptonin çdo lloj informacioni të përdorimit të energjisë elektrike kur ishte paraqitur në një tabelë, ndoshta sepse tabelat lehtësojnë leximin e thjeshtë të pikave. Së dyti, preferencat dhe synimet për të kursyer energjinë elektrike ishin më të forta për informacionin e përdorimit historik, pavarësisht formatit. Së treti, individët me shkathtësi më të ulët të energjisë kuptojnë të gjithë informacionin më pak. "

    Ndryshe nga studimet e tjera pasuese, rezultati kryesor i interesit në Canfield, Bruin, and Wong-Parodi (2016) është raportuar sjellje, jo sjellje aktuale. Cilat janë pikat e forta dhe të dobëta të këtij lloji të studimit në një program më të gjerë kërkimi për nxitjen e kursimit të energjisë?

16. [ , ] Smith and Pell (2003) paraqitën një meta-analizë satirike të studimeve që demonstronin efektivitetin e parashutave. Ata përfunduan:

    "Ashtu si me shumë ndërhyrje që kanë për qëllim parandalimin e shëndetit të keq, efektiviteti i parashutave nuk i është nënshtruar një vlerësimi rigoroz duke përdorur gjykime të kontrolluara me randomizim. Avokatët e mjekësisë me bazë provash kanë kritikuar miratimin e ndërhyrjeve të vlerësuara duke përdorur vetëm të dhënat vëzhguese. Ne mendojmë se të gjithë mund të përfitojnë nëse protagonistët më radikalë të ilaçeve të bazuara në dëshmi organizuan dhe morën pjesë në një gjyq të dyfishtë të verbër, të rastësishëm, të kontrolluar nga vendi, të kryqëzimit të parashutës ".

    Shkruani një libër të përshtatshëm për një gazetë të përgjithshme të leximit, siç është New York Times , duke argumentuar kundër fetishizimit të provave eksperimentale. Jepni shembuj konkret dhe konkret. Hint: Shih gjithashtu Deaton (2010) dhe Bothwell et al. (2016) .

17. [ , , ] Vlerësuesit e diferencës në dallime të një efekti të trajtimit mund të jenë më të sakta se vlerësuesit e diferencës në mes. Shkruani një memorandum për një inxhinier përgjegjës për testimin A / B në një kompani të sapo filluar të mediave sociale që shpjegon vlerën e qasjes së diferencës në dallime për drejtimin e një eksperimenti në internet. Memos duhet të përfshijë një deklaratë të problemit, disa intuita rreth kushteve nën të cilat vlerësuesi i diferencës në ndryshim do të tejkaloje vlerësuesin e ndryshimit në mes dhe një studim të thjeshtë simulimi.

18. [ , ] Gary Loveman ishte profesor në Shkollën e Biznesit të Harvardit, përpara se të bëhej CEO i Harrah's, një nga kompanitë më të mëdha të kazinove në botë. Kur ai u zhvendos në Harrah, Loveman e transformoi kompaninë me një program besnikërie të përhershme që mbledhin sasi të jashtëzakonshme të të dhënave në lidhje me sjelljen e klientit. Në krye të këtij sistemi gjithnjë në matje, kompania filloi të kryejë eksperimente. Për shembull, ata mund të bëjnë një eksperiment për të vlerësuar efektin e një kuponi për një natë të hotelit të lirë për klientët me një model kumar specifik. Ja se si Loveman përshkroi rëndësinë e eksperimentimit në praktikat e përditshme të Harrah-s:

    "Është sikur të mos i ngacmosh gratë, nuk vjedhësh dhe duhet të kesh një grup kontrolli. Kjo është një nga gjërat që ju mund të humbni punën tuaj për Harrah-n, jo drejtimin e një grupi kontrolli. " (Manzi 2012, 146)

    Shkruani një email tek një punonjës i ri duke shpjeguar pse Loveman mendon se është kaq e rëndësishme që të ketë një grup kontrolli. Duhet të përpiqeni të përfshini një shembull - qoftë real ose të përgatitur - për të ilustruar pikën tuaj.

19. [ , ] Një eksperiment i ri synon të vlerësojë efektin e marrjes së përkujtuesve të mesazhit tekst në marrjen e vaksinave. Njëqind e pesëdhjetë klinika, secila me 600 pacientë të kualifikuar, janë të gatshëm të marrin pjesë. Ekziston një kosto fikse prej 100 dollarësh për çdo klinikë me të cilën dëshironi të punoni, dhe kushton $ 1 për çdo mesazh teksti që dëshironi të dërgoni. Më tej, çdo klinikë me të cilën po punoni do të matë rezultatin (nëse dikush ka marrë një vaksinim) falas. Supozoni se keni një buxhet prej $ 1,000.

    1. Në cilat kushte mund të jetë më mirë të përqendroheni burimet tuaja në një numër të vogël klinikash dhe nën cilat kushte mund të jetë më mirë t'i përhapni më gjerësisht?
    2. Cilat faktorë do të përcaktojnë përmasën më të vogël të efektit që do të mund të zbuloni në mënyrë të besueshme me buxhetin tuaj?
    3. Shkruani një memorandum që shpjegon këto pengesa për një financues potencial.

20. [ , ] Një problem i madh me kurset online është largimi: shumë studentë që fillojnë kurse përfundojnë duke u larguar. Paramendoni se po punoni në një platformë të të mësuarit online dhe një projektuesi në platformë ka krijuar një barazh të pamjes së përparimit që ajo mendon se do të ndihmojë në parandalimin e braktisjes së nxënësve nga kursi. Ju dëshironi të provoni efektin e barit të progresit te studentët në një kurs të madh të shkencave shoqërore kompjuterike. Pas trajtimit të çdo problemi etik që mund të lindë në eksperiment, ju dhe kolegët tuaj shqetësoheni që kursi nuk mund të ketë studentë të mjaftueshëm për të zbuluar në mënyrë të besueshme efektet e shiritit të përparimit. Në llogaritjet e mëposhtme mund të supozoni se gjysma e nxënësve do të marrin barin e përparimit dhe jo gjysmën. Më tej, mund të supozosh që nuk ka ndërhyrje. Me fjalë të tjera, ju mund të supozoni se pjesëmarrësit janë të prekur vetëm nëse ata kanë marrë trajtimin ose kontrollin; ato nuk realizohen nëse njerëzit e tjerë kanë marrë trajtimin ose kontrollin (për një përkufizim më formal, shih kapitullin 8 të Gerber and Green (2012) ). Mbani gjurmët e supozimeve shtesë që bëni.

    1. Supozoni se barri i përparimit pritet të rrisë përqindjen e nxënësve që përfundojnë klasën me 1 pikë përqindje; cila është madhësia e mostrës e nevojshme për të zbuluar në mënyrë të besueshme efektin?
    2. Supozoni se barri i progresit pritet të rrisë përqindjen e nxënësve që përfundojnë klasën me 10 pikë përqindje; cila është madhësia e mostrës e nevojshme për të zbuluar në mënyrë të besueshme efektin?
    3. Tani imagjinoni se keni drejtuar eksperimentin dhe studentët që kanë përfunduar të gjitha materialet e kursit kanë marrë provimin përfundimtar. Kur krahasoni rezultatet e provimeve përfundimtare të studentëve që kanë marrë barin e përparimit me rezultatet e atyre që nuk e kanë, ju e gjeni shumë për habinë tuaj, se nxënësit që nuk kanë marrë barin e përparimit në të vërtetë kanë shënuar më shumë. A do të thotë kjo se barra e progresit ka shkaktuar që nxënësit të mësojnë më pak? Çfarë mund të mësoni nga këto rezultate të rezultateve? (Hint: Shih kapitullin 7 të Gerber and Green (2012) )

21. [ , , ] Imagjinoni që ju jeni duke punuar si një shkencëtar i të dhënave në një kompani të teknologjisë. Dikush nga departamenti i marketingut kërkon ndihmën tuaj në vlerësimin e një eksperimenti që ata po planifikojnë për të matur kthimin e investimit (ROI) për një fushatë të re reklamimi online. Roi është përcaktuar si fitim neto nga fushata e ndarë nga kostoja e fushatës. Për shembull, një fushatë që nuk kishte efekt mbi shitjet do të kishte një ROI prej -100%; një fushatë ku fitimet e krijuara ishin të barabarta me kostot do të kishin ROI prej 0; dhe një fushatë ku fitimet e gjeneruara ishin dyfishi i kostos do të kishte një ROI prej 200%.

    Para nisjes së eksperimentit, departamenti i marketingut ju ofron informacionin e mëposhtëm bazuar në hulumtimet e tyre të mëparshme (në fakt, këto vlera janë tipike për fushatat reale të reklamave online të raportuara në Lewis dhe Rao (2015) ):

    • Shitja mesatare për klient ndjek një shpërndarje normale log-me një mesatare prej $ 7 dhe një devijimi standard prej $ 75.
    • Fushata pritet të rrisë shitjet me $ 0.35 për konsumator, i cili korrespondon me një rritje në fitim prej 0.175 $ për çdo klient.
    • Madhësia e planifikuar e eksperimentit është 200,000 njerëz: gjysma në grupin e trajtimit dhe gjysma në grupin e kontrollit.
    • Kostoja e fushatës është 0.14 $ për pjesëmarrës.
    • Roi i pritshëm për fushatën është 25% [ \((0.175 - 0.14)/0.14\) ]. Me fjalë të tjera, departamenti i marketingut beson se për çdo 100 dollarë të shpenzuar për marketing, kompania do të fitojë një shtesë prej $ 25 në fitim.

    Shkruani një memo që vlerëson këtë eksperiment të propozuar. Memorja juaj duhet të përdorë dëshmi nga simulimi që krijoni dhe duhet të trajtojë dy çështje kryesore: (1) A do të sugjeroje nisjen e këtij eksperimenti siç është planifikuar? Nëse po, pse? Nëse jo, pse jo? Sigurohuni që të jeni të qartë në lidhje me kriteret që po përdorni për të marrë këtë vendim. (2) Cila madhësi e mostrës do të rekomandonit për këtë eksperiment? Përsëri, lutemi të jeni i sigurtë se do të jeni të qartë në lidhje me kriteret që po përdorni për të marrë këtë vendim.

    Një memo e mirë do të trajtojë këtë rast specifik; një memo më e mirë do të përgjithësohet nga ky rast në një mënyrë (p.sh. tregoni se si ndryshon vendimi në funksion të madhësisë së efektit të fushatës); dhe një memo e madhe do të paraqesë një rezultat plotësisht të përgjithësuar. Memosja jote duhet të përdorë grafikët për të ndihmuar në ilustrimin e rezultateve tuaja.

    Këtu janë dy lë të kuptohet. Së pari, departamenti i marketingut mund t'ju ketë dhënë disa informacione të panevojshme dhe mund të kenë dështuar t'ju japin disa informacione të nevojshme. Së dyti, nëse jeni duke përdorur R, jini të vetëdijshëm se funksioni rlnorm () nuk funksionon në mënyrën që shumë njerëz presin.

    Ky aktivitet do t'ju japë praktikë me analizën e fuqisë, duke krijuar simulime, dhe duke komunikuar rezultatet me fjalë dhe grafikë. Duhet t'ju ndihmojë të kryeni analiza të fuqisë për çdo lloj eksperimenti, jo vetëm eksperimente të dizajnuara për të vlerësuar ROI. Ky aktivitet supozon që ju keni disa përvojë me testimin statistikor dhe analizën e fuqisë. Nëse nuk jeni të njohur me analizën e energjisë, unë ju rekomandoj që të lexoni "A Power Primer" nga Cohen (1992) .

    Ky aktivitet u frymëzua nga një letër e bukur nga RA Lewis and Rao (2015) , e cila ilustron një kufizim themelor statistikor të eksperimenteve edhe masivë. Gazeta e tyre, e cila fillimisht kishte titullin provokues "Për pamundësinë e matjes së kthimit në reklama", tregon se sa e vështirë është të matet kthimi në investim i reklamave online, madje edhe me eksperimente digjitale që përfshijnë miliona konsumatorë. Më në përgjithësi, RA Lewis and Rao (2015) ilustrojnë një faktor themelor statistikor që është veçanërisht i rëndësishëm për eksperimentet në moshën dixhitale: është e vështirë të vlerësohet efekti i trajtimit të vogël mes të dhënave të rezultateve të zhurmshme.

22. [ , ] Bëj të njëjtën gjë si pyetja e mëparshme, por, sesa simulim, duhet të përdorni rezultate analitike.

23. [ , , ] Bëni të njëjtën gjë si pyetja e mëparshme, por përdorni të dy simulimet dhe rezultatet analitike.

24. [ , , ] Imagjinoni që ju keni shkruar memorandumin e përshkruar më sipër dhe dikush nga departamenti i marketingut ofron një pjesë të informatave të reja: ata presin një korrelacion 0.4 mes shitjeve para dhe pas eksperimentit. Si e ndryshon kjo rekomandimi në shkresën tuaj? (Hint: shih seksionin 4.6.2 për më shumë mbi vlerësuesin e ndryshimit të mjeteve dhe vlerësuesin e diferencës në ndryshime.)

25. [ , ] Me qëllim të vlerësimit të efektivitetit të një programi të ri të punësimit në internet, një universitet zhvilloi një gjykim të rastësishëm kontrolli midis 10,000 studentëve që hynin në vitin e fundit të shkollës. Një abonim i lirë me informacione unike të hyrjes u dërgua përmes një ftese ekskluzive në 5,000 nga studentët e përzgjedhur rastësisht, ndërsa 5,000 studentët e tjerë ishin në grupin e kontrollit dhe nuk kishin një abonim. Dymbëdhjetë muaj më vonë, një studim pasues (pa asnjë përgjigje) tregoi se në të dy grupet e trajtimit dhe kontrollit, 70% e studentëve kishin siguruar punësim të plotë në fushën e tyre të zgjedhur (tabela 4.6). Kështu, dukej se shërbimi i bazuar në ueb nuk kishte efekt.

    Megjithatë, një shkencëtar i zgjuar i të dhënave në universitet shikoi të dhënat pak më shumë nga afër dhe gjeti se vetëm 20% e nxënësve në grupin e trajtimit kanë hyrë ndonjëherë në llogari pas marrjes së emailit. Për më tepër, dhe çuditërisht, tek ata që hynë në faqen e internetit, vetëm 60% kishin siguruar punësim me orar të plotë në fushën e tyre të zgjedhur, që ishte më i ulët se norma për njerëzit që nuk hynë dhe që janë më të ulëta se norma për njerëzit në gjendjen e kontrollit (tabela 4.7).

    1. Jep një shpjegim për atë që mund të ketë ndodhur.
    2. Cilat janë dy mënyra të ndryshme për të llogaritur efektin e trajtimit në këtë eksperiment?
    3. Duke pasur parasysh këtë rezultat, a duhet të ofroni këtë shërbim për të gjithë studentët? Vetëm të jetë e qartë, kjo nuk është një pyetje me një përgjigje të thjeshtë.
    4. Çfarë duhet të bëjnë më pas?

    Hint: Kjo pyetje shkon përtej materialit të mbuluar në këtë kapitull, por trajton çështjet e zakonshme në eksperimente. Ky lloj i dizajnit eksperimental nganjëherë quhet një dizajn inkurajues sepse pjesëmarrësit inkurajohen të angazhohen në trajtim. Ky problem është një shembull i asaj që quhet mospërputhje e njëanshme (shih kapitullin 5 të Gerber and Green (2012) ).

26. [ ] Pas ekzaminimit të mëtejshëm, doli se eksperimenti i përshkruar në pyetjen e mëparshme ishte edhe më i komplikuar. Doli që 10% e njerëzve në grupin e kontrollit paguan për qasje në shërbim dhe ata përfunduan me një shkallë punësimi prej 65% (tabela 4.8).

    1. Shkruani një email që përmbledh atë që mendoni se po ndodh dhe rekomandon një kurs veprimi.

    Hint: Kjo pyetje shkon përtej materialit të mbuluar në këtë kapitull, por trajton çështjet e zakonshme në eksperimente. Ky problem është një shembull i asaj që quhet mospërputhje e dyanshme (shih kapitullin 6 të Gerber and Green (2012) ).