Mga Aktibidad

key:

• antas ng kahirapan: madali , medium , mahirap , napaka-hirap
• ay nangangailangan ng matematika ( )
• nangangailangan coding ( )
• pagkolekta ng data ( )
• aking mga paborito ( )

1. [ , ] Berinsky at kasamahan (2012) sinusuri Mechanical Turk sa bahagi sa pamamagitan ng Kinokopya tatlong klasikong mga eksperimento. Kopyahin ang klasikong Asian Disease framing eksperimento sa pamamagitan Tversky and Kahneman (1981) . Gawin ang iyong mga resulta ng tugma Tversky at Kahneman ni? Gawin ang iyong mga resulta ng tugma Berinsky at kasamahan? Ano-kung mayroon man-ang itinuturo nito sa atin tungkol sa paggamit ng Mechanical Turk para sa survey eksperimento?

2. [ , ] Sa isang medyo dila-in-pisngi papel na may pamagat "Mayroon kaming upang Break Up," ang mga social psychologist Robert Cialdini, isa sa mga may-akda ng Schultz et al. (2007) , ay sumulat na siya ay umaalis ng maaga mula sa kanyang trabaho bilang isang propesor, sa bahagi dahil sa ang mga hamon mukha niya ginagawa field eksperimento sa isang disiplina (sikolohiya) na higit sa lahat ay nagsasagawa ng mga eksperimento lab (Cialdini 2009) . Basahin ang Cialdini papel, at magsulat sa kanya ng isang email humihimok sa kanya upang muling isaalang-alang ang kanyang break-up sa liwanag ng ang mga posibilidad ng digital na mga eksperimento. Gamitin tiyak na mga halimbawa ng pananaliksik na ang address na ang kanyang mga alalahanin.

3. [ ] Upang matukoy kung maliit na paunang tagumpay lock-in o maglaho, van de Rijt at at kasamahan (2014) intervened sa apat na iba't ibang mga sistema bestowing tagumpay sa random na piniling mga kalahok, at pagkatapos ay sinusukat ang pang-matagalang epekto ng mga ito di-makatwirang tagumpay. May naiisip ka bang iba pang mga sistema na kung saan maaari mong patakbuhin ang katulad na mga eksperimento? Suriin ang mga sistema sa mga tuntunin ng mga isyu ng pang-agham na halaga, algorithmic confounding (tingnan ang Kabanata 2), at etika.

4. [ , ] Ang mga resulta ng isang eksperimento ay maaaring depende sa mga kalahok. Lumikha ng isang eksperimento at pagkatapos ay tumakbo ito sa Amazon Mechanical Turk (MTurk) gamit ang dalawang magkaibang mga diskarte recruitment. Subukan upang piliin ang mga eksperimento at recruitment estratehiya upang ang mga resulta ay magiging bilang iba't-ibang panahon. Halimbawa, ang iyong recruitment diskarte ay maaaring upang kumalap mga kalahok sa umaga at sa gabi o sa pagpunan kalahok na may mataas at mababang pay. Ang mga uri ng mga pagkakaiba sa recruitment diskarte ay maaaring humantong sa iba't ibang mga pool ng mga kalahok at iba't ibang mga pang-eksperimentong mga resulta. Ibang-iba ang iyong mga resulta i-out? Ano ang ginagawa na ibunyag tungkol sa pagpapatakbo ng mga eksperimento sa MTurk?

5. [ , , , ] Isipin na ikaw ay pagpaplano sa Emotional Contagion study (Kramer, Guillory, and Hancock 2014) . Gamitin ang mga resulta mula sa isang mas maagang obserbasyonal pag-aaral ng Kramer (2012) upang magpasya ang bilang ng mga kalahok sa bawat kalagayan. Ang dalawang mga pag-aaral ay hindi tumutugma perpektong kaya siguraduhin na malinaw na ilista ang lahat ng mga pagpapalagay na ginawa mo:

   1. Magpatakbo ng isang simulation na magpasya kung gaano karaming mga kalahok sana kailangan upang makita ang isang epekto bilang malaking bilang ang epekto sa Kramer (2012) na may \ (\ alpha = 0.05 \) at \ (1 - \ beta = 0.8 \).
   2. Gawin ang parehong pagkalkula analytically.
   3. Given ang mga resulta mula sa Kramer (2012) ay Emotional Contagion (Kramer, Guillory, and Hancock 2014) over-powered (ibig sabihin, ay may ito ng marami pang participant kaysa sa kinakailangan)?
   4. Sa pagpapalagay na ginawa mo, na may pinakamalaking epekto sa iyong pagkalkula?

6. [ , , , ] Sagutin ang mga tanong sa itaas, ngunit sa halip na paggamit ng mas maaga obserbasyonal pag-aaral ng Kramer (2012) gamitin ang mga resulta mula sa isang mas maagang natural eksperimento sa pamamagitan Coviello et al. (2014) .

7. [ ] Parehong Rijt et al. (2014) at Margetts et al. (2011) parehong gumanap eksperimento na pag-aralan ang proseso ng mga tao ng pag-sign isang petisyon. Ihambing at kaibahan ang disenyo at mga natuklasan ng mga pag-aaral.

8. [ ] Dwyer, Maki, and Rothman (2015) na isinasagawa dalawang mga eksperimento field sa ugnayan sa pagitan social norms at proenvironmental pag-uugali. Narito ang abstract ng kanilang papel:

   "Paano maaaring sikolohikal agham utilized upang hikayatin proenvironmental pag-uugali? Sa dalawang pag-aaral, mga pamamagitan na naglalayong pagtataguyod ng enerhiya pag-uugali konserbasyon sa mga pampublikong banyo napagmasdan ang mga impluwensya ng mapaglarawang kaugalian at personal na responsibilidad. Sa Pag-aaral 1, ang katayuan ng ilaw (ie, on o off) ay manipulahin bago ang isang tao ipinasok isang walang tao pampublikong banyo, pagbibigay ng senyas ang mapaglarawang mga pamantayan para sa setting na iyon. Kalahok ay makabuluhang mas malamang na i-on ang mga ilaw off kung sila ay off kapag sila ay ipinasok. Sa Pag-aaral 2, isang karagdagang kondisyon ay kasama sa kung saan ang mga pamantayan ng pag-on-off ang ilaw ay nagpakita sa pamamagitan ng isang samahan, ngunit kalahok ay hindi ang kanilang mga sarili na responsable para sa pag-on ito sa. Personal na responsibilidad may tagapamagitan ng impluwensiya ng social norms sa pag-uugali; kapag kalahok ay hindi mananagot para sa pag-on ang ilaw, ang impluwensiya ng ang mga pamantayan ay pinaliit. Ang mga resulta ay nagpapakita kung paano mapaglarawang kaugalian at personal na responsibilidad ay maaaring umayos ang pagiging epektibo ng proenvironmental pamamagitan. "

   Basahin ang kanilang mga papel at disenyo ng isang pagtitiklop ng pag-aaral 1.

9. [ , ] Building sa naunang tanong, ngayon isagawa ang iyong disenyo.

   1. Paano ang mga resulta ihambing?
   2. Ano ang maaaring ipaliwanag ang mga pagkakaiba?

10. [ ] Nagkaroon ng malaking debate tungkol eksperimento gamit kalahok hinikayat na mula sa Amazon Mechanical Turk. Kahanay, nagkaroon din ng malaking debate tungkol eksperimento gamit kalahok hinikayat na mula sa undergraduate mga populasyon ng mag-aaral. Sumulat ng dalawang-page memo paghahambing at contrasting ang Turkers at undergraduates bilang mananaliksik kalahok. Ang iyong paghahambing ay dapat isama ang isang talakayan ng parehong pang-agham at logistical isyu.

11. [ ] Jim Manzi librong Walang pigil (2012) ay isang kahanga-hangang panimula sa kapangyarihan ng pag-eksperimento sa negosyo. Sa aklat niya relayed sa kuwentong ito:

    "Ako ay isang beses sa isang pulong sa isang tunay na negosyo henyo, isang sariling-gawa bilyunaryo na ay nagkaroon ng isang malalim, intuitive understating ng kapangyarihan ng mga eksperimento. Ang kanyang kumpanya na ginugol makabuluhang mga mapagkukunan sinusubukan upang lumikha ng mahusay na tindahan window nagpapakita na maakit ang mga mamimili at mga pagtaas ng mga benta, bilang maginoo karunungan sinabi sa nararapat. Eksperto maingat na masuri disenyo pagkatapos disenyo, at sa mga indibidwal na session test pagsusuri sa loob ng isang panahon ng mga taon iningatan na nagpapakita walang makabuluhang pananahilan epekto ng bawat bagong display disenyo sa benta. Senior marketing at merchandising executive nakilala sa CEO upang suriin ang mga makasaysayang mga resulta ng pagsubok sa toto. Matapos ang pagtatanghal ng lahat ng mga pang-eksperimentong data, sila concluded na ang maginoo karunungan ay mali-na window ay nagpapakita huwag magmaneho benta. Ang kanilang inirerekomendang pagkilos ay upang mabawasan ang mga gastos at pagsisikap sa lugar na ito. Ito dramatically nagpakita ng kakayahan ng pag-eksperimento sa pagtaob maginoo karunungan. Ang tugon CEO ay simple: 'Ang aking konklusyon ay na ang iyong designer ay hindi tunay mabuti.' Kanyang solusyon ay upang madagdagan ang pagsisikap sa store display disenyo, at upang makakuha ng bagong mga tao na gawin ito. " (Manzi 2012, 158–9)

    Anong uri ng validity ay ang pag-aalala ng CEO?

12. [ ] Building sa naunang tanong, isipin na ikaw ay sa pulong kung saan ang mga resulta ng mga eksperimento ay tinalakay. Ano ang apat na mga katanungan na maaari mong hilingin, isa para sa bawat uri ng bisa (statistical, bumuo, panloob, at panlabas)?

13. [ ] Bernedo, Ferraro, and Price (2014) pag-aaral ang pitong-taong epekto ng interbensyon tubig pag-save ng inilarawan sa Ferraro, Miranda, and Price (2011) (tingnan Figure 4.10). Sa papel na ito, Bernedo at kasamahan din humingi upang maunawaan ang mga mekanismo sa likod ng mga epekto sa pamamagitan ng paghahambing ng ang pag-uugali ng mga kabahayan na may at ay hindi inilipat pagkatapos ng paggamot ay inihatid. Iyon ay, halos, subukan sila upang makita kung ang paggamot epekto sa bahay o sa homeowner.

    1. Basahin ang papel, ilarawan ang kanilang mga disenyo, at sabihin sa maikling pangungusap ang kanilang mga natuklasan. b) Huwag ang kanilang mga natuklasan epekto kung paano dapat mong masuri ang cost-bisa ng mga katulad na mga pamamagitan? Kung gayon, bakit? Kung hindi, bakit hindi?

14. [ ] Sa isang follow-up sa Schultz et al. (2007) , Schultz at kasamahan magsagawa ng serye ng tatlong mga eksperimento sa ang epekto ng mapaglarawan at injunctive norms sa isang iba't ibang kapaligiran pag-uugali (towel muling paggamit) sa dalawang contexts (isang hotel at isang timeshare condominium) (Schultz, Khazian, and Zaleski 2008) .

    1. Sabihin sa maikling pangungusap ang mga disenyo at mga natuklasan ng mga tatlong mga eksperimento.
    2. Paano, kung sa lahat, gawin nila baguhin ang iyong interpretasyon ng Schultz et al. (2007) ?

15. [ ] Bilang tugon sa Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) nagpatakbo ng isang serye ng mga lab-tulad ng mga eksperimento sa pag-aaral ang disenyo ng electric bill. Narito kung paano sila ilarawan ito sa abstract:

    "Sa isang survey-based eksperimento, ang bawat kalahok nakita ang isang hypothetical koryente kuwenta para sa isang pamilya na may relatibong mataas na paggamit ng kuryente, na sumasakop sa impormasyon tungkol sa (a) makasaysayang paggamit, (b) mga paghahambing sa mga kapitbahay, at (c) makasaysayang paggamit sa appliance breakdown. Kalahok nakita lahat ng uri ng impormasyon sa isa sa tatlong mga format kabilang ang (a) mga talahanayan, (b) bar graph, at (c) icon graphs. Inuulat namin sa tatlong pangunahing mga natuklasan. Una, ang mga mamimili nauunawaan bawat uri ng koryente-use impormasyon sa mga pinaka-kapag ito ay iniharap sa isang table, marahil dahil tables mapadali simpleng point sa pagbabasa. Pangalawa, mga kagustuhan at intensyon upang i-save ng koryente ay ang strongest para sa makasaysayang impormasyon paggamit, independiyenteng ng format. Third, ang mga indibidwal na may mas mababang enerhiya literacy naiintindihan ang lahat ng impormasyon na mas mababa. "

    Hindi tulad ng iba follow-up na pag-aaral, ang pangunahing kinalabasan ng interes sa Canfield, Bruin, and Wong-Parodi (2016) ay iniulat uugali ay hindi aktwal na pag-uugali. Ano ang mga kalakasan at kahinaan ng ganitong uri ng pag-aaral sa isang mas malawak na programa ng pananaliksik pagtataguyod ng enerhiya savings?

16. [ , ] Smith and Pell (2003) ay isang satirical meta-analysis ng mga pag-aaral na nagpapakita ng pagiging epektibo ng parachutes. Pagtibayin ang:

    "Tulad ng maraming mga pamamagitan inilaan upang maiwasan masama sa kalusugan, ang pagiging epektibo ng parachutes ay hindi pa sumailalim sa mahigpit na pagsusuri sa pamamagitan ng paggamit randomized kinokontrol na pagsubok. Advocates ng katibayan based na gamot ay may criticized ang pag-aampon ng mga pamamagitan sinusuri sa pamamagitan ng paggamit lamang obserbasyonal data. Sa tingin namin na ang lahat ay maaaring makinabang kung ang pinaka-radikal protagonists ng katibayan based na gamot organisado at lumahok sa isang double bulag, randomized, placebo kinokontrol, crossover pagsubok ng parasyut. "

    Sumulat ng isang op-ed na angkop para sa isang pangkalahatang titulo ng rider pahayagan, tulad ng Ang New York Times, arguing laban sa fetishization ng experimental katibayan. Magbigay ng tiyak, kongkreto halimbawa. Hint: Tingnan din, Bothwell et al. (2016) at Deaton (2010)

17. [ , , ] Pagkakaiba-in-pagkakaiba estimators ng isang paggamot epekto ay maaaring maging mas tumpak na kaysa sa mga pagkakaiba-in-mean estimators. Sumulat ng memo sa isang engineer sa singil ng pagsubok na A / B sa isang start-up ng social media kumpanya na nagpapaliwanag ng halaga ng pagkakaiba-in-pagkakaiba na diskarte para sa pagpapatakbo ng isang online na eksperimento. memo ay dapat isama ang isang pahayag ng mga problema, ang ilang mga intuwisyon tungkol sa mga kondisyon sa ilalim kung saan ang pagkakaiba-in-pagkakaiba estimator ay outperform ang pagkakaiba-in-mean estimator, at isang simpleng simulation pag-aaral.

18. [ , ] Gary Loveman ay isang propesor sa Harvard Business School bago mawalan ng CEO ng Harrah ni, isa sa mga pinakamalaking kumpanya casino sa mundo. Kapag siya inilipat sa Harrah ni, Loveman transformed ang kumpanya na may isang madalas manlilipad-like loyalty program na nakolekta napakalaking halaga ng data tungkol sa customer pag-uugali. Sa tuktok ng ito laging-on pagsukat system, ang kumpanya ay nagsimula tumatakbo eksperimento. Halimbawa, maaari nilang magpatakbo ng isang eksperimento upang suriin ang epekto ng isang kupon para sa isang libreng gabi ng hotel para sa mga customer na may isang tiyak na pattern pagsusugal. Narito kung paano Loveman inilarawan ang kahalagahan ng pag-eksperimento sa araw-araw na gawi sa negosyo ni Harrah:

    "Ito ay tulad na hindi mo manggulo kababaihan, hindi mo magnakaw, at nakuha mo na magkaroon ng isang control group. Ito ang isa sa mga bagay na maaari mong mawala ang iyong trabaho para sa hindi Harrah's-hindi pagpapatakbo ng isang control group. " (Manzi 2012, 146)

    Sumulat ng isang email sa isang bagong empleyado na nagpapaliwanag kung bakit Loveman thinks ito ay kaya mahalaga na magkaroon ng isang control group. Dapat mong subukan upang isama ang isang halimbawa-alinman sa mga tunay o ginawa up-to ilarawan ang iyong point.

19. [ , ] Ang isang bagong eksperimento naglalayong upang matantya ang epekto ng pagtanggap ng mga paalala ng text message sa bakuna katalinuhan. 150 mga klinika, bawat isa ay may 600 na karapat-dapat sa mga pasyente, na nais na lumahok. May ay isang nakapirming halaga ng 100 dollars para sa bawat klinika na nais mong magtrabaho sa, at ito ay nagkakahalaga ng 1 dollar para sa bawat text message na gusto mong ipadala. Dagdag dito, ang anumang mga klinika na ikaw ay nagtatrabaho sa ay susukatin ang kinalabasan (kung ang isang tao ay nakatanggap ng isang bakuna) para sa libre. Ipagpalagay na ikaw ay may isang badyet ng 1000 dollars.

    1. Sa ilalim ng anong mga kondisyon ay maaaring ito ay mas mahusay na mag-focus ang iyong mga mapagkukunan sa isang maliit na bilang ng mga klinika at ang mga kundisyong ito ay maaaring maging mas mahusay na upang kumalat ang mga ito ng mas marami?
    2. Anong mga dahilan ay matukoy ang pinakamaliit na laki na epekto na ikaw ay able sa mapagkakatiwalaan tiktikan sa iyong badyet?
    3. Sumulat ng memo na nagpapaliwanag ang mga trade-offs sa isang potensyal na funder.

20. [ , ] Ang isang pangunahing problema sa mga online na kurso ay attrition; maraming estudyante na nagsisimula kurso end up bumababa-out. Isipin na ikaw ay nagtatrabaho sa isang online na platform sa pag-aaral, at isang taga-disenyo sa platform ay lumikha ng isang visual progress bar na siya thinks ay makakatulong sa maiwasan mag-aaral mula sa bumababa sa labas ng kurso. Gusto mong subukan ang mga epekto ng pag-unlad bar sa mga mag-aaral sa isang malaking computational course social science. Pagkatapos addressing anumang etikal na isyu na maaaring lumabas dahil sa eksperimento, ikaw at ang iyong mga kasamahan makakuha nag-aalala na ang mga kurso ay maaaring hindi magkaroon ng sapat na mag-aaral upang mapagkakatiwalaan tiktikan ang mga epekto ng progress bar. Sa kalkulasyon sa ibaba mo maaaring ipagpalagay na ang kalahati ng mga mag-aaral ay makakatanggap ng progress bar at kalahating hindi. Dagdag dito, maaari mong ipalagay na walang pagkagambala. Sa ibang salita, maaari mong ipalagay na ang mga kalahok ay apektado lamang sa pamamagitan ng kung tinanggap nila ang paggamot o control; sila ay hindi maapektuhan sa pamamagitan ng kung ang ibang mga tao na natanggap ang paggagamot o control (para sa isang mas pormal na kahulugan, tingnan ang Gerber and Green (2012) , Ch. 8). Mangyaring subaybayan ang anumang karagdagang mga pagpapalagay na ginawa mo.

    1. Ipagpalagay ang progress bar ay inaasahan na dagdagan ang proporsyon ng mga estudyanteng tapusin ang klase sa pamamagitan ng 1 porsyento point, kung ano ang sample size na kailangan upang mapagkakatiwalaan tiktikan ang epekto?
    2. Ipagpalagay ang progress bar ay inaasahan na dagdagan ang proporsyon ng mga estudyanteng tapusin ang klase sa pamamagitan ng 10 porsyento puntos, kung ano ang sample size na kailangan upang mapagkakatiwalaan tiktikan ang epekto?
    3. Ngayon isipin na ikaw ay tumakbo na ang eksperimento at mag-aaral na nakumpleto ang lahat ng mga materyales sa kurso ay gumawa ng isang huling pagsusulit. Kapag ihambing mo ang huling pagsusulit mga marka ng mag-aaral na nakatanggap ng progress bar sa mga na ay hindi, hanapin mo, magkano sa iyong sorpresa, na ang mga estudyanteng hindi nakatanggap ng progress bar aktwal nakapuntos mas mataas. Ang ibig sabihin nito na ang progress bar sanhi mag-aaral upang malaman ang mas mababa? Ano ang maaari mong matuto mula sa data kinalabasan? (Hint: Tingnan Gerber and Green (2012) , Ch 7.)

21. [ , ] Sa isang kaibig-ibig na papel, Lewis and Rao (2015) vividly ilarawan ang isang pangunahing statistical limitasyon ng kahit napakalaking eksperimento. Ang papel-na orihinal ay nagkaroon ng nakakapukaw pamagat "Sa Malapit-hindi ikapangyayari ng Pagsukat ng Ibinabalik sa Advertising" -Nagpapakita kung paano mahirap ito ay upang masukat ang balik sa investment ng mga patalastas sa online, kahit na may digital na mga eksperimento na kinasasangkutan milyon-milyong mga customer. Higit pang mga pangkalahatan, ang papel ay malinaw na nagpapakita na ito ay mahirap upang matantya maliit na epekto sa paggamot sa gitna maingay data kinalabasan. O nakasaad diffently, ang papel ay nagpapakita na tinatayang paggamot epekto ay magkakaroon ng malaking agwat ng kumpyansa kapag ang mga epekto-to-standard-paglihis (\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) ratio ay maliit. Ang mahalagang pangkalahatang aralin mula sa papel na ito ay na ang mga resulta mula sa mga eksperimento na may maliit na epekto-to-standard-paglihis ratio (eg, ROI ng mga kampanya ng patalastas) ay hindi sapat. Ang iyong hamon ay upang magsulat ng isang memo sa isang tao sa marketing department ng iyong kumpanya evaluting isang binalak na eksperimento upang masukat ang ROI ng isang kampanya ng patalastas. Ang iyong memo ay dapat na suportado na may mga graph ng mga resulta ng computer simulations.

    Narito ang ilang mga background na impormasyon na maaaring kailangan mo. Ang lahat ng mga de-numerong halaga ay tipikal ng ang tunay na mga eksperimento iniulat sa Lewis and Rao (2015) :

    • ROI, isang susi sukatan para sa mga online na kampanya ng ad, ay tinukoy na ang neto mula sa kampanya (gross profit mula sa kampanyang minus gastos ng kampanya) hinahati sa pamamagitan ng ang halaga ng mga kampanya. Halimbawa ng isang kampanya na ay walang epekto sa mga benta ay magkakaroon ng isang ROI ng -100% at ang isang kampanya kung saan kita na nabuo ay katumbas ng gastos na ito ay magkakaroon ng isang ROI ng 0.

    • ang ibig sabihin ng mga benta sa bawat customer ay $ 7 sa isang standard na paglihis ng $ 75.

    • ang kampanya ay inaasahan na dagdagan ang benta sa pamamagitan ng $ 0.35 sa bawat customer na tumutugon sa isang pagtaas sa kita ng $ 0,175 bawat customer. Sa ibang salita, ang gross margin ay 50%.

    • ang nakaplanong laki ng mga eksperimento ay 200,000 katao, kalahati sa grupo ng paggamot at kalahati sa control group.

    • ang gastos ng kampanya ay $ 0.14 per kalahok.

    Sumulat ng memo evaluting ang eksperimentong ito. Puwede ba kayong magrekomenda ng paglulunsad ang eksperimentong ito bilang binalak? Kung gayon, bakit? Kung hindi, ano ang mga pagbabago ay kayong magrekomenda?

    Ang isang mahusay na memo ay address ang mga tiyak na kaso; isang mas mahusay na memo ay ipahayag nang masaklaw mula sa kasong ito sa isang paraan (eg, ay nagpapakita kung paano ang desisyon pagbabago bilang isang function ng ang epekto-to-standard-paglihis ratio); at isang mahusay na memo ay kasalukuyan ng isang ganap na generalised resulta.

22. [ , ] Gawin ang parehong bilang ang nakaraang tanong, ngunit sa halip na simulation dapat mong gamitin analytic resulta.

23. [ , , ] Gawin ang parehong bilang ang nakaraang tanong, ngunit gamitin ang parehong kunwa at analytic resulta.

24. [ , , ] Isipin na ikaw ay may nakasulat na ang memo na inilarawan sa itaas-gamit ang alinman sa simulation, analytic mga resulta, o pareho-and isang tao mula sa departamento sa pagmemerkado na inirekomenda ng paggamit ng isang pagkakaiba-in-pagkakaiba estimator sa halip na isang pagkakaiba sa paraan estimator (tingnan ang Seksyon 4.6.2) . Sumulat ng isang bagong mas maikling memo na nagpapaliwanag kung paano ang isang 0.4 ugnayan sa pagitan ng mga benta bago ang eksperimento at mga benta pagkatapos ng eksperimento ay baguhin ang iyong mga konklusyon.

25. [ , ] Upang suriin ang pagkaepektibo ng isang bagong web-based career service, isang tanggapan ng mga serbisyo unibersidad karera na isinasagawa ng isang randomized control na pagsubok sa 10,000 mga mag-aaral ng pagpasok ng kanilang huling taon ng paaralan. Ang isang libreng subscription na may mga natatanging pag-log-in na impormasyon ay ipinadala sa pamamagitan ng isang eksklusibong email imbitasyon sa 5,000 ng random na piniling mag-aaral, habang ang iba pang 5,000 mag-aaral ay sa control group at hindi magkaroon ng isang subscription. Labindalawang buwan mamaya, ang isang follow-up na survey (na walang di-tugon) ay nagpapakita na sa parehong paggamot at kontrol group, 70% ng mga mag-aaral na-secure full-time na trabaho sa kanilang napiling larangan (Table 4.5). Kaya, tila na ang web-based na serbisyo ay walang epekto.

    Gayunman, ang isang matalino data scientist at ang unibersidad ay tumingin sa ang data ng kaunti mas malapit at natagpuan na lamang ng 20% ​​ng mga mag-aaral sa grupo paggamot kailanman naka-log in sa account pagkatapos matanggap ang email. Dagdag dito, at medyo nakakagulat na kabilang sa mga taong nakapag-log papunta sa website lamang ng 60% ay secured full-time na trabaho sa kanilang napiling larangan, na kung saan ay mas mababa kaysa sa rate para sa mga tao na hindi mag-log in at mas mababa kaysa sa rate para sa mga taong ang control kondisyon (Table 4.6).

    1. Magbigay ng paliwanag para sa kung ano ang maaaring nangyari.
    2. Ano ang dalawang magkaibang mga paraan upang makalkula ang epekto ng paggamot sa eksperimentong ito?
    3. Given na ito resulta, dapat ang unibersidad career service magbigay ng ito web-based na career service sa lahat ng mag-aaral? Kailangan lang na maging malinaw, ito ay hindi isang katanungan na may isang simpleng sagot.
    4. Ano ang dapat nilang gawin sa susunod?

    Pahiwatig: Ang tanong na ito napupunta sa kabila ng materyal na tinalakay sa kabanatang ito, ngunit address mga isyu karaniwan sa mga eksperimento. Ang ganitong uri ng pang-eksperimentong disenyo ay minsan ay tinatawag na isang encouragement disenyo dahil kalahok ay hinihikayat na gumawa ng paggamot. Ang problemang ito ay isang halimbawa ng kung ano ay tinatawag tagibang di-pagsunod (tingnan Gerber and Green (2012) , Ch. 5)

26. [ ] Pagkatapos ng higit pang pagsusuri, ito ay lumiliko out na ang mga eksperimento ng inilarawan sa mga naunang tanong ay kahit na mas masalimuot. Ito ay lumiliko out na ang 10% ng mga tao sa control group na binayaran para sa pag-access sa serbisyo, at sila ay natapos up sa isang rate ng trabaho ng 65% (Table 4.7).

    1. Sumulat ng isang email buod kung ano ang sa tingin mo ang nangyayari at magrekomenda ng kurso ng aksyon.

    Pahiwatig: Ang tanong na ito napupunta sa kabila ng materyal na tinalakay sa kabanatang ito, ngunit address mga isyu karaniwan sa mga eksperimento. Ang problemang ito ay isang halimbawa ng kung ano ay tinatawag magkabilaan di-pagsunod (tingnan Gerber and Green (2012) , Ch. 6)