Mga Aktibidad

• antas ng kahirapan: madali , daluyan , mahirap , napakahirap
• nangangailangan ng matematika ( )
• nangangailangan ng coding ( )
• pagkolekta ng data ( )
• ang aking mga paborito ( )

1. [ , ] Berinsky at mga kasamahan (2012) sinusuri MTurk sa bahagi sa pamamagitan ng pagkopya ng tatlong klasikong mga eksperimento. Repasuhin ang eksperimento ng eksperimento ng Asian Disease framing ni Tversky and Kahneman (1981) . Ang iyong mga resulta ay tumutugma sa Tversky at Kahneman? Ang iyong mga resulta ay tumutugma sa mga Berinsky at kasamahan? Ano-kung mayroon man-itinuturo ba nito sa amin ang tungkol sa paggamit ng MTurk para sa mga eksperimentong pagsusuri?

2. [ , ] Sa medyo dila-sa-pisngi papel na pinamagatang "Dapat Natin Magbuwag," ang sosyal na sikologo na si Robert Cialdini, isa sa mga may-akda ng Schultz et al. (2007) , ay sumulat na siya ay nagretiro sa maaga mula sa kanyang trabaho bilang isang propesor, sa bahagi dahil sa mga hamon na nahaharap niya sa paggawa ng mga eksperimento sa larangan sa isang disiplina (sikolohiya) na pangunahing nagsasagawa ng mga eksperimentong lab (Cialdini 2009) . Basahin ang papel ni Cialdini, at isulat sa kanya ang isang email na humihimok sa kanya na muling isaalang-alang ang kanyang break-up sa liwanag ng mga posibilidad ng mga digital na eksperimento. Gumamit ng mga tukoy na halimbawa ng pananaliksik na tumutugon sa kanyang mga alalahanin.

3. [ ] Upang matukoy kung ang mga maliliit na paunang tagumpay ay nakakandado o naglaho, ang mga van de Rijt at mga kasamahan (2014) intervened sa apat na magkakaibang sistema na nagtagumpay sa tagumpay sa mga napiling random na kalahok, at pagkatapos ay sinukat ang pangmatagalang epekto ng arbitraryong tagumpay na ito. Maaari mong isipin ang ibang mga sistema kung saan maaari kang magpatakbo ng mga katulad na eksperimento? Suriin ang mga sistemang ito sa mga tuntunin ng mga isyu ng pang-agham na halaga, algorithmic confounding (tingnan ang kabanata 2), at etika.

4. [ , ] Ang mga resulta ng isang eksperimento ay maaaring nakasalalay sa mga kalahok. Lumikha ng eksperimento at pagkatapos ay patakbuhin ito sa MTurk gamit ang dalawang magkaibang estratehiya sa pangangalap. Subukan na piliin ang mga estratehiya sa pag-eeksperimento at pangangalap upang ang mga resulta ay magkakaiba hangga't maaari. Halimbawa, ang iyong mga estratehiya sa pagrerekluta ay maaaring mag-recruit ng mga kalahok sa umaga at gabi o upang mabayaran ang mga kalahok na may mataas at mababang bayad. Ang mga uri ng mga pagkakaiba sa diskarte sa pagreretiro ay maaaring humantong sa iba't ibang mga pool ng mga kalahok at iba't ibang mga pang-eksperimentong resulta. Paano naiiba ang iyong mga resulta? Ano ang ibinubunyag nito tungkol sa pagpapatakbo ng mga eksperimento sa MTurk?

5. [ , , ] Isipin na pinaplano mo ang eksperimentong Emosyon sa Pamamagitan (Kramer, Guillory, and Hancock 2014) . Gamitin ang mga resulta mula sa naunang pag-aaral ng pagmamasid sa pamamagitan ng Kramer (2012) upang magpasya ang bilang ng mga kalahok sa bawat kondisyon. Ang dalawang pag-aaral na ito ay hindi tugma sa perpektong kaya tiyaking tahasang ilista ang lahat ng mga pagpapalagay na iyong ginagawa:

   1. Magpatakbo ng isang simulation na magpapasiya kung gaano karaming mga kalahok ang kinakailangan upang makita ang isang epekto bilang malaking bilang ang epekto sa Kramer (2012) may \(\alpha = 0.05\) at \(1 - \beta = 0.8\) .
   2. Gumawa ng parehong pagkalkula analytically.
   3. Given ang mga resulta mula sa Kramer (2012) Emosyonal Contagion (Kramer, Guillory, and Hancock 2014) over-powered (ibig sabihin, ito ay may mas maraming mga kalahok kaysa kinakailangan)?
   4. Sa mga pagpapalagay na ginawa mo, na may pinakamalaking epekto sa iyong pagkalkula?

6. [ , , ] Sagutin muli ang naunang tanong, ngunit oras na ito sa halip na gamitin ang naunang pag-aaral ng pagmamasid sa pamamagitan ng Kramer (2012) , gamitin ang mga resulta mula sa isang naunang likas na eksperimento ni Lorenzo Coviello et al. (2014) .

7. [ ] Parehong Margetts et al. (2011) at van de Rijt et al. (2014) nagsagawa ng mga eksperimento na nag-aaral sa proseso ng mga taong nag-sign ng isang petisyon. Ihambing at ihambing ang mga disenyo at natuklasan ng mga pag-aaral.

8. [ ] Si Dwyer, Maki, and Rothman (2015) nagsagawa ng dalawang mga eksperimento sa larangan sa ugnayan sa pagitan ng mga kaugalian sa lipunan at pag-uugali ng pro-kapaligiran. Narito ang abstract ng kanilang papel:

   "Paano magagamit ang sikolohikal na agham upang hikayatin ang proenvironmental na pag-uugali? Sa dalawang pag-aaral, ang mga interbensyon na naglalayong itaguyod ang pag-uugali ng konserbasyon ng enerhiya sa mga pampublikong banyo ay napagmasdan ang mga impluwensya ng mga mapaglarawang kaugalian at personal na responsibilidad. Sa Pag-aaral 1, ang katayuan ng ilaw (ibig sabihin, on o off) ay manipulahin bago ang isang tao ay pumasok sa isang hindi naninirahang pampublikong banyo, na nagpapahiwatig ng mapaglarawang pamantayan para sa setting na iyon. Ang mga kalahok ay mas malaki ang posibilidad na i-off ang mga ilaw kung sila ay off kapag sila ay pumasok. Sa Pag-aaral 2, ang isang karagdagang kondisyon ay kasama kung saan ang pamantayan ng pag-off ng liwanag ay ipinakita ng isang samahan, ngunit ang mga kalahok ay hindi ang kanilang mga sarili na responsable para sa pag-on ito. Pinamamahalaan ng personal na responsibilidad ang impluwensya ng mga kaugalian sa panlipunan sa pag-uugali; kapag ang mga kalahok ay hindi responsable para sa pag-on sa liwanag, ang impluwensiya ng pamantayan ay pinaliit. Ang mga resultang ito ay nagpapahiwatig kung paano maaaring mag-regulate ang mga mapaglarawang kaugalian at personal na responsibilidad sa pagiging epektibo ng mga interenyong proenvironmental. "

   Basahin ang kanilang papel at idisenyo ang isang pagtitiklop ng pag-aaral 1.

9. [ , ] Paggawa sa nakaraang tanong, isagawa ngayon ang iyong disenyo.

   1. Paano ihambing ang mga resulta?
   2. Ano ang maaaring ipaliwanag ang mga pagkakaiba na ito?

10. [ ] Nagkaroon ng malaking debate tungkol sa mga eksperimento gamit ang mga kalahok na hinikayat mula sa MTurk. Sa kahanay, mayroon ding malaking debate tungkol sa mga eksperimento gamit ang mga kalahok na hinikayat mula sa undergraduate na populasyon ng estudyante. Sumulat ng dalawang pahinang memo na naghahambing at nakikipagkumpitensya sa mga Turkista at mga undergraduates bilang mga kalahok sa pananaliksik. Ang iyong paghahambing ay dapat magsama ng isang talakayan ng parehong pang-agham at logistical isyu.

11. [ ] Ang aklat ni Jim Manzi na Walang Kontrolado (2012) ay isang kahanga-hangang panimula sa kapangyarihan ng pag-eksperimento sa negosyo. Sa aklat na isinulat niya ang sumusunod na kuwento:

    "Ako ay isang beses sa isang pulong sa isang tunay na negosyo henyo, isang self-made bilyunaryo na may isang malalim, intuitive understating ng kapangyarihan ng mga eksperimento. Ang kanyang kumpanya ay gumugol ng malaking mapagkukunan na nagsusumikap na lumikha ng magagandang store window na nagpapakita na makaakit ng mga mamimili at nagpapataas ng mga benta, ayon sa maginoo na karunungan na dapat sabihin. Maingat na sinubukan ng mga eksperto ang disenyo pagkatapos ng disenyo, at sa mga indibidwal na mga session sa pagsusuri ng pagsusuri sa loob ng isang panahon ng mga taon ay patuloy na nagpapakita ng walang makabuluhang epekto ng epekto ng bawat bagong disenyo ng display sa mga benta. Ang mga senior marketing at merchandising executives ay nakipagkita sa CEO upang repasuhin ang mga makasaysayang resulta ng pagsubok sa toto. Matapos iharap ang lahat ng data ng pang-eksperimentong, napagpasyahan nila na ang maginoo na karunungan ay mali-na ang pagpapakita ng window ay hindi nagtutulak ng mga benta. Ang kanilang pinapayong pagkilos ay upang mabawasan ang mga gastos at pagsisikap sa lugar na ito. Ang kapansin-pansing nagpakita ng kakayahan ng pag-eksperimento upang ibagsak ang maginoo karunungan. Ang tugon ng CEO ay simple: 'Ang aking konklusyon ay ang iyong mga designer ay hindi masyadong magandang.' Ang kanyang solusyon ay upang madagdagan ang pagsisikap sa disenyo ng display store, at upang makakuha ng mga bagong tao upang gawin ito. " (Manzi 2012, 158–9)

    Aling uri ng pagiging wasto ang pag-aalala ng CEO?

12. [ ] Paggawa sa nakaraang tanong, isipin na ikaw ay nasa pulong kung saan napag-usapan ang mga resulta ng mga eksperimento. Ano ang apat na tanong na maaari mong hilingin-isa para sa bawat uri ng bisa (statistical, construct, internal, at external)?

13. [ Pinag-aralan ang Bernedo, Ferraro, and Price (2014) sa pitong taon na epekto ng interbensyon ng tubig na inilarawan sa Ferraro, Miranda, and Price (2011) (tingnan ang figure 4.11). Sa papel na ito, hinangad din ni Bernedo at mga kasamahan na maintindihan ang mekanismo sa likod ng epekto sa pamamagitan ng paghahambing sa pag-uugali ng mga sambahayan na mayroon at hindi lumipat pagkatapos na maihatid ang paggamot. Iyon ay, humigit-kumulang, sinubukan nila upang makita kung ang paggamot ay nakakaapekto sa bahay o sa may-ari ng bahay.

    1. Basahin ang papel, ilarawan ang kanilang disenyo, at ibuod ang kanilang mga natuklasan.
    2. Nakakaapekto ba ang kanilang mga natuklasan kung paano mo masusuri ang pagiging epektibo ng gastos ng mga katulad na interbensyon? Kung gayon, bakit? Kung hindi, bakit hindi?

14. [ ] Sa isang follow-up sa Schultz et al. (2007) , nagtrabaho ang Schultz at mga kasamahan sa isang serye ng tatlong eksperimento sa epekto ng mga pamamaraang descriptive at injunctive sa ibang kapaligiran na pag-uugali (reuse ng tuwalya) sa dalawang konteksto (isang hotel at isang timeshare condominium) (Schultz, Khazian, and Zaleski 2008) .

    1. Ibuod ang disenyo at natuklasan ng tatlong eksperimento na ito.
    2. Paano, kung sa lahat, binabago nila ang iyong interpretasyon ng Schultz et al. (2007) ?

15. [ ] Bilang tugon kay Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) nagpatakbo ng isang serye ng mga eksperimento tulad ng lab na pag-aralan ang disenyo ng mga bill ng kuryente. Narito kung paano nila ilarawan ito sa abstract:

    "Sa isang eksperimento batay sa survey, ang bawat kalahok ay nakakita ng hypothetical bill ng koryente para sa isang pamilyang may mataas na paggamit sa kuryente, na sumasakop sa impormasyon tungkol sa (a) makasaysayang paggamit, (b) mga paghahambing sa mga kapitbahay, at (c) makasaysayang paggamit ng pagkakasira ng appliance. Nakita ng mga kalahok ang lahat ng mga uri ng impormasyon sa isa sa tatlong mga format kabilang ang (a) mga talahanayan, (b) mga graph ng bar, at (c) mga graph ng icon. Nag-uulat kami sa tatlong pangunahing natuklasan. Una, naiintindihan ng mga mamimili ang bawat uri ng impormasyon sa paggamit ng kuryente nang karamihan ay ipinakita sa isang talahanayan, marahil dahil ang mga talahanayan ay tumutulong sa simpleng pagbabasa ng punto. Pangalawa, ang mga kagustuhan at intensyon upang makatipid sa kuryente ang pinakamalakas sa impormasyon sa kasaysayan ng paggamit, na walang hangganan. Ikatlo, naiintindihan ng mga indibidwal na may mas mababang enerhiya sa karunungan ang lahat ng impormasyon. "

    Hindi tulad ng iba pang pag-aaral, ang pangunahing resulta ng interes sa Canfield, Bruin, and Wong-Parodi (2016) ay naiulat na pag-uugali, hindi aktwal na pag-uugali. Ano ang mga lakas at kahinaan ng ganitong uri ng pag-aaral sa mas malawak na programa ng pananaliksik na nagtataguyod ng mga pagtitipid ng enerhiya?

16. [ , ] Smith and Pell (2003) nagpakita ng satirical meta-analysis ng mga pag-aaral na nagpapakita ng pagiging epektibo ng mga parachute. Napagpasyahan nila:

    "Tulad ng maraming mga intervention na nilayon upang maiwasan ang masamang kalusugan, ang pagiging epektibo ng mga parachute ay hindi napailalim sa mahigpit na pagsusuri sa pamamagitan ng paggamit ng mga random na kinokontrol na mga pagsubok. Ang mga tagapagtaguyod ng mga gamot batay sa katibayan ay sinaway ang pag-aampon ng mga pamamagitan na sinusuri sa pamamagitan ng paggamit lamang ng data ng pagmamasid. Sa palagay namin ay maaaring makinabang ang lahat kung ang mga radikal na protagonista ng gamot batay sa ebidensiya ay inorganisa at nakilahok sa isang double blind, randomized, placebo controlled, crossover trial ng parasyut. "

    Sumulat ng isang op-ed na angkop para sa isang pangkalahatang-readership na pahayagan, tulad ng New York Times , arguing laban sa fetishization ng experimental na katibayan. Magbigay ng mga tukoy, kongkreto halimbawa. Pahiwatig: Tingnan din ang Deaton (2010) at Bothwell et al. (2016) .

17. [ , , ] Ang mga estimator ng pagkakaiba-sa-pagkakaiba sa isang epekto sa paggamot ay maaaring maging mas tumpak kaysa sa pagkakaiba-sa-ibig na tagatantya. Sumulat ng isang memo sa isang engineer na namamahala sa A / B na pagsubok sa isang start-up na kumpanya ng social media na nagpapaliwanag ng halaga ng pagkakaiba-sa-pagkakaiba na diskarte para sa pagpapatakbo ng isang online na eksperimento. Ang memo ay dapat magsama ng isang pahayag ng problema, ang ilang mga intuwisyon tungkol sa mga kondisyon kung saan ang pagkakaiba sa pagkakaiba-sa-pagkakaiba ay outperform ang pagkakaiba-sa-mean estimator, at isang simpleng pag-aaral simulation.

18. [ , ] Si Gary Loveman ay isang propesor sa Harvard Business School bago naging CEO ng Harrah's, isa sa pinakamalaking kompanya ng casino sa mundo. Nang lumipat siya sa Harrah's, binago ng Loveman ang kumpanya sa isang programang loyalty na madalas na lumulutang na nagtipon ng matinding halaga ng data tungkol sa pag-uugali ng customer. Sa ibabaw ng ganitong sistema ng pagsukat ng laging, ang kumpanya ay nagsimulang magpatakbo ng mga eksperimento. Halimbawa, maaari silang magpatakbo ng eksperimento upang suriin ang epekto ng isang kupon para sa isang libreng gabi ng hotel para sa mga customer na may partikular na pattern ng pagsusugal. Narito kung paano inilarawan ni Loveman ang kahalagahan ng pag-eksperimento sa mga pang-araw-araw na gawi sa negosyo ni Harrah:

    "Tulad ng hindi mo ginigipit ang mga kababaihan, hindi ka magnakaw, at kailangan mong magkaroon ng grupo ng kontrol. Ito ay isa sa mga bagay na maaari mong mawala ang iyong trabaho para sa Harrah's-hindi pagpapatakbo ng isang control group. " (Manzi 2012, 146)

    Sumulat ng isang email sa isang bagong empleyado na nagpapaliwanag kung bakit iniisip ni Loveman na napakahalaga na magkaroon ng isang control group. Dapat mong subukan na magsama ng isang halimbawa-alinman sa tunay o ginawa-upang ilarawan ang iyong punto.

19. [ , ] Ang isang bagong eksperimento ay naglalayong tantyahin ang epekto ng pagtanggap ng mga paalala ng text message sa pagbabakuna ng pagkuha. Isang daan at limampung klinika, bawat isa ay may 600 na karapat-dapat na pasyente, ay handa na lumahok. May isang nakapirming gastos na $ 100 para sa bawat klinika na nais mong magtrabaho kasama, at nagkakahalaga ng $ 1 para sa bawat text message na nais mong ipadala. Dagdag dito, ang anumang klinika na iyong ginagawa ay susukatin ang kinalabasan (kung may isang taong nakatanggap ng pagbabakuna) nang libre. Ipagpalagay na mayroon kang isang badyet na $ 1,000.

    1. Sa ilalim ng anong mga kondisyon ay maaaring maging mas mahusay na i-focus ang iyong mga mapagkukunan sa isang maliit na bilang ng mga klinika at sa ilalim ng kung ano ang mga kondisyon ay maaaring maging mas mahusay na upang maikalat ang mga ito nang mas malawak?
    2. Anong mga kadahilanan ang matutukoy ang pinakamaliit na sukat ng epekto na maaari mong mapagkakatiwalaan na matukoy sa iyong badyet?
    3. Sumulat ng isang memo na nagpapaliwanag ng mga trade-off na ito sa isang potensyal na tagapondo.

20. [ , ] Ang isang pangunahing problema sa mga online na kurso ay ang pag-ulit: maraming mga mag-aaral na nagsisimula sa mga kurso ay bumababa. Isipin na ikaw ay nagtatrabaho sa isang online learning platform, at isang taga-disenyo sa platform ay lumikha ng isang visual progress bar na sa palagay niya ay makakatulong sa maiwasan ang mga mag-aaral na mawalan ng kurso. Gusto mong subukan ang epekto ng progress bar sa mga mag-aaral sa isang malaking computational social science course. Pagkatapos matugunan ang anumang mga etikal na isyu na maaaring lumitaw sa eksperimento, ikaw at ang iyong mga kasamahan ay nag-aalala na ang kurso ay maaaring walang sapat na mga mag-aaral na mapagkakatiwalaan na makitang ang mga epekto ng progress bar. Sa mga sumusunod na kalkulasyon, maaari mong isipin na ang kalahati ng mga estudyante ay makakatanggap ng progress bar at hindi kalahati. Dagdag pa, maaari mong ipalagay na walang pagkagambala. Sa madaling salita, maaari mong ipalagay na ang mga kalahok ay apektado lamang kung natanggap nila ang paggamot o kontrol; hindi sila maapektuhan kung natanggap ng ibang tao ang paggamot o kontrol (para sa isang mas pormal na kahulugan, tingnan ang kabanata 8 ng Gerber and Green (2012) ). Subaybayan ang anumang mga karagdagang pagpapalagay na iyong ginagawa.

    1. Ipagpalagay na inaasahang tataas ang proporsyon ng pag-usad ng proporsiyon ng mga mag-aaral na nagtapos sa klase sa pamamagitan ng 1 porsyento na punto; ano ang laki ng sample na kailangan upang mapagkakatiwalaan tiktikan ang epekto?
    2. Ipagpalagay na inaasahang tataas ang proporsyon ng progreso ng proporsiyon ng mga mag-aaral na nagtapos sa klase sa pamamagitan ng 10 puntos na porsyento; ano ang laki ng sample na kailangan upang mapagkakatiwalaan tiktikan ang epekto?
    3. Ngayon isipin na pinatakbo mo ang eksperimento, at ang mga mag-aaral na nakakumpleto ang lahat ng mga materyales sa kurso ay kumuha ng pangwakas na pagsusulit. Kapag inihambing mo ang mga huling marka ng pagsusulit ng mga mag-aaral na tumanggap ng progresong bar sa mga marka ng mga hindi nagawa, natuklasan mo, ang iyong sorpresa, na ang mga mag-aaral na hindi nakatanggap ng progress bar ay nakakuha ng mas mataas na marka. Nangangahulugan ba ito na ang pag-unlad ng bar ay nagdulot ng mas kaunting kaalaman sa mga estudyante? Ano ang maaari mong matutunan mula sa data ng kinalabasan? (Pahiwatig: Tingnan ang kabanata 7 ng Gerber and Green (2012) )

21. [ , , ] Isipin na nagtatrabaho ka bilang isang siyentipikong datos sa isang kompanya ng tech. Ang isang tao mula sa departamento sa marketing ay humihiling ng iyong tulong sa pagsusuri ng isang eksperimento na pinaplano nila upang masukat ang return on investment (ROI) para sa isang bagong online na kampanya ng ad. Ang ROI ay tinukoy bilang netong kita mula sa kampanya na hinati sa gastos ng kampanya. Halimbawa, ang isang kampanya na walang epekto sa mga benta ay magkakaroon ng ROI ng -100%; isang kampanya kung saan ang kita na nakabuo ay katumbas ng mga gastos ay magkakaroon ng ROI ng 0; at isang kampanya kung saan ang kita na nakabuo ay doble ang gastos ay magkakaroon ng ROI ng 200%.

    Bago ilunsad ang eksperimento, ang departamento sa marketing ay nagbibigay sa iyo ng sumusunod na impormasyon batay sa kanilang naunang pananaliksik (sa katunayan, ang mga halagang ito ay tipikal ng mga tunay na online na kampanyang ad na iniulat sa Lewis at Rao (2015) ):

    • Ang ibig sabihin ng average na benta sa bawat customer ay isang log-normal na pamamahagi na may mean na $ 7 at isang karaniwang paglihis ng $ 75.
    • Ang kampanya ay inaasahang tataas ang benta sa pamamagitan ng $ 0.35 bawat customer, na tumutugma sa isang pagtaas sa kita ng $ 0.175 bawat customer.
    • Ang nakaplanong sukat ng eksperimento ay 200,000 katao: kalahati sa grupo ng paggamot at kalahati sa pangkat ng kontrol.
    • Ang gastos ng kampanya ay $ 0.14 bawat kalahok.
    • Ang inaasahang ROI para sa kampanya ay 25% [ \((0.175 - 0.14)/0.14\) ]. Sa ibang salita, naniniwala ang departamento sa marketing na para sa bawat 100 dolyar na ginugol sa marketing, ang kumpanya ay makakakuha ng karagdagang $ 25 sa kita.

    Sumulat ng isang memo na sinusuri ang ipinanukalang eksperimento. Ang iyong memo ay dapat gumamit ng katibayan mula sa isang kunwa na iyong nilikha, at dapat itong tugunan ang dalawang pangunahing isyu: (1) Inirerekomenda mo bang ilunsad ang eksperimentong ito tulad ng nakaplanong? Kung gayon, bakit? Kung hindi, bakit hindi? Tiyaking malinaw sa mga pamantayan na ginagamit mo upang gawin ang desisyon na ito. (2) Anong laki ng sample ang iyong inirerekomenda para sa eksperimentong ito? Muli mangyaring siguraduhin na maging malinaw tungkol sa pamantayan na iyong ginagamit upang gawin ang desisyon na ito.

    Ang isang mahusay na memo ay tutugon sa partikular na kaso na ito; ang isang mas mahusay na memo ay pangkalahatan mula sa kasong ito sa isang paraan (halimbawa, ipakita kung paano nagbabago ang desisyon bilang isang function ng laki ng epekto ng kampanya); at isang mahusay na memo ay magpapakita ng ganap na pangkalahatang resulta. Ang iyong memo ay dapat gumamit ng mga graph upang matulungan ilarawan ang iyong mga resulta.

    Narito ang dalawang pahiwatig. Una, ang departamento sa marketing ay maaaring magbigay sa iyo ng ilang hindi kinakailangang impormasyon, at maaaring hindi sila nabigyan ng ilang kinakailangang impormasyon. Ikalawa, kung ikaw ay gumagamit ng R, magkaroon ng kamalayan na ang function na rlnorm () ay hindi gumagana sa paraan na inaasahan ng maraming tao.

    Ang aktibidad na ito ay magbibigay sa iyo ng kasanayan sa pag-aaral ng kapangyarihan, paglikha ng mga simulation, at pakikipag-ugnayan sa iyong mga resulta sa mga salita at mga graph. Maaaring makatulong sa iyo na magsagawa ng pagtatasa ng kapangyarihan para sa anumang uri ng eksperimento, hindi lamang mga eksperimento na idinisenyo upang tantiyahin ang ROI. Ipinagpapalagay ng aktibidad na ito na mayroon kang ilang karanasan sa statistical testing at power analysis. Kung hindi ka pamilyar sa pagtatasa ng kapangyarihan, inirerekomenda ko na basahin mo ang "Isang Power Primer" ni Cohen (1992) .

    Ang aktibidad na ito ay kinasihan ng isang magandang papel ni RA Lewis and Rao (2015) , na malinaw na naglalarawan ng isang batayang limitasyon sa istatistika ng mga napakalaking eksperimento. Ang kanilang papel-na orihinal na may pang-akit na pamagat na "Sa Near-Imposibility ng Pagsukat ng Pagbalik sa Pag-advertise" -nagpapakita kung gaano kahirap na masukat ang return on investment ng mga online na ad, kahit na may mga digital na eksperimento na kinasasangkutan ng milyun-milyong customer. Sa pangkalahatan, ang RA Lewis and Rao (2015) naglalarawan ng isang pangunahing statistical fact na partikular na mahalaga sa mga eksperimento sa digital na edad: mahirap matantya ang maliliit na epekto sa paggamot sa gitna ng maingay na data ng kinalabasan.

22. [ , ] Gawin ang parehong bilang nakaraang tanong, ngunit, sa halip na kunwa, dapat mong gamitin ang mga resulta ng analytical.

23. [ , , ] Gawin ang parehong bilang ng nakaraang tanong, ngunit gamitin ang parehong mga kunwa at analytical resulta.

24. [ , , ] Isipin na isinulat mo ang memo na inilarawan sa itaas, at ang isang tao mula sa departamento sa marketing ay nagbibigay ng isang piraso ng bagong impormasyon: inaasahan nila ang 0.4 ugnayan sa pagitan ng mga benta bago at pagkatapos ng eksperimento. Paano ito nagbabago ng mga rekomendasyon sa iyong memo? (Pahiwatig: tingnan ang seksyon 4.6.2 para sa higit pa sa pagkakaiba-sa-ibig sabihin ng estimator at ang pagkakaiba-sa-pagkakaiba estimator.)

25. [ , ] Upang masuri ang pagiging epektibo ng isang bagong web-based na programa sa pagtatrabaho sa trabaho, isang unibersidad ay nagsagawa ng randomized control trial sa pagitan ng 10,000 mga mag-aaral na pumapasok sa kanilang huling taon ng paaralan. Ang isang libreng subscription na may natatanging impormasyon sa pag-log-in ay naipadala sa pamamagitan ng isang eksklusibong imbitasyon sa email sa 5,000 ng mga random na napiling mag-aaral, habang ang iba pang mga 5,000 mag-aaral ay nasa control group at walang subscription. Pagkalipas ng labindalawang buwan, ang isang follow-up na survey (na walang walang sagot) ay nagpakita na sa parehong mga grupong paggamot at kontrol, 70% ng mga estudyante ang nakakuha ng full-time na trabaho sa kanilang napiling larangan (talahanayan 4.6). Kaya, tila ang serbisyo sa web-based ay walang epekto.

    Gayunpaman, isang matalino na data na siyentipiko sa unibersidad ang tumingin sa data ng isang mas malapit at natagpuan na lamang ng 20% ​​ng mga mag-aaral sa grupo ng paggamot na kailanman naka-log in sa account pagkatapos matanggap ang email. Dagdag pa, at medyo nakakagulat, kabilang sa mga nag-log in sa website, 60% lamang ang nakakuha ng full-time na trabaho sa kanilang piniling larangan, na mas mababa kaysa sa rate para sa mga taong hindi nag-log in at mas mababa kaysa sa rate para sa mga tao sa kondisyon ng kontrol (talahanayan 4.7).

    1. Magbigay ng paliwanag kung ano ang maaaring nangyari.
    2. Ano ang dalawang magkakaibang paraan upang kalkulahin ang epekto ng paggamot sa eksperimentong ito?
    3. Dahil sa resulta na ito, dapat bang ibigay ang serbisyong ito sa lahat ng mag-aaral? Lamang upang maging malinaw, ito ay hindi isang katanungan na may isang simpleng sagot.
    4. Ano ang dapat nilang gawin sa susunod?

    Pahiwatig: Ang tanong na ito ay lampas sa materyal na sakop sa kabanatang ito, ngunit tumutugon sa mga isyu na karaniwan sa mga eksperimento. Ang ganitong uri ng pang-eksperimentong disenyo ay paminsan-minsan ay tinatawag na isang disenyo ng encouragement dahil ang mga kalahok ay hinihikayat na makisali sa paggamot. Ang problemang ito ay isang halimbawa ng kung ano ang tinatawag na tagibang hindi pagsunod (tingnan ang kabanata 5 ng Gerber and Green (2012) ).

26. [ ] Pagkatapos ng karagdagang pagsusuri, lumitaw na ang eksperimento na inilarawan sa naunang tanong ay mas kumplikado. Tinalikuran nito na 10% ng mga tao sa grupo ng kontrol ang binayaran para sa pag-access sa serbisyo, at natapos sila sa isang rate ng trabaho na 65% (talahanayan 4.8).

    1. Isulat ang isang email na nagbubuod kung ano ang iyong iniisip na nangyayari at inirerekomenda ang isang pagkilos.

    Pahiwatig: Ang tanong na ito ay lampas sa materyal na sakop sa kabanatang ito, ngunit tumutugon sa mga isyu na karaniwan sa mga eksperimento. Ang problemang ito ay isang halimbawa ng tinatawag na two-sided noncompliance (tingnan ang kabanata 6 ng Gerber and Green (2012) ).