gweithgareddau

allwedd:

• rhywfaint o anhawster: hawdd , canolig , yn galed , Yn galed iawn
• ei gwneud yn ofynnol mathemateg ( )
• ei gwneud yn ofynnol codio ( )
• casglu data ( )
• fy ffefrynnau ( )

1. [ , ] Berinsky a chydweithwyr (2012) yn gwerthuso Mecanyddol Turk yn rhannol drwy ailadrodd tair arbrofion clasurol. Dyblygu'r Asiaidd arbrawf fframio Clefyd clasurol gan Tversky and Kahneman (1981) . A yw eich canlyniadau cyfatebol Tversky a Kahneman yn? A yw eich canlyniadau cyfatebol Berinsky a chydweithwyr? Beth-os o gwbl-mae hyn yn dysgu i ni am ddefnyddio Mecanyddol Turk gyfer arbrofion arolwg?

2. [ , ] Mewn papur braidd tafod-mewn-boch dwyn ​​y teitl "Rydym wedi i Break Up," y seicolegydd cymdeithasol Robert Cialdini, un o awduron Schultz et al. (2007) , ysgrifennodd ei fod yn ymddeol yn gynnar o'i swydd fel athro, yn rhannol oherwydd yr heriau a wynebodd yn gwneud arbrofion maes mewn disgyblaeth (seicoleg) sydd yn bennaf yn cynnal arbrofion labordy (Cialdini 2009) . Darllenwch papur Cialdini, ac ysgrifennu e-bost ei annog i ailystyried ei chwalu yn sgil y posibiliadau o arbrofion digidol ef. Defnyddiwch enghreifftiau penodol o waith ymchwil sy'n mynd i'r afael ei bryderon.

3. [ ] Er mwyn penderfynu a llwyddiannau cychwynnol bach cloi i mewn neu diflannu i ffwrdd, van de Rijt ac a chydweithwyr (2014) ymyrryd yn bedwar system wahanol anrhegu llwyddiant ar gyfranogwyr a ddewiswyd ar hap, ac yna mesur yr effeithiau hirdymor y llwyddiant mympwyol. Allwch chi feddwl am systemau eraill y gallech gynnal arbrofion tebyg? Gwerthuso systemau hyn o ran materion o werth gwyddonol, dryslyd algorithmig (gweler Pennod 2), a moeseg.

4. [ , ] Mae canlyniadau'r arbrawf yn dibynnu ar y cyfranogwyr. Creu arbrawf ac yna redeg ar Amazon Mecanyddol Turk (MTurk) gan ddefnyddio dau strategaethau recriwtio gwahanol. Ceisiwch ddewis y strategaethau arbrawf a recriwtio fel y bydd y canlyniadau fod mor wahanol ag y bo modd. Er enghraifft, gallai eich strategaethau recriwtio fyddai recriwtio cyfranogwyr yn y bore a gyda'r nos neu i wneud iawn gyfranogwyr gyda chyflog uchel ac isel. Gallai'r mathau hyn o wahaniaethau mewn strategaeth recriwtio yn arwain at wahanol byllau o gyfranogwyr a chanlyniadau arbrofol gwahanol. Pa mor wahanol oedd eich canlyniadau troi allan? Beth mae hynny'n ei ddatgelu am redeg arbrofion ar MTurk?

5. [ , , , ] Dychmygwch eich bod yn cynllunio astudiaeth Contagion Emosiynol (Kramer, Guillory, and Hancock 2014) . Defnyddio'r canlyniadau o astudiaeth arsylwadol cynharach gan Kramer (2012) i benderfynu ar y nifer o gyfranogwyr ym mhob cyflwr. Nid yw'r ddwy astudiaeth yn cyfateb yn berffaith, felly gwnewch yn siŵr i restru'r holl ragdybiaethau yr ydych yn gwneud yn benodol:

   1. Rhedeg efelychiad a fydd yn penderfynu faint o gyfranogwyr y byddai wedi cael eu hangen i ganfod effaith mor fawr â'r effaith yng Kramer (2012) gyda \ (\ alpha = .05 \) a \ (1 - \ beta = 0.8 \).
   2. Gwnewch yr un cyfrifiad yn ddadansoddol.
   3. O ystyried y canlyniadau o Kramer (2012) yn Contagion Emosiynol (Kramer, Guillory, and Hancock 2014) gor-bweru (hy, oedd ei fod yn cael mwy o gyfranogwyr nag sydd ei angen)?
   4. O'r rhagdybiaethau a wnaethoch, sy'n cael yr effaith fwyaf ar eich cyfrifiad?

6. [ , , , ] Atebwch y cwestiwn uchod, ond yn hytrach na defnyddio'r astudiaeth arsylwadol gynharach gan Kramer (2012) defnyddio canlyniadau arbrawf naturiol cynharach gan Coviello et al. (2014) .

7. [ ] Mae'r ddau Rijt et al. (2014) a Margetts et al. (2011) y ddau yn perfformio arbrofion sy'n astudio y broses o bobl arwyddo deiseb. Cymharwch a chyferbynnwch y dyluniad a chanfyddiadau astudiaethau hyn.

8. [ ] Dwyer, Maki, and Rothman (2015) cynhaliodd ddau arbrawf maes ar y berthynas rhwng normau cymdeithasol ac ymddygiad proenvironmental. Dyma y crynodeb o'u papur:

   "Sut y gallai gwyddoniaeth seicolegol yn cael eu defnyddio i annog ymddygiad proenvironmental? Mewn dwy astudiaeth, ymyriadau sy'n anelu at hyrwyddo ymddygiad arbed ynni mewn ystafelloedd ymolchi cyhoeddus a archwiliwyd dylanwadau normau disgrifiadol a chyfrifoldeb personol. Yn Astudiaeth 1, y statws golau (hy, ar neu oddi) gael ei drin cyn i rywun daeth i ystafell ymolchi cyhoeddus gwag, signalau norm disgrifiadol ar gyfer y lleoliad hwnnw. Roedd y cyfranogwyr yn arwyddocaol fwy tebygol o droi y goleuadau i ffwrdd os oeddent i ffwrdd pan aethant i mewn. Yn Astudiaeth 2, amod ychwanegol ei gynnwys yn lle y norm o droi oddi ar y golau ei dangos gan Confederate, ond nid yw cyfranogwyr eu hunain yn gyfrifol am droi ymlaen. Cyfrifoldeb personol cymedroli dylanwad normau cymdeithasol ar ymddygiad; pan nad yw cyfranogwyr yn gyfrifol am droi ar y golau, mae dylanwad y norm yn lleihau. Mae'r canlyniadau hyn yn dangos sut mae normau a chyfrifoldeb personol disgrifiadol gall rheoleiddio effeithiolrwydd ymyriadau proenvironmental. "

   Darllenwch eu papur a dylunio replication astudio 1.

9. [ , ] Gan adeiladu ar y cwestiwn blaenorol, yn awr yn cyflawni eich cynllun.

   1. Sut mae canlyniadau yn cymharu?
   2. Beth allai egluro'r gwahaniaethau hyn?

10. [ ] Cafwyd trafodaeth sylweddol am arbrofion gan ddefnyddio cyfranogwyr eu recriwtio o Amazon Mecanyddol Turk. Ochr yn ochr, mae hefyd wedi bod yn ddadl sylweddol ynghylch arbrofion gan ddefnyddio cyfranogwyr eu recriwtio o boblogaethau fyfyrwyr israddedig. Ysgrifennwch memo dwy dudalen cymharu a chyferbynnu Turkers ac israddedigion fel cyfranogwyr ymchwilwyr. Dylai eich cymhariaeth yn cynnwys trafodaeth ar faterion gwyddonol a logistaidd.

11. [ Llyfr] Jim Manzi yn direolaeth (2012) yn gyflwyniad gwych i rym arbrofi mewn busnes. Yn y llyfr fe cyfleu y stori hon:

    "Roeddwn unwaith mewn cyfarfod gyda athrylith busnes yn wir, yn biliwnydd hunan-made a gafodd understating dwfn, sythweledol o rym arbrofion. Mae ei gwmni Treuliodd adnoddau sylweddol ceisio creu arddangosfeydd ffenestr siop wych fyddai'n denu defnyddwyr a gwerthiant yn cynyddu, fel y dywedodd doethineb confensiynol y dylent. Mae arbenigwyr yn profi yn ofalus dylunio ar ôl dylunio, ac mewn sesiynau adolygu profion unigol dros gyfnod o flynyddoedd a gedwir yn dangos unrhyw effaith achosol sylweddol pob dyluniad arddangos newydd ar werthiannau. Cyfarfu Uwch marchnata a marsiandïo swyddogion gweithredol gyda'r Prif Swyddog Gweithredol i adolygu canlyniadau profion hanesyddol hyn yn Toto. Ar ôl cyflwyno'r holl ddata arbrofol, daethant i'r casgliad bod y ddoethineb confensiynol nid oedd arddangosfeydd anghywir-y ffenestr yn gyrru gwerthiant. Mae eu camau gweithredu a argymhellwyd oedd lleihau costau ac ymdrech yn y maes hwn. Mae hyn yn dangos yn ddramatig ar allu arbrofi i wyrdroi ddoethineb confensiynol. Ymateb y Prif Swyddog Gweithredol oedd syml: 'Fy nghasgliad yw nad yw eich dylunwyr yn dda iawn.' Ei ateb oedd cynyddu'r ymdrech mewn dylunio siop arddangos, ac i gael pobl newydd i wneud hynny. " (Manzi 2012, 158–9)

    Pa fath o ddilysrwydd yw'r pryder y Prif Swyddog Gweithredol?

12. [ ] Gan adeiladu ar y cwestiwn blaenorol, dychmygwch eich bod yn yn y cyfarfod lle canlyniadau'r arbrofion yn cael eu trafod. Beth yw pedwar cwestiwn y gallech eu gofyn, un ar gyfer pob math o ddilysrwydd (ystadegol, adeiladu, mewnol, ac allanol)?

13. [ ] Bernedo, Ferraro, and Price (2014) yn astudio'r effaith saith mlynedd yr ymyrraeth arbed dŵr a ddisgrifir yn Ferraro, Miranda, and Price (2011) (gweler Ffigur 4.10). Yn y papur hwn, Bernedo a chydweithwyr hefyd yn ceisio deall y mecanwaith y tu ôl i'r effaith drwy gymharu ymddygiad aelwydydd sydd ac nid wedi symud ar ôl y driniaeth ei gyflwyno. Hynny yw, yn fras, maent yn ceisio gweld a oedd y driniaeth yn effeithio y cartref neu berchennog y tŷ.

    1. Darllenwch y papur, yn disgrifio eu dyluniad, ac yn crynhoi eu canfyddiadau. b) A oes eu canfyddiadau yn effeithio sut y dylech asesu cost-effeithiolrwydd ymyriadau tebyg? Os felly, pam? Os nad yw, pam?

14. [ ] Yn y dilyniant i Schultz et al. (2007) , Schultz a chydweithwyr yn perfformio cyfres o dri arbrofion ar effaith normau disgrifiadol a gwaharddol ar ymddygiad amgylcheddol gwahanol (ailddefnyddio tywel) mewn dau gyd-destun (a gwesty a condominium cyfnodrannu) (Schultz, Khazian, and Zaleski 2008) .

    1. Crynhoi'r dyluniad a chanfyddiadau y tri arbrofion.
    2. Sut, os o gwbl, y maent yn newid eich dehongliad o Schultz et al. (2007) ?

15. [ ] Mewn ymateb i'r Schultz et al. (2007) , Canfield, Bruin, and Wong-Parodi (2016) yn rhedeg cyfres o arbrofion labordy tebyg i astudio dyluniad filiau trydan. Dyma sut y maent yn ei disgrifio yn y crynodeb:

    "Mewn arbrawf sy'n seiliedig ar arolwg-, gwelodd pob cyfranogwr bil trydan damcaniaethol ar gyfer teulu gyda defnydd o drydan cymharol uchel, yn cwmpasu gwybodaeth am (a) defnydd hanesyddol, (b) cymariaethau i gymdogion, a (c) defnydd hanesyddol gyda dadansoddiad offer. Gwelodd y cyfranogwyr pob math o wybodaeth mewn un o dri fformatau yn cynnwys (a) byrddau, (b) graffiau bar, ac (c) Eicon graffiau. Rydym yn adrodd ar dri phrif ganfyddiadau. Yn gyntaf, mae defnyddwyr yn deall pob math o wybodaeth trydan-ddefnydd y mwyaf pan gafodd ei gyflwyno mewn tabl, efallai oherwydd tablau yn hwyluso darllen pwynt syml. Yn ail, dewisiadau a bwriadau i arbed trydan yn y cryfaf ar gyfer y wybodaeth defnydd hanesyddol, yn annibynnol ar fformat. Yn drydydd, unigolion gyda llythrennedd ynni is yn deall yr holl wybodaeth yn llai. "

    Yn wahanol i astudiaethau dilynol eraill, y prif ganlyniad o ddiddordeb yn Canfield, Bruin, and Wong-Parodi (2016) yn cael ei adrodd ymddygiad nad yw ymddygiad gwirioneddol. Beth yw cryfderau a gwendidau'r math hwn o astudio mewn rhaglen ymchwil ehangach hyrwyddo arbedion ynni?

16. [ , ] Smith and Pell (2003) yn meta-ddadansoddiad dychanol o astudiaethau sy'n dangos pa mor effeithiol yw parasiwtiau. Maent yn dod i'r casgliad:

    "Fel gyda llawer o ymyriadau a fwriedir i atal afiechyd, effeithiolrwydd y parasiwtiau nid yw wedi bod yn destun i werthuso trylwyr drwy ddefnyddio treialon rheoledig ar hap. Mae eiriolwyr meddygaeth sy'n seiliedig ar dystiolaeth wedi beirniadu'r mabwysiadu ymyriadau gwerthuso gan ddefnyddio data yn unig arsylwadol. Rydym yn credu y gallai pawb elwa pe y brif gymeriadau mwyaf radical o feddygaeth sy'n seiliedig ar dystiolaeth trefnu a chymryd rhan mewn dall dwbl, ar hap, placebo reolir, treial trawsgroesiad y parasiwt. "

    Ysgrifennwch op-ed yn addas ar gyfer papur newydd darllenwyr cyffredinol, fel The New York Times, gan ddadlau yn erbyn y fetishization o dystiolaeth arbrofol. Rhowch enghreifftiau penodol, concrid. Awgrym: Gweler hefyd, Bothwell et al. (2016) a Deaton (2010)

17. [ , , ] Gwahaniaeth-mewn-gwahaniaethau y gall estimators o effaith triniaeth yn fwy manwl gywir na estimators gwahaniaeth-yng-cymedr. Ysgrifennwch memo at peiriannydd yn gyfrifol am A profion / B mewn cwmni cyfryngau cymdeithasol cychwyn yn egluro gwerth y dull gwahaniaeth-yng-gwahaniaethau ar gyfer rhedeg arbrawf ar-lein. Dylai'r memo gynnwys datganiad o'r broblem, mae rhai greddf am yr amodau y bydd y Amcangyfrif gwahaniaeth-yn-gwahaniaeth perfformio'n well na'r Amcangyfrif gwahaniaeth-yn-cymedr, ac astudiaeth efelychiad syml.

18. [ , ] Gary Loveman yn athro yn Ysgol Fusnes Harvard cyn dod y Prif Swyddog Gweithredol Harrah, yn un o'r cwmnïau casino mwyaf yn y byd. Pan symudodd i Harrah, yn trawsnewid Loveman y cwmni gyda rhaglen teyrngarwch taflen-fel yn aml sy'n casglu symiau aruthrol o ddata am ymddygiad cwsmeriaid. Ar ben hyn system fesur bob amser-ar, dechreuodd y cwmni sy'n rhedeg arbrofion. Er enghraifft, efallai y byddant yn rhedeg arbrawf i werthuso effaith cwpon ar gyfer noson gwesty rhad ac am ddim ar gyfer cwsmeriaid gyda phatrwm gamblo penodol. Dyma sut Disgrifiodd Loveman bwysigrwydd arbrofi i arferion busnes o ddydd i ddydd Harrah yn:

    "Mae fel nad ydych yn aflonyddu ar fenywod, nad ydych yn dwyn, ac mae'n rhaid i chi gael grŵp rheoli. Mae hwn yn un o'r pethau y gallwch golli eich swydd am o Harrah's-ddim rhedeg grŵp rheoli. " (Manzi 2012, 146)

    Ysgrifennwch e-bost at cyflogai newydd yn egluro pam Loveman yn credu ei bod mor bwysig i gael grŵp rheoli. Dylech geisio cynnwys enghraifft-naill ai gwirioneddol neu eu gwneud i fyny-i egluro eich pwynt.

19. [ , ] Mae arbrawf newydd yn anelu i amcangyfrif yr effaith o dderbyn nodiadau atgoffa neges destun ar nifer sy'n derbyn brechiad. 150 clinigau, pob un â 600 o gleifion cymwys, yn fodlon cymryd rhan. Mae cost sefydlog o 100 o ddoleri ar gyfer pob clinig rydych eisiau gweithio gyda, ac mae'n costio 1 doler ar gyfer pob neges testun yr ydych eisiau anfon. Ymhellach, bydd unrhyw clinigau eich bod yn gweithio gyda mesur canlyniad (a yw rhywun wedi derbyn brechiad) ar gyfer rhad ac am ddim. Tybiwch fod gennych gyllideb o 1000 ddoleri.

    1. O dan ba amodau y gallai fod yn well i ganolbwyntio eich adnoddau ar nifer fach o glinigau ac o dan ba amodau y gallai fod yn well i ledaenu yn fwy eang?
    2. Pa ffactorau a fyddai'n pennu maint effaith lleiaf y byddwch yn gallu canfod ddibynadwy gyda eich cyllideb?
    3. Ysgrifennwch memo yn egluro'r rhain cyfaddawdau i ariannwr posibl.

20. [ , ] Un broblem fawr gyda chyrsiau ar-lein yw athreuliad; mae llawer o fyfyrwyr sy'n dechrau cyrsiau yn y pen draw gollwng allan. Dychmygwch eich bod yn gweithio mewn llwyfan dysgu ar-lein, ac dylunydd yn y llwyfan wedi creu bar cynnydd gweledol ei bod yn credu y bydd yn helpu i atal myfyrwyr rhag gadael y cwrs. Byddwch am brofi effaith y bar cynnydd ar fyfyrwyr mewn cwrs gwyddoniaeth gymdeithasol cyfrifiannol mawr. Ar ôl i'r afael ag unrhyw faterion moesegol a allai godi yn yr arbrawf, byddwch chi a'ch cydweithwyr yn cael poeni y gallai nid yw'r cwrs yn cael digon o fyfyrwyr i ddibynadwy canfod effaith y bar cynnydd. Yn y cyfrifiadau isod gallwch gymryd yn ganiataol bod hanner y myfyrwyr yn derbyn y bar cynnydd a hanner peidio. Bellach, gallwch gymryd yn ganiataol nad oes unrhyw ymyrraeth. Mewn geiriau eraill, gallwch gymryd yn ganiataol bod y cyfranogwyr yn cael eu heffeithio yn unig gan a oeddent yn derbyn y driniaeth neu reolaeth; Nid ydynt yn cael eu heffeithio gan a yw pobl eraill yn derbyn y driniaeth neu reolaeth (am ddiffiniad mwy ffurfiol, gweler Gerber and Green (2012) , Ch. 8). Os gwelwch yn dda gadw golwg ar unrhyw tybiaethau ychwanegol yr ydych yn gwneud.

    1. Tybiwch y bar cynnydd yn cael ei disgwyl i gynyddu cyfran y myfyrwyr sy'n gorffen y dosbarth o 1 pwynt canran, yr hyn sy'n angenrheidiol i ddibynadwy ganfod yr effaith maint y sampl?
    2. Tybiwch y bar cynnydd yn cael ei disgwyl i gynyddu cyfran y myfyrwyr sy'n gorffen y dosbarth o 10 pwynt canran, beth yw ei angen i ddibynadwy ganfod yr effaith maint y sampl?
    3. Nawr, dychmygwch eich bod wedi rhedeg yr arbrawf a myfyrwyr sydd wedi cwblhau holl ddeunyddiau cwrs wedi cymryd arholiad terfynol. Pan fyddwch yn cymharu'r sgoriau arholiad terfynol o fyfyrwyr a dderbyniodd y bar cynnydd i'r rhai nad oedd, i ddod o hyd, er mawr syndod eich, bod myfyrwyr nad oeddent yn cael y bar cynnydd mewn gwirionedd yn sgorio'n uwch. Ydy hyn yn golygu bod y bar cynnydd a achosir myfyrwyr i ddysgu llai? Beth allwch chi ei ddysgu o hyn ddata canlyniad? (Awgrym: Gweler Gerber and Green (2012) , Ch 7.)

21. [ , ] Mewn papur hyfryd, Lewis and Rao (2015) yn dangos yn glir cyfyngiad ystadegol sylfaenol o arbrofion hyd yn oed yn enfawr. Mae'r papur-a oedd â'r teitl pryfoclyd "Ar y Ger-amhosibl Mesur Ffurflenni i Hysbysebu" yn wreiddiol -shows pa mor anodd yw hi i fesur yr adenillion ar fuddsoddiad o hysbysebion ar-lein, hyd yn oed gyda arbrofion digidol sy'n cynnwys miliynau o gwsmeriaid. Yn fwy cyffredinol, mae'r papur yn dangos yn glir ei bod yn anodd i amcangyfrif effaith triniaeth bach yng nghanol ddata canlyniadau swnllyd. Neu a fynegwyd diffently, mae'r papur yn dangos y bydd effeithiau triniaeth amcangyfrifedig cael cyfyngau hyder mawr pan y safon-gwyriad effaith-i-(\ (\ frac {\ delta \ bar {y}} {\ sigma} \)) gymhareb yn fach. Y wers gyffredinol pwysig o'r papur hwn yw bod canlyniadau o arbrofion gyda chymhareb bach o effaith-i-safonol-gwyriad (ee, ROI ymgyrchoedd ad) yn unsatisfying. Bydd eich her fydd i ysgrifennu memo at rywun yn yr adran farchnata eich cwmni evaluting arbrawf a gynlluniwyd i fesur ROI o ymgyrch ad. Dylai eich memo yn cael ei gefnogi gyda graffiau o ganlyniadau'r efelychiadau cyfrifiadurol.

    Dyma rywfaint o wybodaeth gefndirol a allai fod eu hangen arnoch. Mae pob un o'r gwerthoedd rhifiadol hyn yn nodweddiadol o'r arbrofion go iawn adroddwyd yn Lewis and Rao (2015) :

    • ROI, metrig allweddol ar gyfer ymgyrchoedd ad ar-lein, yn cael ei ddiffinio fel y elw net o'r ymgyrch (elw gros o ymgyrch minws cost ymgyrch) wedi'i rannu gan gost yr ymgyrch. Er enghraifft, ymgyrch a oedd unrhyw effaith ar werthiant y byddai'n cael ROI o -100% ac ymgyrch ble elw a gynhyrchir yn hafal i'r costau y byddai'n cael ROI o 0.

    • mae'r gwerthiant cymedrig i bob cwsmer yn $ 7 ag gwyriad safonol o $ 75.

    • disgwylir i'r ymgyrch i gynyddu gwerthiant gan $ 0.35 y cwsmer sy'n cyfateb i gynnydd mewn elw o $ 0.175 fesul cwsmer. Mewn geiriau eraill, mae'r elw gros yn 50%.

    • maint a gynlluniwyd yr arbrawf yw 200,000 o bobl, hanner yn y grŵp triniaeth a hanner yn y grŵp rheoli.

    • cost yr ymgyrch yw 0.14 $ fesul cyfranogwr.

    Ysgrifennwch memo evaluting arbrawf hwn. A fyddech yn argymell lansio'r arbrawf hwn fel y cynlluniwyd? Os felly, pam? Os na, pa newidiadau fyddech chi'n ei argymell?

    Bydd memo da yn mynd i'r afael achos penodol hwn; Bydd memo gwell cyffredinoli o'r achos hwn yn un ffordd (ee, yn dangos sut mae'r penderfyniad newidiadau o swyddogaeth y gymhareb o effaith-i-safonol-gwyriad); a bydd memo mawr yn cyflwyno canlyniad cyffredinol yn llawn.

22. [ , ] Gwnewch yr un fath â'r cwestiwn blaenorol, ond yn hytrach na efelychiad dylech ddefnyddio canlyniadau dadansoddol.

23. [ , , ] Gwnewch yr un fath â'r cwestiwn blaenorol, ond yn defnyddio'r ddwy efelychu a chanlyniadau dadansoddol.

24. [ , , ] Dychmygwch eich bod wedi ysgrifennu memo a ddisgrifir uchod-ddefnyddio naill ai efelychu, canlyniadau dadansoddol, neu'r ddau-a rhywun o'r adran farchnata yn argymell defnyddio Amcangyfrif gwahaniaeth-yng-gwahaniaethau yn hytrach na gwahaniaeth yn fodd Amcangyfrif (gweler Adran 4.6.2) . Ysgrifennwch memo byrrach newydd sy'n egluro sut y byddai 0.4 cydberthynas rhwng gwerthiant cyn yr arbrawf a gwerthiant ar ôl yr arbrawf newid eich casgliad.

25. [ , ] Er mwyn gwerthuso effeithiolrwydd gwasanaeth gyrfa newydd ar y we, swyddfa gwasanaethau gyrfaoedd prifysgol cynnal hap-dreial rheoli ymhlith 10,000 o fyfyrwyr sy'n mynd ar eu blwyddyn olaf yn yr ysgol. Mae tanysgrifiad am ddim gyda gwybodaeth mewngofnodi unigryw Anfonwyd trwy e-bost gwahoddiad unigryw i 5,000 o'r myfyrwyr a ddewiswyd ar hap, tra bod y 5,000 o fyfyrwyr eraill yn y grŵp rheoli ac nid oes ganddynt danysgrifiad. Ddeuddeg mis yn ddiweddarach, mae arolwg dilynol (heb dim ymateb) yn dangos bod yn y grŵp triniaeth a rheolaeth, 70% o'r myfyrwyr wedi cael gwaith amser llawn yn eu dewis faes (Tabl 4.5). Felly, mae'n ymddangos bod gan y gwasanaeth ar y we unrhyw effaith.

    Fodd bynnag, gwyddonydd data glyfar yn y Brifysgol yn edrych ar y data ychydig yn fwy agos ac yn canfod mai dim ond 20% o'r myfyrwyr yn y grŵp driniaeth mewngofnodi erioed i mewn i'r cyfrif ar ôl derbyn yr e-bost. Bellach, a braidd yn syndod, ymhlith y rhai sydd wedi mewngofnodi i'r wefan yn dim ond 60% wedi sicrhau cyflogaeth lawn-amser yn eu dewis faes, a oedd yn is na'r gyfradd ar gyfer pobl nad oeddent yn mewngofnodi ac yn is na'r gyfradd ar gyfer pobl mewn amod rheoli (Tabl 4.6).

    1. Rhoi esboniad am yr hyn a allai fod wedi digwydd.
    2. Beth yw dwy ffordd wahanol i gyfrifo effaith y driniaeth yn yr arbrawf hwn?
    3. O ystyried y canlyniad hwn, dylai'r gwasanaeth gyrfaoedd prifysgol darparu'r gwasanaeth gyrfaoedd ar y we i bob myfyriwr? I fod yn glir, nid yw hyn yn gwestiwn gydag ateb syml.
    4. Beth ddylent ei wneud nesaf?

    Awgrym: Mae'r cwestiwn hwn yn mynd y tu hwnt i'r deunydd a drafodir yn y bennod hon, ond yn mynd i'r afael â materion cyffredin mewn arbrofion. Weithiau y math hwn o gynllun arbrofol yn cael ei alw'n gynllun anogaeth gan fod y cyfranogwyr yn cael eu hannog i gymryd rhan yn y driniaeth. Mae'r broblem hon yn enghraifft o'r hyn a elwir yn unochrog ddiffyg cydymffurfio (gweler Gerber and Green (2012) , Ch. 5)

26. [ ] Ar ôl archwiliad pellach, mae'n ymddangos fod yr arbrawf a ddisgrifir yn y cwestiwn blaenorol yn oed yn fwy cymhleth. Mae'n ymddangos bod 10% o'r bobl yn y grŵp rheoli a delir ar gyfer mynediad at y gwasanaeth, ac maent yn dod i ben i fyny gyda chyfradd gyflogaeth o 65% (Tabl 4.7).

    1. Ysgrifennwch e-bost yn crynhoi beth yw eich barn sy'n digwydd ac yn argymell ffordd o weithredu.

    Awgrym: Mae'r cwestiwn hwn yn mynd y tu hwnt i'r deunydd a drafodir yn y bennod hon, ond yn mynd i'r afael â materion cyffredin mewn arbrofion. Mae'r broblem hon yn enghraifft o'r hyn a elwir dwy-ochrog ddiffyg cydymffurfio (gweler Gerber and Green (2012) , Ch. 6)